JP6753331B2 - 情報処理装置、方法および情報処理システム - Google Patents

Description

本発明は、情報処理装置、方法および情報処理システムに関する。

現在、ユーザは、銀行またはコンビニエンスストアなどに設置されている現金自動預け払い機（ＡＴＭ）または駅に設置されている乗車券発券機などの情報処理装置を用いて複数の異なる手続きを行うことができる。しかし、これらの情報処理装置における手続の中には難解な操作を伴う手続がある。そのため、これらのＡＴＭまたは乗車券発券機においては、音声によるまたは画像表示によるガイダンスが行われる場合がある。

このようなガイダンスを行うシステムに関して下記の特許文献１が開示されている。特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数または前回の操作日から今回の操作日までの間隔日数などに基づいてガイダンスレベルが設定されることが記載されている。

また、特許文献２には、テキストによる情報提示において、ユーザの視線位置が画面上で停留した停留点に基づき、画面上に表示される情報のスクロール速度を制御する技術が開示されている。具体的には、視線位置が停留した時刻が前後する２つの停留点間の距離に基づき、スクロール速度が制御される。

特開平９−１６０７５１号公報 特開２０１５−１０６３２７号公報

しかし、上述した特許文献１に開示されている音声ガイダンスシステムでは、ユーザの操作回数またはユーザが操作を行った日の間隔に基づいてガイダンスレベルが設定されるため、初めて情報処理装置を操作するユーザに対して適切なガイダンスが提供されない。また、特許文献２に記載の技術では、視線の位置に応じてテキストが自動的にスクロールされてしまうので、表示されているテキストが読み難くなる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの表情に応じた速度でガイダンス情報を再生することが可能な、新規かつ改良された情報処理装置、方法および情報処理システムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、ユーザの映像から前記ユーザの表情を検出する表情検出部と、前記表情検出部により検出された、動きを伴うガイダンス情報の再生時の前記ユーザの表情、および当該ガイダンス情報に設定された設定情報に基づき、前記ガイダンス情報の再生速度を制御する制御部と、を備える、情報処理装置が提供される。

前記制御部は、第１の設定情報が設定されたガイダンス情報の再生速度を第１の速度に制御し、第２の設定情報が設定されたガイダンス情報の再生速度を、前記表情検出部により所定の基準を満たす表情が検出された頻度に基づいて制御してもよい。

前記制御部は、前記頻度が第１の閾値未満であることに基づき、前記第２の設定情報が設定されたガイダンス情報の再生速度を前記第１の速度よりも遅い第２の速度に制御し、前記頻度が第１の閾値以上であることに基づき、前記第２の設定情報が設定されたガイダンス情報を静止状態で表示部に表示させてもよい。

前記制御部は、前記頻度が前記第１の閾値以上であり第２の閾値未満であることに基づき、前記第２の設定情報が設定されたガイダンス情報を静止状態で表示させ、前記頻度が前記第２の閾値以上であることに基づき、前記ガイダンス情報の複数のサムネイル画像を前記表示部に表示させてもよい。

前記制御部は、前記表情検出部により前記所定の基準を満たす表情が検出された時に表示されていたガイダンス情報に対応するサムネイル画像を、前記複数のサムネイル画像として選択してもよい。

前記情報処理装置は、前記ユーザの映像から前記ユーザの視線を検出する視線検出部をさらに備え、前記制御部は、前記ガイダンス情報のうちで、前記表情検出部により前記所定の基準を満たす表情が検出された時に前記ユーザの視線が向けられていた情報部分に対応するサムネイル画像を選択してもよい。

前記制御部は、前記表情検出部により所定の基準を満たす表情が検出された頻度が第１の閾値未満であることに基づき、第１の設定情報が設定されたガイダンス情報の再生速度を第１の速度に制御し、前記頻度が前記第１の閾値以上であり第２の閾値未満であることに基づき、前記第１の設定情報が設定されたガイダンス情報の再生速度を前記第１の速度よりも遅い第２の速度に制御し、前記頻度が前記第２の閾値以上であることに基づき、前記第１の設定情報が設定されたガイダンス情報を静止状態で表示部に表示させてもよい。

前記所定の基準を満たす表情は困惑の表情であってもよい。

ユーザの映像から前記ユーザの表情を検出することと、動きを伴うガイダンス情報の再生時の前記ユーザの表情、および当該ガイダンス情報に設定された設定情報に基づき、前記ガイダンス情報の再生速度を制御することと、を含む、コンピュータにより実行される方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、ユーザの映像から前記ユーザの表情を検出する表情検出部と、前記表情検出部により検出された、動きを伴うガイダンス情報の再生時の前記ユーザの表情、および当該ガイダンス情報に設定された設定情報に基づき、前記ガイダンス情報の再生速度を制御する制御部と、を備える、情報処理システムが提供される。

以上説明したように本発明によれば、ユーザの表情に応じた速度でガイダンス情報を再生することが可能である。

本発明の実施形態に係るガイダンス装置の外観の一例を示す図である。 「振り込み」の操作を案内するガイダンス画面の具体例を示す説明図である。 本発明の実施形態によるガイダンス装置の内部構成を示す説明図である。 表示部の領域分割の具体例を示す説明図である。 ユーザの顔画像から得られる複数の特徴点の例を示す図である。 ニュートラルな表情と困惑の表情の関係を説明するための図である。 各特徴点の位置の管理例を示す説明図である。 記憶部に記憶される検出情報の具体例を示す説明図である。 各ガイダンス情報の重要度の具体例を示す説明図である。 ガイダンス装置の第１の動作例を示すフローチャートである。 ガイダンス画面の再表示の制御を示すフローチャートである。 第２の動作例によるガイダンス画面の再表示を示すフローチャートである。 サムネイルモードで表示されるガイダンス画面の構成を示す説明図である。 困惑度の頻度と表示モードの関係を示す説明図である。 第３の動作例によるガイダンス画面の再表示を示すフローチャートである。 困惑度の頻度と表示モードの関係を示す説明図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．ガイダンス装置の外観構成＞
図１は、本発明の実施形態に係るガイダンス装置１００の外観の一例を示す図である。本発明の実施形態に係るガイダンス装置１００は、現金自動預け払い機（ＡＴＭ）または乗車券発券機のようなガイダンス情報をユーザに提供する情報処理装置または情報処理システムである。ガイダンス装置１００は、複数の異なる機能を有しており、ユーザはガイダンス装置１００を操作することによって、複数の手続きを行うことができる。

例えばガイダンス装置１００がＡＴＭである場合、ガイダンス装置１００が有する複数の異なる機能には、「現金の預け入れ」、「現金の引き出し」、「通帳記入」、「残高照会」、「振り込み」、「振り替え」、「暗証番号の変更」などが該当する。また、ガイダンス装置１００が乗車券発券機である場合、ガイダンス装置１００が有する複数の異なる機能には、「乗車券の購入」、「回数券の購入」、「定期券の購入」、「指定席の変更」、「電子マネーのチャージ」などが該当する。

また、ガイダンス装置１００は、図１に示したように、表示部１０２と、撮影部１０６と、スピーカ１０８とを備える。表示部１０２は、ユーザに操作を案内する情報、または現在行われているキャンペーンを案内する情報などのガイダンス情報を含むガイダンス画面を表示する。ここで、図２を参照し、表示部１０２に表示されるガイダンス画面の具体例を説明する。

図２は、「振り込み」の操作を案内するガイダンス画面の具体例を示す説明図である。図２に示したように、ガイダンス画面は、簡略メッセージ４０、補足メッセージ５０、およびガイダンス映像６０などのガイダンス情報を含む。

簡略メッセージ４０は、ユーザによる操作を案内する簡略なメッセージである。例えば、「振り込み」の機能における金融機関の選択フェーズにおいては、図２に示したように、「振込先の金融機関を選んで下さい。」という簡略メッセージ４０が表示される。

補足メッセージ５０は、簡略メッセージ４０の補足情報を示すメッセージである。補足メッセージ５０は、例えば図２に示したように、ガイダンス画面においてスクロール再生されるテキストであってもよい。

ガイダンス映像６０は、ユーザが実行しようとしている機能、および当該機能の実行のための操作のフェーズに応じて表示（再生）される、動きを伴う映像である。例えば、「振り込み」の機能における金融機関の選択フェーズにおいて表示されるガイダンス映像６０は、図２に示したように、「５０音検索では、金融機関名の先頭数文字を入力することで、金融機関の候補が表示されます。」のように、金融機関の選択フェーズにおける操作方法を具体的に案内する表示を含む。

撮影部１０６は、ガイダンス装置１００を操作するユーザを撮影する。後述するように撮影部１０６は、ユーザの視線および表情を検出するために用いられる画像を撮影する。例えば、撮影部１０６は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラであってもよい。スピーカ１０８は、ガイダンス表示画面に対応する音声ガイダンスを出力する。

＜２．ガイダンス装置の内部構成＞
以上、本発明の実施形態に係るガイダンス装置１００の外観構成を説明した。続いて、図３を参照して、本発明の実施形態に係るガイダンス装置１００の内部構成を説明する。

図３は、本発明の実施形態によるガイダンス装置１００の内部構成を示す説明図である。図３に示したように、本発明の実施形態によるガイダンス装置１００は、図１を参照して説明した表示部１０２、撮影部１０６およびスピーカ１０８に加えて、操作部１０４、処理部１１４、通信部１１０および記憶部１１２と、を有する。処理部１１４は、ガイダンス制御部１１６と、操作処理部１１８と、情報取得部１２０と、画像処理部１２２と、を有する。

（操作部）
操作部１０４は、例えばタッチパネルであってもよく、またはテンキーなどのハードキーであってもよい。通信部１１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを通じて外部のデータベースなどとデータの送受信を行うために用いられる。通信部１１０は、有線通信に対応する機能を有してもよいし、また無線通信に対応する機能を有してもよい。

（記憶部）
記憶部１１２には、各種のプログラムおよびデータが記憶されている。記憶部１１２は、半導体メモリまたはハードディスク装置であってもよく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）および不揮発性メモリなどで構成されていてもよい。ハードディスク装置には、ＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）および各種アプリケーションが記憶されていてもよい。ＲＡＭは、処理部１１４がプログラムに基づいて処理を実行するために用いられる各種のデータを記憶するワークメモリであってもよい。ＲＡＭには、表示部１０２に表示される表示画面、操作部１０４から入力された操作情報、撮影部１０６で撮影されたユーザの顔画像などの各種情報が記憶されてもよい。なお、不揮発性メモリは、電源をオフにしても記憶内容が消去されないメモリ（フラッシュメモリ）であり、各種設定情報が記憶される。

（ガイダンス制御部）
ガイダンス制御部１１６は、表示部１０２によるガイダンス画面の表示、およびスピーカ１０８からの音声ガイダンスの出力を制御する制御部の一例である。詳細については後述するように、ガイダンス制御部１１６は、画像処理部１２２により検出されるユーザの表情に応じて、ガイダンス画面に関する制御を行う。また、ガイダンス制御部１１６は、他の表示画面を表示部１０２に表示させる表示制御部としての機能を有してもよい。例えば、ガイダンス制御部１１６は、操作部１０４からの指示に基づいて記憶部１１２から表示する情報を読み込み、読み込まれた情報に基づく画面を表示部１０２に表示させてもよい。

（操作処理部）
操作処理部１１８は、操作部１０４から入力された操作情報を取得する。操作処理部１１８は、操作部１０４から入力された操作情報を記憶部１１２に送る。また、操作処理部１１８は、操作部１０４がユーザによって操作された位置に対応する表示部１０２上の表示座標位置を算出する。そして操作処理部１１８は、算出された表示位置座標と対応するオブジェクトをユーザが操作したと判定する。

（画像処理部）
画像処理部１２２は、撮影部１０６から入力された画像情報を処理する。画像処理部１２２は、顔検出部１２４と、目検出部１２６と、視線検出部１２８と、表情検出部１３０と、を有する。

/顔検出部/
顔検出部１２４は、ユーザの顔を検出する。顔検出部１２４は、例えばエッジ検出または形状パターン検出によって候補領域を抽出し、抽出された候補領域を小領域に分割し、各領域の特徴点を予め設定された顔領域パターンと照合してもよい。また、顔検出部１２４は、各候補領域の濃度が所定の閾値に対応する値である場合に胴体候補領域を抽出し、顔および胴体候補領域の濃度または彩度のコントラストを用いて顔領域を抽出してもよい。

/目検出部/
目検出部１２６は、ユーザの目を検出するために用いられる。目検出部１２６は、例えば顔検出部１２４によって検出された顔領域の中から、目の白目部分を角膜反射の候補として検出し、また目の黒目部分を瞳孔の候補として検出する。

/視線検出部/
視線検出部１２８は、ユーザの視線が表示部１０２のいずれの領域に向いているかを検出するために用いられる。視線検出部１２８による視線の検出は、例えば、目検出部１２６により検出された目頭の位置に対して、視点となる虹彩がどの位置にあるのかを判定することによって行われる。具体的には、視線検出部１２８は、左目の虹彩が目頭から離れていればユーザが表示部１０２の左側を見ていると判定し、左目の目頭と虹彩が近ければユーザが表示部１０２の右側を見ていると判定する。

図４は、表示部１０２の領域分割の具体例を示す説明図である。図４に示したように、表示部１０２は複数の領域に分割され、視線検出部１２８は、ユーザの視線が表示部１０２のいずれの領域に向いているかを検出する。図４に示した例では、領域Ｅ１〜Ｅ３が図２に示した簡略メッセージ４０の表示領域に対応し、領域Ｅ４〜Ｅ６が図２に示した補足メッセージ５０の表示領域に対応し、領域Ｅ７〜Ｅ１５がガイダンス映像６０の表示領域に対応する。

なお、表示部１０２が１７インチディスプレイであり、表示部１０２の表示ドット数が１２８０×１０２４ドットである場合、図４で示される領域Ｅ１〜Ｅ１５の各々の大きさは、おおよそ４２３×２０８ドットである。

/表情検出部/
表情検出部１３０は、ユーザが表示部１０２を見ているときの表情を検出するために用いられる。表情検出部１３０は、顔検出部１２４で検出された顔領域の中で目や口の動きの変化を測定し、測定された変化と、あらかじめ設定された表情推定用データを照合して表情を検出する。

図５は、ユーザ３００の顔画像から得られる複数の特徴点の例を示す図である。図５に示すように、顔検出部１２４によって、ユーザ３００の顔画像から特徴点として、左眉Ｐ１〜Ｐ３、右眉Ｐ４〜Ｐ６、左目Ｐ７〜Ｐ１０、右目Ｐ１１〜Ｐ１４、口Ｐ１５〜Ｐ１８が検出される。

以下では、具体的な例として、ニュートラルな表情と比較した困惑の表情の特徴について説明する。しかし、他の表情も困惑の表情と同様に固有の特徴を有している。したがって、それぞれの表情は、固有の特徴に基づいて認識され得る。

図６は、ニュートラルな表情と困惑の表情の関係を説明するための図である。画像Ｆ１は、ユーザ３００の表情がニュートラルな表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。一方、画像Ｆ２は、ユーザ３００の表情が困惑の表情である場合に撮像された左眉毛画像（Ｐ１〜Ｐ３）と左目画像（Ｐ７〜Ｐ１０）である。画像Ｆ１に写るニュートラルな表情と比較すると、画像Ｆ２に写る困惑の表情においては、眉毛と目の距離が短くなり（特に、眉毛の特徴点Ｐ１〜Ｐ３と目の上部の特徴点Ｐ７〜Ｐ９が変化しており）、目の開きが細くなっている（特に、目の特徴点Ｐ８とＰ１０が変化している）。

図７は、各特徴点の位置の管理例を示す説明図である。図７に示したように、ニュートラルな表情における各特徴点の位置（ニュートラル位置）、および各特徴点の現在位置が管理される。表情検出部１３０は、各特徴点のニュートラル位置と現在位置との差分の傾向を、表情推定用データと照合することにより、ユーザの表情を推定する。図７には、検出結果として、ユーザの表情が困惑の表情であり、困惑度がＬ１である例を示している。なお、表情検出部１３０は、ユーザがガイダンス装置１００の操作を開始した時のユーザの表情をニュートラルな表情として扱ってもよい。

上述した視線検出部１２８および表情検出部１３０により得られる検出情報は、記憶部１１２に記憶され、ガイダンス制御部１１６によるガイダンスの制御に用いられる。ここで、図８を参照し、記憶部１１２に記憶される検出情報の具体例を説明する。

図８は、記憶部１１２に記憶される検出情報の具体例を示す説明図である。視線検出部１２８および表情検出部１３０は単位時間ごとに検出を行い、記憶部１１２は、単位時間ごとの検出結果を記憶する。例えば、単位時間が１００ｍｓである場合、記憶部１１２は、図８に示したように、視線検出部１２８により検出された視線の位置、および表情検出部１３０による表情の検出結果を１００ｍｓごとに記憶する。なお、図８においては、所定の基準を満たす表情として表情検出部１３０により困惑の表情が検出された場合に、困惑フラグが「１」に設定される例を示している。

なお、本実施形態による記憶部１１２は、各ガイダンス情報についての設定情報として、各ガイダンス情報の重要度を記憶する。ガイダンス情報の重要度は、当該ガイダンス情報により案内される情報をユーザが知っていることがどの程度重要であるかを示す指標であってもよい。

図９は、各ガイダンス情報の重要度の具体例を示す説明図である。図９に示した例では、補足メッセージ＃１およびガイダンス映像＃２の重要度は「低（第１の設定情報）」であり、ガイダンス映像＃１の重要度は「高（第２の設定情報）」である。図９においては、重要度が２段階で表現されているが、重要度は３段階以上の多段階で表現されてもよい。

＜３．ガイダンスの制御例＞
以上、本発明の実施形態によるガイダンス装置１００の構成を説明した。上述したガイダンス制御部１１６は、ガイダンス画面の規定長さに渡る表示が終了した後に、ユーザによる操作が開始されない場合、ガイダンス画面の再表示を制御する。特に、本実施形態によるガイダンス制御部１１６は、ガイダンス画面に含まれる各ガイダンス情報の重要度、およびガイダンス画面が表示されていた時のユーザの表情に基づいて、ガイダンス画面の再表示を制御する。以下では、当該ガイダンス画面の再表示を制御する幾つかの方法を順次詳細に説明する。

（３−１．第１の動作例）
図１０は、ガイダンス装置１００の第１の動作例を示すフローチャートである。まず、ガイダンス装置１００が人体センサなどによってユーザを検出すると、撮影部１０６が起動して撮像を開始し、表示部１０２が、記憶部１１２に記憶された動きを伴うガイダンス情報を含むガイダンス画面の表示を開始する（Ｓ２０２）。動きを伴うガイダンス情報は、例えば、上述したスクロール再生される補足メッセージ５０、およびガイダンス映像６０である。なお、本フローは、ユーザの検出でなく、表示部１０２の画面遷移に連動して開始してもよい。また、Ｓ２０２において、スピーカ１０８も、ガイダンス制御部１１６による制御に基づいて、記憶部１１２に記憶された音声ガイダンスの出力を開始してもよい。

そして、顔検出部１２４が撮影部１０６から入力されるユーザの映像からユーザの顔を検出し（Ｓ２０４）、目検出部１２６がユーザの顔から目領域を検出する（Ｓ２０６）。さらに、視線検出部１２８が、ユーザの目領域の分析により、ユーザの視線がガイダンス映像のいずれの領域に向いているかを検出する（Ｓ２０８）。例えば、視線検出部１２８が、図４に示した領域Ｅ１〜Ｅ１５のいずれの領域にユーザの視線が向いているかを検出し、例えば図８に示したように１００ｍｓなどの単位時間ごとに検出結果を記憶部１１２に記録する。

さらに、表情検出部１３０が、ユーザの顔の映像から、ユーザの表情を検出する（Ｓ２１０）。そして、ガイダンス制御部１１６は、ユーザの表情が困惑の表情である場合（Ｓ２１０／ｙｅｓ）、図８に示したように困惑フラグをセットする（Ｓ２１２）。上述したＳ２０４〜Ｓ２１２の処理が、ガイダンス画面の規定長さに渡る表示が終了するまで繰り返される（Ｓ２１４／Ｎｏ）。

その後、ユーザによる操作が開始されると、ガイダンス制御が終了する（Ｓ２１６／ｙｅｓ）。ユーザによる操作が開始されない場合（Ｓ２１６／ｎｏ）、ガイダンス制御部１１６は、ガイダンス画面の再表示を制御する（Ｓ３００）。当該ガイダンス画面の再表示の制御について、図１１を参照して具体的に説明する。

図１１は、ガイダンス画面の再表示の制御を示すフローチャートである。まず、ガイダンス制御部１１６は、ガイダンス情報ごとに図１１に示したＳ３１０〜Ｓ３２４の処理を実行する。

すなわち、ガイダンス制御部１１６は、記憶部１１２を参照してガイダンス情報の重要度を特定し、ガイダンス情報の重要度が「高」であるか否かを判断する（Ｓ３１０）。ガイダンス情報の重要度が「高」でない場合、すなわち、ガイダンス情報の重要度が「低」である場合（Ｓ３１０／Ｎｏ）、ガイダンス制御部１１６は当該ガイダンス情報の表示モードを通常再生モードに設定する（Ｓ３１２）。通常再生モードは、ガイダンス情報を通常の再生速度（第１の速度）で再生するモードである。

一方、ガイダンス情報の重要度が「高」である場合、ガイダンス制御部１１６は、記憶部１１２を参照し、困惑フラグが設定された頻度を特定し、困惑フラグの頻度が「低」であるか否かを判定する（Ｓ３２０）。困惑フラグの頻度は、ガイダンス画面の表示時間に対して困惑フラグが設定された時間の割合であってもよい。なお、困惑フラグの頻度が「低」であることは、困惑フラグの頻度が第１の閾値（例えば、２０％）未満であることであってもよい。

ガイダンス制御部１１６は、困惑フラグの頻度が「低」である場合（Ｓ３２０/Ｙｅｓ）、当該ガイダンス情報の表示モードを低速再生モードに設定する（Ｓ３２２）。低速再生モードは、ガイダンス情報を通常の再生速度よりも低速（第２の速度）で再生するモードである。

一方、ガイダンス制御部１１６は、困惑フラグの頻度が「低」でない場合（Ｓ３２０/Ｎｏ）、当該ガイダンス情報の表示モードを静止画モードに設定する（Ｓ３２４）。静止画モードは、動きを伴うガイダンス情報を構成する１つの画像を静止状態で表示するモードであってもよい。

全てのガイダンス情報についてＳ３１０〜Ｓ３２４の処理が終了すると、ガイダンス制御部１１６は、設定した表示モードを各ガイダンス情報に適用して、ガイダンス画面の再表示を表示部１０２に開始させる（Ｓ３６０）。

上記構成によれば、重要度が高いガイダンス情報は、再表示の際に、低速再生モードまたは静止画モードで表示される。従って、重要度が高いガイダンス情報をユーザがより容易に理解することが可能となる。また、ユーザがガイダンス情報を理解できずに困っているほど、ユーザの困惑の表情の頻度が高くなると考えられる。この点に関し、本実施形態では、上述したように困惑フラグの頻度に応じて表示モードを設定する。かかる構成によれば、ユーザの理解度に合わせて適切にガイダンス情報を再表示することが可能となる。

なお、上記では、困惑フラグの頻度が、ガイダンス画面の表示時間に対して困惑フラグが設定された時間の割合であってもよい旨を説明したが、困惑フラグの頻度は、ガイダンス情報ごとに特定されるものであってもよい。この場合、各ガイダンス情報の困惑フラグの頻度は、ユーザの視線が各ガイダンス情報を向いていた時間に対して困惑フラグが設定された時間の割合であってもよい。かかる構成によれば、困惑の表情の頻度が低かったガイダンス情報の表示モードを低速再生モードに設定し、他のガイダンス情報の表示モードを静止画モードに設定することが可能となる。

（３−２．第２の動作例）
続いて、ガイダンス装置１００の第２の動作例を説明する。ガイダンス装置１００の第２の動作例においては、図１０を参照して説明したガイダンス画面の再表示（Ｓ３００）以外の処理は、第１の動作例と共通する。このため、以下では、第２の動作例によるガイダンス画面の再表示について説明する。

図１２は、第２の動作例によるガイダンス画面の再表示を示すフローチャートである。まず、ガイダンス制御部１１６は、ガイダンス情報ごとに図１２に示したＳ３１０〜Ｓ３３２の処理を実行する。図１２に示したＳ３１０〜Ｓ３３２の処理のうち、Ｓ３１０〜Ｓ３２２の処理は、図１１を参照して説明したＳ３１０〜Ｓ３２２の処理と同一である。

ガイダンス制御部１１６は、Ｓ３２０において困惑フラグの頻度が「低」でないと判定した場合（Ｓ３２０/Ｎｏ）、困惑フラグの頻度が「中」であるか否かを判定する（Ｓ３３０）。困惑フラグの頻度が「中」である場合（Ｓ３３０／Ｙｅｓ）、ガイダンス制御部１１６は、当該ガイダンス情報の表示モードを静止画モードに設定する（Ｓ３２４）。なお、困惑フラグの頻度が「中」であることは、困惑フラグの頻度が第１の閾値以上であり第２の閾値（例えば、７０％）未満であることであってもよい。

一方、困惑フラグの頻度が「中」でない場合（Ｓ３３０／Ｎｏ）、ガイダンス制御部１１６は、当該ガイダンス情報の表示モードをサムネイルモードに設定する（Ｓ３２４）。ここで、図１３を参照し、サムネイルモードで表示されるガイダンス画面について説明する。

図１３は、サムネイルモードで表示されるガイダンス画面の構成を示す説明図である。図１３に示したように、サムネイルモードで表示されるガイダンス画面は、簡略メッセージ４０および補足メッセージ５０に加え、サムネイルガイダンス７０を含む。サムネイルガイダンス７０は、複数のサムネイル画像＃１〜＃３およびサムネイル解説欄７２を含む。

複数のサムネイル画像＃１〜＃３の各々は、ガイダンス映像の異なるシーンに対応する画像である。サムネイル解説欄７２は、サムネイル画像＃１〜＃３を解説するメッセージを含む。ガイダンス制御部１１６は、ガイダンス映像のうちで、困惑フラグが特に集中的に設定された時間に対応するシーンを上記サムネイル画像として選択してもよい。例えば、ガイダンス制御部１１６は、同一の時間幅を有する区間ごとに困惑フラグの設定数を集計し、困惑フラグの設定数が多かった上位の所定数の区間を特定し、特定された各区間に含まれるシーンを上記サムネイル画像として選択してもよい。または、ガイダンス制御部１１６は、困惑フラグが特に集中的に設定された時間に対応するシーンのうちで、当該シーンの表示時にユーザの視線が向けられていた情報部分を上記サムネイル画像として選択してもよい。かかる構成によれば、ユーザは、サムネイルモードで表示されるガイダンス画面において、ユーザにとって有用なより多くの情報を静止画として確認することが可能となる。

なお、ガイダンス制御部１１６は、サムネイル画像＃１〜＃３のうちでフォーカスされるサムネイル画像を順次に変更し、フォーカスされているサムネイル画像についての解説メッセージをサムネイル解説欄７２に配置してもよい。または、ガイダンス制御部１１６は、サムネイル画像＃１〜＃３のうちでユーザの視線が向けられているサムネイル画像についての解説メッセージをサムネイル解説欄７２に配置してもよい。

上述した第２の動作例における、重要度が「高」であるガイダンス情報に設定される表示モードを図１４に整理した。図１４に示したように、第２の動作例によれば、困惑の頻度が「低」である場合には低速再生モードが設定され、困惑の頻度が「中」である場合には静止画モードが設定され、困惑の頻度が「高」である場合にはサムネイルモードが設定される。

（３−３．第３の動作例）
続いて、ガイダンス装置１００の第３の動作例を説明する。ガイダンス装置１００の第３の動作例においては、図１０を参照して説明したガイダンス画面の再表示（Ｓ３００）以外の処理は、第１の動作例と共通する。このため、以下では、第３の動作例によるガイダンス画面の再表示について説明する。

図１５は、第３の動作例によるガイダンス画面の再表示を示すフローチャートである。まず、ガイダンス制御部１１６は、ガイダンス情報ごとに図１５に示したＳ３１０〜Ｓ３３２の処理を実行する。図１２に示したＳ３１０〜Ｓ３３２の処理のうち、Ｓ３２０〜Ｓ３３２の処理は、図１２を参照して説明したＳ３２０〜Ｓ３３２の処理と同一である。

ガイダンス制御部１１６は、記憶部１１２を参照してガイダンス情報の重要度を特定し、ガイダンス情報の重要度が「高」であるか否かを判断する（Ｓ３１０）。ガイダンス情報の重要度が「高」でない場合（Ｓ３１０／Ｎｏ）、ガイダンス制御部１１６は、記憶部１１２を参照し、困惑フラグが設定された頻度を特定し、困惑フラグの頻度が「低」であるか否かを判定する（Ｓ３１１）。

ガイダンス制御部１１６は、困惑フラグの頻度が「低」である場合（Ｓ３１１/Ｙｅｓ）、当該ガイダンス情報の表示モードを通常再生モードに設定する（Ｓ３１２）。一方、困惑フラグの頻度が「低」でない場合（Ｓ３１１/Ｎｏ）、ガイダンス制御部１１６は困惑フラグの頻度が「中」であるか否かを判定する（Ｓ３１４）。

ガイダンス制御部１１６は、困惑フラグの頻度が「中」である場合（Ｓ３１４/Ｙｅｓ）、当該ガイダンス情報の表示モードを低速再生モードに設定する（Ｓ３２２）。一方、困惑フラグの頻度が「中」でない場合（Ｓ３１４/Ｎｏ）、当該ガイダンス情報の表示モードを静止画モードに設定する（Ｓ３１６）。

上述した第３の動作例における、重要度が「低」であるガイダンス情報に設定される表示モードを図１６に整理した。図１６に示したように、重要度が「低」であるガイダンス情報については、困惑の頻度が「低」である場合には通常再生モードが設定され、困惑の頻度が「中」である場合には低速再生モードが設定され、困惑の頻度が「高」である場合には静止画モードが設定される。

以上説明したように、第３の動作例によれば、重要度が「低」であるガイダンス情報についても、困惑フラグの設定状況に応じて表示モードをきめ細かに設定することが可能である。

＜４．むすび＞
以上説明したように、本発明の実施形態によれば、ユーザの表情の検出結果に応じた速度でガイダンス情報を再生することができる。ここで、ユーザがガイダンス情報を理解できずに困っているほど、ユーザの困惑の表情の頻度が高くなると考えられる。すなわち、ユーザの表情にはガイダンス情報の理解度が反映されるので、本発明の実施形態によれば、ユーザの理解度に合った速度でガイダンス情報を再生することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記ではＡＴＭまたは乗車券発券機のようなガイダンス装置１００に本発明の実施形態が適用される例を主に説明したが、本発明の実施形態は他の情報処理システムにも適用可能である。他の情報処理システムとしては、教育支援システムが挙げられる。例えば、教育支援システムは、オンライン学習において、ユーザの視線および表情からユーザの理解度を判定し、ガイダンス情報の重要度、およびユーザの理解度（視線および表情）に応じてガイダンス情報の再生速度を変化させてもよい。

また、上記実施形態では、ＣＣＤカメラのような撮影部１０６により得られた映像が視線検出に用いられる例を説明したが、ガイダンス装置１００は他の映像を用いて視線検出を行ってもよい。例えば、ガイダンス装置１００は、赤外線ＬＥＤおよび赤外線カメラにより得られる赤外線映像における角膜反射や瞳孔の位置から視線を検出してもよい。さらに、スマートグラスのようなウェアラブル端末が撮影部１０６として使用されてもよい。

また、上記実施形態では、表情検出のための特徴点として、左眉および右眉の各々について３つの特徴点を説明し、左目、右目および口の各々について４つの特徴点を説明したが、特徴点の数および配置は上述した例に限定されない。例えば、口の特徴点は上唇の特徴点および下唇の特徴点に分けられてもよい。その他、顔検出、目検出、視線検出および表情検出の方法は、実施形態として説明した方法に限定されない。

また、上記実施形態では、静止画モードにおいて静止画が表示され続ける例を説明したが、ガイダンス制御部１１６は、静止画モードにおいてもガイダンス情報を再生し、ある時間位置においてガイダンス情報の再生を停止させてもよい。ガイダンス情報の再生が停止される時間位置は、事前に決められた時間位置であってもよいし、困惑フラグの頻度が集中した時間位置であってもよい。

また、上記実施形態では、各ガイダンス情報に重要度が設定される例を説明したが、ガイダンス情報の時間区間ごとに重要度が設定されてもよい。この場合、ガイダンス制御部１１６は、ガイダンス情報の再生位置が属する時間区間、および当該時間区間において設定された困惑度フラグの頻度に応じてガイダンス情報の再生速度を変化させてもよい。または、ガイダンス情報に含まれるキーワードに対して重要度が設定され、ガイダンス制御部１１６は、キーワードに関する情報が再生されているときに、キーワードの重要度に応じて再生速度を変化させてもよい。

また、本明細書のガイダンス装置１００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ガイダンス装置１００の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、ガイダンス装置１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したガイダンス装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１００ ガイダンス装置
１０２ 表示部
１０４ 操作部
１０６ 撮影部
１０８ スピーカ
１１０ 通信部
１１２ 記憶部
１１４ 処理部
１１６ ガイダンス制御部
１１８ 操作処理部
１２０ 情報取得部
１２２ 画像処理部
１２４ 顔検出部
１２６ 目検出部
１２８ 視線検出部
１３０ 表情検出部

Claims (10)

1. ユーザの映像から前記ユーザの表情を検出する表情検出部と、
   前記表情検出部により検出された、動きを伴うガイダンス情報の再生時の前記ユーザの表情、および当該ガイダンス情報に設定された設定情報に基づき、前記ガイダンス情報の再生速度を制御する制御部と、
   を備える、情報処理装置。
2. 前記制御部は、第１の設定情報が設定されたガイダンス情報の再生速度を第１の速度に制御し、第２の設定情報が設定されたガイダンス情報の再生速度を、前記表情検出部により所定の基準を満たす表情が検出された頻度に基づいて制御する、請求項１に記載の情報処理装置。
3. 前記制御部は、前記頻度が第１の閾値未満であることに基づき、前記第２の設定情報が設定されたガイダンス情報の再生速度を前記第１の速度よりも遅い第２の速度に制御し、前記頻度が第１の閾値以上であることに基づき、前記第２の設定情報が設定されたガイダンス情報を静止状態で表示部に表示させる、請求項２に記載の情報処理装置。
4. 前記制御部は、前記頻度が前記第１の閾値以上であり第２の閾値未満であることに基づき、前記第２の設定情報が設定されたガイダンス情報を静止状態で表示させ、前記頻度が前記第２の閾値以上であることに基づき、前記ガイダンス情報の複数のサムネイル画像を前記表示部に表示させる、請求項３に記載の情報処理装置。
5. 前記制御部は、前記表情検出部により前記所定の基準を満たす表情が検出された時に表示されていたガイダンス情報に対応するサムネイル画像を、前記複数のサムネイル画像として選択する、請求項４に記載の情報処理装置。
6. 前記情報処理装置は、前記ユーザの映像から前記ユーザの視線を検出する視線検出部をさらに備え、
   前記制御部は、前記ガイダンス情報のうちで、前記表情検出部により前記所定の基準を満たす表情が検出された時に前記ユーザの視線が向けられていた情報部分に対応するサムネイル画像を選択する、請求項５に記載の情報処理装置。
7. 前記制御部は、前記表情検出部により所定の基準を満たす表情が検出された頻度が第１の閾値未満であることに基づき、第１の設定情報が設定されたガイダンス情報の再生速度を第１の速度に制御し、前記頻度が前記第１の閾値以上であり第２の閾値未満であることに基づき、前記第１の設定情報が設定されたガイダンス情報の再生速度を前記第１の速度よりも遅い第２の速度に制御し、前記頻度が前記第２の閾値以上であることに基づき、前記第１の設定情報が設定されたガイダンス情報を静止状態で表示部に表示させる、請求項１に記載の情報処理装置。
8. 前記所定の基準を満たす表情は困惑の表情である、請求項２〜７のいずれか一項に記載の情報処理装置。
9. ユーザの映像から前記ユーザの表情を検出することと、
   動きを伴うガイダンス情報の再生時の前記ユーザの表情、および当該ガイダンス情報に設定された設定情報に基づき、前記ガイダンス情報の再生速度を制御することと、
   を含む、コンピュータにより実行される方法。
10. ユーザの映像から前記ユーザの表情を検出する表情検出部と、
    前記表情検出部により検出された、動きを伴うガイダンス情報の再生時の前記ユーザの表情、および当該ガイダンス情報に設定された設定情報に基づき、前記ガイダンス情報の再生速度を制御する制御部と、
    を備える、情報処理システム。
    
    
    
    
    

Images