JP6743569B2 - 操作支援装置、操作支援方法およびプログラム - Google Patents

Description

本発明は、操作支援装置、操作支援方法およびプログラムに関する。

近年、ＡＴＭ（Ａｕｔｏｍａｔｅｄ／Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）および券売機などといった各種の機器に対する操作の複雑化に伴って、機器操作を滞りなく行うことが難しくなってきている。特に、機器操作を苦手とするユーザ（例えば、高齢者、若年者など）にとって、機器に対する操作は困難になっている。そこで、機器操作を支援するために、各種の支援情報を出力する技術が存在する（例えば、特許文献１参照）。支援情報としては、操作の説明文、視線誘導ガイダンス、および、音声ガイダンスなどが挙げられる。

特開２００３−２８１５７３号公報

しかしながら、各種の支援情報を出力するだけでは、機器操作を行うユーザを十分に支援できない場合もあり得る。一例として、情報処理能力があまり高くないユーザ（例えば、高齢者など）に対して支援情報を多く出力しすぎてしまうと、そのユーザは支援情報を処理し切れず、却って支援情報が機器操作の妨げになってしまうこともあり得る。そこで、機器操作を行うユーザをより効果的に支援することが可能な技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、ユーザの心拍数を検出する心拍検出部から前記心拍数を取得する情報取得部と、前記心拍数に応じた周期で繰り返される提示情報の前記ユーザへの提示を制御する提示制御部と、前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御する動作制御部と、を備える、操作支援装置が提供される。

前記提示制御部は、前記提示情報の提示開始前における前記ユーザの顔画像が解析されて得られた第１の表情情報が所定の第１の表情を示す場合に、前記提示情報の提示を制御してもよい。

前記操作支援装置は、前記提示情報の提示開始後における前記ユーザの顔画像が解析されて得られた第２の表情情報が所定の第２の表情を示す場合に、前記操作の入力を支援するための支援情報の出力を制御する出力制御部を備えてもよい。

前記提示制御部は、前記第１の表情情報が所定の第１の表情を示す場合に、前記提示情報の提示開始を制御してもよい。

前記提示制御部は、前記第１の表情情報が所定の第１の表情を示す場合に、既に提示されている提示情報の変更を制御してもよい。

前記提示制御部は、前記提示情報の周期を前記心拍数または前記心拍数の平均値に合わせてもよい。

前記提示制御部は、前記心拍数または前記心拍数の平均値が所定範囲外である場合、前記提示情報の周期を前記所定範囲内に合わせてもよい。

前記提示制御部は、前記心拍数または前記心拍数の平均値が前記所定範囲を上回る場合、前記提示情報の周期を前記所定範囲の上限値に合わせてもよい。

前記操作支援装置は、前記提示情報が操作支援のための情報である旨を示すメッセージの出力を制御する出力制御部を備えてもよい。

前記操作支援装置は、前記第２の表情情報の認識が妥当ではなかった場合、前記第２の表情情報を認識するための前記ユーザに対応する個人データを更新するフィードバック部を備えてもよい。

前記フィードバック部は、前記支援情報の出力の妥当性に基づいて、前記第２の表情情報の認識が妥当であったか否かを判断してもよい。

前記フィードバック部は、前記ユーザの操作の正常率に基づいて、前記支援情報の出力の妥当性を判断してもよい。

前記フィードバック部は、前記支援情報の不要ボタン押下回数に基づいて、前記支援情報の出力の妥当性を判断してもよい。

また、本発明の他の観点によれば、ユーザの心拍数を検出する心拍検出部から前記心拍数を取得することと、前記心拍数に応じた周期で繰り返される提示情報の前記ユーザへの提示を制御することと、前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御することと、を備える、操作支援方法が提供される。

また、本発明の他の観点によれば、コンピュータを、ユーザの心拍数を検出する心拍検出部から前記心拍数を取得する情報取得部と、前記心拍数に応じた周期で繰り返される提示情報の前記ユーザへの提示を制御する提示制御部と、前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御する動作制御部と、を備える操作支援装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、機器操作を行うユーザをより効果的に支援することが可能となる。

本発明の第１の実施形態に係る自動取引装置の外観例を示した説明図である。 出力部によって出力される画面例を示す図である。 同実施形態に係る自動取引装置の機能構成例を示すブロック図である。 同実施形態に係る自動取引装置の機能詳細について説明するための図である。 所定時間ごとの心拍数の平均値の例を示す図である。 基準値範囲の例を示す図である。 ユーザの顔画像から得られる複数の特徴点の例を示す図である。 ニュートラルな表情と比較した驚きの表情の特徴を説明するための図である。 表情らしさを推定するための表情推定用データの例を示す図である。 支援情報を選択するための支援情報選択用データの例を示す図である。 同実施形態に係る自動取引装置の動作例を示すフローチャートである。 本発明の第２の実施形態に係る自動取引装置の機能構成例を示すブロック図である。 同実施形態に係る自動取引装置の機能詳細について説明するための図である。 個人データの例を示す図である。 支援情報出力の妥当性を判断する手法の例を説明するための図である。 同実施形態に係る自動取引装置の動作例を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（０．背景）
近年、ＡＴＭおよび券売機などといった各種の機器に対する操作の複雑化に伴って、機器操作を滞りなく行うことが難しくなってきている。特に、機器操作を苦手とするユーザ（例えば、高齢者、若年者など）にとって、機器に対する操作は困難になっている。そこで、機器操作を支援するために、各種の支援情報を出力する技術が存在する（例えば、特開２００３−２８１５７３）。支援情報としては、操作の説明文、視線誘導ガイダンス、および、音声ガイダンスなどが挙げられる。

しかしながら、各種の支援情報を出力するだけでは、機器操作を行うユーザを十分に支援できない場合もあり得る。一例として、情報処理能力があまり高くないユーザ（例えば、高齢者など）に対して支援情報を多く出力しすぎてしまうと、そのユーザは支援情報を処理し切れず、却って支援情報が機器操作の妨げになってしまうこともあり得る。

ここで、ユーザ（例えば、初心者ユーザなど）に対話型音声ガイダンス（例えば、ゆっくりとした対話型音声ガイダンス）を提供すると、ユーザと音声ガイダンスとの対話に一定のリズムが生まれるため、機器操作にも一定のリズムが生まれ、ユーザにとって機器操作がしやすくなることが示唆されている。したがって、ユーザに対してリズムを提示する技術によって、ユーザにとって機器操作がしやすくなることが類推されるが、このような技術は一般に知られていない。

さらに、様々な研究成果から、リズムを人物に提示することによって、人物の身体的または心理的な負荷を軽減することが可能であると言われている。また、機器操作を苦手とするユーザが機器を前にして心理的な負荷を受けることが多く見受けられる（例えば、ユーザが極度の緊張感を抱いたり、焦りを感じたりすることが多く見受けられる）。

そこで、機器操作を行うユーザに対してリズムを提示する技術によって、ユーザの身体的または心理的な負荷が軽減され、ユーザにとって機器操作がしやすくなることが想定される。しかし、このような技術は一般に知られていない。例えば、リズムを人物に提示することによって人物の身体的または心理的な負荷を軽減する技術としては、以下の（文献１）〜（文献３）に記載された技術が挙げられる。

（文献１）歩行者にリズムを提示することによって歩行者の歩行介助をする技術（特開２００６−１０２１５６）
（文献２）同期した閃光およびパルス音によって、人物の集中力、記憶力、認知パフォーマンスを高め、人物のストレスを緩和する技術（特表２０１０−５３６４００）
（文献３）人物に音楽（リズム）を聴かせることによって人物の心理的負荷を軽減する技術（特開２０００−１４０１１７）

その他、ユーザの困惑状態を判断し、困惑状態に応じてユーザの機器操作を支援する技術としては、以下の（文献４）および（文献５）に記載された技術が挙げられる。しかし、かかる技術も、ユーザに対してリズムを提示する技術とは異なっている。

（文献４）映像に写っているユーザを見る者がユーザの困惑状態を判断する技術（特開２００３−２８１５７１，特開２００３−２８１５７３）
（文献５）ユーザの脈拍の上昇によってユーザの困惑状態を判断する技術（特開２０１５−７５９６２）

さらに、監視カメラによって撮像された画像に写る人物の目線および手振りに基づいて、人物の感情を推測するＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）システム案が検討されている。しかし、かかるＡＩシステム案もユーザに対してリズムを提示する技術とは異なっている。そこで、本明細書においては、ユーザに対してリズムを提示することによって、機器操作を行うユーザをより効果的に支援することが可能な技術について主に説明する。

以下の各実施形態においては、操作支援装置（情報処理装置）としてＡＴＭなどの自動取引装置を例に挙げて説明する。しかし、操作支援装置は、ＡＴＭなどの自動取引装置に限定されない（すなわち、操作支援装置は、取引を行う機器に限定されない。）。例えば、操作支援装置は、ユーザからの操作に応じた何らかの動作の実行を制御可能な機器であればよい。

（１．第１の実施形態の説明）
まず、本発明の第１の実施形態について説明する。

（１−１．自動取引装置の外観例）
図１を参照しながら、本発明の第１の実施形態に係る自動取引装置１０Ａの外観例について説明する。図１は、本発明の第１の実施形態に係る自動取引装置１０Ａの外観例を示した説明図である。図１に示したように、自動取引装置１０Ａは、操作検出部１２０と、心拍検出部１３０と、画像検出部１４０と、提示部１６０と、出力部１７０と、紙幣投入口１８１と、硬貨投入口１８２と、通帳挿入口１８３と、伝票排出口１８４とを備える。図１に示したように、ユーザ３０が自動取引装置１０Ａに対して操作を入力する場合を想定する。

図２は、出力部１７０によって出力される画面例を示す図である。図２に示したように、出力部１７０は、操作入力画面Ｇ１０を出力することが可能である。なお、図２には、操作入力画面Ｇ１０として、ユーザ３０が取引の選択操作を入力するための画面が出力される例が示されているが、操作入力画面Ｇ１０はかかる例に限定されない。また、図２には、ユーザ３０によって入力される操作の例として、ボタンを押下する操作が示されているが、ユーザ３０によって入力される操作は、かかる例に限定されない。

図２を参照すると、操作入力画面Ｇ１０にボタンＧ１１〜ボタンＧ１６が含まれている。しかし、ボタンの数は特に限定されない。ここで、ボタンＧ１１は、現金引き出しの操作を入力するためのボタンである。また、ボタンＧ１２は、現金預け入れの操作を入力するためのボタンである。ボタンＧ１３は、ユーザ３０による指定口座の残高照会操作を入力するためのボタンである。

ボタンＧ１４は、ユーザ３０によって指定された振込先口座への現金振込み操作を入力するためのボタンである。また、ボタンＧ１５は、ユーザ３０によって指定された振替元口座からユーザ３０によって指定された振替先口座への現金振替操作を入力するためのボタンである。ボタンＧ１６は、取引履歴を通帳に記入する操作を入力するためのボタンである。

本実施形態においては、図２に示すように、ユーザ３０の単位時間あたりの心拍の数（以下、単に「心拍数」とも言う。）に応じた周期で繰り返される提示情報（以下、「リズム」とも言う。）Ｔ１０が提示部１６０によって提示されたり、出力部１７０によってリズムＴ１０が操作支援のための情報である旨を示すメッセージＧ１８が出力されたりする。本明細書においては、単位時間が１分である場合を主に説明するが、単位時間は１分以外であってもよい。

以下では、リズムＴ１０として音情報が用いられる場合を主に説明するが、リズムＴ１０は音情報に限定されない。また、以下では、メッセージＧ１８として視覚情報が用いられる場合を主に説明するが、メッセージＧ１８は視覚情報に限定されない。リズムＴ１０およびメッセージＧ１８の詳細については後に説明する。

以上、本発明の第１の実施形態に係る自動取引装置１０Ａの外観例について説明した。

（１−２．自動取引装置の機能構成）
続いて、本発明の第１の実施形態に係る自動取引装置１０Ａの機能構成例について説明する。図３は、本発明の第１の実施形態に係る自動取引装置１０Ａの機能構成例を示すブロック図である。上記した通り、本発明の第１の実施形態に係る自動取引装置１０Ａは、操作検出部１２０と、心拍検出部１３０と、画像検出部１４０と、提示部１６０と、出力部１７０とを備える。その他、自動取引装置１０Ａは、制御部１１０Ａと、記憶部１５０Ａとを備える。

制御部１１０Ａは、自動取引装置１０Ａの動作全体を制御する機能を有する。制御部１１０Ａは、専用の演算回路によって構成されてもよいし、自動取引装置１０Ａに内蔵されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部１１０Ａは、情報取得部１１１と、表情認識部１１２と、提示制御部１１３と、出力制御部１１４と、動作制御部１１５とを備える。

操作検出部１２０は、ユーザ３０から入力される各種操作を検出する機能を有する。本明細書においては、操作検出部１２０が透明なタッチパネルを含み、出力部１７０によって出力された各種画面が出力部１７０に積層された操作検出部１２０を通して視認可能であり、各種画面のボタンを押下する操作を検出する例を主に説明する。しかし、操作検出部１２０はかかる例に限定されない。例えば、操作検出部１２０は、マウス、キーボード、ハードウェアボタン、マイクロフォンおよびスイッチの少なくともいずれか一つを含んでもよい。

心拍検出部１３０は、ユーザ３０の心拍を検出する機能を有する。また、心拍検出部１３０は、ユーザ３０の心拍の検出結果に基づいて、単位時間あたりの心拍の数（以下、単に「心拍数」とも言う。）を測定し、測定した心拍数を制御部１１０Ａに出力する。心拍検出部１３０による心拍の検出には、各種の非接触センサを利用することが可能である。例えば、非接触センサは、マイクロ波、空中超音波およびスペクトラム拡散ミリ波レーダの少なくとも一つを利用して心拍を検出してもよい。

画像検出部１４０は、ユーザ３０の顔画像を撮像する機能を有する。また、画像検出部１４０は、撮像した顔画像から複数の特徴点それぞれの位置を検出する。画像検出部１４０によって検出された複数の特徴点それぞれの位置を制御部１１０Ａに出力する。画像検出部１４０による顔画像の撮像には、各種の非接触センサを利用することが可能である。例えば、非接触センサは、可視光カメラであってもよいし、赤外線カメラであってもよい。顔画像から複数の特徴点それぞれの位置を検出する例については、後に詳細に説明する。

記憶部１５０Ａは、制御部１１０Ａを動作させるためのプログラムおよびデータを記憶することが可能な記憶装置を含む。また、記憶部１５０Ａは、制御部１１０Ａの動作の過程で必要となる各種データを一時的に記憶することも可能である。ここで、記憶部１５０Ａは、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよいし、他の記憶デバイスであってもよい。

提示部１６０は、リズムＴ１０を提示する機能を有する。以下では、リズムＴ１０として音情報が用いられる場合を主に説明するが、リズムＴ１０は音情報に限定されない。例えば、リズムＴ１０は、視覚情報（例えば、ユーザ３０の心拍数に応じた周期で繰り返し動く映像情報、ユーザ３０の心拍数に応じた周期で繰り返す点滅など）であってもよい。このとき、視覚情報を出力する表示装置は、提示部１６０と出力部１７０とで共通であってもよいし、異なっていてもよい。あるいは、リズムＴ１０は、触覚情報（例えば、ユーザ３０の心拍数に応じた周期で繰り返し提供される振動または電気など）であってもよい。このとき、触覚出力装置は、提示部１６０と出力部１７０とで共通であってもよいし、異なっていてもよい。

出力部１７０は、ユーザ３０が知覚可能なように各種情報を出力する出力装置を含む。本明細書においては、出力部１７０が各種情報を視覚情報として表示する表示装置を含む例を主に説明する。しかし、出力部１７０はかかる例に限定されない。例えば、出力部１７０は、各種情報を音情報として出力する音出力装置を含んでもよい。あるいは、出力部１７０は、各種情報をユーザ３０の触覚を刺激するための触覚情報（例えば、振動、電気など）として出力する触覚出力装置を含んでもよい。このとき、触覚出力装置は、床に設けられていてもよいし、自動取引装置１０Ａに設けられていてもよい。

以上、本発明の第１の実施形態に係る自動取引装置１０Ａの機能構成例について説明した。

（１−３．自動取引装置の機能詳細）
続いて、本発明の第１の実施形態に係る自動取引装置１０Ａの機能詳細について説明する。図４は、本発明の第１の実施形態に係る自動取引装置１０Ａの機能詳細について説明するための図である。まず、情報取得部１１１は、心拍検出部１３０によって測定された心拍数を取得する。そして、提示制御部１１３は、心拍数に応じた周期で繰り返される提示情報（リズムＴ１０）の提示を制御する。提示部１６０は、提示制御部１１３の制御に従ってリズムＴ１０を提示する。

リズムＴ１０の提示を受けたユーザ３０は、操作を入力する。操作検出部１２０によって操作が検出されると、動作制御部１１５は、操作検出部１２０によって検出された操作に応じた動作の実行を制御する。自動取引装置１０Ａにおいては、動作制御部１１５による制御に従って動作が実行される。ここで、実行される動作は限定されないが、例として、現金引き出し、現金預け入れ、残高照会、現金振込み、現金振替および通帳記入などであってよい。

このようにして、機器操作を行うユーザ３０に対してリズムＴ１０が提示されることによって、ユーザ３０による機器操作にも一定のリズムが生まれ、ユーザ３０の身体的または心理的な負荷が軽減されることが想定される。したがって、ユーザ３０に対してリズムＴ１０が提示されることによって、機器操作を行うユーザ３０をより効果的に支援することが可能となる。

なお、リズムＴ１０の提示が突然始まると、リズムＴ１０の提示を受けたユーザ３０が驚いてしまう可能性もある。そこで、出力制御部１１４は、メッセージＧ１８（図２）の出力を制御してもよい。図２に示した例では、「本システムはリズムで操作を支援します。」というメッセージＧ１８が出力されているが、メッセージＧ１８の内容は特に限定されない。また、図２に示した例では、メッセージＧ１８として視覚情報が用いられているが、メッセージＧ１８は視覚情報に限定されず、音情報などであってもよい。

上記したように、リズムＴ１０は、ユーザ３０の心拍数に応じた周期で繰り返される。ここで、リズムＴ１０の周期はどのように決定されてもよい。例えば、実験結果から、心拍数に合った周期のリズムＴ１０がユーザ３０に提示されると、ユーザ３０の操作が適切になされることが示唆されている。したがって、提示制御部１１３は、所定時間ごとに心拍数を算出し、心拍数の平均値にリズムＴ１０の周期を合わせるとよい。なお、以下では、リズムＴ１０の周期が心拍数の平均値に合わせられる例を主に説明するが、リズムＴ１０の周期は、心拍数自体に合わせられてもよい。

図５は、所定時間ごとの心拍数の平均値の例を示す図である。図５を参照すると、最初の１０秒間における心拍数の平均値は「１２０回／分」と示されている。また、続く１０秒間における心拍数の平均値は「１２２回／分」、続く１０秒間における心拍数の平均値は「１１０回／分」、続く１０秒間における心拍数の平均値は「１０３回／分」と示されている。

また、リズムＴ１０の周期は、無条件に心拍数の平均値に合わせられてもよいし、所定の条件が満たされた場合には、心拍数の平均値以外の値に合わせられてもよい。例えば、提示制御部１１３は、心拍数の平均値が所定範囲外である場合、リズムＴ１０の周期が所定範囲内に合わせられてもよい。これによって、リズムＴ１０の周期が妥当な範囲に調整される。所定範囲は、特に限定されないが、一般的な基準値範囲（以下、単に「基準値範囲」とも言う。）であってよい。

図６は、基準値範囲の例を示す図である。図６に示すように、基準値範囲Ｈ０は、６０〜９０ｂｐｍであってよいが、基準値範囲Ｈ０の上限値および下限値は特に限定されない。図６を参照すると、ある時間においては、心拍数が基準値範囲Ｈ０の上限値９０ｂｐｍを上回っており、ある時間においては、心拍数が基準値範囲Ｈ０の下限値６０ｂｐｍを下回っている。

このとき、提示制御部１１３は、心拍数が基準値範囲Ｈ０の上限値９０ｂｐｍを上回る時間においては、リズムＴ１０の周期を基準値範囲Ｈ０（例えば、基準値範囲Ｈ０の上限値）に合わせてもよい。一方、提示制御部１１３は、心拍数が基準値範囲Ｈ０の下限値６０ｂｐｍを下回る時間においては、リズムＴ１０の周期を基準値範囲Ｈ０（例えば、基準値範囲Ｈ０の下限値）に合わせてもよい。

なお、心拍数の平均値の算出が完了するまでは、リズムＴ１０の周期として初期値が設定されてよい。リズムＴ１０の周期の初期値も妥当な範囲に調整されるのがよいため、基準値範囲Ｈ０（例えば、基準値範囲Ｈ０の下限値）に合わせられるのがよい。

リズムＴ１０は、ユーザ３０に対して無条件に提示されてもよいが、所定の条件が満たされる場合に、リズムＴ１０がユーザ３０に対して提示されてもよい。本明細書においては、提示制御部１１３が、リズムＴ１０の提示開始前におけるユーザ３０の表情情報（第１の表情情報）が所定の第１の表情（表情Ｐ１）を示す場合に、リズムＴ１０の提示を制御する場合を主に説明する。リズムＴ１０の提示の制御は、リズムＴ１０の提示開始の制御であってもよいし、既に提示されているリズムの変更の制御であってもよい。

なお、以下では、第１の表情（表情Ｐ１）として、焦りの表情を例として挙げるが、第１の表情（表情Ｐ１）は焦りの表情に限定されない。例えば、第１の表情（表情Ｐ１）は、困惑の表情であってもよいし、迷いの表情であってもよい。

具体的には、画像検出部１４０によってリズムＴ１０の提示開始前におけるユーザ３０の顔画像が解析されて複数の特徴点が得られ、表情認識部１１２によって複数の特徴点それぞれの位置に基づいてユーザ３０の表情情報が認識される。ここで、表情情報を認識する技術について説明する。

図７は、ユーザ３０の顔画像から得られる複数の特徴点の例を示す図である。図７に示すように、画像検出部１４０によって、ユーザ３０の顔画像から特徴点Ａ１〜Ａ４、Ｂ１〜Ｂ６が検出される。図７に示した例では、特徴点Ａ１〜Ａ４は、眉毛またはその周辺から検出されているが、眉毛またはその周辺から検出される特徴点の数は４つに限定されない。また、これらの特徴点が検出される位置は眉毛またはその周辺に限定されない。

また、図７に示した例では、特徴点Ｂ１〜Ｂ６は、目またはその周辺から検出されているが、目またはその周辺から検出される特徴点の数は６つに限定されない。また、これらの特徴点が検出される位置は目またはその周辺に限定されない。ここでは、具体的な例として、ニュートラルな表情と比較した驚きの表情の特徴を説明する。しかし、他の表情も驚きの表情と同様に固有の特徴を有している。したがって、それぞれの表情は、固有の特徴に基づいて認識され得る。

図８は、ニュートラルな表情と比較した驚きの表情の特徴を説明するための図である。眉毛画像Ｍ１１は、ユーザ３０の表情情報がニュートラルな表情を示す場合に撮像された眉毛画像である。一方、眉毛画像Ｍ１２は、ユーザ３０の表情情報が驚きの表情を示す場合に撮像された眉毛画像である。眉毛画像Ｍ１に写るニュートラルな表情と比較すると、眉毛画像Ｍ２に写る驚きの表情においては、眉毛の曲がり度が大きくなり（特に、眉毛の内側部分の特徴点Ａ１が（Ｘ１ａ，Ｙ１ａ）から（Ｘ１ｂ，Ｙ１ｂ）に変化しており）、眉毛の外側部分の位置が高くなっている。

この例に示したように、それぞれの表情は固有の特徴を有している。したがって、各特徴点の位置が決定されれば、その各特徴点の位置に対して、表情への近さ（以下、「表情らしさ」とも言う。）を定義することが可能である。図９は、表情らしさを推定するための表情推定用データの例を示す図である。図９に示すように、表情推定用データ１５１は、顔のパーツ名、特徴点、特徴点の変化前位置（以下、「ニュートラル位置」とも言う。）、特徴点の変化後位置および解析結果（表情Ｐ１らしさ）が対応付けられてなる。

ここで、表情認識部１１２は、眉毛に関する特徴点Ａ１〜Ａ３および目に関する特徴点Ｂ１〜Ｂ３それぞれの変化前位置と変化後位置とが、ユーザ３０の顔画像と表情推定用データ１５１との間で一致する場合に、ユーザ３０の表情Ｐ１らしさを「８０％」と推定することが可能である。なお、表情認識部１１２は、ユーザ３０の表情をどのように認識してもよいが、本明細書においては、ユーザ３０の表情Ｐ１らしさが閾値を超える場合に、ユーザ３０の表情が表情Ｐ１であると認識する場合を主に想定する。

図４に戻って説明を続ける。以上に説明したような手法によってユーザ３０の表情が認識されると、上記したように、提示制御部１１３は、表情情報（第１の表情情報）が所定の第１の表情（表情Ｐ１）を示す場合に、リズムＴ１０の提示を制御することが可能である。このようにしてリズムＴ１０が提示されれば、ユーザ３０は、リズムＴ１０の提示を受けながら操作を入力することが可能である。しかし、リズムＴ１０の提示を受けたとしても、操作入力がスムーズに行われない可能性がある。

そこで、出力制御部１１４は、ユーザ３０による操作入力を支援するための支援情報の出力を制御してもよい。本明細書においては、出力制御部１１４が、リズムＴ１０の提示開始後におけるユーザ３０の表情情報（第２の表情情報）に応じた支援情報の出力を制御する場合を主に説明する。なお、以下では、第２の表情（表情Ｐ２）として、迷いの表情を例として挙げるが、第２の表情（表情Ｐ２）は迷いの表情に限定されない。例えば、第２の表情（表情Ｐ２）は、困惑の表情であってもよいし、焦りの表情であってもよい。

具体的には、画像検出部１４０によってリズムＴ１０の提示開始後におけるユーザ３０の顔画像が解析されて複数の特徴点が得られ、表情認識部１１２によって複数の特徴点それぞれの位置に基づいてユーザ３０の表情情報が認識される。ここで、表情情報を認識する技術としては、上記した技術を利用することが可能である。

図１０は、支援情報を選択するための支援情報選択用データ１５２の例を示す図である。図１０に示すように、支援情報選択用データ１５２は、表情Ｐ２らしさと支援情報とが対応付けられてなる。ここで、表情認識部１１２は、複数の特徴点の位置それぞれから表情Ｐ２らしさを推定し、出力制御部１１４は、表情Ｐ２らしさに対応する支援情報を支援情報選択用データ１５２から選択し、選択した支援情報の出力を制御することが可能である。

なお、図１０には、表情Ｐ２らしさが「高（８０％以上）」である場合、自動取引装置１０Ａをコールセンタに接続させることによってコールセンタの人から得られる支援情報が選択される例が示されている。また、表情Ｐ２らしさが「中（５０％〜７９％）」である場合、初期画面からの手順に沿った支援情報が選択される例が示されている。また、表情Ｐ２らしさが「低（３０％〜４９％）」である場合、現画面に対応する支援情報が選択される例が示されている。

また、操作入力を支援するための支援情報は、無条件に出力されてもよいし、所定の条件が満たされる場合に出力されてもよい。本明細書においては、出力制御部１１４が、リズムＴ１０の提示開始後におけるユーザ３０の表情情報（第２の表情情報）が所定の第２の表情を示す場合に、操作入力を支援するための支援情報の出力を制御する場合を主に想定する。このようにリズムと支援情報とを併用することによって、支援情報に対するユーザ３０の処理負荷を抑えることが可能となる。なお、支援情報は特に限定されない。

図４に戻って説明を続ける。ここで、支援情報の出力を受けて（あるいは、支援情報の出力を受けずに）、ユーザ３０は、正常に操作を入力した場合を想定する。このとき、ユーザ３０によって入力された操作は操作検出部１２０によって検出され、動作制御部１１５は、かかる操作に応じた動作の実行を制御する。自動取引装置１０Ａにおいては、動作制御部１１５による制御に従って動作が実行される。実行される動作は、上記したように限定されない。

以上、本発明の第１の実施形態に係る自動取引装置１０Ａの機能詳細について説明した。

（１−４．自動取引装置の動作例）
続いて、本発明の第１の実施形態に係る自動取引装置１０Ａの動作例について説明する。図１１は、本発明の第１の実施形態に係る自動取引装置１０Ａの動作例を示すフローチャートである。なお、図１１に示したフローチャートは、自動取引装置１０Ａの動作の一例を示したに過ぎない。したがって、自動取引装置１０Ａの動作は、かかるフローチャートに示される動作例に限定されない。

まず、提示制御部１１３は、リズムＴ１０の提示を開始する。このとき、リズムＴ１０の周期には初期値が設定される。心拍検出部１３０は、ユーザ３０の心拍を検出し（Ｓ１）、ユーザ３０の単位時間あたりの心拍の数（心拍数）の平均値の算出を開始する（Ｓ２）。続いて、画像検出部１４０は、ユーザ３０の顔画像を検出し（Ｓ３）、顔画像から複数の特徴点それぞれの位置を検出する。続いて、表情認識部１１２は、複数の特徴点それぞれの位置に基づいて、ユーザ３０の表情を認識する（Ｓ４）。

続いて、提示制御部１１３は、ユーザ３０の表情に焦りがある場合（ユーザ３０の表情情報が「焦りの表情」を示す場合）（Ｓ５において「Ｙｅｓ」）、リズムＴ１０の提示を制御する（Ｓ６）。このとき、リズムＴ１０の周期は、心拍数の平均値に変更される。そして、提示部１６０は、提示制御部１１３による制御に従って、リズムＴ１０を提示する。一方、提示制御部１１３は、ユーザ３０の表情に焦りがない場合（ユーザ３０の表情情報が「焦りの表情」を示さない場合）（Ｓ５において「Ｎｏ」）、Ｓ７に動作を移行させる。

続いて、出力制御部１１４は、ユーザ３０の表情に迷いがある場合（ユーザ３０の表情情報が「迷いの表情」を示す場合）（Ｓ７において「Ｙｅｓ」）、迷いの表情に対応する支援情報を選択する（Ｓ８）。そして、出力制御部１１４は、選択した支援情報の出力を制御する。出力部１７０は、出力制御部１１４による制御に従って、支援情報を出力する（Ｓ９）。ユーザ３０によって操作が入力されると、操作検出部１２０によって操作が検出され、動作制御部１１５は、かかる操作に応じた動作の実行を制御する。動作の実行が終了すると、リズムＴ１０の提示も終了する。

一方、出力制御部１１４は、ユーザ３０の表情に迷いがない場合（ユーザ３０の表情情報が「迷いの表情」を示さない場合）（Ｓ７において「Ｎｏ」）、支援情報は特に出力されない。そして、ユーザ３０によって操作が入力されると、操作検出部１２０によって操作が検出され、動作制御部１１５は、かかる操作に応じた動作の実行を制御する。動作の実行が終了すると、リズムＴ１０の提示も終了する。

以上、本発明の第１の実施形態に係る自動取引装置１０Ａの動作例について説明した。

以上、本発明の第１の実施形態について説明した。

（２．第２の実施形態の説明）
続いて、本発明の第２の実施形態について説明する。

（２−１．自動取引装置の外観例）
本発明の第２の実施形態に係る自動取引装置１０Ｂの外観例は、図１に示した通りである。すなわち、図１に示したように、自動取引装置１０Ｂは、操作検出部１２０と、心拍検出部１３０と、画像検出部１４０と、提示部１６０と、出力部１７０と、紙幣投入口１８１と、硬貨投入口１８２と、通帳挿入口１８３と、伝票排出口１８４とを備える。図１に示したように、ユーザ３０が自動取引装置１０Ｂに対して操作を入力する場合を想定する。

以上、本発明の第２の実施形態に係る自動取引装置１０Ｂの外観例について説明した。

（２−２．自動取引装置の機能構成）
続いて、本発明の第２の実施形態に係る自動取引装置１０Ｂの機能構成例について説明する。図１２は、本発明の第２の実施形態に係る自動取引装置１０Ｂの機能構成例を示すブロック図である。上記した通り、本発明の第２の実施形態に係る自動取引装置１０Ｂは、操作検出部１２０と、心拍検出部１３０と、画像検出部１４０と、提示部１６０と、出力部１７０とを備える。その他、自動取引装置１０Ｂは、制御部１１０Ｂと、記憶部１５０Ｂとを備える。

すなわち、本発明の第２の実施形態に係る自動取引装置１０Ｂは、第１の実施形態に係る自動取引装置１０Ａと比較して、制御部１１０Ａの代わりに制御部１１０Ｂを備え、記憶部１５０Ａの代わりに記憶部１５０Ｂを備える点が異なる。したがって、以下においては、制御部１１０Ｂおよび記憶部１５０Ｂそれぞれが有する機能のうち、制御部１１０Ａおよび記憶部１５０Ａそれぞれが有する機能と同一の機能については説明を省略し、異なる機能について主に説明する。

図１２に示すように、制御部１１０Ｂは、本発明の第１の実施形態に係る制御部１１０Ａと同様に、情報取得部１１１と、表情認識部１１２と、提示制御部１１３と、出力制御部１１４と、動作制御部１１５とを備える。また、制御部１１０Ｂは、本発明の第１の実施形態に係る制御部１１０Ａと比較して、フィードバック部１１６を備える点が異なる。以下、フィードバック部１１６が有する機能について主に説明する。

記憶部１５０Ａは、制御部１１０Ｂを動作させるためのプログラムおよびデータを記憶することが可能な記憶装置を含む。また、記憶部１５０Ｂは、制御部１１０Ｂの動作の過程で必要となる各種データを一時的に記憶することも可能である。ここで、記憶部１５０Ｂは、本発明の第１の実施形態に係る記憶部１５０Ａと比較して、記憶するプログラムおよびデータが異なる。以下、記憶部１５０Ｂが記憶するプログラムおよびデータについて主に説明する。

以上、本発明の第２の実施形態に係る自動取引装置１０Ｂの機能構成例について説明した。

（２−３．自動取引装置の機能詳細）
続いて、本発明の第２の実施形態に係る自動取引装置１０Ｂの機能詳細について説明する。図１３は、本発明の第２の実施形態に係る自動取引装置１０Ｂの機能詳細について説明するための図である。本発明の第２の実施形態において、表情認識部１１２は、ユーザ３０の顔画像が解析されて得られた複数の特徴点それぞれの位置と、ユーザ３０に固有の表情推定用データ（個人データ１５３）とに基づいて、ユーザ３０の表情を認識する。

図１４は、個人データ１５３の例を示す図である。図１４に示すように、個人データ１５３は、顔のパーツ名、特徴点、特徴点の変化前位置、特徴点の変化後位置および解析結果（表情Ｐ１らしさ）の他、ユーザ（ユーザ識別情報）が対応付けられてなる。ユーザ識別情報は、ユーザを一意に識別可能な情報であれば特に限定されず、例えば、ユーザの口座番号などであってもよい。また、本発明の第１の実施形態と同様に、本発明の第２の実施形態においても、第１の表情情報の認識結果に基づいて、リズムが提示されたり、リズムが提示されなかったりする（第２の表情情報の認識結果に基づいて、支援情報が出力されたり、出力されなかったりする）。以下、第１の表情情報の認識および第２の表情情報の認識の少なくともいずれか一方を「表情認識」とも言う。

フィードバック部１１６は、かかる表情認識が妥当であったか否かを判定する。そして、フィードバック部１１６は、表情認識が妥当であった場合には、ユーザ３０に対応する個人データ１５３を更新しなくてもよいが、表情認識が妥当ではなかった場合には、ユーザ３０に対応する個人データ１５３を更新する。更新後の個人データ１５３は、ユーザ３０の表情認識に次回利用される。これによって、ユーザごとに表情認識がなされるため、リズムの提示および支援情報の出力がよりユーザに適合するように行われ得る。

具体的に、リズム提示が妥当であったか否かによって第１の表情情報の認識が妥当であったか否かが判断されてよい。例えば、フィードバック部１１６は、リズム提示がされたもののリズム提示が妥当ではなかった場合、ユーザ３０に対応する個人データ１５３のうち、リズム提示に関わる表情らしさを低くすることによって、そのユーザ３０に対してリズム提示がなされる可能性を低減することが可能である。

一方、フィードバック部１１６は、リズム提示がされなかったもののリズム提示がされるべきであった場合、ユーザ３０に対応する個人データ１５３のうち、リズム提示に関わる表情らしさを高くすることによって、そのユーザ３０に対してリズム提示がなされる可能性を高めることが可能である。

同様に、支援情報出力が妥当であったか否かによって第２の表情情報の認識が妥当であったか否かが判断されてよい。フィードバック部１１６は、支援情報の出力がされたものの支援情報の出力が妥当ではなかった場合、個人データ１５３のうち、支援情報の出力に関わる表情らしさを低くすることによって、そのユーザ３０に対して支援情報の出力がなされる可能性を低減することが可能である。

一方、フィードバック部１１６は、支援情報の出力がされなかったものの支援情報の出力がされるべきであった場合、ユーザ３０に対応する個人データ１５３のうち、支援情報の出力に関わる表情らしさを高くすることによって、そのユーザ３０に対して支援情報の出力がなされる可能性を高めることが可能である。

ここでは一例として、支援情報出力の妥当性を判断する手法の例を説明する。図１５は、支援情報出力の妥当性を判断する手法の例を説明するための図である。図１５に示すように、操作入力画面Ｇ１０に重畳されるように支援情報画面Ｇ２０が出力されている。ただし、支援情報画面Ｇ２０は、どのように出力されてもよく、特に操作入力画面Ｇ１０に重畳されなくてもよい。支援情報画面Ｇ２０には、支援情報の例として、現金の引き出しに関する説明が含まれている。

また、支援情報画面Ｇ２０には、不要ボタンＧ２１およびＯＫボタンＧ２２が含まれている。ただし、不要ボタンＧ２１およびＯＫボタンＧ２２が設けられる位置は特に限定されない。ユーザ３０は、支援情報出力が妥当ではなかった（支援情報が不要であった）と判断した場合には、不要ボタンＧ２１を押下することによって、支援情報出力が妥当ではなかった旨を示す操作を入力することが可能である。なお、不要ボタンＧ２１の押下回数が閾値を超えた場合に、支援情報出力が妥当ではなかったと判断されてもよい。

一方、ユーザ３０は、支援情報出力が妥当であった（支援情報が役に立った）と判断した場合には、ＯＫボタンＧ２２を押下することによって、支援情報出力が妥当であった旨を示す操作を入力することが可能である。なお、ＯＫボタンＧ２２の押下回数が閾値を超えた場合に、支援情報出力が妥当であったと判断されてもよい。このように、フィードバック部１１６は、ユーザ３０によって入力される明示的な操作によって、支援情報出力の妥当性を判断することが可能である。

なお、支援情報出力の妥当性の判断は、かかる明示的な操作による手法に限定されない。例えば、支援情報出力の妥当性は、ユーザ３０の状態が正常であるか否かによって判断されてもよい。例えば、ユーザ３０が異常な操作（例えば、取消ボタンの押下など）を行ったり、操作を行わなかったりした場合には、支援情報出力が妥当ではなかったと判断されてよい。

一方、ユーザ３０が正常な操作（例えば、正常な取引操作など）を行った場合には、支援情報出力が妥当であったと判断されてよい。リズム提示の妥当性も支援情報出力の妥当性と同様に判断されてよい。なお、ユーザ３０の操作の正常率が閾値を超えるか否かによって、支援情報出力が妥当であったか否かが判断されてもよい。

以上、本発明の第２の実施形態に係る自動取引装置１０Ｂの機能詳細について説明した。

（２−４．自動取引装置の動作例）
続いて、本発明の第２の実施形態に係る自動取引装置１０Ｂの動作例について説明する。図１６は、本発明の第２の実施形態に係る自動取引装置１０Ｂの動作例を示すフローチャートである。なお、図１６に示したフローチャートは、自動取引装置１０Ｂの動作の一例を示したに過ぎない。したがって、自動取引装置１０Ｂの動作は、かかるフローチャートに示される動作例に限定されない。

本発明の第２の実施形態においても、本発明の第１の実施形態と同様に、Ｓ１〜Ｓ９が実行され得る。また、本発明の第２の実施形態においても、本発明の第１の実施形態と同様に、ユーザ３０によって操作が入力されると、操作検出部１２０によって操作が検出され、動作制御部１１５は、かかる操作に応じた動作の実行を制御する。ここで、本発明の第２の実施形態において、フィードバック部１１６は、ユーザ３０による操作が正常になされたか否かを判断する（Ｓ１０）。

フィードバック部１１６は、ユーザ３０による操作が正常になされなかったと判断した場合には（Ｓ１０において「Ｎｏ」）、ユーザ３０に対応する個人データ１５３を更新して（Ｓ１１）、動作を終了する。提示制御部１１３は、動作の終了とともに、リズムＴ１０の提示も終了する。更新後の個人データ１５３は、ユーザ３０の表情認識に次回利用される。一方、フィードバック部１１６は、ユーザ３０による操作が正常になされたと判断した場合には（Ｓ１０において「Ｙｅｓ」）、ユーザ３０に対応する個人データ１５３を更新せずに、動作を終了する。提示制御部１１３は、動作の終了とともに、リズムＴ１０の提示も終了する。

以上、本発明の第２の実施形態に係る自動取引装置１０Ｂの動作例について説明した。

以上、本発明の第２の実施形態について説明した。

（３．まとめ）
本発明の第１の実施形態によれば、ユーザ３０の心拍数を検出する心拍検出部１３０から心拍数を取得する情報取得部１１１と、心拍数に応じた周期で繰り返される提示情報のユーザへの提示を制御する提示制御部１１３と、提示情報の提示を受けたユーザ３０によって入力された操作に応じた動作の実行を制御する動作制御部１１５と、を備える、自動取引装置１０Ａが提供される。

かかる構成によれば、ユーザ３０による機器操作に一定のリズムが生まれ、ユーザ３０の身体的または心理的な負荷が軽減されることが想定される。したがって、ユーザ３０に対して提示情報が提示されることによって、機器操作を行うユーザ３０をより効果的に支援することが可能となる。

また、本発明の第２の実施形態によれば、自動取引装置１０Ｂは、提示情報の提示開始後におけるユーザ３０の顔画像が解析して得られた第２の表情情報が所定の第２の表情を示す場合に、操作の入力を支援するための支援情報の出力を制御する出力制御部１１４を備える。そして、自動取引装置１０Ｂは、第２の表情情報の認識が妥当ではなかった場合、第２の表情情報を認識するためのユーザ３０に対応する個人データを更新するフィードバック部１１６を備える。

かかる構成によれば、ユーザ３０ごとに表情認識がなされるため、提示情報の提示および支援情報の出力がよりユーザ３０に適合するように行われ得る。

（３．変形例）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０（１０Ａ，１０Ｂ） 自動取引装置
３０ ユーザ
１１０（１１０Ａ，１１０Ｂ） 制御部
１１１ 情報取得部
１１２ 表情認識部
１１３ 提示制御部
１１４ 出力制御部
１１５ 動作制御部
１１６ フィードバック部
１２０ 操作検出部
１３０ 心拍検出部
１４０ 画像検出部
１５０（１５０Ａ，１５０Ｂ） 記憶部
１５１ 表情推定用データ
１５２ 支援情報選択用データ
１５３ 個人データ
１６０ 提示部
１７０ 出力部
１８１ 紙幣投入口
１８２ 硬貨投入口
１８３ 通帳挿入口
１８４ 伝票排出口

Claims (15)

1. ユーザの心拍数を検出する心拍検出部から前記心拍数を取得する情報取得部と、
   前記心拍数に応じた周期で繰り返される提示情報の提示開始前における前記ユーザの顔画像が解析されて得られた第１の表情情報が所定の第１の表情を示す場合に、前記提示情報の前記ユーザへの提示を制御する提示制御部と、
   前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御する動作制御部と、
   を備える、操作支援装置。
2. 前記提示制御部は、前記第１の表情情報が所定の第１の表情を示す場合に、前記提示情報の提示開始を制御する、
   請求項１に記載の操作支援装置。
3. 前記提示制御部は、前記第１の表情情報が所定の第１の表情を示す場合に、既に提示されている提示情報の変更を制御する、
   請求項１に記載の操作支援装置。
4. ユーザの心拍数を検出する心拍検出部から前記心拍数を取得する情報取得部と、
   前記心拍数に応じた周期で繰り返される提示情報の前記ユーザへの提示を制御する提示制御部と、
   前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御する動作制御部と、
   前記提示情報の提示開始後における前記ユーザの顔画像が解析されて得られた第２の表情情報が所定の第２の表情を示す場合に、前記操作の入力を支援するための支援情報の出力を制御する出力制御部と、
   前記第２の表情情報の認識が妥当ではなかった場合、前記第２の表情情報を認識するための前記ユーザに対応する個人データを更新するフィードバック部と、
   を備える、操作支援装置。
5. 前記フィードバック部は、前記支援情報の出力の妥当性に基づいて、前記第２の表情情報の認識が妥当であったか否かを判断する、
   請求項４に記載の操作支援装置。
6. 前記フィードバック部は、前記ユーザの操作の正常率に基づいて、前記支援情報の出力の妥当性を判断する、
   請求項５に記載の操作支援装置。
7. 前記フィードバック部は、前記支援情報の不要ボタン押下回数に基づいて、前記支援情報の出力の妥当性を判断する、
   請求項５に記載の操作支援装置。
8. 前記提示制御部は、前記提示情報の周期を前記心拍数または前記心拍数の平均値に合わせる、
   請求項１〜７のいずれか一項に記載の操作支援装置。
9. 前記提示制御部は、前記心拍数または前記心拍数の平均値が所定範囲外である場合、前記提示情報の周期を前記所定範囲内に合わせる、
   請求項１〜７のいずれか一項に記載の操作支援装置。
10. 前記提示制御部は、前記心拍数または前記心拍数の平均値が前記所定範囲を上回る場合、前記提示情報の周期を前記所定範囲の上限値に合わせる、
    請求項９に記載の操作支援装置。
11. 前記操作支援装置は、
    前記提示情報が操作支援のための情報である旨を示すメッセージの出力を制御する出力制御部を備える、
    請求項１〜３のいずれか一項に記載の操作支援装置。
12. ユーザの心拍数を検出する心拍検出部から前記心拍数を取得することと、
    前記心拍数に応じた周期で繰り返される提示情報の提示開始前における前記ユーザの顔画像が解析されて得られた第１の表情情報が所定の第１の表情を示す場合に、前記提示情報の前記ユーザへの提示を制御することと、
    前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御することと、
    を備える、操作支援方法。
13. ユーザの心拍数を検出する心拍検出部から前記心拍数を取得することと、
    前記心拍数に応じた周期で繰り返される提示情報の前記ユーザへの提示を制御することと、
    前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御することと、
    前記提示情報の提示開始後における前記ユーザの顔画像が解析されて得られた第２の表情情報が所定の第２の表情を示す場合に、前記操作の入力を支援するための支援情報の出力を制御することと、
    前記第２の表情情報の認識が妥当ではなかった場合、前記第２の表情情報を認識するための前記ユーザに対応する個人データを更新することと、
    を備える、操作支援方法。
14. コンピュータを、
    ユーザの心拍数を検出する心拍検出部から前記心拍数を取得する情報取得部と、
    前記心拍数に応じた周期で繰り返される提示情報の提示開始前における前記ユーザの顔画像が解析されて得られた第１の表情情報が所定の第１の表情を示す場合に、前記提示情報の前記ユーザへの提示を制御する提示制御部と、
    前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御する動作制御部と、
    を備える操作支援装置として機能させるためのプログラム。
15. コンピュータを、
    ユーザの心拍数を検出する心拍検出部から前記心拍数を取得する情報取得部と、
    前記心拍数に応じた周期で繰り返される提示情報の前記ユーザへの提示を制御する提示制御部と、
    前記提示情報の提示を受けた前記ユーザによって入力された操作に応じた動作の実行を制御する動作制御部と、
    前記提示情報の提示開始後における前記ユーザの顔画像が解析されて得られた第２の表情情報が所定の第２の表情を示す場合に、前記操作の入力を支援するための支援情報の出力を制御する出力制御部と、
    前記第２の表情情報の認識が妥当ではなかった場合、前記第２の表情情報を認識するための前記ユーザに対応する個人データを更新するフィードバック部と、
    を備える操作支援装置として機能させるためのプログラム。
    

Images