WO2007148465A1

WO2007148465A1 - 操作誘導装置及び操作誘導方法

Info

Publication number: WO2007148465A1
Application number: PCT/JP2007/057914
Authority: WO
Inventors: Kiyomi Sakamoto; Masaharu Matsuoka; Shigeo Asahara
Original assignee: Panasonic Corporation
Priority date: 2006-06-21
Filing date: 2007-04-10
Publication date: 2007-12-27
Also published as: JP2008003816A

Abstract

　機器の利用者にとって真に必要な場合にだけ機器操作を誘導する操作誘導装置を提供する。その操作誘導装置は、機器操作のための操作メニューを表示する表示部（２）と、操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納している操作対象領域情報格納部（３）と、利用者の顔を映し出した映像信号を取得する映像信号取得部（５）と、取得された映像信号が示す画像から利用者の顔画像を切り出し、切り出した顔画像における眼球の運動を解析し、その解析結果と操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、利用者が操作対象を集中して注視しているか否かを示す注視状態を推定し、利用者が操作対象を集中して注視していると推定され、かつ、操作対象に対する操作が行われない場合に、操作対象に対する操作を誘導するための表示制御を表示部（２）に対して行う映像信号処理部（４）とを備える。

Description

明細書

操作誘導装置及び操作誘導方法

技術分野

[0001] 本発明は、利用者による機器操作を誘導する操作誘導装置に関する。

背景技術

[0002] 近年、機器が多機能となり複合機化、システム化していく中、使用方法や手順が複雑ィ匕してきている。そこで、従来、ヘルプ機能やガイダンスなどを使用した操作誘導方式やそれを搭載した電子機器が開示されている (例えば、特許文献 1参照)。

[0003] 特許文献 1に開示された操作誘導方式においては、キーボードもしくはポインティングデバイスの入力時間や誤入力時間間隔の計測によって機器の利用者の習熟度を解析し、解析した習熟度に応じて、利用者が次に行うべき作業について説明したダイアログを表示する頻度を可変にしている。これによつて、利用者の機器操作を効率ィ匕しょうとするものである。

特許文献 1：特開平 9 152926号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、上記特許文献 1に開示された操作誘導方式では、単に入力操作における所要時間に基づいてダイアログの表示頻度を可変にする方式であるために、入力操作における所要時間と操作の習熟度とが必ずしも対応しないケースまでも勘案され、必要でな、ケースにぉ、ても操作の誘導が行われると!、う問題がある。

[0005] たとえば、機器の利用者は使用法を理解していているが意思決定や選択に時間が力かる場合や、次に行うべき作業が複数存在するためにシステムがどのダイアログを表示すべき力が入力時間だけ力もは判断できな、場合などが想定されて、な、。そのために、必要でないケースにおいても操作の誘導が行われ、かえって煩わしさが増すという問題がある。

[0006] そこで、本発明は、このような状況に鑑みてなされたものであり、機器の利用者にとつて真に必要な場合にだけ機器操作を誘導する操作誘導装置及び操作誘導方法を提供することを目的とする。

課題を解決するための手段

[0007] 上記目的を達成するために、本発明に係る操作誘導装置は、利用者による機器操作を誘導する操作誘導装置であって、前記機器操作のための操作メニューを表示する表示手段と、前記操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納して!/ヽる操作対象領域情報格納手段と、前記利用者の顔を映し出した映像信号を取得する映像信号取得手段と、前記映像信号取得手段が取得した映像信号が示す画像から利用者の顔画像を切り出す画像切り出し手段と、前記画像切り出し手段によって切り出された顔画像における眼球の運動を解析する眼球運動解析手段と、前記眼球運動解析手段による解析結果と前記操作対象領域情報格納手段に格納された操作対象領域情報とから、利用者が注視して！/ヽる操作対象を特定するとともに、前記利用者が前記操作対象を集中して注視しているか否かを示す注視状態を推定する注視状況解析手段と、前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段によって推定され、かつ、前記操作対象に対する操作が行われな!/ヽ場合に、前記操作対象に対する操作を誘導するための表示制御を前記表示手段に対して行う表示制御手段とを備えることを特徴とする。これにより、利用者が操作対象を集中して注視しているとき、つまり、機器操作をしようとしているときであって、かつ、操作が停滞しているときにだけ、操作誘導が行われ、機器の利用者にとって真に必要な場合にだけ機器操作が誘導される。

[0008] ここで、前記眼球運動解析手段は、前記利用者の視線方向を解析し、前記注視状況解析手段は、前記眼球運動解析手段によって解析された視線方向に表示される前記操作メニュー上の操作対象を、前記操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、前記利用者が注視している操作対象を特定するのが好ましヽ。

[0009] また、前記眼球運動解析手段は、前記利用者の瞬目率、瞼を閉じるのに要する時間、瞼を開くのに要する時間、及び、瞳孔径の少なくとも 1つを解析し、前記注視状況解析手段は、前記眼球運動解析手段によって解析された瞬目率が予め定めた一定値以下である場合、瞼を閉じるのに要する時間が予め定めた一定値以下である場合、瞼を開くのに要する時間が予め定めた一定値以下である場合、又は、瞳孔径が予め定めた一定値よりも大きい場合に、前記利用者が前記操作対象魏中して注視して、ると判断するのが好まし!/、。

[0010] また、前記表示制御手段は、前記操作対象に対する操作を誘導するための表示制御として、前記操作対象を前記表示手段に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも 1つを変更する第 1の出力モードと、前記表示手段に所定のメッセージを表示する第 2の出力モードと、前記第 1又は第 2の出力モードによる表示制御に音声メッセージを加えた第 3の出力モードとを、前記注視状況解析手段によって推定された前記利用者の集中の程度に応じて、切り替える構成としてもよい。これにより、機器操作の習熟度に対応した丁寧さで操作誘導が行われ、様々な習熟度の利用者にとって煩わしさを感じることがない快適な操作誘導装置が実現される

[0011] また、前記操作誘導装置はさらに、前記利用者がどのような操作をしょうとしているかを推定する利用者意図推定手段を備え、前記表示制御手段は、前記注視状況解析手段によって特定された操作対象が前記利用者意図推定手段によって推定された操作に対応する操作対象と一致し、かつ、前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段によって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記表示制御を行う構成としてもよい。これにより、操作者が操作しょうとしている対象に対して操作誘導が行われるので、より利用者の意図を反映した的確な操作誘導が可能となる。

[0012] ここで、前記操作対象領域情報格納手段はさらに、利用者の操作に関する意図と利用者の眼球運動を伴う行動上の特徴とを対応づけたテーブルである利用者意図理解支援用情報を格納し、前記利用者意図推定手段は、前記操作対象領域情報格納手段に格納された利用者意図理解支援用情報を参照することで、前記眼球運動解析手段で解析された利用者の眼球運動に対応する利用者の操作に関する意図を特定し、特定した意図を前記利用者の意図として推定するのが好ましい。

[0013] なお、本発明は、このような操作誘導装置として実現できるだけでなぐ操作誘導方法として実現したり、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録した CD— ROM等のコンピュータ読み取り可能な記録媒体として実現することもできる。

発明の効果

[0014] 本発明によれば、機器の利用者にとって真に必要な場合にだけ機器操作が誘導され、これにより、やり方が分かっているのにいちいち誘導するようなおせつかいなヘルプ等が回避され、煩わしさが改善されるので、機器操作における快適性が向上される

[0015] また、機器操作の習熟度に応じた操作誘導が行われ、初心者にとっても熟練者にとっても煩わしくない操作インターフェースが実現される。

[0016] よって、本発明により、機器操作が適切に支援され、特に、電子機器の高機能化に伴って操作が複雑ィ匕してきた今日において、本発明の実用的価値は極めて高い。図面の簡単な説明

[0017] [図 1]図 1は、本発明の実施形態に係る操作誘導装置の適用例を示す図である。

[図 2]図 2は、本発明の第 1の実施形態に係る操作誘導装置の構成を示す機能ブロック図である。

[図 3]図 3は、映像信号処理部の詳細な構成を示すブロック図である。

[図 4]図 4 (a)及び (b)は、水平方向の視線を計測する方法を説明する図である。

[図 5]図 5 (a)及び (b)は、垂直方向の視線の計測する方法を説明する図である。

[図 6]図 6は、瞬目波形の一例を示す図である。

[図 7]図 7は、瞬目情報あるいは瞳孔情報による生理 ·心理状態推定との相関関係を示す図である。

[図 8]図 8は、映像信号処理部の処理手順を示すフローチャートである。

[図 9]図 9は、「番組表から見る」操作の流れを示すフローチャートである。

[図 10]図 10は、図 9における操作を説明するためのリモコンの外観図である。

[図 11]図 11は、番組表から見た、番組を選択するための GUI表示例である。

[図 12]図 12は、操作対象領域情報のデータ例を示す図である。

[図 13]図 13は、番組表から見たい番組を選んで決定する操作を説明するためのリモコンの外観図である。 [図 14]図 14は、「今日の番組表」から「明日の番組表」に切り替える操作の手順 (利用者が操作手順を戸惑うことなくスムーズに実行した場合の手順)を示すフローチャートである。

[図 15]図 15は、図 14における操作を説明するためにリモコンの外観図である。

[図 16]図 16は、第 1の実施形態において「今日の番組表」から「明日の番組表」に切り替える操作の流れを示すフローチャートである。

[図 17]図 17は、図 16における操作誘導の表示例 (複数段階による 2重画面)を示す図である。

[図 18]図 18は、本発明の第 2の実施形態に係る操作誘導装置を示す機能ブロック図である。

圆 19]図 19は、利用者意図理解支援用情報のデータ例を示す図である。

[図 20]図 20は、操作誘導装置による利用者意図の推定を中心とした動作を示すフロ一チャートである。

[図 21]図 21は、利用者意図推定部の処理の流れを示すフローチャートである。

符号の説明

1、 10 操作誘導装置

2、 12 表示部

3、 13 操作対象領域情報格納部

4、 14 映像信号処理部

5、 15 映像信号取得部

6 カメラ

7 テレビ

8 リモコン

16 利用者意図推定部

17 入力部

41 表示制御部

42 注視状況解析部

43 眼球運動解析部 44 画像切り出し部

発明を実施するための最良の形態

[0019] 以下、本発明の実施の形態について、図面を参照して説明する。

[0020] (第 1の実施形態）

まず、本発明の第 1の実施形態について説明する。

[0021] 図 1は、本発明の第 1の実施形態に係る操作誘導装置の適用例を示す図である。

本実施の形態における操作誘導装置は、利用者による機器操作を誘導する装置であり、一例として、機器の利用者の顔を撮像するカメラ 6や、操作用のリモコン 8等を備えるテレビ 7に組み込まれる形態で実現される。

[0022] 図 2は、本実施形態に係る操作誘導装置 1の機能構成を示すブロック図である。本図に示されるように、操作誘導装置 1は、表示部 2、操作対象領域情報格納部 3、映像信号処理部 4及び映像信号取得部 5を備えてヽる。

[0023] 表示部 2は、機器操作のための操作メニュー等を表示する LCD、 PDP、有機 ELデイスプレイ、 CRT等であり、図 1におけるテレビ 7の画面に対応する。

[0024] 操作対象領域情報格納部 3は、操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納しているメモリ等である。

[0025] 映像信号取得部 5は、機器の利用者の顔を映し出した映像信号を取得する処理部であり、図 1におけるカメラ 6に対応する。なお、カメラ 6は、可視光力メラだけでなぐ赤外線 (あるいは近赤外光)カメラ等も含まれる。

[0026] 映像信号処理部 4は、映像信号取得部 5により取得された映像信号をもとに、利用者の眼球運動を解析し、その解析結果に基づいて、使用者が真に操作の誘導を必要としているケースにだけ、その誘導のための表示制御を表示部 2に対して行う処理部であり、 CPUとプログラム等によって実現される。

[0027] 図 3は、図 2における映像信号処理部 4の詳細な機能構成を示すブロック図である

。映像信号処理部 4は、画像切り出し部 44、眼球運動解析部 43、注視状況解析部 4

2及び表示制御部 41を備えている。

[0028] 画像切り出し部 44は、映像信号取得部 5が取得した映像信号が示す画像から、輪郭処理等により、利用者の顔画像を切り出す処理部である。 [0029] 眼球運動解析部 43は、画像切り出し部 44によって切り出された顔画像における眼球の運動 (利用者の視線方向、視線移動軌跡、視線停留時間、輻輳 '開散、瞬目率、瞬目の動特定 (瞼を閉じるのに要する時間，瞼を開くのに要する時間）、瞳孔径、瞳孔の動特性 (光量の変化が検出された時の瞳孔径の変化率)等)を解析する。

[0030] 注視状況解析部 42は、眼球運動解析部 43による解析結果と操作対象領域情報格納部 3に格納された操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、利用者が操作対象を集中して注視しているか否かを示す注視状態を解析する。

[0031] 表示制御部 41は、利用者が操作対象を集中して注視していると注視状況解析部 4 2によって推定され、かつ、その操作対象に対する操作が一定時間内に行われない場合に、その操作対象に対する操作を誘導するための表示制御を表示部 2に対して行う処理部である。

[0032] なお、表示制御部 41は、利用者の操作の有無については、リモコン 8による操作を監視することによって判断する。また、操作を誘導するための表示制御としては、操作対象を表示部 2に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも 1つを変更する、あるいは操作対象を強調表示 (立体表示や点滅など）にする第 1の出力モードと、表示部 2に所定のメッセージを表示する第 2の出力モードと、第 1又は第 2の出力モードによる表示制御に音声メッセージを加えた第 3の出力モードとを、注視状況解析部 42によって推定された利用者の集中の程度に応じて、切り替えて実行する。

[0033] ここで、眼球運動解析部 43による眼球運動の解析の詳細、及び、眼球運動を解析する意義について説明する。

[0034] 眼球運動解析部 43は、画像切り出し部 44で切り出された顔画像の中から視線方向の解析を行う。解析方法としては、図 4と図 5に示すように、水平方向と垂直方法の強膜（白目）と角膜 (黒目）の位置関係や割合によつて、表示部 2 (画面)上の点を同定する。通常、水平方向と垂直方向の眼球運動情報だけでは、視線方向は検出できる力奥行きを検出できないので、眼球運動情報の中からさらに左右の眼の輻輳 (いわゆる近くを見ている時の寄り眼の状態)や開散 (遠くを見ている時に開き眼の状態）を検出して、 3次元的な注視点を抽出する。輻輳 '開散については、さらに精度を上げるために、予めキャリブレーションによって表示部 2を見ているときの寄り眼 ·開き眼の程度を計測しておくことで、検出してもよい。

[0035] また、眼球運動解析部 43は、画像切り出し部 44が切り出した眼の付近の画像データから、眼の開き度合いを表す上下瞼の間隔 (以下、「眼の開度」と称す)を計測する。そして、 1フレームごとの眼の開度を計測し、図 6に示されるような、目の開度の時間変化を示す波形 (以下、「瞬目波形」と称す)を作成する。眼球運動解析部 43は、作成した瞬目波形から、単位時間当たりの瞬目の回数 (瞬目率)や、瞬目の動特定 (瞼を閉じるのに要する時間、瞼を開くのに要する時間）を算出する。

[0036] 本実施形態では、操作誘導装置 1が起動すると、カメラ (映像信号取得部 5)が利用者の顔の撮像を開始する。操作誘導装置 1の動作中は、例えば 1分毎に、その直前 1分間の利用者の映像を解析し、瞬目情報を用いて生理状態を推測する。そして、当該生理状態に応じて、画面の表示状態を変化させる。つまり、操作誘導装置 1は、例えば 1分毎に、利用者の生理状態に応じて画面の表示状態を変えていく。併せて、映像信号取得部 5は、利用者の顔の撮像を開始する。撮像された画像データは、図示されないバッファに蓄積されていく。ここで、例えば、上述した近赤外光による画像においては、虹彩での反射率が高いため、瞳孔だけが暗ぐ虹彩は眼球の白目より若干暗い程度の明るさとなる。すなわち、近赤外光による画像では、瞳孔が一番暗ぐ次に、虹彩、白目、瞼などの皮膚の順に明るくなる。そのため、この明るさの差を利用して瞳孔や瞼等を識別することが可能となる。

[0037] 生理状態の推定に瞬目情報を用いる理由は、次の通りである。つまり、例えば、テレビ観視時には、瞬目回数は顕著に低下する。し力も、テレビ番組が面白い、すなわち興味 ·関心の度合、が高、ときほど瞬目が少なくなる。関心度の高、ものを見て、るときは、瞬目回数は少なくなる。また、緊張や作業が長時間続くと、瞼が重い、あるいは眼を開けているのがつらく感じられるようになる。このような場合、すなわち、疲労している状態のときは、瞼が閉じるまでの時間、あるいは瞼が開くまでの時間が有意に長くなる。また、眠くなつてきたときや疲労しているときなど、意識水準や活動水準が低下している状態になると、 1〜2秒間の間に数回の瞬目が連続的に発生 (これは、瞬目群発と呼ばれる）するようになる。以上のような瞬目の特性を計測すれば、利用者がコンテンツに集中している力、読み疲れてきている力、あるいは眠い状態なのか等を推定することができる。

[0038] また、瞳孔径の変動によっても、利用者の生理'心理状態が推定できる。光が眼に入ったときには瞳孔は小さくなり（対光反応と呼ばれる）、暗いところでは大きくなる。瞳孔径は、若年者では直径最小 2mm、最大 8mm程度まで変化する。一方、高齢者では、暗いところでも瞳孔径は若年者のようには大きくならず、最大 6mm程度までである。また、対光反応についても、若年者と高齢者とでは、応答速度特性が異なり、高齢者のほうが反応が遅い。

[0039] 瞳孔径の変化については、次の通りである。眼に入射する光の量が一定でも、瞳孔の大きさは低周波で揺らいでいる。そして、緊張時は瞳孔が大きく開いており（散瞳）、動揺も目立たない。しかし、疲労を感じてくる、あるいは、眠くなつてくると、瞳孔は小さくなり（縮瞳）、動揺し始める。そして、疲れているほど、あるいは、眠いほど、動揺は大きくなる。また、関心があるものを見るときにも瞳孔は大きくなる。一方、退屈な写真や意味不明な抽象画等の関心の薄いものに対しては、瞳孔の大きさはほとんど変化しない。このように、瞳孔の変化は人間の心理状態を反映する。そのため、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層や対象物への関心度や疲労状態等を推定することができる。

[0040] 図 7は、以上のような瞬目情報及び瞳孔情報と生理'心理状態推定との相関関係をまとめて示したテーブルである。

[0041] 本実施の形態では、眼球運動解析部 43で得られた眼球運動の解析結果を以下のように利用している。注視状況解析部 42は、眼球運動解析部 43によって解析された視線方向に表示される操作メニュー上の操作対象を、操作対象領域情報格納部 3に格納された操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、利用者が注視している操作対象を特定する。

[0042] また、注視状況解析部 42は、眼球運動解析部 43によって解析された瞬目率が予め定めた一定値以下である場合、瞼を閉じるのに要する時間が予め定めた一定値以下である場合、瞼を開くのに要する時間が予め定めた一定値以下である場合、又は、瞳孔径が予め定めた一定値よりも大きい場合に、利用者が操作対象を集中して注視していると判断する。そして、表示制御部 41は、利用者が操作対象を集中して注視していると注視状況解析部 42によって推定され、かつ、操作対象に対する操作が行われない場合に、その操作対象に対する操作を誘導するための表示制御を表示部 2に対して行う。これによつて、機器の利用者にとって真に必要な場合にだけ機器操作を誘導することが可能となる。

[0043] なお、瞳孔径の変動は年齢などの要因も含めて個人差があるが、個人認証などで非常に精度の良い認証が可能な虹彩情報も同様のカメラ力の映像信号で取得できるので、虹彩認証のメカニズムを眼球運動解析部 43に組み込めば、個人の変動率を考慮した、より精度の良い生理'心理状態の推定ができる。

[0044] 次に、以上のように構成された本実施形態における操作誘導装置 1の動作について説明する。なお、利用者の生理'心理状態の推定については、瞳孔径の変動のみでの生理'心理状態推定、瞬目率の変動のみでの生理'心理状態推定、及び、瞳孔径の変動と瞬目率の変化とからの生理'心理状態推定が存在するが、本実施形態では、両方の情報 (瞳孔径の変動と瞬目率の変化)力もの推定を行う場合を説明する。

[0045] 図 8は、映像信号処理部 4の処理手順を示すフローチャートである。

[0046] まず、画像切り出し部 44は、映像信号取得部 5から、取得された映像信号を受け取り（ステップ S11)、受け取った映像信号を用いて、例えば 1フレーム毎に、抽出された画像情報力も眼球運動情報の切り出しに必要な部分を抽出する (ステップ S12)。そして、眼球運動解析部 43は、切り出された情報から、眼球運動情報 (視線方向、視線移動軌跡、視線停留時間、輻輳 '開散、瞬目率、瞬目の動特定、瞳孔径、瞳孔の動特性等)を解析し、その結果を示す眼球運動情報を注視状況解析部 42に渡す (ステツプ S 13)。

[0047] 続いて、注視状況解析部 42は、眼球運動解析部 43によって解析された視線方向に表示される操作メニュー上の操作対象を、操作対象領域情報格納部 3に格納された操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、利用者が注視している操作対象を特定する (ステップ S14)。具体的には、注視状況解析部 42は、例えば、視線方向と一致する操作対象を特定し、特定した操作対象及びその付近において、一定時間以上の視線停留時間が存在したり、視線移動軌跡が描かれたりした場合に、操作対象を有効に特定できたと判断する。

[0048] その結果、操作対象を有効に特定できた場合には (ステップ S15で Yes)、注視状況解析部 42は、眼球運動解析部 43で得られた眼球運動情報に基づいて、利用者の注視状態が集中モード (集中して注視して、る状態)か非集中モード (集中してヽない状態)かのモード判定を行う（ステップ S16)。具体的には、以下の条件でモード判定を行う。

(1)計測された瞬目数≤ 20

→視覚情報処理に熱中しており、集中モードと判定する。

(2) (瞬目数 > 20) & (1〜2秒の間に数回の瞬目群発がある）

→覚醒水準が低下し、非集中モードと判定する。

(3)瞬目の動特性が有意に（一定のしき!/、値より）長!、

→非集中モードと判定する。

(4)計測された瞳孔径≤ 3mm

→縮瞳しており、非集中モードと判定する。

(5) (瞳孔径> 5111111)

→散瞳しており、覚醒度が高ぐ集中モードと判定する。

(6)瞳孔の動特性が遅く（一定のしきい値より小さい）、かつ、若者瞳孔（2mm≤瞳孔径≤8111111)、かつ、縮瞳

→非集中モードと判定する。

(7)瞳孔の動特性が遅く（一定のしきい値より大きい）、かつ、老人瞳孔（瞳孔径≤6 mm)、かつ、散瞳

→集中モードと判定する。

[0049] このとき、上記条件（1)〜（7)によって集中モード及び非集中モードと判定される結果が混在した場合には、注視状況解析部 42は、例えば、判定数の多い結果 (集中モード Z非集中モード)を採用する。

[0050] その結果、注視状況解析部 42によって注視状態が集中モードと判定された場合は

(ステップ S 17で Yes)、続いて、表示制御部 41は、操作対象に対する操作が行われた力否かを判断する (ステップ S18)。例えば、リモコン 8による操作を監視することで、利用者が操作対象を集中して注視し始めてから一定時間内にその操作対象に対する操作を行ったカゝ否かを判断する。

[0051] その結果、その操作対象に対する操作が行われなカゝつた場合に (ステップ S 18で N 〇）、表示制御部 41は、誘導操作が必要なケースが発生していると判断し、その操作対象に対する操作の誘導のための表示制御を行う（ステップ S19)。このとき、表示制御部 41は、例えば、上記条件（1)〜（7)のうちの 1個の条件によって集中モードと判定された場合には、操作対象を表示部 2に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも 1つを変更する、あるいは操作対象を強調表示（立体表示や点滅など）にする第 1の出力モードで表示制御し、上記条件（1)〜（7)のうちの 2個の条件によって集中モードと判定された場合には、表示部 2に所定のメッセージを表示する第 2の出力モードで表示制御し、上記条件（1)〜（7)のうちの 3個以上の条件によって集中モードと判定された場合には、第 1又は第 2の出力モードによる表示制御に音声メッセージを加えた第 3の出力モードで表示制御するというように、利用者の集中の程度に応じて出力モードを切り替える。

[0052] あるいは、出力モードの他の切り替え例として、例えば、第 1の出力モードで操作対象を表示し、一定時間（5秒等)経過しても利用者が操作しない場合に第 2の出力モードに切り替え、さらに一定時間（さらに 5秒等)経過しても利用者が操作しない場合に第 3の出力モードに切り替えるというように、操作が行われない時間の経過に伴つてより親切な出力モードに切り替えて、く方式でもよ、。

[0053] なお、操作対象が有効に特定されな力つた場合 (ステップ S15で No)、あるいは、注視状態が非集中モードであると判定された場合 (ステップ S 17で No)、あるいは、操作対象に対する操作が一定時間内に行われた場合 (ステップ S 18で Yes)には、操作の誘導が必要でないと判断され、特別な表示制御は行われず、表示部 2には通常の操作メニュー等が表示されたままの状態となる。

[0054] このように、本実施形態における操作誘導装置 1によれば、利用者の眼球運動に基づいて、利用者が操作対象を集中して注視しているにも拘わらず、その操作対象に対する操作が行われなカゝつた場合、つまり、利用者が真に操作の誘導を必要としている場合が推定され、そのような場合にだけ、機器操作の誘導が行われる。これにより、機器操作のガイダンスやヘルプ機能にっヽての煩わしさが解消される。

[0055] 次に、本実施形態における操作誘導装置 1の具体的な動作例について説明する。

ここでは、テレビ 7の番組選択を例として説明する。

[0056] まず、利用者のテレビ 7に対する基本的な操作手順の流れを説明する。図 9は、「番組表から見る」操作の流れを示すフローチャートである。図 10は、その操作を説明するためのリモコン 8の外観図である。

[0057] 番組表力見た、番組を選択する場合、利用者は、まず、見た、放送 (放送の種別）を選ぶ (ステップ S21)。具体的には、図 10に示されるように、リモコン 8の左側の縦に配列されている 4つのボタン B1を選択することで、地上アナログ Z地上ディジタル ZBSZCSのどれかに切り替える。

[0058] 続、て、「番組表」のボタン B2を押す (ステップ S 22)。これによつて、テレビ 7の画面が切り替わり、図 11に示されるような、番組表から見たい番組を選択するための GUI 表示例になる。

[0059] そこで、利用者は、「矢印」及び「決定」ボタン B3を用いて、番組表から見たい番組を選んで決定する (ステップ S 23)。すると、選択された番組内容が表示される (ステツプ S24)。

[0060] 図 12は、操作対象領域情報格納部 3に格納されている操作対象領域情報、つまり、表示部 2 (画面）上の注視点から注視対象となる GUI部品を同定するために必要な情報テーブルの例を示す図である。

[0061] 図 11に示される表示例では、画面上の表示領域として、日付表示領域 R1、番組表操作領域 R2、日付変更領域 R3、番組情報提示領域 R4があり、各領域 R1〜R4 には、図 12に示されるテーブルのように、 GUI部品（操作対象）の「番号」、「画像領域名」、「表示画像アドレス」、「枚数」、「領域座標」、「リモコン対応キー」に関する情報が対応づけられている。

[0062] ここで、「画像領域名」には、日付表示領域、番組表操作領域、日付変更領域、番組表提示領域等の名前が格納されている。「表示画像アドレス」には、画面領域に表示された表示画像が格納されているメモリのアドレスが格納されている。「枚数」には、上記表示画像の枚数が格納されている。複数枚数の表示画像によって、ボタンを押した時の反転画像やアニメーション表示が可能になる。「領域座標」には、表示画像を表示する表示部 2 (画面）上の座標が格納されて、る。「リモコン対応キー」には、画面領域に対応するリモコン 8のボタンやキーの IDと個数が格納されている。

[0063] これらの情報により、表示画面とリモコン 8のボタンとが動的に対応付けられる。例えば、図 13に、番組表から見たい番組を選んで決定する操作で使用されるリモコン 8のボタンと操作対象との対応関係の例を示す。リモコン 8には、日付変更領域 R3の操作用ボタン B4、番組表操作領域 R2の操作用ボタン B5、番組情報提示領域 R4の操作用ボタン B3が存在する力画面表示されている GUIの位置と必ずしも一致した位置には配置されていない。

[0064] 次に、上述した番組選択における操作手順にぉヽて、操作の誘導が必要とされる確率が高い手順、つまり、利用者が戸惑いがちな手順の例を説明する。ここでは、そのような手順の例として、「今日の番組表」から「明日の番組表」に切り替える操作の流れを示すフローチャート (利用者が操作手順を戸惑うことなくスムーズに実行した場合)を図 14に示す。図 15は、その操作を説明するためのリモコン 8の外観図である。

[0065] 利用者は、図 12に示される番組表から、見たい番組を選択するための GUI表示画面上の日付変更領域 R3に注視対象を移す (ステップ S31)。続いて、利用者は、翌日ボタン（図 15に示される黄色いボタン B41)を注視し確認した後に (ステップ S32) 、リモコン 8の黄色いボタン B41を押す (ステップ S33)。そして、利用者は、番組表が翌日の情報に更新されたことを確認する (ステップ S34)。

[0066] 次に、このような「今日の番組表」から「明日の番組表」への切り替え操作における本実施形態の操作誘導装置 1の具体的な動作について説明する。

[0067] 図 16は、利用者が「今日の番組表」から「明日の番組表」に切り替える操作における操作誘導装置 1の動作手順を示すフローチャートである。

[0068] まず、注視状況解析部 42は、操作対象を特定する (ステップ S41)。ここでは、注視状況解析部 42は、眼球運動解析部 43による眼球運動の解析結果 (視線方向等)と操作対象領域情報格納部 3に格納された操作対象領域情報とを照合することで、利用者の注視対象が表示部 2に表示された日付変更領域 R3であることを特定する。 [0069] 続ヽて、注視状況解析部 42は、注視状態が集中モードであるかどうかを判定する（ステップ S42)。その結果、注視状態が集中モードでない (非集中モードである）と判定された場合には (ステップ S42で No)、この手順における操作誘導が不要であると判断し、特別な操作誘導は行われない。一方、注視状態が集中モードであると判定された場合には (ステップ S42で Yes)、表示制御部 41は、続いて、日付変更領域 R 3に対する操作、つまり、翌日ボタン（リモコン 8の黄色いボタン B41)が押されたか否か判断する (ステップ S43)。

[0070] その結果、翌日ボタンが押された場合には (ステップ S43で Yes)、番組表が翌日の情報に更新されるが (ステップ S45)、一方、翌日ボタンが押されない場合には (ステップ S43で No)、表示制御部 41は、表示部 2に表示された日付変更領域 R3に注視対象を移すように操作誘導を行う (ステップ S44)。操作誘導として、日付表示領域 R 1の強調表示 (アニメーション、色変化、矢印等)や音声案内などを行う。具体的には、図 17の表示例に示されるように、利用者の集中の程度に応じて、リモコン 8上の日付変更領域 (黄色いボタン B41)に利用者が注視対象を移すように、表示部 2にリモコン 8の画像を表示し、表示したリモコン上の黄色いボタンに操作誘導するために日付表示領域 R1を強調表示 (アニメーション、色変化、矢印等の表示)するか、音声で「リモコンの黄色、ボタンを押してくださ、」などの音声案内を行う。

[0071] このとき、図 17に示される「今日の番組表」から「明日の番組表」に切り替える操作誘導の複数段階による 2重画面の表示例のように、表示制御部 41は、（1)第 1段階として、日付変更領域 R3を強調表示し、それでも、利用者が次に行う操作が理解できない場合、（2)第 2段階として、翌日ボタンに対応するリモコン 8の位置を子画面に表示、あるいは Zかつ、「リモコン 8の黄色いボタンを押してください」という音声案内を行う、というように、時間の経過に伴って操作誘導の程度を変化させてもよい。

[0072] このような操作誘導によって、利用者は、翌日ボタンを押すことによって「今日の番組表」から「明日の番組表」に切り替えることができると気付き、翌日ボタンを押す。これによって、番組表は、翌日の情報に更新される (ステップ S45)。

[0073] このように、第 1の実施形態では、利用者の注視状態と注視対象を推定すること〖こより、本当に必要な時に、必要なだけの操作誘導を行うための画面の表示制御あるいは音声案内付き表示が行われる。つまり、人間の生理情報を取得するための映像信号取得部を有することで、利用者の注視状態や注視対象が解析でき、次期操作を行う必要のある操作画面領域に利用者の注視対象が入っていて、かつ、注視状態が集中モードである場合など、本当に必要な場合だけ、音声やアニメーションによる表示制御を行い、誘導喚起が行われるので、煩わしくないインターフェースが実現でき、快適性と利便性が向上される。

[0074] なお、表示制御の手法としては、上述の輝度'コントラスト調整の他に、画面の色調を変更しても良い。更に、画面に表示する画像をその部分だけ拡大して表示してもよい。

[0075] (第 2の実施形態）

次に、本発明の第 2の実施形態について説明する。

[0076] 図 18は、本発明の第 2の実施形態に係る操作誘導装置 10の機能構成を示すプロック図である。操作誘導装置 10は、第 1の実施形態の操作誘導装置に、利用者がどのような操作をしょうとして、るかを推定する機能を付加したものに相当し、表示部 12 、操作対象領域情報格納部 13、映像信号処理部 14、映像信号取得部 15、利用者意図推定部 16及び入力部 17を備えてヽる。

[0077] なお、操作誘導装置 10が備える構成要素のうち、表示部 12、操作対象領域情報格納部 13、映像信号処理部 14及び映像信号取得部 15は、それぞれ、第 1の実施形態における表示部 2、操作対象領域情報格納部 3、映像信号処理部 4及び映像信号取得部 5が有する機能を備える。たとえば、映像信号処理部 14は、第 1の実施形態における映像信号処理部 4が有する構成要素 41〜44と同一のものを有する。以下、第 1の実施形態と異なる点を中心に説明する。

[0078] 入力部 17は、利用者による操作指示を取得する処理部であり、図 1に示されるリモコン 8等に相当する。

[0079] 操作対象領域情報格納部 13は、操作対象領域情報に加えて、図 19に示されるような利用者意図理解支援用情報を格納している。利用者意図理解支援用情報は、利用者の操作に関する意図と利用者の眼球運動を伴う行動上の特徴とを対応づけたテーブルであり、その意図を識別する「番号」、その意図の名前を示す「利用者意図名」、行動上の特徴を記述した情報の格納場所を示す「注視行動 DBアドレス」、その特徴に属する行動の個数を示す「個数」、その行動を識別する「行動名 ID」等からなる。なお、図 19に示されたテーブルにおける「行動名→対処法」は、「注視行動 DB アドレス」で示される格納場所に格納された行動上の特徴を示す情報の内容例である。例えば、「日付変更」という「利用者意図名」を持っている番号 1のデータでは、「行動名→対処法」に記載されているように、「表示部 12に表示された日付変更領域とリモコンとを交互に注視している場合には、日付を変更したいが操作方法がわ力もな

V、」、う行動上の特徴を記述した情報が登録されて、る。

[0080] 利用者意図推定部 16は、利用者がどのような操作をしょうとしているかを推定する処理部であり、入力部 17、操作対象領域情報格納部 13及び映像信号処理部 14と連動して動作する。具体的には、利用者意図推定部 16は、入力部 17からの入力が一定時間内になされず、かつ、次に操作される操作対象が定まっていない場合には、操作対象領域情報格納部 13に格納された利用者意図理解支援用情報を参照することで、映像信号処理部 14から得られる注視対象及び注視状態に関する利用者情報に対応する利用者の操作に関する意図を特定し、特定した意図を利用者の意図として推定する。そして、利用者意図推定部 16は、推定した意図に対応する操作対象、あるいは、予め定まっている場合にはその操作対象を、次期操作に係る操作対象として、映像信号処理部 14に通知する。

[0081] 映像信号処理部 14は、利用者意図推定部 16からの依頼コマンドを受けて、注視状況解析部 42で解析された利用者の注視対象及び注視状態に関する利用者情報を利用者意図推定部 16に返信する。また、映像信号処理部 14の表示制御部 41は、注視状況解析部 42によって特定された操作対象が、利用者意図推定部 16から通知される次期操作に係る操作対象と一致し、かつ、利用者がその操作対象を集中して注視していると注視状況解析部 42によって推定され、かつ、その操作対象に対する操作が行われなヽ場合にだけ、操作を誘導するための表示制御を行う。

[0082] 次に、以上のように構成された本実施形態における操作誘導装置 10の動作について説明する。

[0083] 図 20は、操作誘導装置 10による利用者意図の推定を中心とした動作を示すフロ一チャートである。まず、利用者意図推定部 16は、入力部 17からの入力を一定時間待つ (ステップ S51)。一定時間待っても利用者からの入力がない場合、利用者状態の推定処理に進む。

[0084] ここで、利用者意図推定部 16は、実行したい操作指示が利用者力も既に入力されているか、あるいは、実行したい機能の要求が既に出されているかどうかをチェックする（ステップ S 52)。

[0085] その結果、操作指示が既に入力されて、る力、あるいは、機能要求が既に出されている場合には (ステップ S52で Yes)、利用者意図推定部 16は、その操作指示、あるいは、機能要求に対応する操作対象を映像信号処理部 14に通知する (ステップ S5 4)。一方、操作指示が既に入力されておらず、かつ、機能要求が既に出されていない場合には (ステップ S52で No)、利用者意図推定部 16は、操作対象領域情報格納部 13及び映像信号処理部 14と連動して利用者の意図を推定し (ステップ S53)、その意図に対応する操作対象、つまり、次期操作の対象となる操作対象を映像信号処理部 14に通知する（ステップ S54)。

[0086] そして、次期操作対象の通知を受けた映像信号処理部 14の表示制御部 41は、注視状況解析部 42によって特定された操作対象が、利用者意図推定部 16から通知された次期操作に係る操作対象と一致し、かつ、利用者がその操作対象を集中して注視していると注視状況解析部 42によって推定され、かつ、その操作対象に対する操作が行われて、なヽ (操作が停滞して、る）力否かを判断し (ステップ S55)、それらの条件が満たされて、ると判断した場合にだけ (ステップ S55で Yes)、操作を誘導するための表示制御を行う（ステップ S56)。

[0087] 図 21は、利用者意図推定部 16での処理の詳細な流れを示すフローチャートである。利用者意図推定部 16は、映像信号処理部 14に対して、ある一定時間の注視対象及び注視状態に関する利用者情報を得るためのコマンドを送り、注視に関する利用者情報を得る (ステップ S61)。

[0088] そして、利用者意図推定部 16は、操作対象領域情報格納部 13に格納してある利用者意図理解支援情報及び操作対象領域情報を参照することで、映像信号処理部 14から得られた利用者情報を元に、利用者の意図を推定し、推定された利用者意図番号、あるいは、推定された意図に対応する操作対象を映像信号処理部 14に通知する (ステップ S62)。つまり、利用者意図推定部 16は、利用者意図理解支援用情報における「行動名→対処法」のうち、「行動名（条件節）」について、映像信号処理部 14から得られた注視対象及び注視状態に関する利用者情報と一致するものを特定し、特定した「行動名（条件節)」に対応する「対処法」に示される操作対象を、次期操作に係る操作対象として、映像信号処理部 14に通知する。

[0089] このようにして、本実施の形態における操作誘導装置 10によれば、利用者が注視している操作対象が次に操作されるものであり、かつ、利用者がその操作対象を集中して注視しているが、その操作対象に対する操作が行われない場合にだけ、操作を誘導するための表示制御が行われる。よって、利用者が真に操作の誘導を必要としている場合にだけ、機器操作の誘導が行われ、これにより、機器操作のガイダンスやヘルプ機能についての煩わしさが解消され、操作インターフェースにおける快適性と利便性が向上される。

[0090] 以上、本発明に係る操作誘導装置について、第 1及び第 2の実施形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。

[0091] たとえば、各実施形態における構成要素を任意に組み合わせて実現される操作誘導装置も本発明に含まれる。

[0092] また、上記第 2の実施形態では、次期操作の対象は、利用者意図理解支援情報とそのときの利用者の眼球運動に基づいて推定されたが、次期操作の対象の推定については、この手法だけに限られず、例えば、予め内部に記憶された典型的な操作手順を示すデータに従って推定してもよヽ。

[0093] また、上記実施形態では、本発明に係る操作誘導装置は、テレビに組み込まれて適用されたが、本発明は、テレビだけでなぐパーソナルコンピュータや各種案内装置等の表示画面を備えるあらゆる種類の機器用の操作誘導装置として適用することができる。

産業上の利用可能性

[0094] 本発明は、利用者による機器操作を誘導する操作誘導装置として、例えば、テレビ等の画面を備える電子機器用の操作誘導装置として、特に、ディジタルデバイドの問題にも対応した操作誘導装置、高齢者に適した操作誘導装置等として有用である。

Claims

請求の範囲

[1] 利用者による機器操作を誘導する操作誘導装置であって、

前記機器操作のための操作メニューを表示する表示手段と、

前記操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納してヽる操作対象領域情報格納手段と、

前記利用者の顔を映し出した映像信号を取得する映像信号取得手段と、前記映像信号取得手段が取得した映像信号が示す画像から利用者の顔画像を切り出す画像切り出し手段と、

前記画像切り出し手段によって切り出された顔画像における眼球の運動を解析する眼球運動解析手段と、

前記眼球運動解析手段による解析結果と前記操作対象領域情報格納手段に格納された操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、前記利用者が前記操作対象を集中して注視しているか否かを示す注視状態を推定する注視状況解析手段と、

前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段〖こよって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記操作対象に対する操作を誘導するための表示制御を前記表示手段に対して行う表示制御手段と

を備えることを特徴とする操作誘導装置。

[2] 前記眼球運動解析手段は、前記利用者の視線方向を解析し、

前記注視状況解析手段は、前記眼球運動解析手段によって解析された視線方向に表示される前記操作メニュー上の操作対象を、前記操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、前記利用者が注視してヽる操作対象を特定する

ことを特徴とする請求項 1記載の操作誘導装置。

[3] 前記眼球運動解析手段は、前記利用者の瞬目率、瞼を閉じるのに要する時間、瞼を開くのに要する時間、及び、瞳孔径の少なくとも 1つを解析し、

前記注視状況解析手段は、前記眼球運動解析手段によって解析された瞬目率が予め定めた一定値以下である場合、瞼を閉じるのに要する時間が予め定めた一定値以下である場合、瞼を開くのに要する時間が予め定めた一定値以下である場合、又は、瞳孔径が予め定めた一定値よりも大きい場合に、前記利用者が前記操作対象を集中して注視して!/、ると判断する

ことを特徴とする請求項 1記載の操作誘導装置。

[4] 前記表示制御手段は、前記操作対象に対する操作を誘導するための表示制御として、前記操作対象を前記表示手段に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも 1つを変更する第 1の出力モードと、前記表示手段に所定のメッセージを表示する第 2の出力モードと、前記第 1又は第 2の出力モードによる表示制御に音声メッセージを加えた第 3の出力モードとを、前記注視状況解析手段によつて推定された前記利用者の集中の程度に応じて、切り替える

ことを特徴とする請求項 1記載の操作誘導装置。

[5] 前記操作誘導装置はさらに、前記利用者がどのような操作をしょうとしているかを推定する利用者意図推定手段を備え、

前記表示制御手段は、前記注視状況解析手段によって特定された操作対象が前記利用者意図推定手段によって推定された操作に対応する操作対象と一致し、かつ、前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段によって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記表示制御を行う

ことを特徴とする請求項 1記載の操作誘導装置。

[6] 前記操作対象領域情報格納手段はさらに、利用者の操作に関する意図と利用者の眼球運動を伴う行動上の特徴とを対応づけたテーブルである利用者意図理解支援用情報を格納し、

前記利用者意図推定手段は、前記操作対象領域情報格納手段に格納された利用者意図理解支援用情報を参照することで、前記眼球運動解析手段で解析された利用者の眼球運動に対応する利用者の操作に関する意図を特定し、特定した意図を前記利用者の意図として推定する

ことを特徴とする請求項 5記載の操作誘導装置。

[7] 表示装置に表示された操作メニューに対する利用者による操作を誘導する操作誘導方法であって、

前記利用者の顔を映し出した映像信号を取得する映像信号取得ステップと、前記映像信号取得ステップで取得した映像信号が示す画像から利用者の顔画像を切り出す画像切り出しステップと、

前記画像切り出しステップで切り出された顔画像における眼球の運動を解析する眼球運動解析ステップと、

前記眼球運動解析ステップによる解析結果と前記操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報とから、利用者が注視して、る操作対象を特定するとともに、前記利用者が前記操作対象を集中して注視しているか否かを示す注視状態を推定する注視状況解析ステップと、

前記利用者が前記操作対象を集中して注視していると前記注視状況解析ステップによって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記操作対象に対する操作を誘導するための表示制御を前記表示装置に対して行う表示制御ステップと

を含むことを特徴とする操作誘導方法。

[8] 表示装置に表示された操作メニューに対する利用者による操作を誘導するためのプログラムであって、

請求項 7記載の操作誘導方法に含まれるステップをコンピュータに実行させることを特徴とするプログラム。