WO2006064655A1

WO2006064655A1 - 情報提示装置及び情報提示方法

Info

Publication number: WO2006064655A1
Application number: PCT/JP2005/021823
Authority: WO
Inventors: Kakuya Yamamoto; Keiji Sugiyama; Hideaki Nakaoka
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-12-14
Filing date: 2005-11-28
Publication date: 2006-06-22
Also published as: JP4268191B2; JPWO2006064655A1; US20080141127A1; US8327279B2; CN101080691A; CN101080691B

Abstract

　本発明は、より安全性を確保しながらユーザに提示情報を視認させることができる情報提示装置を提供する。　情報提示装置は、ユーザの状況に関する状況情報を取得する状況情報取得部１０１と、状況情報に基づいて、外界を観察するユーザの観察視線を推定する観察視線推定部１０２と、ユーザに提示する提示情報を取得する提示情報取得部１０３と、提示情報を視認するユーザの視認視線を推定する視認視線推定部１０４と、観察視線と視認視線とに基づいて、提示情報の提示法を決定する提示法決定部１０５と、提示情報を提示法決定部１０５によって決定された提示法によってユーザに提示する情報提示部１０６とを備える。

Description

明細書

情報提示装置及び情報提示方法

技術分野

[0001] 本発明は、ユーザに情報を提示する情報提示装置に関する。

背景技術

[0002] 近年、ゴーグルやへルメットのような形状の HMD (Head Mounted Display)と呼ばれる情報提示装置が普及しつつある。 HMDを頭部に装着すると、左右の目のすぐ前に画像が一つずつ提示される。左右の画像を少しずつ異ならせることによって、立体感を表現することができるものもある。ユーザに提示する情報は静止画に限らない。テレビ番組のような映像やテキストなどもユーザに提示することができる。

[0003] HMDは二つの型に大別することができる。一つは、外界光の入射を遮断して仮想の画像のみをユーザに提示する密閉型である。もう一つは、外界光の入射による自然画像とともに仮想の画像をユーザに提示する透過型である。

[0004] 透過型の HMDによれば、行動（歩行など）しながらも情報を視認することができる。

ただし、外界のシーンと、ユーザに提示する情報 (以下「提示情報」という）との相互作用によって、提示情報を視認しに《なる場合がある。

[0005] 例えば、提示情報の色と、この提示情報とオーバラップする部分の外界の色とが類似している場合は、提示情報を視認しに《なる。そこで、外界の色に応じて提示情報の色を制御する HMDが提案されて、る（例えば特許文献 1)。

[0006] この従来の HMDでは、外界をモニターするカメラを備え、このカメラによって外界の色を検出する。そして、提示情報の色と、この提示情報とオーバラップする部分の外界の色とが類似しているかどうかを判定し、両者が類似している場合は、提示情報の色を変更する。このようにすれば、外界の色と類似しない色でユーザに情報を提示することができるので、外界との関係で提示情報が視認しに《なるという問題は生じない。

特許文献 1 :特開平 9— 101477号公報

発明の開示発明が解決しょうとする課題

[0007] しかしながら、前記従来の HMDでは、長文テキストやテレビ番組など、ある程度の時間を要する情報を視認する場合にぉ、て、安心して情報を視聴できな、と、う問題があった。すなわち、長文テキストやテレビ番組を視認する場合は、視認に気をとられて、外界を注意深く観察することができなくなることが予想される。もっとも、ユーザ自身が外界を注意深く観察するように心掛けることで、より安全性を確保することはできるが、この場合は、提示情報を視認することに支障をきたすことになる。

[0008] そこで、本発明は、このような問題点に鑑みてなされたものであり、より安全性を確保しながらユーザに提示情報を視認させることができる情報提示装置を提供することを目的とする。

課題を解決するための手段

[0009] 前記目的を達成するために、本発明に係る情報提示装置は、ユーザに情報を提示する情報提示装置であって、ユーザの状況に関する状況情報を取得する状況情報取得手段と、前記状況情報取得手段によって取得された状況情報に基づいて、外界を観察するユーザの観察視線を推定する観察視線推定手段と、ユーザに提示する提示情報を取得する提示情報取得手段と、前記提示情報取得手段によって取得された提示情報を視認するユーザの視認視線を推定する視認視線推定手段と、前記観察視線推定手段によって推定された観察視線と前記視認視線推定手段によつて推定された視認視線とに基づ!、て、前記提示情報取得手段によって取得された提示情報の提示法を決定する提示法決定手段と、前記提示情報取得手段によって取得された提示情報を前記提示法決定手段によって決定された提示法によってユーザに提示する情報提示手段とを備えることを特徴とする。これによつて、観察視線と視認視線という 2つの視線を考慮して情報を提示することになるので、より安全性を確保しながらユーザに提示情報を視認させることができる。

[0010] 具体的には、前記状況情報取得手段は、ユーザの進路に関する情報を取得し、前記提示法決定手段は、ユーザの進路に沿って投影的に前記提示情報を配置してもよい。これによつて、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。 [0011] あるいは、前記状況情報取得手段は、ユーザの進路に関する情報を取得し、前記提示法決定手段は、ユーザの進路に沿って前記提示情報の構成部分を時系列順に配置してもよい。これによつて、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。

[0012] より具体的には、前記観察視線推定手段は、外界を観察するユーザの視点位置を単位時間別に推定し、前記視認視線推定手段は、前記提示情報を視認するユーザの視点位置を単位時間別に推定し、前記提示法決定手段は、単位時間別に、前記観察視線と前記視認視線の両視線にっ、て特定面との交点を求め、両交点間の距離が所定の範囲内に納まるように前記提示情報の提示法を決定する。

[0013] これによつて、所定の範囲を小さな距離とすることで視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。また、観察視線または視認視線を精密に推定できな！、場合や、提示情報の提示法を詳細に制御できない場合も、ある程度提示法を改善することができるという効果もある。さらに、前記観察視線と前記視認視線との差異を 0としな、ことによって、提示情報がユーザ周辺の外界に完全に重なって外界の認識を阻害することを避けることができるという効果もある。

[0014] ここで、前記視認視線推定手段は、前記提示情報を複数個の部分に分割し、前記提示法決定手段は、分割された部分ごとに提示法を決定してもよい。これによつて、テキスト情報に限らず、写真などの静止画や、テレビ番組などの映像を、道を歩きな力でも安心して視認できるようになる。

[0015] また、前記状況情報取得手段は、ユーザの進路上に存在する物体に関する物体情報を取得し、前記提示法決定手段は、前記物体にユーザの視線が向くように前記提示情報を配置してもよい。これによつて、注目すべき物体にユーザの視線が向くようになるので、よりユーザの安全性を確保することが可能となる。

[0016] あるいは、前記状況情報取得手段は、ユーザの進路上に存在する物体に関する物体情報を取得し、前記提示法決定手段は、前記物体にユーザの視線が向かないように前記提示情報を配置してもよい。これによつて、凝視すべきでない物体にユーザの視線が向力ないようになるので、よりユーザの安全性を確保することが可能となる。 [0017] ここで、前記観察視線推定手段は、発生する可能性があるユーザの状況別に、その状況に適した前記観察視線を複数個推定してもよい。これによつて、ユーザの行動パターンや好みに応じた視線を観察視線として選択することができるようになる。

[0018] 同様に、前記視認視線推定手段は、前記提示情報の構成部分別に、その部分を視認するのに適した速度の前記視認視線を複数個推定してもよい。これによつて、重要な部分はゆっくりと読ませ、逆に重要でない部分は速い速度で読ませることが可能となる。また、ユーザ周辺の事象のうちユーザにとって重要な事象を視認する視線を視認視線として選択すれば、ユーザは提示情報の視認につられて視線を移動することになるので、重要な事象に気づけるようになる。

[0019] また、前記状況情報取得手段は、ユーザの進路に関する情報を取得し、前記提示法決定手段は、ユーザが交差点に差し力かった場合は、ユーザが交差点を左右確認することになる位置に前記提示情報を配置してもよい。これによつて、交差点に差し力かったユーザに左右確認をさせることができるので、よりユーザの安全性を高めることが可能となる。

[0020] なお、本発明は、このような情報提示装置として実現することができるだけでなぐこのような情報提示装置が備える特徴的な手段をステップとする情報提示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、 CD—ROM等の記録媒体やインタ一ネット等の伝送媒体を介して配信することができるのは言うまでもない。発明の効果

[0021] 以上の説明から明らかなように、本発明に係る情報提示装置によれば、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。

図面の簡単な説明

[0022] [図 1]図 1は、本発明に係る HMDをユーザが装着している状態を示す図である。

[図 2]図 2は、本発明に係る HMDの要部の機能ブロック図である。

[図 3]図 3は、本発明に係る HMDが地図情報を取得する様子を示す図である。

[図 4]図 4は、本発明に係る HMDをユーザが装着している状態を示す図である。 [図 5]図 5は、本発明に係る HMDの動作を示すフローチャートである。

[図 6]図 6は、ユーザの歩行進路を示す図である。

[図 7]図 7は、電子メールの内容を示す図である。

[図 8]図 8は、ユーザから見える状態を示す図である。

圆 9]図 9 (A)及び図 9 (B)は、観察視線推定基準記憶部に記憶されている基準情報の一例を示す図である。

圆 10]図 10は、観察視線を推定する方法を示す図である。

圆 11]図 11 (A)及び図 11 (B)は、視認視線推定基準記憶部に記憶されている基準情報の一例を示す図である。

圆 12]図 12は、視認視線を推定する方法を示す図である。

圆 13]図 13は、観察視線と視認視線との差異を示す図である。

圆 14]図 14 (A)、図 14 (B)、及び図 14 (C)は、観察視線と視認視線との差異を示す図である。

[図 15]図 15は、提示法記憶部に記憶されている提示法情報の一例を示す図である。

[図 16]図 16は、提示法の一例を示す図である。

図 17]図 17は、 0秒後こュ -ザから見える状態を示す図である。

：図 18]図 18は、 2秒後こュ -ザから見える状態を示す図である。

：図 19]図 19は、 4秒後こュ -ザから見える状態を示す図である。

図 20]図 20は、 7秒後こュ -ザから見える状態を示す図である。

：図 21]図 21は、 0秒後こュ -ザから見える状態を示す図である。

：図 22]図 22は、 2秒後こュ -ザから見える状態を示す図である。

：図 23]図 23は、 4秒後こュ -ザから見える状態を示す図である。

：図 24]図 24は、 7秒後こュ -ザから見える状態を示す図である。

図 25]図 25は、 0秒後こュ -ザから見える状態を示す図である。

図 26]図 26は、 2秒後こュ -ザから見える状態を示す図である。

図 27]図 27は、 4秒後こュ -ザから見える状態を示す図である。

図 28]図 28は、 7秒後こュ -ザから見える状態を示す図である。

図 29]図 29は、 0秒後こュ -ザから見える状態を示す図である。 [図 30]図 30は、 2秒後にユーザから見える状態を示す図である。

[図 31]図 31は、 4秒後にユーザから見える状態を示す図である。

[図 32]図 32は、 7秒後にユーザから見える状態を示す図である。

[図 33]図 33は、歩行中のユーザが交差点を直進する状況を示す図である。

[図 34]図 34は、交差点を直進するユーザの歩行進路を示す図である。

[図 35]図 35は、交差点を直進するユーザ力も見える状態を示す図である。

[図 36]図 36は、直進歩行中のユーザが注目物体に接近している場合の提示例である。

[図 37]図 37は、直進歩行中のユーザが凝視回避物体に接近している場合の提示例である。

符号の説明

1 ユーザの頭部

11 計算機

12 表示装置 (LCD)

13 光学素子

14 ヘッドホン

15 装着部材

16 受信機

17 ケーブル

18 格納部

101 状況情報取得部

102 観察視線推定部

103 提示情報取得部

104 視認視線推定部

105 提示法決定部

106 情報提示部

発明を実施するための最良の形態

以下、本発明の実施の形態について図面を用いて詳細に説明する。以下では、本発明に係る情報提示装置として HMDを例示する。

[0025] (実施の形態 1)

図 1は、本発明に係る HMD100をユーザが装着して、る状態を示す図である。

[0026] この図に示すように、本発明に係る HMD100は、外観においては従来の HMDと同様であり、ユーザに情報を提示するための各種制御をする計算機 11と、 LCD (Liq uid Crystal Display)等の表示装置 12と、ユーザの眼前に配置される光学素子 (提示幕） 13と、音声案内用のヘッドホン 14と、当該 HMDをユーザの頭部 1に装着するための装着部材 15と、インターネット等力提示情報を受信するための受信機 16とを備える。

[0027] 光学素子 13の一方の面は凹面の非球面であり、その上にハーフミラー膜が塗布されて、表示装置 12に表示された情報を反射して虚像を形成する。また、光学素子 13 の他方の面は凹面とほとんど同じ非球面の凸面で外界を観察できるようになつているため、ユーザは、外界とオーバラップして表示装置 12に表示された情報を視認することになる。

[0028] 図 2は、本発明に係る HMD100の要部の機能ブロック図である。この HMD100は、ユーザに情報を提示する装置であって、機能的には、状況情報取得部 101と、観察視線推定部 102と、提示情報管理部 103と、視認視線推定部 104と、提示法決定部 105と、情報提示部 106と、観察視線推定基準記憶部 107と、視認視線推定基準記憶部 108と、提示法記憶部 109とを備える。

[0029] 状況情報取得部 101は、ユーザの状況に関する状況情報を取得するカメラ、 GPS

(Global Positioning System)、加速度センサ、傾きセンサ、磁気センサ等である。状況情報は、ユーザの現在位置、地図情報、ユーザの移動の向きや速さ、ユーザの身体状態 (頭や眼球など体の各部の位置、向き、姿勢、心拍数、体温など）に関する情報である。過去の行動履歴をとるようにし、また、将来の行動予定（目的地など）を予め設定するようにすれば、これら情報を状況情報として利用することもできる。

[0030] 図 3は、本発明に係る HMD100が地図情報を取得する様子を示す図である。すなわち、 HMD100の状況情報取得部 101は、ユーザの自宅に設置されている端末 30 0、ユーザが所有する携帯電話 400、地図配信サービスを提供するサーノ ¾00等から、インターネット 200を介して地図情報を取得する。インターネット 200を介すことなぐ直接これらの装置から地図情報を取得することも可能である。

[0031] 観察視線推定部 102は、状況情報取得部 101によって取得された状況情報に基づいて、外界を観察するユーザの観察視線を推定する。例えば、状況情報取得部 1 01によって進路情報が取得されると、この進路に応じた観察視線を推定する。進路情報とは、ユーザの進路に関する情報であり、具体的には、 GPSによって取得されたユーザの現在位置、地図情報、予め設定されている行動予定（目的地)等である。

[0032] 提示情報取得部 103は、ユーザに提示する提示情報を取得する通信 IZF等である。提示情報は、電子メールのようなテキストや、テレビ番組のような映像などである。これら提示情報は、図 1に示した受信機 16によってインターネット等力も受信することができる。あるいは、図 4に示すように、提示情報を予め格納した格納部 18からケーブル 17を介して計算機 11に提示情報が送られる構成を採用することもできる。この格納部 18は例えばパーソナルコンピュータでもよぐまた、このパーソナルコンビユータは LAN (Local Area Network)やインターネット等に接続されていてもよい。

[0033] 視認視線推定部 104は、提示情報取得部 103によって取得された提示情報を視認するユーザの視認視線を推定する。例えば、提示情報の属性や HMD100の属性を考慮して、単位時間（例えば 1秒間）にユーザによって視認される文字数を決定し、この文字数に基づ、て、提示情報を視認するユーザの視認視線を推定する。

[0034] 提示法決定部 105は、観察視線推定部 102によって推定された観察視線と視認視線推定部 104によって推定された視認視線とに基づ!/、て、提示情報取得部 103によつて取得された提示情報の提示法を決定する。具体的には、観察視線と視認視線との差異が所定の範囲内に納まるように提示情報の提示法を決定する。

[0035] 情報提示部 106は、提示情報取得部 103によって取得された提示情報を提示法決定部 105によって決定された提示法によってユーザに提示する。具体的な提示態様については、図面を用いて後で詳しく説明する。

[0036] 観察視線推定基準記憶部 107は、観察視線を推定する際の基準を示す情報を記憶している。視認視線推定基準記憶部 108は、視認視線を推定する際の基準を示す情報を記憶している。提示法記憶部 109は、提示情報の提示法を示す情報を記憶して!/、る。これら記憶部に記憶されて、る情報の具体例につ、ては後述する。

[0037] 以下、図 5を用いて、 HMD100の動作について説明する。

[0038] ここでは、ユーザは、 HMD100を装着している状態で、図 6に示すように、交差点のない直線の道路を直進歩行しているものと仮定する。そして、その歩行途中、図 7 に示すように、「差出人」「タイトル」「本文」からなる電子メール Aを受信したものと仮定する。

[0039] 従来の HMDによれば、図 8に示すように、歩行中の道路が手前から奥へと映っており、この道路手前にオーバラップして、受信した電子メール Aの内容が提示されることになる。このような提示法によれば、ユーザの視線が画面下方に集中することになり、安心して情報を視聴できないので、本発明に係る HMD100では、以下の手法を採用している。

[0040] まず、状況情報取得部 101は、歩行中のユーザの状況を状況情報として取得する

(5201)。ここでいう状況情報は、例えば進路情報である。前記したように、ユーザの現在位置は GPSによって取得することができ、進路情報は予め地図上に設定された目的地力算出することができる。予め地図上に目的地を設定しなくても、過去に歩行したと、う行動履歴がある場合は、この行動履歴を用いて進路情報を予測することちでさる。

[0041] このように状況情報が取得されると、観察視線推定部 102は、観察視線推定基準記憶部 107に記憶されている基準情報を参照し、ユーザの観察視線を推定する。

[0042] 図 9 (A)は、観察視線推定基準記憶部 107に記憶されている基準情報の一例を示す図である。ここでは、ユーザの状況別に、観察視線を推定する際の基準が対応付けられている。具体的には、ユーザの状況力 ^等速直線運動」であることと、観察視線力 S「等速直線運動」であることとが対応付けられている。また、ユーザの状況が「交差点直進」であることと、観察視線が「左右確認」であることとが対応付けられてヽる。

[0043] そこで、観察視線推定部 102は、ユーザが直線状の道路を直進していることから、ユーザの観察視線も歩行に合わせて道路の手前から奥へと移動していくと推定する

(5202)。具体的には、図 10に示すように、 0秒後の視点位置は RO点、 2秒後の視点位置は R2点、 4秒後の視点位置は R4点、 7秒後の視点位置は R7点であると推定する。

[0044] 一方、提示情報取得部 103は、電子メールを受信すると（S203)、この電子メールを提示情報として管理する。このように提示情報が提示情報取得部 103の管理下におかれると、視認視線推定部 104は、視認視線推定基準記憶部 108に記憶されている基準情報を参照し、電子メールを視認するユーザの視認視線を推定する（S204

) o

[0045] 図 11 (A)は、視認視線推定基準記憶部 108に記憶されている基準情報の一例を示す図である。ここでは、提示情報の種別ごとに、視認視線を推定する際の基準が対応付けられている。具体的には、提示情報が「電子メール」であることと、視認速度が「5文字 Z秒」であることとが対応付けられている。また、提示情報が「テレビ番組」であることと、視認速度が「1シーン Z秒」であることとが対応付けられている。

[0046] 図 12は、電子メールを視認するユーザの視点移動を示す図である。電子メールは横書きで提示されて、るので、この電子メールを視認するユーザの視点は 1行目から順に左力右へ移動すると推定することができる。ここでは、 0秒後の視点位置は V0 点、 2秒後の視点位置は V2点、 4秒後の視点位置は V4点、 7秒後の視点位置は V7 点であると推定している。すなわち、文字を読む速度は一定である（ここでは、 5文字 Z秒である）として、将来読んでいる文字を特定し、その文字が提示されている位置を視点位置として推定して、る。

[0047] このように観察視線と視認視線とが推定されると、提示法決定部 105は、両視線の差異を求める（S205)。すなわち、図 13に示すように、 0秒後における両視線の差異は矢印 DOとして、 2秒後における両視線の差異は矢印 D2として、 4秒後における両視線の差異は矢印 D4として、 7秒後における両視線の差異は矢印 D7として、それぞれ表すことができる。

[0048] 両視線の差異の求め方について、図 14を用いて、更に詳しく説明する。まず、図 1 4 (A)に示すように、観察視線と光学素子 13との交点 P1を求める。次に、図 14 (B) に示すように、視聴視線と光学素子 13との交点 P2を求める。最後に、図 14 (C)に示すように、交点 P1と交点 P2間の距離 L1を求める。この距離 L1が例えば矢印 DOの大きさということになる。 [0049] 次いで、提示法決定部 105は、このように求めた差異が所定の範囲内であるかどうかを判定する（S206)。例えば、矢印 D0、 D2、 D4、 D7の大きさが光学素子 13上で 2 mm以下であるかどうかを判定する。そして、矢印 D0、 D2、 D4、 D7の大きさが全て光学素子 13上で 2mm以下である場合は、電子メールの提示法を変更しない（S206→ S208)。一方、矢印 D0、 D2、 D4、 D7いずれかの大きさが光学素子 13上で 2mmを超える場合は、電子メールの提示法を変更する（S206→S207)。

[0050] 図 15は、提示法記憶部 109に記憶されている提示法情報の一例を示す図である。

ここでは、提示情報の種別ごとに、提示法の種別が対応付けられている。具体的には、提示情報が「電子メール」であることと、提示法が「投影提示法」であることとが対応付けられている。また、提示情報が「テレビ番組」であることと、提示法が「部分提示法」であることとが対応付けられている。投影提示法は、ユーザの進路に沿って投影的に提示情報を配置する提示法である。また、部分提示法は、ユーザの進路に沿つて提示情報の構成部分を時系列順に配置する提示法である。ここでは、提示情報は電子メールであるため、提示法決定部 105は、電子メールの提示法を図 13に示した提示法から投影提示法に変更する。

[0051] 図 16は、電子メールの提示法の変更例を示す図である。この図に示すように、提示法決定部 105は、矢印 D0、 D2、 D4、 D7の大きさが全て光学素子 13上で 2mm以下となるように、電子メールの提示法を変更している。図 13に示した提示法と比較して、図 16に示した投影提示法では、 RO点と VO点、 R2点と V2点、 R4点と V4点、 R7点と V7点がそれぞれ接近して、ることがわかる。

[0052] このように電子メールの提示法が決定されると、情報提示部 106は、投影提示法によって電子メールを提示する（S208)。すなわち、図 17は、 0秒後にユーザから見える状態を示しており、この状態では、「差出人」の文字が手前に映っている。図 18は、 2秒後にユーザ力見える状態を示しており、この状態では、「タイトル」の文字が手前に映っている。図 19は、 4秒後にユーザ力見える状態を示しており、この状態では、「本文」の文字が手前に映っている。図 20は、 7秒後にユーザから見える状態を示しており、この状態では、「本文」の続きが手前に映っている。このように、本提示法によると、あた力も電子メールの内容が道路に描かれているかのように視認されることになる。

[0053] 前述したように、 HMDIOOは、状況情報に基づいて観察視線を推定するとともに、提示情報に基づいて視認視線を推定する。そして、このように推定した両視線と光学素子 13との交点 P1及び P2を求め、この交点 P1と交点 P2間の距離 L1が 2mmを超える場合は、この距離 L2が 2mm以下となるように、電子メールの提示法を変更する

[0054] 以上の説明から明らかなように、本発明に係る情報提示装置によれば、ユーザにとつて安全な方向に視線が向くように提示情報を配置することができる。具体的には、観察視線と視認視線との差異を求め、この差異が小さな距離となるように提示情報の提示法を決定しているので、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。

[0055] なお、電子メールの提示法は前記した投影提示法に限定されるものではない。例えば、電子メールの内容を複数個の構成部分に分割して、各構成部分を時系列順にユーザの進路に沿って提示するようにしてもよい。すなわち、提示態様についてだけ説明すると、図 21は 0秒後に、図 22は 2秒後に、図 23は 4秒後に、図 24は 7秒後に、それぞれユーザ力も見える状態を示している。あるいは、電子メールを縦書きでユーザの進路に沿って上方に提示するようにしてもよい。すなわち、図 25は 0秒後に、図 26は 2秒後に、図 27は 4秒後〖こ、図 28は 7秒後に、それぞれユーザから見える状態を示している。

[0056] また、提示情報は電子メールに限定されるものではな、。テレビ番組の映像をシーン毎に分割して、各シーン映像を時系列順にユーザの進路に沿って提示するようにしてもよい。すなわち、図 29は 0秒後に、図 30は 2秒後に、図 31は 4秒後に、図 32は 7秒後に、それぞれユーザ力も見える状態を示して！/、る。

[0057] もちろん、提示情報がもともと複数の構成部分カゝらなる場合は、提示情報を複数個の構成部分に分割する必要はない。例えば、テレビ番組の映像はもともと複数のシーンから構成されるので、この場合は、テレビ番組の映像を分割する処理を省略することができる。電子メールも「差出人」「タイトル」「本文」という単位でもともと分割されていると考えれば、テレビ番組の映像と同様、分割する処理を省略することができる。 [0058] さらに、図 5の S201と S203の動作はどちらが先に行われてもよい。すなわち、 S202 の動作までに S201の動作が完了していればよぐ S204の動作までに S203の動作が完了していればよい。同様に、 S202の動作と S204の動作は、どちらが先に行われてもよい。すなわち、 S205の動作までに S202と S204の動作力完了していればよい。もちろん、図 5に示した各動作は、即時に次々と行われてもよいし、並行して行われてもよいし、時間をおいて行われてもよい。

[0059] さらに、図 5の S202や S204で推定する視線は 1通りでなくてもよい。すなわち、複数の視線候補を推定してもよ!、し、この視線候補それぞれの実現確率を推定してもよい。

[0060] 図 9 (B)は、観察視線推定基準記憶部 107に記憶されている基準情報の別の例を示す図である。ここでは、交差点に差し掛カつた直後のユーザの状況別に、その状況が発生する確率と、その状況に適した観察視線とが対応付けられている。具体的には、直進する確率は 80%であり、その場合は「右」「左」「前」の順に観察視線を遷移させる旨が規定されている。また、右折する確率は 20%であり、その場合は「右」「左」「右」の順に観察視線を遷移させる旨が規定されている。また、左折する確率は 0 %であり、その場合は「左」「右」「左」の順に観察視線を遷移させる旨が規定されている。また、引き返す確率は 0%であり、その場合は観察視線を 180度回転させる旨が規定されている。

[0061] そこで、観察視線推定部 102は、歩行中のユーザが交差点に差し掛カつた際、直進する確率が 80パーセントで右折する確率が 20パーセントであるとして、 2つの観察視線を推定してもよい。この場合は、直進する確率が最も高いので、直進に適した観察視線を選択するのが好ましい。ただし、ユーザが直進せずに右折した場合は、予め推定してぉ、た右折に適した観察視線に変更するのが好ま、。

[0062] 同様に、電子メールの内容には重要な部分と重要でない部分とが存在するので、電子メールの構成部分ごとに複数の視認視線候補を推定するようにしてもょ、。

[0063] 図 11 (B)は、視認視線推定基準記憶部 108に記憶されている基準情報の別の例を示す図である。ここでは、電子メールの内容の重要度別に、その部分を読むのに適した視認速度が規定されている。具体的には、最も高い重要度 Aの部分は「3文字 Z秒」、 2番目に高、重要度 Bの部分は「4文字 Z秒」、 3番目に高、重要度 Cの部分は「5文字 Z秒」、 4番目に高、重要度 Dの部分は「6文字 Z秒」、 5番目に高、重要度 Eの部分は「7文字 Z秒」の視認速度とする旨が規定されて、る。

[0064] そこで、視認視線推定部 104は、電子メールの構成部分ごとに重要度 A〜Eを決定し、決定した重要度に対応する速度でその部分が読まれたときの視認視線を推定する。これにより、重要な部分はゆっくりと読ませ、逆に重要でない部分は速い速度で読ませることが可能となる。

[0065] さらに、ここでは、矢印 D0、 D2、 D4、 D7の大きさが光学素子 13上で 2mm以下であるかどうかを判定することとしている力本発明はこれに限定されるものではない。すなわち、両視線の角度差が例えば 1度以内であるかどうかを判定するようにしてもよいし、あるいは、提示情報と重なる道路上の距離が例えば 50cm以内であるかどうかを判定するようにしてもよい。両視線の差異が 0の場合は、提示情報が重要な光景を隠してしまうこともあるので、例えば両視線の差異を 5mmから 2mmの間とする等、差異 0を範囲外としてもよい。

[0066] (実施の形態 2)

次に、本発明の実施の形態 2について説明する。

[0067] 実施の形態 1では、交差点のない直線の道路をユーザが直進歩行している場面を想定していたので、ユーザの歩行進路と観察視線とはほぼ一致していた。本実施の形態では、ユーザの歩行進路と観察視線とがー致しない場面について説明する。

[0068] 図 33は、歩行中のユーザが交差点を直進する状況を示す図である。道路を直進する場合は、歩行進路と観察視線がほぼ一致していたが、交差点を直進する場合は、ユーザに交差点の左右確認をさせるために観察視線を左右に移動させるのが好ましい。

[0069] すなわち、このような場合は、図 34に示すように、観察視線が進路前方から「右」「左」「右」へと移動した後、再び進路前方に戻るものと推定し、それに合わせて電子メールを配置するようにしている。図 35は、このように電子メールを配置した場合に、ュ一ザから見える光景を示している。電子メールを順に読むと、交差点において自然と視線が「右」「左」「右」へと移動して、左右確認ができるようになつている。 [0070] 以上の説明から明らかなように、本実施の形態に係る情報提示装置によれば、交差点を直進するユーザに左右確認をさせることができるので、よりユーザの安全性を高めることが可能となる。その他の点については、前記実施の形態 1と同様であるため、ここでは詳しい説明を省略する。

[0071] (実施の形態 3)

次に、本発明の実施の形態 3について説明する。

[0072] 前記実施の形態 1では、ユーザの進路に沿って提示情報を一様に配置する構成を例示したが、本実施の形態では、視線に影響を与える物体に応じて、提示情報の位置や間隔や分布を偏らせて配置する。すなわち、ユーザの進路上に存在する物体に関する物体情報を状況情報取得部 101が取得し、このように取得された物体情報に基づいて、提示法決定部 105が提示情報の提示法を決定する。

[0073] 図 36は、直進歩行中のユーザが注目物体に接近している場合の提示例である。ここでいう注目物体は、例えば自転車などであり、ユーザが注目すべき物体である。このように注目物体に接近している場合は、図 36に示すように、その注目物体付近に視線が向くように提示情報を配置するのが好ましい。ここでは、注目物体を挟む位置に電子メールの「タイトル」と「本文」を配置することで、「タイトル」を読んでから「本文」を読むまでの間に、ユーザが注目物体に気づきやすくしている。

[0074] 図 37は、直進歩行中のユーザが凝視回避物体に接近している場合の提示例である。ここでいう凝視回避物体は、例えば見知らぬ人などであり、過度に凝視すべきでない物体である。このように凝視回避物体に接近している場合は、図 37に示すように、その凝視回避物体付近における情報配置の密度を低くすることで、凝視回避物体に長時間視線が向かないようにしている。なお、ユーザの進路上に存在する物体が注目物体であるか凝視回避物体であるかは、前方の光景を撮影して、その撮影画像を解析することによって判別可能である。

[0075] 以上の説明から明らかなように、本実施の形態に係る情報提示装置によれば、視線に影響を与える物体に応じて、提示情報の位置や間隔や分布を偏らせて配置することができるので、よりユーザの安全性を高めることが可能となる。その他の点については、前記実施の形態 1と同様であるため、ここでは詳しい説明を省略する。 [0076] なお、図 2における各部は、一台のコンピュータ上にあってもよいし、一台のコンビュータ上になくてもよい。例えば、提示法決定部 105と情報提示部 106とが別の機器にあってもよいし、提示情報取得部 103がインターネット上のサーバ機器でもよい。また、複数のコンピュータ上に各部が分散していてもよいし、図 2における各部（例えば情報提示部 106)がー台のコンピュータ上に複数存在してもよい。複数ユーザで図 2の各部を共有してもよヽのはもちろんである。

[0077] また、ここでは透過型の HMDを例示した力本発明は、これに限定されるものではない。すなわち、カメラ等によって撮影された外界の画像を仮想画像と重畳させて LC D等の表示装置に表示する密閉型の HMDにも、本発明を適用することができる。また、情報提示部 106は、ヘッドマウントディスプレイ、フェイスマウントディスプレイ、眼鏡型ディスプレイ、透過型ディスプレイ、網膜走査型ディスプレイ、携帯電話や携帯テレビゃモパイル端末の情報提示部、プロジェクターなどを含んでもよい。もちろん、 HMDだけでなぐ図 2に示した各部を備えた装置である以上、本発明を適用することがでさる。

[0078] さらに、視線の推定方法は様々あり、前述した方法に限定されるものではない。例えば、カメラで撮影した眼球の映像から目の特徴点（白目と黒目の境界など)を抽出することで視線を推定してもよい。あるいは、コンタクトレンズや眼球表面に印などの識別情報を付加しておき、その位置を認識することで視線を推定してもよい。あるいは、眼球付近の電気抵抗や、電流'電圧などの電気的特性の変化を計測することで視線を推定してもよい。あるいは、例えば「頭部が左を向いたので視点も左に移動する」などのように、体や頭部の移動に伴って視線が移動すると!、う人間の身体的制約を用いて視線を推定してもよい。あるいは、交差点では左右確認するといつた一般知識ゃ、このユーザは子猫に興味を示すといった個人的嗜好を考慮することで、ユーザ周辺の状況や物体に対するユーザの関心の強さを予測して、関心の強い物体を注目するという観点力視線を推定してもよい。なお、視線の推定対象である目は、左右、ずれか一方の目でもよ!/、し、左右両方の目でもよ、。また、ここでは視線を推定することとしているが、視点や注目点を推定することも、視線を推定することと実質的には同じである。もちろん、推定する視線の先は、点でなく領域でもよい。例えば、「2秒後は左側を見て、る」などのように、領域で視線を推定してもよ!/、。

[0079] さらに、ここでは提示情報の提示位置を変更することとしている力提示する色調、明るさ、透明度、大きさ、向き、奥行き等のいずれ力を変更するようにしてもよいし、あるいは、提示情報の再生状態 (再生の一時停止、再開、中断、早送り、巻戻し、スロ一再生、要約再生、部分再生など)を変更するようにしてもよい。また、提示法の変更は断続的でもよい。例えば、提示位置を変更する場合は、一旦提示を中止した後、前と異なる位置に再提示してもよヽ。

[0080] さらに、ここでは、提示情報として電子メールとテレビ番組とを例示した力提示情報には、テレビ番組のような映像、電子メールのようなテキスト、静止画、信号などの少なくとも 1つを含めばよい。また、提示情報を管理する方法については特に言及しなかったが、この方法としては、提示情報取得部 103自体が提示情報自体の全部や一部を保有する方法を採用してもよいし、提示情報を取得できるように提示情報の位置を保有する方法を採用してもよいし、提示情報の位置を保有している別の提示情報取得部の位置を保有する方法を採用してもよい。

[0081] また、ここでは、観察視線と視認視線との差異が所定の範囲内に納まるように提示情報の提示法を決定することとしているが、本発明はこれに限定されるものではない。すなわち、視認視線あるいは観察視線の一方が他方に先行するように提示法を決定するようにしてもよいし、観察視線の動きに応じて情報提示を停止したり、ユーザの行動を変更させたりするように、提示法を決定するようにしてもょ、。

産業上の利用可能性

[0082] 本発明にかかる情報提示装置は、ユーザに情報を提示する情報提示装置として、特に、より安全性を確保しながらユーザに提示情報を視認させることが必要な HMD 等として有用である。

Claims

請求の範囲

[1] ユーザに情報を提示する情報提示装置であって、

ユーザの状況に関する状況情報を取得する状況情報取得手段と、

前記状況情報取得手段によって取得された状況情報に基づ、て、外界を観察するユーザの観察視線を推定する観察視線推定手段と、

ユーザに提示する提示情報を取得する提示情報取得手段と、

前記提示情報取得手段によって取得された提示情報を視認するユーザの視認視線を推定する視認視線推定手段と、

前記観察視線推定手段によって推定された観察視線と前記視認視線推定手段によって推定された視認視線とに基づいて、前記提示情報取得手段によって取得された提示情報の提示法を決定する提示法決定手段と、

前記提示情報取得手段によって取得された提示情報を前記提示法決定手段によつて決定された提示法によってユーザに提示する情報提示手段と

を備えることを特徴とする情報提示装置。

[2] 前記提示法決定手段は、ユーザにとって安全な方向に視線が向くように前記提示情報を配置する

ことを特徴とする請求項 1記載の情報提示装置。

[3] 前記状況情報取得手段は、ユーザの進路に関する情報を取得し、

前記提示法決定手段は、ユーザの進路に沿って投影的に前記提示情報を配置する

ことを特徴とする請求項 1記載の情報提示装置。

[4] 前記状況情報取得手段は、ユーザの進路に関する情報を取得し、

前記提示法決定手段は、ユーザの進路に沿って前記提示情報の構成部分を時系列順に配置する

ことを特徴とする請求項 1記載の情報提示装置。

[5] 前記状況情報取得手段は、ユーザの進路に関する情報を取得し、

前記提示法決定手段は、ユーザが交差点に差しかかった場合は、ユーザが交差点を左右確認することになる位置に前記提示情報を配置することを特徴とする請求項 1記載の情報提示装置。

[6] 前記提示法決定手段は、前記観察視線と前記視認視線との差異が所定の範囲内に納まるように前記提示情報の提示法を決定する

ことを特徴とする請求項 1記載の情報提示装置。

[7] 前記観察視線推定手段は、外界を観察するユーザの視点位置を単位時間別に推定し、

前記視認視線推定手段は、前記提示情報を視認するユーザの視点位置を単位時間別に推定し、

前記提示法決定手段は、単位時間別に、前記観察視線と前記視認視線の両視線につ、て特定面との交点を求め、両交点間の距離が所定の範囲内に納まるように前記提示情報の提示法を決定する

ことを特徴とする請求項 1記載の情報提示装置。

[8] 前記視認視線推定手段は、前記提示情報を複数個の部分に分割し、

前記提示法決定手段は、分割された部分ごとに提示法を決定する

ことを特徴とする請求項 1記載の情報提示装置。

[9] 前記状況情報取得手段は、ユーザの進路上に存在する物体に関する物体情報を取得し、

前記提示法決定手段は、前記物体にユーザの視線が向くように前記提示情報を配置する

ことを特徴とする請求項 1記載の情報提示装置。

[10] 前記状況情報取得手段は、ユーザの進路上に存在する物体に関する物体情報を取得し、

前記提示法決定手段は、前記物体にユーザの視線が向かないように前記提示情報を配置する

ことを特徴とする請求項 1記載の情報提示装置。

[11] 前記情報提示手段は、透過型の提示幕上に前記提示情報を提示する

ことを特徴とする請求項 1記載の情報提示装置。

[12] 前記情報提示装置はさらに、外界を観察するユーザの視線を検出するセンサを備え、

前記観察視線推定手段は、検出された視線を前記観察視線として採用することを特徴とする請求項 1記載の情報提示装置。

[13] 前記観察視線推定手段は、発生する可能性があるユーザの状況別に、その状況に適した前記観察視線を複数個推定する

ことを特徴とする請求項 1記載の情報提示装置。

[14] 前記視認視線推定手段は、前記提示情報の構成部分別に、その部分を視認するのに適した速度の前記視認視線を複数個推定する

ことを特徴とする請求項 1記載の情報提示装置。

[15] ユーザに情報を提示する情報提示方法であって、

ユーザの状況に関する状況情報を取得する状況情報取得ステップと、前記状況情報取得ステップにお!、て取得された状況情報に基づ!、て、外界を観察するユーザの観察視線を推定する観察視線推定ステップと、

ユーザに提示する提示情報を取得する提示情報取得ステップと、

前記提示情報取得ステップにおいて取得された提示情報を視認するユーザの視認視線を推定する視認視線推定ステップと、

前記観察視線推定ステップにおいて推定された観察視線と前記視認視線推定ステップにお 1、て推定された視認視線とに基づ、て、前記提示情報取得ステップにお!ヽて取得された提示情報の提示法を決定する提示法決定ステップと、

前記提示情報取得ステップにおいて取得された提示情報を前記提示法決定ステツプにおいて決定された提示法によってユーザに提示する情報提示ステップとを含むことを特徴とする情報提示方法。

[16] ユーザに情報を提示するためのプログラムであって、

前記提示情報取得ステップにおいて取得された提示情報を前記提示法決定ステツプにおいて決定された提示法によってユーザに提示する情報提示ステップとをコンピュータに実行させるためのプログラム。

ユーザに情報を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、

ユーザの状況に関する状況情報を取得する状況情報取得ステップと、

前記状況情報取得ステップにお!、て取得された状況情報に基づ!、て、外界を観察するユーザの観察視線を推定する観察視線推定ステップと、

前記提示情報取得ステップにおいて取得された提示情報を前記提示法決定ステツプにおいて決定された提示法によってユーザに提示する情報提示ステップとをコンピュータに実行させるためのプログラムを記録した記録媒体。