JP4268191B2 - 情報提示装置、情報提示方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、ユーザに情報を提示する情報提示装置に関する。

近年、ゴーグルやヘルメットのような形状のＨＭＤ（Head Mounted Display）と呼ばれる情報提示装置が普及しつつある。ＨＭＤを頭部に装着すると、左右の目のすぐ前に画像が一つずつ提示される。左右の画像を少しずつ異ならせることによって、立体感を表現することができるものもある。ユーザに提示する情報は静止画に限らない。テレビ番組のような映像やテキストなどもユーザに提示することができる。

ＨＭＤは二つの型に大別することができる。一つは、外界光の入射を遮断して仮想の画像のみをユーザに提示する密閉型である。もう一つは、外界光の入射による自然画像とともに仮想の画像をユーザに提示する透過型である。

透過型のＨＭＤによれば、行動（歩行など）しながらも情報を視認することができる。ただし、外界のシーンと、ユーザに提示する情報（以下「提示情報」という）との相互作用によって、提示情報を視認しにくくなる場合がある。

例えば、提示情報の色と、この提示情報とオーバラップする部分の外界の色とが類似している場合は、提示情報を視認しにくくなる。そこで、外界の色に応じて提示情報の色を制御するＨＭＤが提案されている（例えば特許文献１）。

この従来のＨＭＤでは、外界をモニターするカメラを備え、このカメラによって外界の色を検出する。そして、提示情報の色と、この提示情報とオーバラップする部分の外界の色とが類似しているかどうかを判定し、両者が類似している場合は、提示情報の色を変更する。このようにすれば、外界の色と類似しない色でユーザに情報を提示することができるので、外界との関係で提示情報が視認しにくくなるという問題は生じない。
特開平９−１０１４７７号公報

しかしながら、前記従来のＨＭＤでは、長文テキストやテレビ番組など、ある程度の時間を要する情報を視認する場合において、安心して情報を視聴できないという問題があった。すなわち、長文テキストやテレビ番組を視認する場合は、視認に気をとられて、外界を注意深く観察することができなくなることが予想される。もっとも、ユーザ自身が外界を注意深く観察するように心掛けることで、より安全性を確保することはできるが、この場合は、提示情報を視認することに支障をきたすことになる。

そこで、本発明は、このような問題点に鑑みてなされたものであり、より安全性を確保しながらユーザに提示情報を視認させることができる情報提示装置を提供することを目的とする。

前記目的を達成するために、本発明に係る情報提示装置は、ユーザに情報を提示する情報提示装置であって、ユーザの状況に関する状況情報を取得する状況情報取得手段と、前記状況情報取得手段によって取得された状況情報に基づいて、外界を観察するユーザの観察視線を推定する観察視線推定手段と、ユーザに提示する提示情報を取得する提示情報取得手段と、前記提示情報取得手段によって取得された提示情報を視認するユーザの視認視線を推定する視認視線推定手段と、前記観察視線推定手段によって推定された観察視線と前記視認視線推定手段によって推定された視認視線とに基づいて、前記提示情報取得手段によって取得された提示情報の提示法を決定する提示法決定手段と、前記提示情報取得手段によって取得された提示情報を前記提示法決定手段によって決定された提示法によってユーザに提示する情報提示手段とを備えることを特徴とする。これによって、観察視線と視認視線という２つの視線を考慮して情報を提示することになるので、より安全性を確保しながらユーザに提示情報を視認させることができる。

具体的には、前記状況情報取得手段は、ユーザの進路に関する情報を取得し、前記提示法決定手段は、ユーザの進路に沿って投影的に前記提示情報を配置してもよい。これによって、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。

あるいは、前記状況情報取得手段は、ユーザの進路に関する情報を取得し、前記提示法決定手段は、ユーザの進路に沿って前記提示情報の構成部分を時系列順に配置してもよい。これによって、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。

より具体的には、前記観察視線推定手段は、外界を観察するユーザの視点位置を単位時間別に推定し、前記視認視線推定手段は、前記提示情報を視認するユーザの視点位置を単位時間別に推定し、前記提示法決定手段は、単位時間別に、前記観察視線と前記視認視線の両視線について特定面との交点を求め、両交点間の距離が所定の範囲内に納まるように前記提示情報の提示法を決定する。

これによって、所定の範囲を小さな距離とすることで視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。また、観察視線または視認視線を精密に推定できない場合や、提示情報の提示法を詳細に制御できない場合も、ある程度提示法を改善することができるという効果もある。さらに、前記観察視線と前記視認視線との差異を０としないことによって、提示情報がユーザ周辺の外界に完全に重なって外界の認識を阻害することを避けることができるという効果もある。

ここで、前記視認視線推定手段は、前記提示情報を複数個の部分に分割し、前記提示法決定手段は、分割された部分ごとに提示法を決定してもよい。これによって、テキスト情報に限らず、写真などの静止画や、テレビ番組などの映像を、道を歩きながらでも安心して視認できるようになる。

また、前記状況情報取得手段は、ユーザの進路上に存在する物体に関する物体情報を取得し、前記提示法決定手段は、前記物体にユーザの視線が向くように前記提示情報を配置してもよい。これによって、注目すべき物体にユーザの視線が向くようになるので、よりユーザの安全性を確保することが可能となる。

あるいは、前記状況情報取得手段は、ユーザの進路上に存在する物体に関する物体情報を取得し、前記提示法決定手段は、前記物体にユーザの視線が向かないように前記提示情報を配置してもよい。これによって、凝視すべきでない物体にユーザの視線が向かないようになるので、よりユーザの安全性を確保することが可能となる。

ここで、前記観察視線推定手段は、発生する可能性があるユーザの状況別に、その状況に適した前記観察視線を複数個推定してもよい。これによって、ユーザの行動パターンや好みに応じた視線を観察視線として選択することができるようになる。

同様に、前記視認視線推定手段は、前記提示情報の構成部分別に、その部分を視認するのに適した速度の前記視認視線を複数個推定してもよい。これによって、重要な部分はゆっくりと読ませ、逆に重要でない部分は速い速度で読ませることが可能となる。また、ユーザ周辺の事象のうちユーザにとって重要な事象を視認する視線を視認視線として選択すれば、ユーザは提示情報の視認につられて視線を移動することになるので、重要な事象に気づけるようになる。

また、前記状況情報取得手段は、ユーザの進路に関する情報を取得し、前記提示法決定手段は、ユーザが交差点に差しかかった場合は、ユーザが交差点を左右確認することになる位置に前記提示情報を配置してもよい。これによって、交差点に差しかかったユーザに左右確認をさせることができるので、よりユーザの安全性を高めることが可能となる。

なお、本発明は、このような情報提示装置として実現することができるだけでなく、このような情報提示装置が備える特徴的な手段をステップとする情報提示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る情報提示装置によれば、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。以下では、本発明に係る情報提示装置としてＨＭＤを例示する。

（実施の形態１）
図１は、本発明に係るＨＭＤ１００をユーザが装着している状態を示す図である。

この図に示すように、本発明に係るＨＭＤ１００は、外観においては従来のＨＭＤと同様であり、ユーザに情報を提示するための各種制御をする計算機１１と、ＬＣＤ（Liquid Crystal Display）等の表示装置１２と、ユーザの眼前に配置される光学素子（提示幕）１３と、音声案内用のヘッドホン１４と、当該ＨＭＤをユーザの頭部１に装着するための装着部材１５と、インターネット等から提示情報を受信するための受信機１６とを備える。

光学素子１３の一方の面は凹面の非球面であり、その上にハーフミラー膜が塗布されて、表示装置１２に表示された情報を反射して虚像を形成する。また、光学素子１３の他方の面は凹面とほとんど同じ非球面の凸面で外界を観察できるようになっているため、ユーザは、外界とオーバラップして表示装置１２に表示された情報を視認することになる。

図２は、本発明に係るＨＭＤ１００の要部の機能ブロック図である。このＨＭＤ１００は、ユーザに情報を提示する装置であって、機能的には、状況情報取得部１０１と、観察視線推定部１０２と、提示情報管理部１０３と、視認視線推定部１０４と、提示法決定部１０５と、情報提示部１０６と、観察視線推定基準記憶部１０７と、視認視線推定基準記憶部１０８と、提示法記憶部１０９とを備える。

状況情報取得部１０１は、ユーザの状況に関する状況情報を取得するカメラ、ＧＰＳ（Global Positioning System）、加速度センサ、傾きセンサ、磁気センサ等である。状況情報は、ユーザの現在位置、地図情報、ユーザの移動の向きや速さ、ユーザの身体状態（頭や眼球など体の各部の位置、向き、姿勢、心拍数、体温など）に関する情報である。過去の行動履歴をとるようにし、また、将来の行動予定（目的地など）を予め設定するようにすれば、これら情報を状況情報として利用することもできる。

図３は、本発明に係るＨＭＤ１００が地図情報を取得する様子を示す図である。すなわち、ＨＭＤ１００の状況情報取得部１０１は、ユーザの自宅に設置されている端末３００、ユーザが所有する携帯電話４００、地図配信サービスを提供するサーバ５００等から、インターネット２００を介して地図情報を取得する。インターネット２００を介すことなく、直接これらの装置から地図情報を取得することも可能である。

観察視線推定部１０２は、状況情報取得部１０１によって取得された状況情報に基づいて、外界を観察するユーザの観察視線を推定する。例えば、状況情報取得部１０１によって進路情報が取得されると、この進路に応じた観察視線を推定する。進路情報とは、ユーザの進路に関する情報であり、具体的には、ＧＰＳによって取得されたユーザの現在位置、地図情報、予め設定されている行動予定（目的地）等である。

提示情報取得部１０３は、ユーザに提示する提示情報を取得する通信Ｉ／Ｆ等である。提示情報は、電子メールのようなテキストや、テレビ番組のような映像などである。これら提示情報は、図１に示した受信機１６によってインターネット等から受信することができる。あるいは、図４に示すように、提示情報を予め格納した格納部１８からケーブル１７を介して計算機１１に提示情報が送られる構成を採用することもできる。この格納部１８は例えばパーソナルコンピュータでもよく、また、このパーソナルコンピュータはＬＡＮ（Local Area Network）やインターネット等に接続されていてもよい。

視認視線推定部１０４は、提示情報取得部１０３によって取得された提示情報を視認するユーザの視認視線を推定する。例えば、提示情報の属性やＨＭＤ１００の属性を考慮して、単位時間（例えば１秒間）にユーザによって視認される文字数を決定し、この文字数に基づいて、提示情報を視認するユーザの視認視線を推定する。

提示法決定部１０５は、観察視線推定部１０２によって推定された観察視線と視認視線推定部１０４によって推定された視認視線とに基づいて、提示情報取得部１０３によって取得された提示情報の提示法を決定する。具体的には、観察視線と視認視線との差異が所定の範囲内に納まるように提示情報の提示法を決定する。

情報提示部１０６は、提示情報取得部１０３によって取得された提示情報を提示法決定部１０５によって決定された提示法によってユーザに提示する。具体的な提示態様については、図面を用いて後で詳しく説明する。

観察視線推定基準記憶部１０７は、観察視線を推定する際の基準を示す情報を記憶している。視認視線推定基準記憶部１０８は、視認視線を推定する際の基準を示す情報を記憶している。提示法記憶部１０９は、提示情報の提示法を示す情報を記憶している。これら記憶部に記憶されている情報の具体例については後述する。

以下、図５を用いて、ＨＭＤ１００の動作について説明する。

ここでは、ユーザは、ＨＭＤ１００を装着している状態で、図６に示すように、交差点のない直線の道路を直進歩行しているものと仮定する。そして、その歩行途中、図７に示すように、「差出人」「タイトル」「本文」からなる電子メールＡを受信したものと仮定する。

従来のＨＭＤによれば、図８に示すように、歩行中の道路が手前から奥へと映っており、この道路手前にオーバラップして、受信した電子メールＡの内容が提示されることになる。このような提示法によれば、ユーザの視線が画面下方に集中することになり、安心して情報を視聴できないので、本発明に係るＨＭＤ１００では、以下の手法を採用している。

まず、状況情報取得部１０１は、歩行中のユーザの状況を状況情報として取得する（Ｓ２０１）。ここでいう状況情報は、例えば進路情報である。前記したように、ユーザの現在位置はＧＰＳによって取得することができ、進路情報は予め地図上に設定された目的地から算出することができる。予め地図上に目的地を設定しなくても、過去に歩行したという行動履歴がある場合は、この行動履歴を用いて進路情報を予測することもできる。

このように状況情報が取得されると、観察視線推定部１０２は、観察視線推定基準記憶部１０７に記憶されている基準情報を参照し、ユーザの観察視線を推定する。

図９（Ａ）は、観察視線推定基準記憶部１０７に記憶されている基準情報の一例を示す図である。ここでは、ユーザの状況別に、観察視線を推定する際の基準が対応付けられている。具体的には、ユーザの状況が「等速直線運動」であることと、観察視線が「等速直線運動」であることとが対応付けられている。また、ユーザの状況が「交差点直進」であることと、観察視線が「左右確認」であることとが対応付けられている。

そこで、観察視線推定部１０２は、ユーザが直線状の道路を直進していることから、ユーザの観察視線も歩行に合わせて道路の手前から奥へと移動していくと推定する（Ｓ２０２）。具体的には、図１０に示すように、０秒後の視点位置はＲ０点、２秒後の視点位置はＲ２点、４秒後の視点位置はＲ４点、７秒後の視点位置はＲ７点であると推定する。

一方、提示情報取得部１０３は、電子メールを受信すると（Ｓ２０３）、この電子メールを提示情報として管理する。このように提示情報が提示情報取得部１０３の管理下におかれると、視認視線推定部１０４は、視認視線推定基準記憶部１０８に記憶されている基準情報を参照し、電子メールを視認するユーザの視認視線を推定する（Ｓ２０４）。

図１１（Ａ）は、視認視線推定基準記憶部１０８に記憶されている基準情報の一例を示す図である。ここでは、提示情報の種別ごとに、視認視線を推定する際の基準が対応付けられている。具体的には、提示情報が「電子メール」であることと、視認速度が「５文字／秒」であることとが対応付けられている。また、提示情報が「テレビ番組」であることと、視認速度が「１シーン／秒」であることとが対応付けられている。

図１２は、電子メールを視認するユーザの視点移動を示す図である。電子メールは横書きで提示されているので、この電子メールを視認するユーザの視点は１行目から順に左から右へ移動すると推定することができる。ここでは、０秒後の視点位置はＶ０点、２秒後の視点位置はＶ２点、４秒後の視点位置はＶ４点、７秒後の視点位置はＶ７点であると推定している。すなわち、文字を読む速度は一定である（ここでは、５文字／秒である）として、将来読んでいる文字を特定し、その文字が提示されている位置を視点位置として推定している。

このように観察視線と視認視線とが推定されると、提示法決定部１０５は、両視線の差異を求める（Ｓ２０５）。すなわち、図１３に示すように、０秒後における両視線の差異は矢印D0として、２秒後における両視線の差異は矢印D2として、４秒後における両視線の差異は矢印D4として、７秒後における両視線の差異は矢印D7として、それぞれ表すことができる。

両視線の差異の求め方について、図１４を用いて、更に詳しく説明する。まず、図１４（Ａ）に示すように、観察視線と光学素子１３との交点Ｐ１を求める。次に、図１４（Ｂ）に示すように、視聴視線と光学素子１３との交点Ｐ２を求める。最後に、図１４（Ｃ）に示すように、交点Ｐ１と交点Ｐ２間の距離Ｌ１を求める。この距離Ｌ１が例えば矢印D0の大きさということになる。

次いで、提示法決定部１０５は、このように求めた差異が所定の範囲内であるかどうかを判定する（Ｓ２０６）。例えば、矢印D0、D2、D4、D7の大きさが光学素子１３上で２ｍｍ以下であるかどうかを判定する。そして、矢印D0、D2、D4、D7の大きさが全て光学素子１３上で２ｍｍ以下である場合は、電子メールの提示法を変更しない（Ｓ２０６→Ｓ２０８）。一方、矢印D0、D2、D4、D7いずれかの大きさが光学素子１３上で２ｍｍを超える場合は、電子メールの提示法を変更する（Ｓ２０６→Ｓ２０７）。

図１５は、提示法記憶部１０９に記憶されている提示法情報の一例を示す図である。ここでは、提示情報の種別ごとに、提示法の種別が対応付けられている。具体的には、提示情報が「電子メール」であることと、提示法が「投影提示法」であることとが対応付けられている。また、提示情報が「テレビ番組」であることと、提示法が「部分提示法」であることとが対応付けられている。投影提示法は、ユーザの進路に沿って投影的に提示情報を配置する提示法である。また、部分提示法は、ユーザの進路に沿って提示情報の構成部分を時系列順に配置する提示法である。ここでは、提示情報は電子メールであるため、提示法決定部１０５は、電子メールの提示法を図１３に示した提示法から投影提示法に変更する。

図１６は、電子メールの提示法の変更例を示す図である。この図に示すように、提示法決定部１０５は、矢印D0、D2、D4、D7の大きさが全て光学素子１３上で２ｍｍ以下となるように、電子メールの提示法を変更している。図１３に示した提示法と比較して、図１６に示した投影提示法では、Ｒ０点とＶ０点、Ｒ２点とＶ２点、Ｒ４点とＶ４点、Ｒ７点とＶ７点がそれぞれ接近していることがわかる。

このように電子メールの提示法が決定されると、情報提示部１０６は、投影提示法によって電子メールを提示する（Ｓ２０８）。すなわち、図１７は、０秒後にユーザから見える状態を示しており、この状態では、「差出人」の文字が手前に映っている。図１８は、２秒後にユーザから見える状態を示しており、この状態では、「タイトル」の文字が手前に映っている。図１９は、４秒後にユーザから見える状態を示しており、この状態では、「本文」の文字が手前に映っている。図２０は、７秒後にユーザから見える状態を示しており、この状態では、「本文」の続きが手前に映っている。このように、本提示法によると、あたかも電子メールの内容が道路に描かれているかのように視認されることになる。

前述したように、ＨＭＤ１００は、状況情報に基づいて観察視線を推定するとともに、提示情報に基づいて視認視線を推定する。そして、このように推定した両視線と光学素子１３との交点Ｐ１及びＰ２を求め、この交点Ｐ１と交点Ｐ２間の距離Ｌ１が２ｍｍを超える場合は、この距離Ｌ２が２ｍｍ以下となるように、電子メールの提示法を変更する。

以上の説明から明らかなように、本発明に係る情報提示装置によれば、ユーザにとって安全な方向に視線が向くように提示情報を配置することができる。具体的には、観察視線と視認視線との差異を求め、この差異が小さな距離となるように提示情報の提示法を決定しているので、視線移動の負荷が軽減され、より安全性を確保しながらユーザに提示情報を視認させることができる。

なお、電子メールの提示法は前記した投影提示法に限定されるものではない。例えば、電子メールの内容を複数個の構成部分に分割して、各構成部分を時系列順にユーザの進路に沿って提示するようにしてもよい。すなわち、提示態様についてだけ説明すると、図２１は０秒後に、図２２は２秒後に、図２３は４秒後に、図２４は７秒後に、それぞれユーザから見える状態を示している。あるいは、電子メールを縦書きでユーザの進路に沿って上方に提示するようにしてもよい。すなわち、図２５は０秒後に、図２６は２秒後に、図２７は４秒後に、図２８は７秒後に、それぞれユーザから見える状態を示している。

また、提示情報は電子メールに限定されるものではない。テレビ番組の映像をシーン毎に分割して、各シーン映像を時系列順にユーザの進路に沿って提示するようにしてもよい。すなわち、図２９は０秒後に、図３０は２秒後に、図３１は４秒後に、図３２は７秒後に、それぞれユーザから見える状態を示している。

もちろん、提示情報がもともと複数の構成部分からなる場合は、提示情報を複数個の構成部分に分割する必要はない。例えば、テレビ番組の映像はもともと複数のシーンから構成されるので、この場合は、テレビ番組の映像を分割する処理を省略することができる。電子メールも「差出人」「タイトル」「本文」という単位でもともと分割されていると考えれば、テレビ番組の映像と同様、分割する処理を省略することができる。

さらに、図５のS２０１とS２０３の動作はどちらが先に行われてもよい。すなわち、S２０２の動作までにS２０１の動作が完了していればよく、S２０４の動作までにS２０３の動作が完了していればよい。同様に、Ｓ２０２の動作とＳ２０４の動作は、どちらが先に行われてもよい。すなわち、Ｓ２０５の動作までにＳ２０２とＳ２０４の動作が完了していればよい。もちろん、図５に示した各動作は、即時に次々と行われてもよいし、並行して行われてもよいし、時間をおいて行われてもよい。

さらに、図５のＳ２０２やＳ２０４で推定する視線は１通りでなくてもよい。すなわち、複数の視線候補を推定してもよいし、この視線候補それぞれの実現確率を推定してもよい。

図９（Ｂ）は、観察視線推定基準記憶部１０７に記憶されている基準情報の別の例を示す図である。ここでは、交差点に差し掛かった直後のユーザの状況別に、その状況が発生する確率と、その状況に適した観察視線とが対応付けられている。具体的には、直進する確率は８０％であり、その場合は「右」「左」「前」の順に観察視線を遷移させる旨が規定されている。また、右折する確率は２０％であり、その場合は「右」「左」「右」の順に観察視線を遷移させる旨が規定されている。また、左折する確率は０％であり、その場合は「左」「右」「左」の順に観察視線を遷移させる旨が規定されている。また、引き返す確率は０％であり、その場合は観察視線を１８０度回転させる旨が規定されている。

そこで、観察視線推定部１０２は、歩行中のユーザが交差点に差し掛かった際、直進する確率が８０パーセントで右折する確率が２０パーセントであるとして、２つの観察視線を推定してもよい。この場合は、直進する確率が最も高いので、直進に適した観察視線を選択するのが好ましい。ただし、ユーザが直進せずに右折した場合は、予め推定しておいた右折に適した観察視線に変更するのが好ましい。

同様に、電子メールの内容には重要な部分と重要でない部分とが存在するので、電子メールの構成部分ごとに複数の視認視線候補を推定するようにしてもよい。

図１１（Ｂ）は、視認視線推定基準記憶部１０８に記憶されている基準情報の別の例を示す図である。ここでは、電子メールの内容の重要度別に、その部分を読むのに適した視認速度が規定されている。具体的には、最も高い重要度Ａの部分は「３文字／秒」、２番目に高い重要度Ｂの部分は「４文字／秒」、３番目に高い重要度Ｃの部分は「５文字／秒」、４番目に高い重要度Ｄの部分は「６文字／秒」、５番目に高い重要度Ｅの部分は「７文字／秒」の視認速度とする旨が規定されている。

そこで、視認視線推定部１０４は、電子メールの構成部分ごとに重要度Ａ〜Ｅを決定し、決定した重要度に対応する速度でその部分が読まれたときの視認視線を推定する。これにより、重要な部分はゆっくりと読ませ、逆に重要でない部分は速い速度で読ませることが可能となる。

さらに、ここでは、矢印D0、D2、D4、D7の大きさが光学素子１３上で２ｍｍ以下であるかどうかを判定することとしているが、本発明はこれに限定されるものではない。すなわち、両視線の角度差が例えば１度以内であるかどうかを判定するようにしてもよいし、あるいは、提示情報と重なる道路上の距離が例えば５０ｃｍ以内であるかどうかを判定するようにしてもよい。両視線の差異が０の場合は、提示情報が重要な光景を隠してしまうこともあるので、例えば両視線の差異を５ｍｍから２ｍｍの間とする等、差異０を範囲外としてもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。

実施の形態１では、交差点のない直線の道路をユーザが直進歩行している場面を想定していたので、ユーザの歩行進路と観察視線とはほぼ一致していた。本実施の形態では、ユーザの歩行進路と観察視線とが一致しない場面について説明する。

図３３は、歩行中のユーザが交差点を直進する状況を示す図である。道路を直進する場合は、歩行進路と観察視線がほぼ一致していたが、交差点を直進する場合は、ユーザに交差点の左右確認をさせるために観察視線を左右に移動させるのが好ましい。

すなわち、このような場合は、図３４に示すように、観察視線が進路前方から「右」「左」「右」へと移動した後、再び進路前方に戻るものと推定し、それに合わせて電子メールを配置するようにしている。図３５は、このように電子メールを配置した場合に、ユーザから見える光景を示している。電子メールを順に読むと、交差点において自然と視線が「右」「左」「右」へと移動して、左右確認ができるようになっている。

以上の説明から明らかなように、本実施の形態に係る情報提示装置によれば、交差点を直進するユーザに左右確認をさせることができるので、よりユーザの安全性を高めることが可能となる。その他の点については、前記実施の形態１と同様であるため、ここでは詳しい説明を省略する。

（実施の形態３）
次に、本発明の実施の形態３について説明する。

前記実施の形態１では、ユーザの進路に沿って提示情報を一様に配置する構成を例示したが、本実施の形態では、視線に影響を与える物体に応じて、提示情報の位置や間隔や分布を偏らせて配置する。すなわち、ユーザの進路上に存在する物体に関する物体情報を状況情報取得部１０１が取得し、このように取得された物体情報に基づいて、提示法決定部１０５が提示情報の提示法を決定する。

図３６は、直進歩行中のユーザが注目物体に接近している場合の提示例である。ここでいう注目物体は、例えば自転車などであり、ユーザが注目すべき物体である。このように注目物体に接近している場合は、図３６に示すように、その注目物体付近に視線が向くように提示情報を配置するのが好ましい。ここでは、注目物体を挟む位置に電子メールの「タイトル」と「本文」を配置することで、「タイトル」を読んでから「本文」を読むまでの間に、ユーザが注目物体に気づきやすくしている。

図３７は、直進歩行中のユーザが凝視回避物体に接近している場合の提示例である。ここでいう凝視回避物体は、例えば見知らぬ人などであり、過度に凝視すべきでない物体である。このように凝視回避物体に接近している場合は、図３７に示すように、その凝視回避物体付近における情報配置の密度を低くすることで、凝視回避物体に長時間視線が向かないようにしている。なお、ユーザの進路上に存在する物体が注目物体であるか凝視回避物体であるかは、前方の光景を撮影して、その撮影画像を解析することによって判別可能である。

以上の説明から明らかなように、本実施の形態に係る情報提示装置によれば、視線に影響を与える物体に応じて、提示情報の位置や間隔や分布を偏らせて配置することができるので、よりユーザの安全性を高めることが可能となる。その他の点については、前記実施の形態１と同様であるため、ここでは詳しい説明を省略する。

なお、図２における各部は、一台のコンピュータ上にあってもよいし、一台のコンピュータ上になくてもよい。例えば、提示法決定部１０５と情報提示部１０６とが別の機器にあってもよいし、提示情報取得部１０３がインターネット上のサーバ機器でもよい。また、複数のコンピュータ上に各部が分散していてもよいし、図２における各部（例えば情報提示部１０６）が一台のコンピュータ上に複数存在してもよい。複数ユーザで図２の各部を共有してもよいのはもちろんである。

また、ここでは透過型のＨＭＤを例示したが、本発明は、これに限定されるものではない。すなわち、カメラ等によって撮影された外界の画像を仮想画像と重畳させてLCD等の表示装置に表示する密閉型のＨＭＤにも、本発明を適用することができる。また、情報提示部１０６は、ヘッドマウントディスプレイ、フェイスマウントディスプレイ、眼鏡型ディスプレイ、透過型ディスプレイ、網膜走査型ディスプレイ、携帯電話や携帯テレビやモバイル端末の情報提示部、プロジェクターなどを含んでもよい。もちろん、ＨＭＤだけでなく、図２に示した各部を備えた装置である以上、本発明を適用することができる。

さらに、視線の推定方法は様々あり、前述した方法に限定されるものではない。例えば、カメラで撮影した眼球の映像から目の特徴点（白目と黒目の境界など）を抽出することで視線を推定してもよい。あるいは、コンタクトレンズや眼球表面に印などの識別情報を付加しておき、その位置を認識することで視線を推定してもよい。あるいは、眼球付近の電気抵抗や、電流・電圧などの電気的特性の変化を計測することで視線を推定してもよい。あるいは、例えば「頭部が左を向いたので視点も左に移動する」などのように、体や頭部の移動に伴って視線が移動するという人間の身体的制約を用いて視線を推定してもよい。あるいは、交差点では左右確認するといった一般知識や、このユーザは子猫に興味を示すといった個人的嗜好を考慮することで、ユーザ周辺の状況や物体に対するユーザの関心の強さを予測して、関心の強い物体を注目するという観点から視線を推定してもよい。なお、視線の推定対象である目は、左右いずれか一方の目でもよいし、左右両方の目でもよい。また、ここでは視線を推定することとしているが、視点や注目点を推定することも、視線を推定することと実質的には同じである。もちろん、推定する視線の先は、点でなく領域でもよい。例えば、「２秒後は左側を見ている」などのように、領域で視線を推定してもよい。

さらに、ここでは提示情報の提示位置を変更することとしているが、提示する色調、明るさ、透明度、大きさ、向き、奥行き等のいずれかを変更するようにしてもよいし、あるいは、提示情報の再生状態（再生の一時停止、再開、中断、早送り、巻戻し、スロー再生、要約再生、部分再生など）を変更するようにしてもよい。また、提示法の変更は断続的でもよい。例えば、提示位置を変更する場合は、一旦提示を中止した後、前と異なる位置に再提示してもよい。

さらに、ここでは、提示情報として電子メールとテレビ番組とを例示したが、提示情報には、テレビ番組のような映像、電子メールのようなテキスト、静止画、信号などの少なくとも１つを含めばよい。また、提示情報を管理する方法については特に言及しなかったが、この方法としては、提示情報取得部１０３自体が提示情報自体の全部や一部を保有する方法を採用してもよいし、提示情報を取得できるように提示情報の位置を保有する方法を採用してもよいし、提示情報の位置を保有している別の提示情報取得部の位置を保有する方法を採用してもよい。

また、ここでは、観察視線と視認視線との差異が所定の範囲内に納まるように提示情報の提示法を決定することとしているが、本発明はこれに限定されるものではない。すなわち、視認視線あるいは観察視線の一方が他方に先行するように提示法を決定するようにしてもよいし、観察視線の動きに応じて情報提示を停止したり、ユーザの行動を変更させたりするように、提示法を決定するようにしてもよい。

本発明にかかる情報提示装置は、ユーザに情報を提示する情報提示装置として、特に、より安全性を確保しながらユーザに提示情報を視認させることが必要なＨＭＤ等として有用である。

図１は、本発明に係るＨＭＤをユーザが装着している状態を示す図である。 図２は、本発明に係るＨＭＤの要部の機能ブロック図である。 図３は、本発明に係るＨＭＤが地図情報を取得する様子を示す図である。 図４は、本発明に係るＨＭＤをユーザが装着している状態を示す図である。 図５は、本発明に係るＨＭＤの動作を示すフローチャートである。 図６は、ユーザの歩行進路を示す図である。 図７は、電子メールの内容を示す図である。 図８は、ユーザから見える状態を示す図である。 図９（Ａ）及び図９（Ｂ）は、観察視線推定基準記憶部に記憶されている基準情報の一例を示す図である。 図１０は、観察視線を推定する方法を示す図である。 図１１（Ａ）及び図１１（Ｂ）は、視認視線推定基準記憶部に記憶されている基準情報の一例を示す図である。 図１２は、視認視線を推定する方法を示す図である。 図１３は、観察視線と視認視線との差異を示す図である。 図１４（Ａ）、図１４（Ｂ）、及び図１４（Ｃ）は、観察視線と視認視線との差異を示す図である。 図１５は、提示法記憶部に記憶されている提示法情報の一例を示す図である。 図１６は、提示法の一例を示す図である。 図１７は、０秒後にユーザから見える状態を示す図である。 図１８は、２秒後にユーザから見える状態を示す図である。 図１９は、４秒後にユーザから見える状態を示す図である。 図２０は、７秒後にユーザから見える状態を示す図である。 図２１は、０秒後にユーザから見える状態を示す図である。 図２２は、２秒後にユーザから見える状態を示す図である。 図２３は、４秒後にユーザから見える状態を示す図である。 図２４は、７秒後にユーザから見える状態を示す図である。 図２５は、０秒後にユーザから見える状態を示す図である。 図２６は、２秒後にユーザから見える状態を示す図である。 図２７は、４秒後にユーザから見える状態を示す図である。 図２８は、７秒後にユーザから見える状態を示す図である。 図２９は、０秒後にユーザから見える状態を示す図である。 図３０は、２秒後にユーザから見える状態を示す図である。 図３１は、４秒後にユーザから見える状態を示す図である。 図３２は、７秒後にユーザから見える状態を示す図である。 図３３は、歩行中のユーザが交差点を直進する状況を示す図である。 図３４は、交差点を直進するユーザの歩行進路を示す図である。 図３５は、交差点を直進するユーザから見える状態を示す図である。 図３６は、直進歩行中のユーザが注目物体に接近している場合の提示例である。 図３７は、直進歩行中のユーザが凝視回避物体に接近している場合の提示例である。

符号の説明

１ ユーザの頭部
１１ 計算機
１２ 表示装置（ＬＣＤ）
１３ 光学素子
１４ ヘッドホン
１５ 装着部材
１６ 受信機
１７ ケーブル
１８ 格納部
１０１ 状況情報取得部
１０２ 観察視線推定部
１０３ 提示情報取得部
１０４ 視認視線推定部
１０５ 提示法決定部
１０６ 情報提示部

Claims (10)

1. ユーザに情報を提示する情報提示装置であって、
   ユーザの状況に関する状況情報を取得する状況情報取得手段と、
   前記状況情報取得手段によって取得された状況情報に基づいて、ユーザの眼から外界の観察対象へと向かう観察視線の将来の視点位置を単位時間別に推定する観察視線推定手段と、
   ユーザに提示する提示情報を取得する提示情報取得手段と、
   ユーザの眼から前記提示情報が提示される前記光学素子上の位置へと向かう視認視線の将来の視点位置を、前記提示情報の種別ごとに予め定められた基準に基づいて、単位時間別に推定する視認視線推定手段と、
   前記観察視線と前記視認視線の両視線について特定面との交点を単位時間別に求め、両交点間の距離が所定の範囲内に納まるように前記提示情報の提示法を決定する提示法決定手段と、
   前記提示情報取得手段によって取得された提示情報を前記提示法決定手段によって決定された提示法によってユーザに提示する情報提示手段と
   を備えることを特徴とする情報提示装置。
2. 前記状況情報取得手段は、ユーザの進路に関する情報を取得し、
   前記提示法決定手段は、ユーザの進路に沿って重なるような前記光学素子上の位置に仮想投影的に前記提示情報を配置する
   ことを特徴とする請求項１記載の情報提示装置。
3. 前記状況情報取得手段は、ユーザの進路に関する情報を取得し、
   前記提示法決定手段は、ユーザの進路に沿って重なるような光学素子上の位置に仮想投影的に、前記提示情報の構成部分を時系列順に配置する
   ことを特徴とする請求項１記載の情報提示装置。
4. 前記状況情報取得手段は、ユーザの進路に関する情報を取得し、
   前記提示法決定手段は、ユーザが交差点に差しかかった場合は、ユーザが交差点を左右確認することになる光学素子上の位置に仮想投影的に前記提示情報を配置する
   ことを特徴とする請求項１記載の情報提示装置。
5. 前記視認視線推定手段は、前記提示情報を複数個の部分に分割し、
   前記提示法決定手段は、分割された部分ごとに異なる提示位置となる提示法を決定する
   ことを特徴とする請求項１記載の情報提示装置。
6. 前記情報提示手段は、透過型の提示幕上に前記提示情報を提示する
   ことを特徴とする請求項１記載の情報提示装置。
7. 前記情報提示装置はさらに、
   外界を観察するユーザの視線を検出するセンサを備え、
   前記観察視線推定手段は、検出された視線を前記観察視線として採用する
   ことを特徴とする請求項１記載の情報提示装置。
8. ユーザに情報を提示する情報提示方法であって、
   ユーザの状況に関する状況情報を取得する状況情報取得ステップと、
   前記状況情報取得ステップにおいて取得された状況情報に基づいて、ユーザの眼から外界の観察対象へと向かう観察視線の将来の視点位置を単位時間別に推定する観察視線推定ステップと、
   ユーザに提示する提示情報を取得する提示情報取得ステップ手段と、
   ユーザの眼から前記提示情報が提示される前記光学素子上の位置へと向かう視認視線の将来の視点位置を単位時間別に推定する視認視線推定ステップと、
   前記観察視線と前記視認視線の両視線について特定面との交点を単位時間別に求め、両交点間の距離が所定の範囲内に納まるように前記提示情報の提示法を決定する提示法決定ステップと、
   前記提示情報取得ステップにおいて取得された提示情報を前記提示法決定ステップにおいて決定された提示法によってユーザに提示する情報提示ステップと
   を含むことを特徴とする情報提示方法。
9. ユーザに情報を提示するためのプログラムであって、
   ユーザの状況に関する状況情報を取得する状況情報取得ステップと、
   前記状況情報取得ステップにおいて取得された状況情報に基づいて、ユーザの眼から外界の観察対象へと向かう観察視線の将来の視点位置を単位時間別に推定する観察視線推定ステップと、
   ユーザに提示する提示情報を取得する提示情報取得ステップと、
   ユーザの眼から前記提示情報が提示される前記光学素子上の位置へと向かう視認視線の将来の視点位置を単位時間別に推定する視認視線推定ステップと、
   前記観察視線と前記視認視線の両視線について特定面との交点を単位時間別に求め、両交点間の距離が所定の範囲内に納まるように前記提示情報の提示法を決定する提示法決定ステップと、
   前記提示情報取得ステップにおいて取得された提示情報を前記提示法決定ステップにおいて決定された提示法によってユーザに提示する情報提示ステップと
   をコンピュータに実行させるためのプログラム。
10. ユーザに情報を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    ユーザの状況に関する状況情報を取得する状況情報取得ステップと、
    前記状況情報取得ステップにおいて取得された状況情報に基づいて、ユーザの眼から外界の観察対象へと向かう観察視線の将来の視点位置を単位時間別に推定する観察視線推定ステップと、
    ユーザに提示する提示情報を取得する提示情報取得ステップと、
    ユーザの眼から前記提示情報が提示される前記光学素子上の位置へと向かう視認視線の将来の視点位置を単位時間別に推定する視認視線推定ステップと、
    前記観察視線と前記視認視線の両視線について特定面との交点を単位時間別に求め、両交点間の距離が所定の範囲内に納まるように前記提示情報の提示法を決定する提示法決定ステップと、
    前記提示情報取得ステップにおいて取得された提示情報を前記提示法決定ステップにおいて決定された提示法によってユーザに提示する情報提示ステップと
    をコンピュータに実行させるためのプログラムを記録した記録媒体。

Images