JP5236423B2

JP5236423B2 - 表示システム、表示方法およびプログラム

Info

Publication number: JP5236423B2
Application number: JP2008268578A
Authority: JP
Inventors: 晃浩新藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2008-10-17
Filing date: 2008-10-17
Publication date: 2013-07-17
Anticipated expiration: 2028-10-17
Also published as: JP2010097472A

Description

本発明は、表示システム、表示方法およびプログラムに関し、特に、透過型ヘッドマウントディスプレイを用い、現実環境に電子情報を付加して提示する表示システム、表示方法およびプログラムに関する。

非透過型ヘッドマウントディスプレイ(Head Mounted Display、以下では、HMDと記す。)が存在する。非透過型HMDでは、視界を覆ってディスプレイ画面だけをユーザに視認させる。また、ユーザの顔の向きを検知するセンサを搭載し、これにより検知された顔の向きに応じて、3次元データで構成された仮想空間データを連続的に切り替えて表示する、ヘッドトラッキング機能を備えた非透過型HMDも存在する。非特許文献１には、非透過型HMD(Vuzix iWear VR920)が記載されている。

近年では、現実環境に電子情報を付加して提示する拡張現実技術として、透過型HMDも実現されている。透過型HMDでは、視界を確保しながら電子情報を付加的に提示することができる。具体的には、ユーザがHMDを装着することにより眼前にディスプレイが配置されるようにする。HMDは透過型とされ、ユーザはディスプレイを通して現実環境を視認できる。また、ディスプレイ上に電子情報を表示することにより、現実環境に電子情報を付加することができる。これによれば、眼前にディスプレイが配置されるので、ユーザは意識的に視線を向けなくても電子情報を確認することができ、かつ小型のディスプレイでも仮想的に大型の画面表示を実現できる。

透過型HMDでは、付加的に表示された電子情報を視認でき、また、それを通して現実環境を視認でき、ユーザの視界が確保されるので、ユーザの移動中であっても、歩行しながら視界の一部に表示された電子情報を確認することができる。透過型HMD(LUMUS)は、非特許文献２に記載されている。
http://www.vuzix.com/iwear/ products_vr920.html http://www.lumusvision.com/

透過型HMDを用い、移動中のユーザの視界の中に電子情報を付加的に提示する場合、歩行の安全性を高めるためには、電子情報の表示部分を限定し、現実環境を視認できる視界の面積を大きく確保することが望まれる。しかしながら、電子情報の表示部分を限定した場合、表示できる情報量が限定されてしまうという課題がある。

これを解決するために、状況に応じて表示を切り替える方法を採用することが考えられる。しかし、この切替をユーザの意図的な操作で行うものとした場合には、HMDの最も特徴とする、ユーザが意識的に視線を向けなくても電子情報を確認することができる、という特徴が損なわれてしまう。

従来の、表示を自動的に切り替えるヘッドトラッキング機能は、非透過型HMDにおいて、表示データを３次元の仮想空間データとして用意しておき、ユーザの顔の向きに応じて連続的に表示切替えを行うものである。３次元の仮想空間データを連続的に切り替えて表示させる処理は、処理負荷や消費電力が高いので、このような処理を携帯電話などの処理能力が低い端末で実現するのは困難である。

また、ユーザ移動時の安全性を特定する要素として、ユーザが歩行状態か停止状態かの別は重要であるが、従来のヘッドトラッキング機能は、元々ユーザの移動中の利用を想定していない非透過型HMDに搭載された機能である。また。従来のヘッドトラッキング機能では、表示内容を特定する要素としてユーザの顔の向きのみを用いており、ユーザの歩行、停止などの動きに応じて表示内容を切り替えることは意図されていない。

本発明の目的は、上記課題を解決し、ユーザの動きに応じて現実環境に適切かつ低い処理負荷で電子情報を付加して提示することができる、透過型ヘッドマウントディスプレイを用いた表示システム、表示方法およびプログラムを提供することにある。

上記課題を解決するため、本発明は、
透過型ヘッドマウントディスプレイを用い、現実環境に付加して電子情報を提示する表示システムにおいて、ユーザの動きに関する一次状態情報を取得する取得手段と、前記取得手段によって取得された一次状態情報から、ユーザが歩行中か停止中か、さらにユーザの顔の向きを推定し、この状態を示す状態情報を出力する状態推定手段と、ユーザの顔が向いている上下方向角度および顔の傾きの範囲およびユーザが歩行中か停止中かの条件と該条件に応じて現実環境に付加する電子情報の表示内容を対にして格納しているデータベースから、前記状態推定手段によって出力された状態情報と上記条件の各要素を比較して一致する条件と対の表示内容を選択し、該選択に従って表示内容を非線形に切り替えて設定する表示設定手段と、前記表示設定手段により設定された表示内容を表示する、透過型ヘッドマウントディスプレイからなる表示手段を備え、前記表示内容は、ユーザが歩行中と推定されたとき、前記ユーザが透過型ヘッドマウントディスプレイの表示画面を通して現実環境を視認できる視界が確保されるように表示画面の一部に表示される情報と、ユーザが停止中と推定されたとき、前記透過型ヘッドマウントディスプレイの表示画面全体に表示される情報を含むことを特徴としている。

さらに、本発明は、前記表示設定手段が、前記状態情報が変化して一定時間経過するまでは、それ以前の設定を継続することを特徴としている。

なお、本発明は、表示システムとしてだけでなく、表示方法やプログラムとしても実現できる。

本発明では、ユーザが歩行中か停止中かに応じて現実環境に付加する電子情報の表示内容を切り替える。これにより、ユーザが移動していても、歩行中であれば、ディスプレイでの電子情報の表示領域を限定し、視界を確保して歩行の安全性を高めることができる。また、ユーザが移動していても、停止中であれば、ディスプレイの表示可能領域一杯に電子情報を提示し、その詳細を確認できるようにすることができる。

また、現実環境に付加する電子情報の表示内容を非線形に切り替えるようにしているので、３次元の仮想空間データを連続的に切り替えて表示させる場合のように処理負荷や消費電力が高くなく、表示制御の処理負荷が軽くて済み、携帯電話などの処理能力が低い端末においても、この表示制御を実現できる。

また、表示内容を設定する要素として、ユーザが歩行中か停止中かに加えてユーザの顔の向きを用いることにより、複数の詳細な画面を簡便に切り替えて確認することができる。

さらに、ユーザの状態が変化してから一定時間後に表示内容が切り替わるようにすることにより、表示内容が、ユーザが意図しない内容に頻繁に切り替わる事象を抑制することができる。

以下、図面を参照して本発明を説明する。以下では、本発明を、携帯電話を利用した表示システムとして実現した場合について説明する。しかし、本発明は、表示システムとしての他、表示方法、あるいは携帯電話などに搭載してそれを表示システムとして動作させるプログラムとしても実現できる。

図１は、本発明の一実施形態を示すブロック図である。本実施形態の表示システムは、取得部11、状態推定部12、表示設定部13、データベース(DB)14および表示部15を備える。

取得部11は、ユーザの動きに関する一次状態情報を取得する。取得部11は、例えば、加速度センサや地磁気センサであり、その場合、一次状態情報は、加速度情報や磁力情報である。加速度センサや地磁気センサを携帯電話あるいは表示部(HMD)15に設置すれば、ユーザが歩行中か停止中かを推定するための一次状態情報を取得でき、また、加速度センサや地磁気センサをを表示部(HMD)15に設置すれば、ユーザが歩行中か停止中かだけでなく、ユーザの顔の向きを推定するための一次状態情報を取得できる。

状態推定部12は、取得部11によって取得された一次状態情報から、ユーザが歩行中か停止中かを推定し、この状態を示す状態情報を出力する。ユーザが歩行中か停止中かは、例えば、歩行中および停止中での加速度のパターンを予め設定しておき、このパターンと取得された加速度情報との一致の度合いから推定できる。状態情報として、ユーザが歩行中か停止中かだけでなく、顔が向いている方位や上下方向の角度、顔の左右の傾きを示す情報も得ることができる。なお、ユーザの顔が向いている方位や上下方向の角度、顔の左右の傾きを示す情報は、３つの地磁気センサと３つの加速度センサからなるコンパスセンサモジュールを用いて得ることができる。状態推定部12は、取得部11と一体とすることができ、あるいは表示設定部13とともに携帯電話に設けることもできる。

表示設定部13は、状態推定部12によって出力された状態情報に基づいて、現実環境に付加する電子情報の表示内容を非線形に切り替えて設定する。この設定は、例えば、状態推定部12によって出力された状態情報を、後述するDB14に格納されているユーザプリファレンス情報と比較することによって行われる。表示設定部13は携帯電話に設けられる。

DB14は、現実環境に付加する電子情報の表示内容を非線形に切り替えて設定するために必要なユーザプリファレンス情報を格納している。DB14も携帯電話に設けられる。

表示部15は、透過型HMDとして構成され、表示設定部13により設定された表示内容を表示する。これにより、ユーザの眼前に表示内容が表示される。表示部14は、表示設定部13に画像出力用ケーブルで接続される。この接続方法は、有線接続でもよく、bluetooth、IEEE802.11、Wireless HDなどの無線接続でもよい。

図２は、DB14に格納されるユーザプリファレンス情報の一例を示す。このユーザプリファレンス情報では、「No.」、「顔方向範囲」、「歩行/停止」、「カウント閾値」および「表示内容」の各項目についての条件を設定している。

「No.」は、表示内容を設定する際の、ユーザプリファレンス情報の適用順序を設定する。すなわち、「No.」の数が小さい順から、状態推定部12によって出力された状態情報の各要素と比較する。

「顔方向範囲」には、ユーザの顔の向いている上下方向の角度(tilt)および顔の傾き(rot)の範囲を設定し、「歩行/停止」には、ユーザが歩行状態か停止状態かを設定する。「顔方向範囲」として、顔が体に対して左右のいずれの方向を向いているかを示す顔の左右の向きを設定することもできる。なお、ユーザの顔の左右の向きは、例えば、ユーザの移動時に目的地まで誘導するナビゲーションサービスの使用時にナビゲーションの進行方向と顔の向いている方位を比較することにより知ることができる。

「カウント閾値」には、ユーザプリファレンス情報での「顔方向範囲」および「歩行/停止」の継続時間を設定する。すなわち、状態推定部12によって出力された状態情報の各要素がユーザプリファレンス情報での「顔方向範囲」の条件および「歩行/停止」の条件と一致する状態が「カウント閾値」以上継続した場合に、ユーザは該状態にあると判断する。カウント閾値は、ユーザの状態が変化し、その状態が一定時間継続した後に表示内容が切り替わるようにする、すなわちヒステリシス時間を持たせるためのものである。これにより、表示内容が、ユーザが意図しない内容に頻繁に切り替わる事象を抑制することができる。ただし、状態推定部12が、このような機能を備えている場合には、「カウント閾値」を「0」(sec)に設定し、表示設定部13ではヒステリシス時間を持たせることなく即時表示が切り替わるようにすればよい。

「表示内容」には、状態推定部12によって出力された状態情報の各要素がユーザプリファレンス情報に一致すると判断した場合に表示する表示内容を設定する。

図２では、「顔方向範囲」として、顔の向いている上下方向の角度(tilt)および顔の傾き(rot)の範囲を設定し、「歩行/停止」として歩行あるいは停止を設定し、「カウント閾値」として継続時間(sec)を設定し、「表示内容」として縮尺が大/小のナビ地図、時刻表、進行方向指示の矢印(点灯/点滅)を設定している。

図２の例では、ユーザの状態が、tilt＞5°かつrot＞20°、停止、カウント閾値3sec以上の場合、状態推定部12によって出力された状態情報の各要素は「No.1」のユーザプリファレンス情報を満たす。この場合には、表示設定部13は、縮尺が大のナビ地図を表示させる。また、ユーザの状態が、tilt＞5°かつrot＜-20°、停止、カウント閾値3sec以上の場合、状態推定部12によって出力された状態情報の各要素は「No.2」のユーザプリファレンス情報を満たす。この場合には、表示設定部13は、縮尺が小のナビ地図を表示させる。また、ユーザの状態が、tilt＜-10°、停止、カウント閾値5sec以上の場合、状態推定部12によって出力された状態情報の各要素は「No.3」のユーザプリファレンス情報を満たすので、表示設定部13は、時刻表を表示させる。また、ユーザの状態が、「No.1」〜「No.3」の「顔方向範囲」の条件を満たさず、停止、カウント閾値3sec以上の場合、状態推定部12によって出力された状態情報の各要素は「No.4」のユーザプリファレンス情報を満たすので、表示設定部13は、進行方向指示の矢印を表示させる。さらに、ユーザの状態が、歩行の場合には、カウント閾値0secであっても、状態推定部12によって出力された状態情報の各要素は「No.5」のユーザプリファレンス情報を満たすので、表示設定部13は、矢印(一定周期で点滅)を表示させる。ユーザの進行方向は、GPSセンサとナビルート情報(既存ナビエンジンによる情報や固定ルート情報)から取得したナビ方位とコンパスセンサから取得した顔方位から決定できる。また、ナビ地図や時刻表のデータは、ナビゲーションシステムを利用し、ユーザの現在位置や顔方位を基にデータベースから取得できる。このデータベースは、本システム内のDB14でもよいし、通信によりアクセス可能なサーバ上のものでもよい。ナビ地図としては、ユーザの現在位置付近の地図を選択して表示すればよい。また、時刻表としては、ユーザの現在位置に最も近い駅までの距離や時間、該駅での時刻表や主な駅の到着時間などを取得して表示すればよい。

図３は、表示部15での表示例を示す図である。図３(a)は、図２の「No.2」の条件を満たす場合、すなわち、ユーザが上を向いて顔を一方に傾けた(tilt＞5°,rot＜-20°)状態で3sec以上停止している場合の表示例である。図３(b)は、図２の「No.3」の条件を満たす場合、すなわち、ユーザが下を向いた(tilt＜-10°)状態で5sec以上停止している場合の表示例である。図３(c)は、図２の「No.5」の条件を満たす場合、すなわち、ユーザが歩行している状態での表示例である。なお、図３(c)では表現されないが、図中の矢印は、一定周期で点滅するものとする。図３には、「No.1」および「No.4」の場合の表示例を示していないが、「No.1」の場合は、ナビ地図(図３(a))の縮小が大きくなるだけであり、「No.4」の場合は、矢印(図３(c))が一定周期で点滅せずに、点灯するだけである。

図４は、図１の表示システムにおける動作を示すフローチャートである。携帯電話において、本発明の表示システムとして機能させるプログラムが起動されたとき、まず。初期化(S1)を実行する。

図５は、初期化(S1)の詳細を示すフローチャートである。初期化処理(S1)では、変更フラグ、変更カウント、変更候補No.および現在条件No.を初期化する。すなわち、変更フラグ=0(S101)、変更カウント=0(S102)、変更候補No.=NULL(S103)、現在条件No.=NULL(S104)に設定する。

次に、図４に戻って、S2以下のステップを実行する。S2以下のステップは、アプリケーションプログラムの起動中、所定周期、例えば1sec周期のクロックに従って繰り返し実行する。S2では、ユーザの歩行、顔方向状態データを取得し、次のS3で、変更フラグ=1か否かを判断する。

最初は、初期化(S1)により変更フラグ=0となっているので、S4に進み、最も小さいNo.(No.=1)の条件とS2での取得データの各要素を比較し、S2での取得データの各要素がNo.=1の条件に一致するか否かを判断する(S5)。取得データの各要素がNo.=1の条件に一致しない場合には、S6で、次のNo.の条件が存在するか否かを判断し、次のNo.の条件が存在する場合には、次に小さいNo.(No.=2)の条件とS2での取得データの各要素を比較し(S7)、その後、S5に戻る。

S5〜S7のループにより、最も小さいNo.(No.=1)の条件から始まって順次大きいNo.の条件を適用し、S5で一致と判断されたときのNo.を取得する。なお、取得データの各要素がどのNo.の条件にも一致しない場合には、表示内容を変更することなくS2に戻り、S2以下のステップを繰り返す。

S8では、S5で一致と判断されたときのNo.(条件No.)と現在条件No.とが同じか否かを判断する。条件No.が現在条件No.と同じことは、ユーザの状態に変化がないことを表しているので、この場合には、表示内容を変更することなくS2に戻り、S2以下のステップを繰り返す。しかし、条件No.が現在条件No.と同じでない場合には、変更フラグ=1(S9)、変更候補No.=条件No.(S10)、変更カウント=1(S11)とする。

次に、変更カウントが当該No.の条件のカウント閾値以上(変更カウント≧条件のカウント閾値)であるか否かを判断する(S12)。変更カウント≧条件のカウント閾値でない場合には、表示内容を変更することなくS2に戻り、S2以下のステップを繰り返す。

この繰り返しでは、変更フラグ=1となっているので、S3からS13に進み、変更候補No.の条件とS2での取得データの各要素を比較し、S2での取得データの各要素が変更候補No.の条件に一致するか否かを判断する(S14)。

S14で、取得データの各要素が変更候補No.の条件に一致することは、S5で一致と判断されたときのユーザの状態がまだ継続していることを表している。この場合には、S15で変更カウント=変更カウント+1(インクリメント)とし、S12に進む。

S12〜S15のループを繰り返すことにより、S12の判断は、ユーザの状態が変化してからその状態が当該条件のカウント閾値以上継続したか否かを表すことになる。

S12で、変更カウント≧条件のカウント閾値である場合は、ユーザの状態が変化してからその状態が当該条件のカウント閾値以上継続したことを表すので、S16に進み、表示内容を変更候補No.で規定された「表示内容」に変更する。その後、現在条件No.=変更候補No.(S17)、変更フラグ=0(S18)、変更カウント=0(S19)、変更候補No.=NULL(S20)に設定してS2に戻り、S2以下のステップを繰り返す。

S14で、取得データの各要素が変更候補No.の条件に一致しないことは、S5で一致と判断されたときのユーザの状態が継続しておらず、変化したことを表している。この場合には、変更フラグ=0(S21)、変更カウント=0(S22)、変更候補No.=NULL(S20)に設定してS4に進み、新たに最も小さいNo.(No.=1)の条件とS2での取得データの各要素の比較から始める。

以上、実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、種々に変形可能である。例えば、取得部は、ユーザの動きに関する一次状態情報を出力する加速度センサや地磁気センサなど、それぞれのセンサに対応する別個の取得部として構成することができる。また、加速度センサと地磁気センサなどを１つに統合したセンサモジュールとして取得部を構成してもよい。さらに、加速度センサや地磁気センサなどは、それぞれ携帯電話に搭載されていてもよいし、HMDに搭載されていてもよいし、携帯電話やHMDとは別の単独の装置とされていてもよい。

また、図２の「表示内容」は、ナビゲーションサービスでの一例であるが、本発明を利用して提供されるサービスは、ナビゲーションサービスに限定されるものではない。例えば、HMDにカメラを搭載し、それにより取得された画像から人や物体を認識し、認識された人や物体に係る情報を、ユーザが歩行中か停止中かに応じて簡易情報と詳細情報で切り替えて表示するサービスなどにも適用できる。この適用では、ユーザの歩行中は、表示領域を限定して簡易情報を表示し、視界を確保して歩行の安全性を高めることができ、また、停止中は、表示可能領域一杯に詳細情報を表示し、その詳細を確認できる。

さらに、図２のユーザプリファレンス情報における各条件をユーザが任意に設定可能にしたり、表示内容をメニューから選択して設定可能にしたりすることもできる。

本発明の一実施形態を示すブロック図である。表示設定で利用されるユーザプリファレンス情報の一例を示す図である。本発明による表示例を示す図である。図１の表示システムにおける動作を示すフローチャートである。初期化(S1)の詳細を示すフローチャートである。

符号の説明

11・・・取得部、12・・・状態推定部、13・・・表示設定部、14・・・データベース(DB)、15・・・表示部

Claims

透過型ヘッドマウントディスプレイを用い、現実環境に付加して電子情報を提示する表示システムにおいて、
ユーザの動きに関する一次状態情報を取得する取得手段と、
前記取得手段によって取得された一次状態情報から、ユーザが歩行中か停止中か、さらにユーザの顔の向きを推定し、この状態を示す状態情報を出力する状態推定手段と、
ユーザの顔が向いている上下方向角度および顔の傾きの範囲およびユーザが歩行中か停止中かの条件と該条件に応じて現実環境に付加する電子情報の表示内容を対にして格納しているデータベースから、前記状態推定手段によって出力された状態情報と上記条件の各要素を比較して一致する条件と対の表示内容を選択し、該選択に従って表示内容を非線形に切り替えて設定する表示設定手段と、
前記表示設定手段により設定された表示内容を表示する、透過型ヘッドマウントディスプレイからなる表示手段を備え、
前記表示内容は、ユーザが歩行中と推定されたとき、前記ユーザが透過型ヘッドマウントディスプレイの表示画面を通して現実環境を視認できる視界が確保されるように表示画面の一部に表示される情報と、ユーザが停止中と推定されたとき、前記透過型ヘッドマウントディスプレイの表示画面全体に表示される情報を含むことを特徴とする表示システム。
前記表示設定手段は、前記状態情報が変化して一定時間経過するまでは、それ以前の設定を継続することを特徴とする請求項１に記載の表示システム。
透過型ヘッドマウントディスプレイを用い、現実環境に付加して電子情報を提示する表示方法において、
ユーザの動きに関する一次状態情報を取得する第１のステップと、
前記第１のステップによって取得された一次状態情報から、ユーザが歩行状態か停止状態か、さらにユーザの顔の向きを推定し、この状態を示す状態情報を出力する第２のステップと、
ユーザの顔が向いている上下方向角度および顔の傾きの範囲およびユーザが歩行中か停止中かの条件と該条件に応じて現実環境に付加する電子情報の表示内容を対にして格納しているデータベースから、前記第２のステップによって出力された状態情報と上記条件の各要素を比較して一致する条件と対の表示内容を選択し、該選択に従って表示内容を非線形に切り替えて設定する第３のステップと、
前記第３のステップにより設定された表示内容を、透過型ヘッドマウントディスプレイからなる表示手段に表示する第４のステップを有し、
前記表示内容は、ユーザが歩行中と推定されたとき、前記ユーザが透過型ヘッドマウントディスプレイの表示画面を通して現実環境を視認できる視界が確保されるように表示画面の一部に表示される情報と、ユーザが停止中と推定されたとき、前記透過型ヘッドマウントディスプレイの表示画面全体に表示される情報を含むことを特徴とする表示方法。
透過型ヘッドマウントディスプレイを用い、現実環境に付加して電子情報を提示するために、コンピュータを、
ユーザの動きに関する一次状態情報を取得する第１の手順、
前記第１の手順によって取得された一次状態情報から、ユーザが歩行状態か停止状態か、さらにユーザの顔の向きを推定し、この状態を示す状態情報を出力する第２の手順、
ユーザの顔が向いている上下方向角度および顔の傾きの範囲およびユーザが歩行中か停止中かの条件と該条件に応じて現実環境に付加する電子情報の表示内容を対にして格納しているデータベースから、前記第２の手順によって出力された状態情報と上記条件の各要素を比較して一致する条件と対の表示内容を選択し、該選択に従って表示内容を非線形に切り替えて設定する第３の手順と、
前記第３の手順により設定された表示内容を、透過型ヘッドマウントディスプレイからなる表示手段に表示させる第４の手順を実行させ、
前記表示内容は、ユーザが歩行中と推定されたとき、ユーザが前記透過型ヘッドマウントディスプレイの表示画面を通して現実環境を視認できる視界が確保されるように表示画面の一部に表示される情報と、ユーザが停止中と推定されたとき、前記透過型ヘッドマウントディスプレイの表示画面全体に表示される情報を含むプログラム。