JP5622510B2 - 画像生成システム、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、画像生成システム、プログラム及び情報記憶媒体等に関係する。

近年、携帯電話やＰＤＡ等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には例えば、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、地図上にレストラン等の施設の位置を表示する。

しかし、このようなシステムを移動中に利用しようとした場合には（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザの視点（視線方向）が頻繁に上下してしまうという問題がある。つまり、ユーザの利便性を考えると、歩行中（ここでは歩行者向けサービスを想定している）は進行方向に視線を向けていることが好ましい。それに対して、情報提供サービスの画面を参照するためには、例えば手で把持している携帯電子機器に目を落とす必要がある。よって、情報提供サービスを利用しつつ歩行をすることは、ユーザも煩わしさを感じてしまう。さらに、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは場合によってはわかりにくいという問題があった。

また、ユーザの視点を変えずに情報を提供する手法として、ＨＭＤ（ヘッドマウントディスプレイ・ユーザの頭部に装着して用いる画像表示装置）を用いてユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。

特開平１０−３４１３８７号公報

携帯電子機器を用いた情報提供サービスでは、視点を頻繁に変更する必要がある上、地図上にコンテンツ（例えば施設の位置）を表示する情報提供サービスは直感的でなく、場合によってはわかりにくいという問題がある。また、特許文献１の手法のようにＨＭＤを用いることで、視点が頻繁に変更されるという問題は解決されうるが、特許文献１ではナビゲーションサービス、情報提供サービスに関する技術は記載されていない。

本発明の幾つかの態様によれば、ユーザとコンテンツ提示地点との位置関係情報に基づいて、直感的な手法でコンテンツを提示することができる画像生成システム、プログラム及び情報記憶媒体等を提供できる。

本発明の一態様は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部と、を含み、前記位置関係情報特定部は、前記方向情報により前記ユーザの進行方向が特定される場合に、前記進行方向の直交方向を含まない所与の角度範囲の第１の判定エリアを設定し、設定された前記第１の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第１の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様では、センサ情報からユーザの位置情報を特定し、仮想マップ上でのユーザとコンテンツ提示地点の位置関係情報を特定する。そして、第１の判定エリアを設定し、第１の判定エリア内にコンテンツ提示地点が位置する場合には情報画像を表示する表示画像を生成する。よって、ユーザに対して所定のエリア内に位置するコンテンツ提示地点の情報画像をユーザに対して提示できるため、直感的な情報提供サービスを実現すること等が可能になる。

また、本発明の一態様では、前記位置関係情報特定部は、前記進行方向の前記直交方向を含む所与の角度範囲の第２の判定エリアを設定し、設定された前記第２の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第２の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第２の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成してもよい。

これにより、直交方向を含む第２の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザが第２の判定エリアの方を向いている場合には、詳細情報画像をユーザに提示すること等が可能になる。

また、本発明の一態様では、前記画像生成部は、前記第２の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記ユーザの前記頭部方向又は前記視線方向が前記第１の判定エリアの方に向いていると判断された場合には、前記コンテンツ提示地点の存在方向を示す存在方向情報が表示される前記表示画像を生成してもよい。

これにより、第２の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザが該コンテンツ提示地点の方向を見ていない場合には、コンテンツ提示地点の存在方向情報を表示し、ユーザに知らせること等が可能になる。

また、本発明の一態様では、前記画像生成部は、前記コンテンツ提示地点の存在方向を示す矢印画像が前記存在方向情報として表示される前記表示画像を生成してもよい。

これにより、矢印画像を存在方向情報として用いることが可能になる。

また、本発明の一態様では、前記位置関係情報特定部は、前記第２の判定エリアを規定する前記ユーザの位置からの所与の距離を、前記第１の判定エリアを規定する前記ユーザの位置からの所与の距離よりも短く設定してもよい。

これにより、第１の判定エリアに比べて第２の判定エリアを小さく設定することが可能になり、自然な態様で情報画像や詳細情報画像をユーザに提示すること等が可能になる。

また、本発明の一態様では、前記ユーザが移動していると判断された場合に、前記第１の判定エリア、前記第２の判定エリアを設定し、前記ユーザが移動を停止していると判断された場合には、前記進行方向及び前記直交方向を含む第３の判定エリアを設定し、設定された前記第３の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第３の判定エリア内に前記コンテンツ提示地点が位置していると判断され、かつ、前記ユーザの頭部方向又は視線方向が前記コンテンツ提示地点の方に向いていると判断された場合には、前記コンテンツ提示地点の前記詳細情報画像が表示される前記表示画像を生成してもよい。

これにより、移動時と停止時とで判定エリアの設定手法を異ならせることが可能になるとともに、停止時には第３の判定エリアを設定し、詳細情報画像を表示すること等が可能になる。

また、本発明の一態様では、前記位置関係情報特定部は、前記ユーザの前記進行方向を含む所与の角度範囲のナビゲーションエリアを設定するとともに、前記ナビゲーションエリアと前記第２の判定エリアの間の所与の角度範囲を前記第１の判定エリアとして設定し、設定された前記第１の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断してもよい。

これにより、ナビゲーションエリアを設定することが可能になるとともに、ナビゲーションエリアと第２の判定エリアの間の角度範囲を第１の判定エリアとして設定することが可能になる。

また、本発明の一態様では、前記画像生成部は、前記ユーザの頭部方向又は視線方向が前記ナビゲーションエリアの方向を向いていると判断された場合には、前記ユーザを目的地に誘導するためのナビゲーション画像が表示される前記表示画像を生成してもよい。

これにより、ユーザの頭部方向又は視線方向がナビゲーションエリアの方向を向いている場合には、ナビゲーション画像を表示することが可能になる。

また、本発明の一態様では、前記位置関係情報特定部は、前記ユーザの前記進行方向を含み、前記進行方向の直交方向を含まない所与の角度範囲を、前記第１の判定エリアとして設定し、設定された前記第１の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断してもよい。

これにより、第１の判定エリアとして、進行方向を含み、直交方向を含まない角度範囲を設定することが可能になる。

また、本発明の一態様では、前記画像生成部は、前記第１の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点と前記ユーザの前記位置関係情報に基づいて、前記情報画像のサイズ及び前記情報画像の表示位置の少なくも一方が変化する前記表示画像を生成してもよい。

これにより、位置関係情報に基づいて情報画像のサイズや表示位置を変更することができるため、コンテンツ提示地点との位置関係を直感的な形でユーザに知らせること等が可能になる。

また、本発明の一態様では、前記画像生成部は、前記コンテンツ提示地点を表象するアイコン画像が前記情報画像として表示された前記表示画像を生成してもよい。

これにより、アイコンを情報画像として用いることが可能になる。

また、本発明の一態様では、前記画像生成部は、前記仮想マップ上での前記ユーザの視野範囲をθ２とした場合に、前記仮想マップ上でθ２に対応する視野範囲を、θ２＞θ１を満たすθ１の画角で外界視界に重畳される画像を生成することを特徴とする画像生成システム。

これにより、表示画像の画角に比べて、仮想マップ上での視野範囲を広く設定できるため、ユーザの頭部方向が変化した場合にも、表示画像上にコンテンツ提示地点の情報画像を表示すること等が可能になる。

また、本発明の一態様では、前記画像生成部は、前記頭部方向又は前記視線方向の右側領域に前記コンテンツ提示地点が位置すると判断された場合には、右側画像領域の画像上位置に情報画像が表示された前記表示画像を生成するとともに、前記頭部方向又は前記視線方向の左側領域に前記コンテンツ提示地点が位置すると判断された場合には、左側画像領域の画像上位置に前記情報画像が表示された前記表示画像を生成してもよい。

これにより、仮想マップ上でのユーザの頭部方向又は視線方向に対してコンテンツ提示地点が右方向に位置する場合には右側画像領域に情報画像を表示し、頭部方向又は視線方向に対して左方向に位置する場合には左側画像領域に情報画像を表示することが可能になり、ユーザにとってわかりやすい表示画像を生成すること等が可能になる。

また、本発明の一態様では、前記画像生成部は、前記表示画像として、ヘッドマウントディスプレイに表示される画像を生成してもよい。

これにより、ヘッドマウントディスプレイを表示装置として用いることが可能になる。

また、本発明の一態様では、前記ヘッドマウントディスプレイは、外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、前記画像生成部は、前記表示画像として、前記ヘッドマウントディスプレイに表示される画像を生成してもよい。

これにより、シースルー型のヘッドマウントディスプレイを表示装置として用いることが可能になる。

本発明の他の態様は、ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部と、を含み、前記位置情報により前記ユーザの位置が特定され、前記方向情報により前記ユーザの進行方向が特定される場合に、前記位置関係情報特定部は、前記ユーザの位置からの所与の距離範囲、及び、前記ユーザの前記進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方の第１の判定エリアを設定し、設定された前記第１の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断するとともに、前記進行方向の前記直交方向を含む所与の角度範囲の第２の判定エリアを設定し、設定された前記第２の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、前記画像生成部は、前記第１の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成し、前記第２の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第２の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成する画像生成システムに関係する。

本発明の他の態様では、ユーザの位置からの所与の距離範囲の第１の判定エリアを設定するとともに、進行方向の直交方向を含む所与の角度範囲の第２の判定エリアを設定することが可能になる。よって、ユーザからの距離範囲に応じて情報画像を表示することができるとともに、詳細情報画像の表示も可能となる。

従来の情報提供サービスの表示画像の例。 外界視界に本実施形態の手法を用いた表示画像を重畳した例。 本実施形態の表示画像の例。 図４（Ａ）〜図４（Ｃ）は本実施形態の表示画像の変化を説明する図。 図５（Ａ）、図５（Ｂ）は本実施形態のシステム構成例。 進行方向を推定する手法を説明する図。 図７（Ａ）、図７（Ｂ）は判定エリアの設定例。 判定エリアの他の設定例。 図９（Ａ）〜図９（Ｄ）はユーザとコンテンツ提示地点との位置関係情報に基づいた表示画像の変化を説明する図。 図１０（Ａ）、図１０（Ｂ）はユーザの頭部方向に対するコンテンツ提示地点の左右の位置に基づいた表示画像の変化を説明する図。 ユーザから見た外界視界の視野範囲と、表示画像の画角を説明する図。 キャラクタが目的地に向かって移動する様子を説明する図。 図１３（Ａ）〜図１３（Ｄ）はマップ上でのユーザの視野範囲内にキャラクタが位置しない場合の表示画像の例。 ユーザに対して設定される距離エリアの例。 キャラクタを用いたナビゲーションサービスと情報提供サービスを同時に用いる際の表示画像の例。 本実施形態の処理を説明するフローチャート。 マップ上でのユーザの視野範囲と、右側領域・左側領域を説明する図。 表示画像における右側画像領域・左側画像領域を説明する図。 ユーザから見た表示画像の画角と、右側画像領域・左側画像領域を説明する図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法

まず、本実施形態の手法について説明する。近年の携帯電子機器（例えば携帯電話等）では、多くのナビゲーションサービス（ここでは歩行者用ナビゲーションを想定しているが、カーナビゲーションシステムであってもよい）や情報提供サービスが提供されている。例えば、検索対象地点を入力することで、入力地点の周辺にある施設等に関連するコンテンツを表示するサービス等である。

しかし、このようなシステムを利用して対象施設に移動することを想定した場合、ユーザの進行方向と案内画面の表示される方向（携帯電子機器の表示部がある方向）が異なる点が問題となる。つまり、ユーザは進行方向をみて、安全を確認したり、視界内にある建物等を確認したりしつつ、携帯電子機器に視線を向けてサービスアプリケーション画面を参照する必要がある。これはユーザにとって非常に煩わしく負担になる。

また、現在の情報提供サービスは、例えば図１に示すように、地図を用いて情報提供を行うことがほとんどである。図１のＡ１のように検索対象地点（これはＧＰＳ等からユーザの現在位置を取得してもよいし、ユーザが入力してもよい）が設定されたときに、検索対象地点を中心とした地域に存在する施設等の情報を地図上に表示する。しかし、地図を読むことが苦手なユーザも多く、対象となる施設等への移動経路がわかりにくいケースもある。また、検索対象地点までの直線距離が近いコンテンツが表示されるため、現在歩いている道路にはない施設（つまり、道のり距離は遠い施設）等も表示されてしまうことになり、表示されるコンテンツがユーザに対して直近にあるものではない可能性があるという問題も存在する。

そこで本出願人は以下のような手法を提案する。ユーザの視点変更の頻度を抑えるために、図２に示すような、外界視界の上に表示画面（情報提供画面）を重畳するような表示装置を採用する。これは例えばＨＭＤ等を用いることで実現できる。また、通常の地図（上空から見た図）を用いた情報提供ではなく、図３に示すようなユーザの視点に対応する画面を表示する。そして、ユーザとコンテンツ提示地点との位置関係情報に基づいて、コンテンツの表示形態を変更する。具体的には例えば、図４（Ａ）、図４（Ｂ）に示すように、ユーザの移動にあわせて、施設等の存在を表すアイコンの大きさや位置を変更する。さらに、ユーザの頭部方向（視線方向）等の条件に応じて、図４（Ｃ）のように施設等の詳細な情報をコンテンツとして表示する。

このようにすることで、ユーザは街を歩いているだけで、道のり距離が近い（例えば、現在歩いている道路上にあり、かつ、直線距離が近い）施設の情報を取得することができる。その際、図１に示すような一般的な地図を用いた表示ではなく、図３に示すような、ユーザの視点に対応した表示を行うことができる。よって、頻繁な視線変更を行う必要なく、直感的な手法で情報提供を行うことができるため、ユーザに負担を与えることなく、コンテンツを提示することが可能になる。

以下、システム構成例を説明し、その後、本実施形態の情報提供システムの詳細について説明する。そして、フローチャートを用いて本実施形態の処理の詳細について説明する。

２．システム構成例

図５（Ａ）においてユーザ１０は携帯電子機器２０を所持している。また、ＨＭＤ（Head Mounted Display）１１を頭部の一方の目の近傍に装着している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、屋内外センサ５１０や、周辺温度センサ５１１、腕装着型の脈拍(心拍数)センサ５２１、携帯電子機器２０に設けられるＧＰＳ（Global Position System）センサ５５０や加速度センサ５５１、ＨＭＤ１１に設けられる方位センサ５６０等を装着している。

携帯電子機器２０（モバイルコンピュータ）は、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣなどの携帯情報端末であり、例えばプロセッサ（ＣＰＵ）、メモリ、操作パネル、通信装置、或いはディスプレイ（サブディスプレイ）などを備える。この携帯電子機器２０は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器（ＨＭＤ等）の制御（表示制御等）を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお携帯電子機器２０は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。

ＨＭＤ１１（広義には情報提示部）は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。

屋内外センサ５１０は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ５１０は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。

周辺温度センサ５１１は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。脈拍（心拍数）センサ５２１は、手首又は指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。ＧＰＳセンサ５５０はユーザの位置（場所）を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。加速度センサ５５１は、例えば３軸の加速度情報を検知する。方位センサ５６０は、例えば地磁気センサ等であり、センサの向いている方位を角度（０°〜３６０°）で計測する。

次に、図５（Ｂ）に本実施形態の画像生成システムの構成例を示す。画像生成システム１００は、センサ情報取得部１１０と、ユーザ情報特定部１２０と、記憶部１３０と、Ｉ／Ｆ部１４０と、位置関係情報特定部１６０と、画像生成部１８０と、情報記憶媒体１９０と、を含む。画像生成システム１００は、図５（Ｂ）の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。なお本実施形態の画像生成システム１００の一部又は全部の機能は、例えば携帯電子機器２０により実現される。但し、画像生成システム１００の一部又は全部の機能を、ＨＭＤ１１により実現したり、携帯電子機器２０とは異なる電子機器により実現してもよい。

ここで、ウェアラブルセンサ１３は図５（Ａ）を用いて上述したＧＰＳセンサや加速度センサ等のユーザが装着しているセンサである。操作部１５は、例えばユーザが所持する携帯電子機器２０に設けられるボタン等である。なお、操作部１５はＨＭＤ１１に設けられてもよい。表示部１７はＨＭＤ１１に設けられる。

次に各部の接続について説明する。センサ情報取得部１１０は、ユーザのウェアラブルセンサ１３からのセンサ情報を取得するとともに、ユーザ情報特定部１２０に接続されている。ユーザ情報特定部１２０は、位置関係情報特定部１６０に接続されている。記憶部１３０は、位置関係情報特定部１６０に接続されている。Ｉ／Ｆ部１４０は、操作部１５からの操作情報等を受け取るとともに、位置関係情報特定部１６０の判定エリア設定部１６２（後述）に接続されている。位置関係情報特定部１６０は、画像生成部１８０に接続されている。画像生成部１８０は、生成した画像を表示部１７に表示する。

次に各部で行われる処理について説明する。センサ情報取得部１１０は、ウェアラブルセンサ１３からの種々のセンサ情報を受信する。

ユーザ情報特定部１２０は、センサ情報取得部１１０で取得したセンサ情報に基づいて、ユーザ情報を特定する。ここでユーザ情報とは、ユーザの位置情報や、ユーザの方向を表す方向情報や、ユーザの識別情報等である。ここで、ユーザの位置情報は、例えばマップ上（仮想マップ上）での現在位置の情報などである。方向情報は、例えばユーザの頭部方向情報や、進行方向情報、視線方向情報などである。具体的には例えば、ＧＰＳセンサ５５０や加速度センサ５５１等からユーザの位置情報を取得し、方位センサ５６０等から方向情報を取得する。また、識別情報は脈拍(心拍数)センサ５２１等から取得する。

ここで、方向情報の取得手法について説明する。上述したように方向情報には頭部方向情報、視線方向情報、進行方向情報等がある。頭部方向とは、ユーザの頭部に装着された方位センサからユーザの頭部方向を判別することで求めることができる。視線方向とは、ユーザの視線の方向を表すものであり、例えば、黒目と白目での光の反射率の違い等を利用して、眼球部分の反射率を検出することで黒目部分の向いている方向を判別し、視線方向としてもよい。

また、進行方向とは、ユーザが移動しているときの移動の方向、またはユーザが今後移動すると予測される移動方向であり、例えば、ＧＰＳによるユーザ位置の履歴を参照し、ユーザの動きベクトル（例えば第ｋの時点での位置と第ｋの時点よりも後の第ｋ＋１の時点での位置の間のベクトル）から求めてもよい。ただし、進行方向の求め方はこれに限定されるものではない。例えば、後述するマップ記憶部１３２に記憶されているマップ情報と、ＧＰＳセンサ５５０や加速度センサ５５１等から取得されたユーザの位置情報から、ユーザが移動している道路を判別し、道路の方向を進行方向としてもよい。具体的には図６に示したように、ユーザの位置情報とマップ情報から、ユーザが移動している道路が図６のＤ１で示した道路であると判別する。その場合には、進行方向は道路の方向であるＤ２とすればよい。なお、道路の上り方向（例えばＤ２）と下り方向（例えばＤ３）のどちらを進行方向とするかの判断手法は任意である。例えば、Ｄ２とＤ３のうち、視線方向に近い方向のものを進行方向にしてもよい。

記憶部１３０は、種々の情報を記憶するとともに、各部のワーク領域となるものであり、その機能はＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部１３０のマップ記憶部１３２は、マップ情報及び施設等の位置情報を記憶する。例えば、本実施形態の画像生成システムが日本国内の情報提供サービスに用いられるとすれば、日本全国の情報提供に適した倍率のマップ情報及び施設等の位置情報を保持している。記憶部１３０はその他にも、施設等の詳細情報等をコンテンツとして記憶してもよい。

Ｉ／Ｆ部１４０は、操作部１５からの操作情報を受信する。ここで操作情報とは、後述する判定エリアを設定するための情報等が考えられる。

位置関係情報特定部１６０は、マップ上におけるユーザとコンテンツ提示位置（施設等の位置情報等）との位置関係情報を特定する。具体的には、ユーザ情報特定部１２０からのユーザ情報により、マップ上におけるユーザの現在位置の情報と方向情報を取得する。また、マップ記憶部１３２からの情報に基づいて、マップ上での施設等の位置情報を取得する。これにより、マップ上でのユーザとコンテンツ提示位置の位置関係情報（距離及び、ユーザから見た施設のある方向等）を特定し、画像生成部１８０に送信する。

また、位置関係情報特定部１６０は、判定エリア設定部１６２を含む。判定エリア設定部１６２は、ユーザの位置に対応した判定エリアを設定する。判定エリアはシステムにより自動的に設定されてもよいし、上述したようにＩ／Ｆ部１４０を介してユーザにより設定されてもよい。判定エリアの詳細については後述する。

画像生成部１８０は、位置関係情報特定部１６０により特定されたユーザとコンテンツ提示位置の位置関係情報に基づいて、表示画像（情報提供画像）を生成する。具体的な表示画像の生成手法については後述する。

情報記憶媒体１９０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、メモリーカード（ＥＥＰＲＯＭ、ＲＯＭ等）、光ディスク（ＤＶＤ、ＣＤ等）、或いはＨＤＤ（ハードディスクドライブ）などにより実現できる。画像生成システム１００は、情報記憶媒体１９０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１９０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．本実施形態の情報提供システム

次に、本実施形態の情報提供システムの詳細について図７（Ａ）〜図１５を用いて説明する。

３．１ 判定エリアの設定

まず、生成される表示画像を決定するための判定エリアの設定手法について説明する。判定エリアの設定例を図７（Ａ）、図７（Ｂ）に示す。

図７（Ａ）はユーザが移動しているときの判定エリアの例であり、図７（Ｂ）はユーザが静止しているときの判定エリアの例である。図７（Ａ）に示したように、第１の判定エリア（図７（Ａ）のエリア１）は、ユーザの進行方向を基準とした方向側、及び、その方向の反対側に設定される扇形のエリアである。また、第２の判定エリア（図７（Ａ）のエリア２）は、ユーザの進行方向に直交する側に設定される扇形のエリアである。

ここで、第１の判定エリアに比べて、第２の判定エリアは小さく設定されるものとする。これは例えば、適当な大きさの道路を歩いているケースを想定すると理解しやすい。上述したように、本実施形態では道のり距離が遠い施設（例えば、ユーザのいる道路と平行に走る一本隣の道路上の施設）の表示は優先度が高くない。よって、進行方向に直交する方向の判定エリアである第２の判定エリアは、道幅程度にとどめる（例えば１０ｍ程度）。それに対して、第１の判定エリアは、ユーザの進行方向に対応する方向に設定されるため、多少対象となる施設との距離があったとしても、ユーザが進行方向に移動することで、その距離は近くなることが想定される。よって、第１の判定エリアは第２の判定エリアに比べて、大きくしてもよい（例えば３０ｍ程度）。

また、図７（Ｂ）に示したように、第３の判定エリア（エリア３）はユーザを中心とした円形のエリアであり、大きさは第２の判定エリアに対応した大きさである。ただし、判定エリアの設定手法はこれに限定されるものではない。例えば、図７（Ａ）、図７（Ｂ）のように移動中と静止状態とで判定エリアを別に設けずに、第１、第２の判定エリアのみで処理を行ってもよい。また、判定エリアの形状は円形や扇形に限定されるものではなく、例えば四角形や三角形や星型、或いはそれらの混合型などでもよく、種々の変形例がある。

また、ユーザの周り３６０°に対して、本実施形態の判定エリアを設定する必要もない。例えば、アプリケーションの例として、ユーザを目的地まで案内する道案内サービスと、上述してきた店舗情報等提供サービスとを同時に実行するアプリケーションを想定する。その場合、エリア設定としては図８のような手法が考えられる。なお、図８における差分角度とは、進行方向に対する頭部方向のズレを表す。

図８に示したように、差分角度が−２０°〜２０°の場合には、道案内サービスの画面を表示する。これは、ユーザは周りにある施設等ではなく、進行方向を注視していると考えられるためである。そして、２０°〜６０°の範囲を第１の判定エリアとし、６０°〜１２０°を第２の判定エリアとする。マイナスの場合も同様である。このようにすることで、道案内サービスと、店舗情報等提供サービスとを同時に実行するアプリケーションにおいても、ボタン等の操作により表示画面を切り替える必要なく、かつ、自然な形で適切な表示画面を生成することが可能になる。

３．２ 位置関係情報に基づく表示画像の生成

次に、ユーザとコンテンツ提示地点との位置関係情報に基づいて、表示画像を生成する手法について説明する。ユーザとコンテンツ提示地点との位置関係情報と、生成される表示画像との対応を示したものが、図９（Ａ）〜図９（Ｄ）である。図９（Ａ）〜図９（Ｄ）からわかるように、ユーザとコンテンツ提示地点との距離情報及び、ユーザの方向情報（頭部方向、進行方向）に対するコンテンツ提示位置の存在する方向に応じて、表示形態が変化する。

図９（Ａ）、図９（Ｂ）に示したように、コンテンツ提示位置が第１の判定エリアに存在する場合には、画像生成部１８０は、対応する施設等の存在を表すアイコンを表示する。この際、表示するアイコンの大きさを、ユーザとコンテンツ提示地点との距離情報の大きさに応じて変更する。例えば、ユーザからコンテンツ提示地点までが遠い図９（Ａ）の場合には、アイコンは小さく表示され、ユーザからコンテンツ提示地点までが近い図９（Ｂ）の場合には、アイコンは大きく表示される。このようにすることで、コンテンツ提示地点方向へのユーザの移動に対応させて、アイコンを徐々に大きくすることが可能になり、コンテンツ提示地点が近づいてきていることを直感的に知らせることができる。

また、図９（Ｃ）に示したように、コンテンツ提示地点が第２の判定エリア又は第３の判定エリアに存在し、かつ、ユーザの頭部方向がコンテンツ提示地点の方向を向いていない場合には、図９（Ｂ）の場合と同等、もしくは、より大きいアイコンと同時に、対象となる施設の方向を表す矢印を表示する。この場合は、第２の判定エリアの設定上、真横に近い位置に対象となる施設が存在することが想定されるため、ユーザに対して矢印の方向に向くことを促すことで、対象となる施設の方向を向かせることができる。なお、ユーザに対して頭部方向の変更を促す表示は矢印に限定されるものではない。

また、図９（Ｄ）に示したように、コンテンツ提示地点が第２の判定エリア又は第３の判定エリアに存在し、かつ、ユーザの頭部方向がコンテンツ提示地点の方向を向いている場合には、施設等の詳細情報を表示する。コンテンツ提示地点が第２の判定エリア又は第３の判定エリアに存在し、かつ、ユーザの頭部方向がコンテンツ提示地点の方向を向いているとは、施設等がユーザの真横に近い位置に存在し、ユーザが施設等の方向を向いている状況を想定している。つまり、ユーザの視界（上述した図２参照）としては、外界視界内にコンテンツ提示地点に対応する施設等が存在しており、かつ、その外界視界に当該施設等の詳細情報が表示されることになる。

つまり、図９（Ａ）、図９（Ｂ）のように、外界視界に対象となる施設等を捉えられない、もしくは、捉えられても外界視界全体に対して占める割合が小さい場合には、大まかな位置を表すアイコンのみを表示して、該施設等の存在を知らせるにとどめる。図９（Ｃ）のように、頭部方向が対象となる施設の方向を向いていない場合も同様である。そして、図９（Ｄ）のように、外界視界の中心近くに大きく、対象となる施設等を捉えた場合に、該施設等の詳細情報を提示する。このようにすることで、ユーザから遠いもしくはユーザが興味を示しているか不明な施設等に関しては、邪魔にならない程度のアイコン表示にとどめつつ、ユーザの直近にあり、かつ、ユーザが興味を示している施設等に関しては、詳細な情報を提示することができる。よって、対象となる施設等のユーザにとっての重要度に応じて、情報提示の粒度を変更できるため、ユーザに対して煩わしさ等を与えないような適切な情報提供が可能となる。

なお、ユーザの頭部方向に対するコンテンツ提示地点の位置に応じても、表示形態を変更する。これは図９（Ａ）〜図９（Ｃ）のようにアイコンを表示する場合に、ユーザの頭部方向に対して右側領域にコンテンツ提示地点がある場合には、表示画面の右側画像領域にアイコンを表示し、ユーザの頭部方向に対して左側領域にコンテンツ提示地点がある場合には、表示画面の左側画像領域にアイコンを表示するというものである。具体例を、図１０（Ａ）、図１０（Ｂ）に示す。

さらにここで、右側領域と右側画像領域、及び、左側領域と左側画像領域のマッピングについて検討する。本実施形態では、図１１に示したように、外界視界に対して、表示画面が小さいケースを想定している。そのため、外界視界を見る際の画角（図１１のＢ１、人間の視野角であり歩行時には約１１０°〜１６０°程度）に比べて、表示画像の画角（図１１のＢ２）は非常に小さく、例えば表示画像の画角は約９°程度しかないこともある。このとき、表示画像の画角を厳密に適用するのであれば、仮想マップ上でも、ユーザの視界は９°程度に抑える必要がある。このようにすることで、図１１の画面において、ユーザが顔を動かしたときに、外界視界で見えた物体と表示画像内の物体の動き（画面上での位置ずれ）が対応付けられることになり、実際の物理現象に沿った自然な画像となる。

しかし、仮想マップ上で視界を小さく限定してしまうと、ほんの少し頭部方向を移動させただけで、すぐにアイコンが視界から外れてしまうことになる。それでは、アイコンによる情報提供サービスの提供は困難であり、好ましくない。そこで実際には、仮想マップ上での視界は１８０°に近い広さになっている。このようにすることで、アイコンが視界から外れる可能性が低くなり、情報提供に利用することが容易になる。なお、マップ上での視界を、表示画像の画角に比べて大きくすることにより、外界視界内の物体と、表示画像内の物体の動きが対応しなくなる（頭部方向を変化させたとき、外界視界内の物体は大きく動くのに対して、表示画像内の物体の動きは小さい）が、実用上不自然に感じることはない。

以上の処理により、ユーザは対象となる施設等の左右の位置を大まかに知ることができる。上述したように、判定エリアが道路の道幅程度の大きさで設定されたとすれば、アイコンの左右の表示位置を位置関係情報に応じて変更させることで、対象となる施設が、現在歩いている道路の右側に存在するのか、左側に存在するのかが簡単にわかることになる。なお、図９（Ｄ）のケースでは、対象となる施設の方向に頭部方向を向けているため、施設の詳細情報は表示画面の中央に表示してかまわない。

３．３ キャラクタを用いたナビゲーション

次に、キャラクタを用いたナビゲーションサービス（ここでは目的地までユーザを誘導するサービス）について述べる。本実施形態の店舗情報等提供サービスは、上述したように、例えば現在ユーザの歩いている道路上の施設に関する情報の提供等に用いられることが想定されるため、図１に示したような地図を用いた従来のサービスに比べて、ユーザに近い範囲にある施設等の情報しか提供されない。よって、図１に示したような従来のサービスのように、ユーザが能動的に施設情報を検索するという用途ではなく、ユーザが何気なく街を歩いている（つまり、施設検索の意図は強くない）ときに、システムにより自動的に近くにある施設の情報が提示され、ユーザは受動的に情報を取得するという使われ方が想定される。なお、上述の用途は本実施形態の手法を用いたサービスの一例であり、当然従来のサービスのように、ユーザが能動的に施設情報を検索する用途で用いてもかまわない。

その際、本実施形態の手法と親和性が高いサービスとしてナビゲーションサービスが考えられる。つまり、システムはユーザを、ユーザの現在位置から目的地まで誘導するナビゲーション画像を生成、表示するとともに、ユーザの移動経路上に存在する施設等の情報も提示することで、ナビゲーションサービスと情報提供サービスとを同時に提供することができる。

さらに、本実施形態の情報提供サービスは、図２に示したように外界視界に表示画像を重畳するようなシステムであることを鑑みると、通常の地図を用いたナビゲーションではなく、直感的なナビゲーションを行うことで、よりユーザに負担をかけないサービスの提供が可能となる。

具体的には例えば、図１２に示すように、目的地に向かって移動していくキャラクタを追いかけるようなシステムが想定される。このようにすることで、ユーザは表示画面内にキャラクタをとらえ、キャラクタの動きに合わせて歩いていくだけで、目的地に到達することが可能になる。よって、頻繁な視線変更を行う必要なく、直感的な手法でナビゲーションを行うことができるため、ユーザの負担を軽減することが可能になる。以下、キャラクタを用いたナビゲーションシステムについて説明する。

キャラクタを用いたナビゲーションシステムでは、仮想マップ上でのユーザとキャラクタとの位置関係情報に基づいて、表示画像（ナビゲーション画像）を生成する。基本的には図９（Ａ）、図９（Ｂ）、図１０（Ａ）、図１０（Ｂ）に示した、ユーザとコンテンツ提示地点との位置関係情報に基づく画像生成と同様に、ユーザとキャラクタとの距離情報及び、頭部方向（視線方向）に対する角度情報に基づいて、表示するキャラクタの大きさと位置を変更する。距離が遠いときはキャラクタを小さく表示し、近いときはキャラクタを大きく表示する。また、頭部方向の右側領域にキャラクタが存在するときは、表示画像の右側画像領域にキャラクタを表示し、頭部方向の左側領域にキャラクタが存在するときは、表示画像の左側画像領域にキャラクタを表示すればよい。

また、図１３（Ａ）〜図１３（Ｄ）に示したように、仮想マップ上におけるユーザの視界（ここでは１８０°弱であるものとする）から外れる位置にキャラクタがいる場合には、表示画面にはキャラクタは表示されず、キャラクタの存在方向を示す存在方向情報が表示されることになる。ここで、存在方向情報とは、図１３（Ａ）〜図１３（Ｄ）に示すように矢印であってもよい。矢印は単純に左右を表す矢印であってもよいし、図１３（Ａ）〜図１３（Ｄ）のようにより詳細な方向を表す矢印にしてもよい。

キャラクタは、基本的には仮想マップ上を目的地に向かって移動する。しかし、ユーザがキャラクタを追尾しなかったり、キャラクタに近づきすぎたりした場合には挙動を変更する必要がある。このためのキャラクタ制御はユーザに対して距離エリアを設定することで行う。エリア分割の例を図１４に示す。

図１４に示したように、例えばエリア１〜エリア４（広義には第１〜第Ｎの距離エリア）まで、マップ上でのユーザの位置を中心とした同心円状のエリアを設定する（ただし、エリア４はエリア３の外側の領域全てであり、厳密には同心円ではない）。エリアは、ユーザの位置からの距離に応じて設定されていれば良く、エリアの形状は円形以外にも例えば四角形や三角形や星型、或いはそれらの混合型などでも良く、種々の変形例がある。

本実施形態においては、キャラクタを追いかけることで、ユーザを目的地に案内する。また、表示形態は前項に示したように、ユーザとキャラクタとの位置関係情報に基づいて決定される。そのため、キャラクタはユーザの少し前を目的地に向かって移動している状況が基本となる。

よって、ユーザとの距離が適切であるエリア３（広義には第Ｎ−１の距離エリア）では、キャラクタは通常の速度（初期値を用いてもよいし、ユーザにより設定されてもよい）で目的地に向かって移動を続ける。また、エリア３よりもユーザに近いエリア２（広義には第Ｎ−２の距離エリア）では、ユーザとの距離が近いと判断し、距離を大きくするためにエリア３の場合よりも高速で目的地に向かって移動する。なお、エリア２及びエリア３にキャラクタがいる場合にも、キャラクタが目的地に到着した場合には移動を終了してユーザの到着を待つ。

エリア２よりもユーザに近いエリア１（広義には第１の距離エリア）では、キャラクタが目的地に到着していない場合には、ユーザとの距離を大きくする必要があるため、高速で目的地に移動する。また、キャラクタが目的地に到着している場合には、ユーザが目的地（キャラクタの位置）に近づいて、結果としてキャラクタがエリア１の範囲に入ったことを持って、ユーザが目的地に到着したと判断する。

エリア３よりも遠いエリア４（広義には第Ｎの距離エリア）にキャラクタがいる場合には、ナビゲーション中に何か問題が発生した（ユーザがキャラクタについてきていない等）と判断し、キャラクタをユーザの現在位置へ移動させる。この際には、問題の発生を想定しているため、移動速度を最高に設定する。

以上の制御を行うことで、ユーザから見やすい距離を保った上で、ユーザがついてこない（または道を間違えた）等の問題にも対処可能な態様でキャラクタを制御することが可能になる。

なお、ナビゲーションサービスと情報提供サービスとの切り替え手法は任意である。例えば、図８を用いて上述したように、進行方向と頭部方向との差分角度が−２０°〜２０°の範囲でナビゲーション情報を表示し、２０°〜１２０°（マイナス側も同様）で施設等の情報を表示してもよい。もしくは、ＨＭＤ１１や携帯電子機器２０に設けられるボタン等を操作することで切り替えてもよい。または、図１５に示したように、キャラクタとアイコンとを同時に表示する形態でもよい。

４．処理の詳細

図１６のフローチャートを用いて、本実施形態の処理の詳細について説明する。この処理が開始されると、まず、ユーザが歩行しているか否かの判定が行われる（Ｓ１０１）。ユーザが歩行していると判定された場合には、次に、ユーザが第１の判定エリアの方向を見ているか、つまり、ユーザの頭部方向が第１の判定エリアの方向であるかの判定を行う（Ｓ１０３）。ユーザが第１の判定エリアの方向を見ていると判定された場合には、ユーザが向いている第１の判定エリアの情報を検索して、画面に表示する（Ｓ１０５）。具体的には例えば、図９（Ａ）、図９（Ｂ）を用いて上述したように、ユーザとコンテンツ提示地点との距離情報に応じた大きさで、位置関係情報に応じた位置にアイコンを表示する。

また、Ｓ１０１でユーザが歩行していないと判定された場合には、ユーザが向いている第３の判定エリアの情報を検索して画面に表示する（Ｓ１０９）。具体的には例えば、図９（Ｃ）を用いて上述したように、アイコンと矢印を表示したり、図９（Ｄ）を用いて上述したように、詳細情報を表示する。Ｓ１０３でユーザが第１の判定エリアの方向を見ていないと判定された場合には、ユーザが向いているエリア２の情報を検索して画面に表示する（Ｓ１０７）。具体的には例えば、図９（Ｄ）を用いて上述したように、詳細情報を表示する。

そして、Ｓ１０５、Ｓ１０７、Ｓ１０９の処理が終了したら、再びＳ１０１に戻り判定を行う。

以上の本実施形態では、画像生成システム１００は、図５（Ｂ）に示したように、ユーザが装着するウェアラブルセンサ１３からのセンサ情報を取得するセンサ情報取得部１１０と、センサ情報に基づいて仮想マップ上でのユーザの位置情報と方向情報を特定するユーザ情報特定部１２０と、コンテンツ提示地点とユーザとの仮想マップ上での位置関係情報を特定する位置関係情報特定部１６０と、表示画像を生成する画像生成部１８０とを含む。そして、位置関係情報特定部１６０は、ユーザの進行方向の直交方向を含まない所与の角度範囲の第１の判定エリアを設定し、第１の判定エリア内にコンテンツ提示地点が位置するか判断を行う。画像生成部１８０は、第１の判定エリア内にコンテンツ提示地点が位置すると判断された場合に、コンテンツ提示地点の情報画像が表示される表示画像を生成する。

ここで、ユーザの進行方向とは、ユーザの方向情報により特定される情報である。具体的には方向情報そのものであってもよいし、方向情報と等価な他の情報であってもよい。また、上述したように、方向情報に含まれる情報であってもよい。

これにより、センサからのセンサ情報に基づいて仮想マップ上でのユーザの位置情報を特定するとともに、ユーザとコンテンツ提示地点との位置関係情報を特定することができる。そしてコンテンツ提示地点がユーザに対して設定された第１の判定エリア（例えば図７（Ａ）のエリア１でもよいし、図８の２０°〜６０°、−６０°〜−２０°の範囲でもよい）に位置する場合に、情報画像を表示する。よって、例えば図２に示したように、ユーザの移動にあわせて、ユーザの移動経路上に存在する施設等の情報をユーザに提示する情報提供サービスを実現することが可能になる。これは具体的には、図９（Ａ）、図９（Ｂ）のケースに相当する。

また、位置関係情報特定部１６０は、ユーザの進行方向の直交方向を含む所与の角度範囲の第２の判定エリアを設定し、第２の判定エリア内にコンテンツ提示地点が位置するかを判断する。そして画像生成部１８０は、第２の判定エリア内にコンテンツ提示地点が位置し、かつ、ユーザの頭部方向（視線方向）が第２の判定エリアの方を向いていると判断された場合に、コンテンツ提示地点の詳細情報画像が表示される表示画像を生成する。

ここで、詳細情報画像とは、上述した情報画像に比べて、提示する情報の詳細度が高い(より詳細な内容を含む)情報のことであり、例えば施設がレストランであったならば、外観画像、店名、メニュー、開店時間、レビュー等を含むような情報であってもよい。

また、ユーザの頭部方向、視線方向とは、進行方向と同様にユーザの方向情報により特定される情報である。具体的には方向情報そのものであってもよいし、方向情報と等価な他の情報であってもよい。また、上述したように、方向情報に含まれる情報であってもよい。

これにより、ユーザの進行方向の直交方向に第２の判定エリアを設定し（例えば図７（Ａ）のエリア２）、第２の判定エリアにコンテンツ提示地点が位置する場合に、詳細情報画像を表示する。よって、図９（Ｄ）に示したように、対象となる施設がユーザの近くにあり、ユーザが該施設の方向を向いていると判断できる場合には、ユーザが該施設に注目していると判断し、詳細な情報を提示することが可能になる。

また、画像生成部１８０は、第２の判定エリア内にコンテンツ提示地点が位置し、かつ、ユーザの頭部方向（視線方向）が第１の判定エリアの方に向いていると判断された場合には、コンテンツ提示地点の存在方向を示す存在方向情報が表示される表示画像を生成してもよい。また、存在方向情報は、存在方向を示す矢印画像であってもよい。

これにより、例えば図９（Ｃ）のように対象となる施設の存在する方向を矢印等で示すことができ、ユーザに対して対象となる施設がすぐ近く（例えば真横に近い位置）に存在することを知らせることが可能になる。なお、存在方向情報を矢印としたがこれに限定されるものではなく、存在方向を示すことができる情報であれば矢印以外であってもよい。

また、位置関係情報特定部１６０は、第２の判定エリアを規定するユーザの位置からの所与の距離を、第１の判定エリアを規定するユーザの位置からの所与の距離よりも短く設定する。

これにより、例えば図７（Ａ）に示したように第１の判定エリアと、第２の判定エリアとを設定することが可能となる。上述したように第２の判定エリアを道路の道幅程度の設定しておけば、ユーザの移動している道路上の情報のみ提示するようなサービスを実現できる。そして、ユーザの移動している道路上の施設等は、多少距離があっても、ユーザの移動に伴っていずれはユーザの近くに位置することになるため、第１の判定エリアは大きめの範囲を設定してもよいことになる。以上の理由等から、第１の判定エリアに比べて第２の判定エリアは近い距離範囲に設定される。

また、位置関係情報特定部１６０は、ユーザが移動していると判断された場合には、第１、第２の判定エリアを設定し、ユーザが停止していると判断された場合には、第３の判定エリアを設定する。そして、各判定エリア内にコンテンツ提示地点が位置するかの判断を行う。画像生成部１８０は、第３の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザの頭部方向（視線方向）が該コンテンツ提示地点の方向を向いていると判断された場合に、詳細情報画像が表示される表示画像を生成する。

ここで、第３の判定エリアとは、ユーザの進行方向、及び、進行方向の直交方向を含む角度範囲であり、例えば図７（Ｂ）のような範囲が考えられる。また、第３の判定エリアの大きさは第２の判定エリアと同等程度としてもよい。ただし、判定エリアの形状は円形に限定されるものではないし、大きさも第２の判定エリアと同等程度に限定されるものではない。

これにより、ユーザが移動している場合と停止している場合とで、判定エリアの設定手法を変更することが可能になる。移動中は上述したように第１、第２の判定エリアを設定し、停止している場合には、第３の判定エリアを設定する。第３の判定エリアは第２の判定エリアに準ずるものと捉えることができ、コンテンツ提示地点が内部に位置し、かつ、その方向を向いている場合は詳細情報画像を表示する。そして、コンテンツ提示地点が内部に位置し、かつ、その方向を向いていない場合は存在方向情報を表示してもよい。

ユーザが停止している場合には、ユーザの現在停止している地点の周辺に、ユーザにとって注目すべきものがあると推測される。そのため、第１の判定エリアのように大きな判定エリアを設定する必要はない。また、第２の判定エリアのように詳細情報画像を表示することが要求される。以上の理由から第３の判定エリアは上述のように設定されることが好ましいと言える。

また、位置関係情報特定部１６０は、ユーザの進行方向を含む所与の角度範囲のナビゲーションエリアを設定する。そして、ナビゲーションエリアと第２の判定エリアの間に、所与の角度範囲の第１の判定エリアを設定してもよい。そして、ユーザの頭部方向（視線方向）がナビゲーションエリアの方を向いていると判断された場合には、ユーザを目的地に誘導するためのナビゲーション画像が表示される表示画像を生成してもよい。

これにより、図８のようなエリア設定を行うことが可能になる。よって、例えば上述したように、ナビゲーションサービスと情報提供サービスの両方のサービスを１つの装置で、自然な切り替え手法を用いて提供すること等が可能になる。

また、位置関係情報特定部１６０は、ユーザの進行方向を含み、進行方向の直交方向を含まない所与の角度範囲の第１の判定エリアを設定してもよい。

これにより、図７（Ａ）のエリア１のような第１の判定エリアを設定することが可能になる。この場合、簡単な形で第１の判定エリアを実現することができるため、処理を簡単化することが可能になる。

また、画像生成部１８０は、第１の判定エリア内にコンテンツ提示地点が位置する場合には、ユーザとコンテンツ提示地点との位置関係情報に基づいて、情報画像のサイズ及び表示位置の少なくとも一方が変化する表示画像を生成してもよい。そして、表示画像とは、コンテンツ提示地点を表象するアイコン画像であってもよい。

これにより、図９（Ａ）、図９（Ｂ）のようにユーザとコンテンツ提示点との間の距離の大きさに基づいて、情報画像の大きさを変更することが可能になる。また、図１０（Ａ）、図１０（Ｂ）のように、ユーザの頭部方向（視線方向）に対するコンテンツ提示地点の角度に基づいて、表示画像における情報画像の表示位置を変更することが可能になる。よって、ユーザに対してコンテンツ提示地点の位置する角度や距離等を直感的に提示することが可能になる。その際、情報画像としてアイコンを用いることで、簡単な画像を用いながら、存在するコンテンツ提示地点の種別等をユーザに知らせることができる。

また、画像生成部１８０は、仮想マップ上でのユーザの視野範囲をθ２とした場合に、仮想マップ上でθ２に対応する視野範囲を、θ２＞θ１を満たすθ１の画角で外界視界に重畳される画像を生成してもよい。

これにより、図１１に示したように、外界視界（人間の視野角、１１のＢ１に相当）に比べて、表示画像の画角θ１（Ｂ２に相当）が小さくなるように設定された場合にも、マップ上での視野範囲はθ１よりも大きいθ２に設定することが可能になる。図２を用いて上述したように、本実施形態では例えば、シースルー型のＨＭＤ等を用いて、外界視界に外界視界よりも小さい表示画像を重畳するケースを想定している（ただし、これに限定されるものではない）。そのため、表示画像の画角は非常に小さくなってしまい、マップ上での視野範囲θ２をθ１と同等にしてしまうと、ユーザが視線方向をわずかに変化させただけでも表示画像から情報画像が外れやすくなってしまう。そこで、θ２をθ１よりも大きく設定することで、ユーザの視線方向が変化した場合にも、表示画像内に情報画像をとらえやすくすることが可能になる。

ここで、仮想マップ上での視野範囲θ２は、ソフトウェア等の処理による設定に応じて任意の角度をとることができる。例えば、上述したように１８０°程度に設定されてもよいし、実世界における人間の視野範囲（図１１における外界視界の画角Ｂ１）と同様に、１１０°〜１６０°程度に設定されてもよい。これ以外にも、例えば１８０°よりも大きい角度が設定されてもよいし、Ｂ１よりも小さい角度が設定されてもよい。

また、画像生成部１８０は、視線方向の右側領域にコンテンツ提示地点が位置すると判断された場合には、右側画像領域の画像上位置に情報画像を表示した表示画像を生成してもよい。また、同様に、視線方向の左側領域にコンテンツ提示地点が位置すると判断された場合には、左側画像領域の画像上位置に情報画像を表示した表示画像を生成してもよい。

ここで、右側領域とは、図１７に示したように、仮想マップ上でのユーザの視野範囲を、ユーザの視線方向を通り地面（重力方向に垂直な面）に垂直な平面により分割した場合に、ユーザから見て視線方向より右側にある領域である。左側領域は、同様に視線方向より左側にある領域である。なお、図１７においては平面的に描かれているが、右側領域及び左側領域は３次元の領域を前提とする。ただし２次元マップを用いる場合は平面であってもよい。

また、右側画像領域とは、図１８に示したように、表示画像を画像の縦軸に平行な直線で分割した際の、分割線より右側にある領域である。左側画像領域は、同様に分割線より左側にある領域である。

これにより、図１０（Ａ）、図１０（Ｂ）に示したように、仮想マップ上でのユーザの方向情報に対するコンテンツ提示地点の左右の位置（位置関係情報）に基づいて、表示画像における情報画像の表示位置を変更することが可能になる。なお、上述したようにθ２＞θ１が成り立つような状況では、この処理は、図１７における右側領域及び左側領域（視野範囲）に存在するキャラクタを、図１９における右側画像領域（Ｄ１）及び左側画像領域（Ｄ２）にマッピングする処理に相当する。θ２は、例えば１８０°弱の大きさを持つのに対し、表示画像のユーザから見た画角（θ１、Ｄ３＋Ｄ４）は例えば９°程度しかない。つまり、θ２の範囲のキャラクタをθ２より狭いθ１の範囲にマッピングする処理を行うことになる。具体的には、右側領域の右端にコンテンツ提示地点が位置する場合には、右側画像領域の右端に情報画像を表示するとともに、左側領域の左端にコンテンツ提示地点が位置する場合には、左側画像領域の左端に情報画像を表示する。そして、その間に位置する場合には、視野範囲における位置と、画像上位置とが一対一に対応するようなマッピングを行う。さらに具体的には、例えば位置関係が線形に対応するようなマッピングを行えばよい。

また、画像生成部１８０は、表示画像として、ヘッドマウントディスプレイに表示される画像を生成してもよい。具体的には例えば、ヘッドマウントディスプレイは、外界視界にナビゲーション画像を重畳して表示するシースルー型のヘッドマウントディスプレイであってもよい。ただし、ヘッドマウントディスプレイはこれに限定されるものではなく、二眼式の外界視界を直接見ることができない構成（つまり、外界視界はカメラで撮影したものをユーザに提示するビデオシースルー型のヘッドマウントディスプレイ等）であってもよい。

これにより、ヘッドマウントディスプレイを表示装置として用いることが可能になり、ユーザの視線方向を頻繁に変化させる必要がなくなる。これは、ヘッドマウントディスプレイは視線をあまり動かさずとも、外界視界と情報提供画像との両方を見ることが可能であることによる。例えば、携帯電子機器の画面にナビゲーション画像を表示するようなシステムでは、進行方向と携帯電子機器の画面とを交互に参照する必要があり、ユーザにとって安全でなく、かつ、煩わしいものであったが、そのような問題を解消することができる。

また、本実施形態の手法は、センサ情報取得部１１０と、ユーザ情報特定部１２０と、位置関係情報特定部１６０と、画像生成部１８０とを含み、位置関係情報特定部１６０は、第１の判定エリア、第２の判定エリアを設定し、画像生成部１８０は、それぞれのエリアに対応した画像を生成する画像生成システムに関係する。

ここで、第１の判定エリアは、ユーザの位置からの所与の距離範囲、及び、ユーザの進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方が設定され、第２の判定エリアは、進行方向の直交方向を含む所与の角度範囲が設定される。そして、コンテンツ提示地点が第１の判定エリアに位置すると判断された場合には、コンテンツ提示地点の情報画像が表示される表示画像が生成される。また、第２の判定エリアにコンテンツ提示地点が位置し、かつ、ユーザの頭部方向又は視線方向が第２の判定エリアの方に向いていると判断された場合には、詳細情報画像が表示される表示画像が生成される。

これにより、第１の判定エリアとして、図７（Ａ）のエリア１として示したような形状のみならず、ユーザの位置からの距離範囲（例えばユーザを中心とした円形状等）を設定することが可能になる。

また、本実施形態の手法は、センサ情報取得部１１０と、ユーザ情報特定部１２０と、位置関係情報特定部１６０と、画像生成部１８０として、コンピュータを機能させるプログラムに関係する。センサ情報取得部１１０は、ユーザのウェアラブルセンサからのセンサ情報を取得する。ユーザ情報特定部１２０は、センサ情報に基づいて、仮想マップ上でのユーザの位置情報を特定する。位置関係情報特定部１６０は、コンテンツ提示地点とユーザのマップ上での位置関係情報を特定する。画像生成部１８０は、表示画像を生成する。そして位置関係情報特定部１６０は、ユーザの進行方向の直交方向を含まない所与の角度範囲の第１の判定エリアを設定し、第１の判定エリア内にコンテンツ提示地点が位置するかを判断し、画像生成部１８０は、第１の判定エリア内にコンテンツ提示地点が位置すると判断された場合に、情報画像が表示される表示画像を生成する。

また、位置関係情報特定部１６０は、ユーザの位置からの所与の距離範囲、及び、ユーザの進行方向の直交方向を含まない所与の角度範囲のうち、少なくとも一方の第１の判定エリアを設定してもよい。

これにより、画像生成システムにとどまらず、プログラムにも本実施形態の手法を適用し、上述の効果を得ることが可能になる。

以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像生成システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１３ ウェアラブルセンサ、１５ 操作部、１７ 表示部、２０ 携帯電子機器、
１００ 画像生成システム、１１０ センサ情報取得部、１２０ ユーザ情報特定部、
１３０ 記憶部、１３２ マップ記憶部、１４０ Ｉ／Ｆ部、
１６０ 位置関係情報特定部、１６２ 判定エリア設定部、１８０ 画像生成部、
１９０ 情報記憶媒体、５１０ 屋内外センサ、５１１ 周辺温度センサ、
５２１ 脈拍(心拍数)センサ、５５０ ＧＰＳセンサ、５５１ 加速度センサ、
５６０ 方位センサ

Claims (15)

1. ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
   前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、
   前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、
   特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部と、
   を含み、
   前記位置関係情報特定部は、
   前記方向情報により前記ユーザの進行方向が特定される場合に、前記ユーザの前記進行方向を含み、前記進行方向の直交方向を含まない所与の角度範囲の第１の判定エリアを設定し、設定された前記第１の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
   前記位置関係情報特定部は、
   前記進行方向の前記直交方向を含む所与の角度範囲の第２の判定エリアを設定し、設定された前記第２の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
   前記画像生成部は、
   前記第１の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成し、前記第２の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第２の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
2. 請求項１において、
   前記画像生成部は、
   前記第２の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記ユーザの前記頭部方向又は前記視線方向が前記第１の判定エリアの方に向いていると判断された場合には、前記コンテンツ提示地点の存在方向を示す存在方向情報が表示される前記表示画像を生成することを特徴とする画像生成システム。
3. 請求項２において、
   前記画像生成部は、
   前記コンテンツ提示地点の存在方向を示す矢印画像が前記存在方向情報として表示される前記表示画像を生成することを特徴とする画像生成システム。
4. 請求項１乃至３のいずれかにおいて、
   前記位置関係情報特定部は、
   前記第２の判定エリアを規定する前記ユーザの位置からの所与の距離を、前記第１の判定エリアを規定する前記ユーザの位置からの所与の距離よりも短く設定することを特徴とする画像生成システム。
5. 請求項１乃至４のいずれかにおいて、
   前記位置関係情報特定部は、
   前記ユーザが移動していると判断された場合に、前記第１の判定エリア、前記第２の判
   定エリアを設定し、
   前記ユーザが移動を停止していると判断された場合には、前記進行方向及び前記直交方向を含む第３の判定エリアを設定し、設定された前記第３の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
   前記画像生成部は、
   前記第３の判定エリア内に前記コンテンツ提示地点が位置していると判断され、かつ、前記ユーザの頭部方向又は視線方向が前記コンテンツ提示地点の方に向いていると判断された場合には、前記コンテンツ提示地点の前記詳細情報画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
6. 請求項１乃至５のいずれかにおいて、
   前記位置関係情報特定部は、
   前記ユーザの前記進行方向を含む所与の角度範囲のナビゲーションエリアを設定するとともに、前記ナビゲーションエリアと前記第２の判定エリアの間の所与の角度範囲を、前記第１の判定エリアとして設定し、設定された前記第１の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断することを特徴とする画像生成システム。
7. 請求項６において、
   前記画像生成部は、
   前記ユーザの頭部方向又は視線方向が前記ナビゲーションエリアの方向を向いていると判断された場合には、前記ユーザを目的地に誘導するためのナビゲーション画像が表示される前記表示画像を生成することを特徴とする画像生成システム。
8. 請求項１乃至７のいずれかにおいて、
   前記画像生成部は、
   前記第１の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点と前記ユーザの前記位置関係情報に基づいて、前記情報画像のサイズ及び前記情報画像の表示位置の少なくも一方が変化する前記表示画像を生成することを特徴とする画像生成システム。
9. 請求項１乃至８のいずれかにおいて、
   前記画像生成部は、
   前記コンテンツ提示地点を表象するアイコン画像が前記情報画像として表示された前記表示画像を生成することを特徴とする画像生成システム。
10. 請求項１乃至９のいずれかにおいて、
    前記画像生成部は、
    前記仮想マップ上での前記ユーザの視野範囲をθ２とした場合に、前記仮想マップ上においてθ２に対応する視野範囲が、θ２＞θ１を満たすθ１の画角で外界視界に重畳される画像を生成することを特徴とする画像生成システム。
11. 請求項１乃至１０のいずれかにおいて、
    前記画像生成部は、
    前記頭部方向又は前記視線方向の右側領域に前記コンテンツ提示地点が位置すると判断された場合には、右側画像領域の画像上位置に情報画像が表示された前記表示画像を生成するとともに、
    前記頭部方向又は前記視線方向の左側領域に前記コンテンツ提示地点が位置すると判断された場合には、左側画像領域の画像上位置に前記情報画像が表示された前記表示画像を生成することを特徴とする画像生成システム。
12. 請求項１乃至１１のいずれかにおいて、
    前記画像生成部は、
    前記表示画像として、ヘッドマウントディスプレイに表示される画像を生成することを特徴とする画像生成システム。
13. 請求項１２において、
    前記ヘッドマウントディスプレイは、
    外界視界に前記表示画像を重畳して表示するシースルー型のヘッドマウントディスプレイであり、
    前記画像生成部は、
    前記表示画像として、前記ヘッドマウントディスプレイに表示される画像を生成することを特徴とする画像生成システム。
14. ユーザのウェアラブルセンサからのセンサ情報を取得するセンサ情報取得部と、
    前記センサ情報に基づいて、仮想マップ上での前記ユーザの位置情報と方向情報を特定するユーザ情報特定部と、
    前記ユーザの前記位置情報と前記方向情報に基づいて、コンテンツ提示地点と前記ユーザとの前記仮想マップ上での位置関係情報を特定する位置関係情報特定部と、
    特定された前記位置関係情報に基づいて、表示画像を生成する画像生成部として、
    コンピュータを機能させ、
    前記位置関係情報特定部は、
    前記方向情報により前記ユーザの進行方向が特定される場合に、前記ユーザの前記進行方向を含み、前記進行方向の直交方向を含まない所与の角度範囲の第１の判定エリアを設定し、設定された前記第１の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
    前記位置関係情報特定部は、
    前記進行方向の前記直交方向を含む所与の角度範囲の第２の判定エリアを設定し、設定された前記第２の判定エリア内に前記コンテンツ提示地点が位置するか否かを判断し、
    前記画像生成部は、
    前記第１の判定エリア内に前記コンテンツ提示地点が位置すると判断された場合に、前記コンテンツ提示地点の情報画像が表示される前記表示画像を生成し、前記第２の判定エリア内に前記コンテンツ提示地点が位置し、且つ、前記方向情報により特定される前記ユーザの頭部方向又は視線方向が前記第２の判定エリアの方に向いていると判断された場合には、前記情報画像に比べて提示情報の詳細度が高い、前記コンテンツ提示地点の詳細情報画像が表示される前記表示画像を生成することを特徴とするプログラム。
15. コンピュータ読み取り可能な情報記憶媒体であって、請求項１４に記載のプログラムを記憶したことを特徴とする情報記憶媒体。