JP6849331B2 - デバイス及びコンピュータプログラム - Google Patents

Description

本発明はオブジェクトに関連付けられた情報の投射を行うデバイスに関する。

現実世界のオブジェクトに関連する情報を仮想的に、あるいは直接、該オブジェクトに重畳して表示するＡＲ（Augmented Reality）技術が注目を集めている。ＡＲ技術の応用として眼鏡型デバイスや投射型デバイスなどが知られている。眼鏡型デバイスは透過型の表示画面を有し、現実世界のオブジェクトを背景とする位置に前景となるように関連する情報を表示させるデバイスである。投射型デバイスはプロジェクタなどで、現実世界のオブジェクトの上に関連情報を投射して表示させるデバイスである。但し、いずれのデバイスであっても、関連情報を表示させられるオブジェクトがある程度離れた位置に複数存在する環境では、各オブジェクトの位置やそこに到達するまでのルートが判らない場合がある。このような問題を解決する最も単純な方法は、表示画面に地図を表示する方法である。特許文献１には、表示する地図の形式をデバイスの姿勢に応じて、平面図、鳥瞰図、３Ｄ（３次元）画像のいずれかに変更する技術が開示されている。この技術によれば、画面に表示される内容と現実世界との対応関係をユーザに直感的に理解させることができるとされている。

特許第３９２０９４５号公報

本発明の一態様は、物体に関連付けられた関連情報を投射する投射手段と、前記物体の位置を表す地図情報を取得する地図情報取得手段と、前記投射手段による投射環境を検出する検出手段と、前記検出手段の検出結果が所定条件を満たす場合に、前記関連情報に代えて前記地図情報を前記投射手段に投射させる制御手段と、を有し、前記投射手段は、前記地図情報を二次元画像として投射した後、投射位置と同じ位置及び同じ方位で、所定角度以上傾いたことが前記検出手段で検出された場合に、傾いた後の地図情報を三次元画像に変換することを特徴とする。

本発明は、物体に関連付けられた拡張現実情報を表示するデバイスにおいて、前記物体の位置に関わる地図情報の表示を容易にすることを主たる課題とするものである。

本発明が提供するデバイスは、物体に関連付けられた関連情報を投射する投射手段と、前記物体の位置を表す地図情報を取得する地図情報取得手段と、前記投射手段による投射環境を検出する検出手段と、前記検出手段の検出結果が所定条件を満たす場合に、前記関連情報に代えて前記地図情報を前記投射手段に投射させる制御手段と、を有することを特徴とする。

本発明によれば、物体に関連付けられた拡張現実情報を表示するデバイスにおいて、前記物体の位置に関わる地図情報の表示が容易となるという効果が得られる。

（ａ），（ｂ）はＡＲシステムの活用例を示す模式図。 第１実施形態に係る投射型デバイスのハードウェア構成図。 第１実施形態に係る投射型デバイスのブロック図。 美術館を表す部分地図の例示図。 第１実施形態に係る投射型デバイスの制御処理の手順説明図。 地図投射判定部の詳細手順説明図。 （ａ）〜（ｅ）は美術館における部分地図の例示図。 表示する部分地図のシフト量に関する制御テーブルの例示図。 地図投射処理の詳細手順説明図。 第１変形例に係る地図投射判定部の処理手順説明図。 第２変形例に係る地図投射判定部の処理手順説明図。 第３変形例に係る地図投射判定部の処理手順説明図。 （ａ），（ｂ）は第３変形例により表示される地図の例示図。 第３変形例に係る投射部の処理手順説明図。 第２実施形態による屋外美術館の地図の例示図。 （ａ），（ｂ）は第２実施形態により表示される部分地図の例示図。 第２実施形態に係る投射部の処理手順説明図。

図１（ａ）は、ＡＲシステムを美術館の一室で利用する場合を想定した模式図である。美術館の展示室１００を訪れた投射型デバイス１０２のユーザ１０１は、絵画１０４、１０６又は床に置かれたタペストリー１０７の中から、絵画１０４に対して投射型デバイス１０２を向けたとする。投影先の面１０３に絵画１０４があることを認識した場合、投射型デバイス１０２は、その絵画１０４に関する解説情報１０５を近傍に投射する。絵画１０６、タペストリー１０７についても同様である。絵画１０４等の提示品を閲覧した後、ユーザ１０１は、自分の周りにどのような部屋があり、解説情報を表示可能な展示品がどこに存在するのかがわからない場合がある。屋外でも、所望のオブジェクトに辿りつくためのルートがわからない場合がある。本実施形態では、このような場合に、展示品その他のオブジェクトとユーザ１０１との相対位置を直ちに把握可能にするデバイスの一例となる投射型デバイス１０２を提案するものである。

［第１実施形態］
第１実施形態では、図１（ｂ）に示すようにオブジェクトと自分の位置の把握を容易にする地図１０８を投影する投射型デバイス１０２の構成例を説明する。
図２は、投射型デバイス１０２のハードウェア構成図である。投射型デバイス１０２は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３をシステムバス２０８に接続したコンピュータを備える。ＣＰＵ（Central Processing Unit）２０１は、本発明のコンピュータプログラムを実行することにより、コンピュータを投射型デバイス１０２として動作させる。
ＲＡＭ（Random Access Memory）２０２はＣＰＵ２０１のワークエリアとして機能する。また、図示しない外部装置などから供給されるプログラムやデータを一時記憶する。さらに、ＣＰＵ２０１と協働して、表示対象となる地図情報を取得する地図情報取得手段として機能する。地図情報は、対象物が存在する位置を表す全体地図のほか、その一部である部分地図を含む。ＲＡＭ２０２は、さらに、ＣＰＵ２０１と協働して、対象となる実オブジェクトである物体（以下、「対象物」という）に関連付けられた情報（以下、「関連情報」という）を取得する関連情報取得手段として機能する。さらに、各種判定に用いる所定条件などを保持する保持手段としても機能する。ＲＯＭ（Read Only Memory）２０３は変更を必要としないプログラムや各種パラメータを格納する。なお、図示しないハードディスクドライブ装置などのストレージを備え、本発明のコンピュータプログラムをこのストレージにインストールするようにしてもよい。システムバス２０８には、入力装置２０４、出力装置２０５、ネットワーク・インタフェース２０６も接続されている。ネットワーク・インタフェース２０６には、ネットワーク２０７が接続される。

入力装置２０４は、ＧＰＳやＢｌｕｅｔｏｏｔｈ(登録商標)，ＩＭＵ（Inertial Measurement Unit：慣性を計測するセンサ群），地磁気センサ、物体を撮像可能な撮像装置（カメラ）などである。これらは、投射型デバイス１０２の現在位置、姿勢、所定の基準方位に対する相対方位、投射する方向に存在する物体、後述する投影面の傾きなどを把握するための計器ないし装置である。現在位置を表すデータを取得する場合、入力装置２０４は当該データの取得手段として機能する。出力装置２０５は、例えば情報を投射するためのプロジェクタ、あるいは音ないし音声を出力するためのスピーカーなどである。プロジェクタは情報の投射手段として機能し、スピーカーは音声を含む音を出力する音出力手段として機能する。ネットワーク・インタフェース２０６は、ネットワーク２０７を介して外部装置、及び／又は、記憶媒体などの周辺機器との間でデータ等の授受を行う通信手段として機能する。

ＣＰＵ２０１が本発明のコンピュータプログラムを読み込んで実行することにより投射型デバイス１０２に形成される機能構成例を図３に示す。投射型デバイス１０２は、制御部３０１、対象物検出部３０２、対象物情報提示部３０３、地図投射判定部３０４、投射部３０５を有している。制御部３０１は地図情報の投射制御などを行う制御手段として機能する。

対象物検出部３０２は、出力装置２０５の一例となるプロジェクタによる投射環境を検出する検出手段として機能する。投射環境は、プロジェクタが関連情報を投射する方向及び投射先に形成される投影面の状態の少なくとも一方である。投影面の状態は、所定の基準面（法線ベクトルなど）に対する投影面の角度又は当該撮影面が形成される部位の材質である。投射する方向に存在する対象物あるいは投射型デバイス１０２のユーザの人体の一部（足など）の有無なども投影面の状態の一種となる。検出は、入力装置２０４の一例となる撮像装置で取得した画像や後述する各種センサによって行う。

対象物情報提示部３０３は、検出された対象物の関連情報を投射しようとする表示情報に重畳させ、もしくは出力装置２０５の他の例となるスピーカーから音ないし音声で提示する。地図投射判定部３０４は、プロジェクタから地図を投影するかどうかを判定する処理を行う。投射部３０５は制御部３０１で生成した情報を例えば上記のプロジェクタを通じて投射する投射手段として機能する。投射部３０５は、関連情報を対象物の表面又は当該対象物の近傍に投射するとともに、地図情報を関連情報と異なる部位に向けて投射する。これについては後述する。

ここで、制御部３０１の制御により対象物情報提示部３０３が提示する情報の一つである地図情報について説明する。図４は、図１（ａ），（ｂ）に示された展示室１００を有する美術館の地図の例示図である。この美術館における複数の展示室の配置は地図４００で表される。地図４００は上方向の方位が北とする。各展示室は、廊下を通じて往来が可能である。本実施形態では投射型デバイス１０２を持ったユーザ１０１が、展示室１００に訪れているものとする。展示室１００のレイアウトは、図１（ａ），（ｂ）に示したとおりである。

次に、制御部３０１が行う制御手順を、図５を参照して説明する。制御部３０１は、投射先の対象物を検出する（Ｓ５０１）。対象物は撮像装置で取得した画像に対して対象物認識を行うことで検出が可能である。なお、検出に際して、対象物の種類や画像中の場所も特定する。対象物認識には、公知のパターン認識や機械学習などを用いることができる。なお、画像による対象物認識に代えて、ＧＰＳやＢｌｕｅｔｏｏｔｈ，ＩＭＵ，地磁気センサを用いて投射型デバイス１０２の姿勢、方位を求め、その情報と対象物との位置関係から、投射先の対象物を検出してもよい。

投射先に対象物が存在した場合（Ｓ５０２：Ｙ）、つまり、対象物を検出した場合、制御部３０１は、検出した対象物の関連情報をＲＡＭ２０２から取得する（Ｓ５０３）。なお、関連情報は、ネットワーク・インタフェース２０６を介して、外部装置や周辺機器から取得してもよい。その後、取得した関連情報を提示する（Ｓ５０４）。提示は、例えばプロジェクタを通じて対象物の表面又はその近傍に関連情報を表示（投影）させることで行う。提示後は処理を終了する。なお、ユーザと展示品との距離が離れていて、関連情報を投射してもユーザからは見づらい場合は、投射に代えて、あるいは、投射と共に、関連情報を出力装置２０５のスピーカーから音声で出力してもよい。

Ｓ５０２において、対象物を検出しなかった場合（Ｓ５０２：Ｎ）、制御部３０１は、地図投射判定処理を行う（Ｓ５０５）。地図投射判定処理については後述する。この地図投射判定処理において地図投射をしないと判定した場合（Ｓ５０６：Ｎ）、投射部３０５による地図情報の投射を制限し、直ちに処理を終了する。一方、地図投射をすると判定した場合（Ｓ５０６：Ｙ）、後述する地図投射処理を行った後（Ｓ５０７）、処理を終了する。なお、地図投射処理前に地図投射判定処理を行うのは、タペストリー１０７のように床に展示物がある場合、展示物の上に地図情報を表示せず、展示物の関連情報だけを表示させるためである。言い換えれば、制御部３０１は、所定条件を満たす場合に、関連情報に代えて地図情報を投射部３０５に投射させるための制御を行うものである。

次に、Ｓ５０５における地図投射判定処理の手順を図６を参照して説明する。この処理は、地図投射判定部３０４が行う。地図投射判定部３０４は、投射型デバイス１０２の投射方向を検出する（Ｓ６０１）。投射方向の検出には入力装置２０４の一つであるＩＭＵを用いることができる。具体的には、投射方向のベクトルとＩＭＵから取得した重力加速度方向のベクトルからベクトル間の角度を求め、これを投射方向とする。但し、角度は、ＩＭＵによらず、他の角度センサ（ジャイロセンサ等）の検出結果を用いてもよい。
地図投射判定部３０４は、検出した投射方向が所定の角度、例えば２０度以内の場合（Ｓ６０２：Ｙ）、投射型デバイス１０２が「下向き」とみなし、投影面の傾きを検出する（Ｓ６０３）。投影面の傾きは投影面の法線ベクトルとして取得される。なお、投影面の傾きは撮像装置で取得した画像から推定してもよいし、焦点の深度を直接取得可能な撮像装置を用いて投影面までの距離を計測し、その情報を基に推定してもよい。
地図投射判定部３０４は、その後、投影面が水平かどうかを判定する（Ｓ６０４）。具体的には、上記の法線ベクトルと重力加速度方向の逆ベクトルとの間の角度を求め、それらの間の角度が一定の範囲内（例えば５度以内）であれば水平、そうでなければ水平でないと判定する。水平であった場合は（Ｓ６０４：Ｙ）地図投射を行うと判定し（Ｓ６０５）、処理を終える。一方、水平でなかった場合は（Ｓ６０４：Ｎ）、地図投射を行わないと判定し（Ｓ６０６）、処理を終える。Ｓ６０２において投射型デバイス１０２が「下向き」でないと判定した場合（Ｓ６０２：Ｎ）も地図投射を行わないと判定する（Ｓ６０６）。

次に、制御部３０１の制御によって投射部３０５より投射される地図情報について説明する。制御部３０１は、ユーザの現在位置や投射環境の検出結果に応じて地図情報をシフトさせる。シフトさせる地図情報は、物体を含む複数の物体が存在する領域の全体地図の一部となる部分地図である。
図７（ａ）〜（ｅ）は、図４で示した美術館の全体を表す全体地図の中でシフトする部分地図７００の例を表す。図の矢印は投射型デバイス１０２が向いている方角（投射方向）を表している。図７（ａ）は投射型デバイス１０２を北向きでかつ真下に向けたときに投射される地図情報の例である。図７（ｂ）〜（ｅ）は、それぞれ図７（ａ）と同じ位置で、投射型デバイス１０２を北、西、東、南の方向に鉛直方向から２０度傾けて投射した時に投射される地図情報の例である。各図の白い丸は各展示室に置かれている展示品を表す。マーク７０１は投射型デバイス１０２の位置、つまりユーザの（足の）現在位置を表す。

投射部３０５は、あらかじめ美術館全体の地図における部分地図７００のシフト量の位置関係をＲＡＭ２０２に制御テーブルとして記憶する。この制御テーブルの一例を図８に示す。制御テーブルに記憶されるのは、上記位置関係を定量化したパラメータである。すなわち投射型デバイス１０２の鉛直方向からの角度によって、投影面に表示させる部分地図７００の位置を、投射型デバイス１０２の基準位置、基準角度（法線ベクトル）を中心としたときに、どの程度のシフト量にするかを決定するパラメータである。図８の例では、投射型デバイス１０２の角度が法線ベクトルに対して０度から２０度の範囲では、部分地図７００のシフト量は線形に増加する。また、上記角度が２０度から３０度の間では、一定のシフト量（ｈ／３）となるようにする。「ｈ」は投影面の高さを表す。この制御テーブルの使い方については後述する。

次に、図５の地図投射処理（Ｓ５０７）の内容を図９を参照して詳しく説明する。この処理は、投射部３０５が行う。投射部３０５は、投射型デバイス１０２の現在位置を取得する（Ｓ９０１）。投射型デバイス１０２の現在位置は、入力装置２０４の一例となるＧＰＳから取得するが、この例に限定されない。例えば、Ｂｌｕｅｔｏｏｔｈを用いて屋内に設置された位置決定デバイスから取得した位置情報、撮像装置から取得した画像、照明光に含まれる情報を基に推定してもよい。また、ＩＭＵや地磁気センサ等を用いて特定の位置からの移動距離を測定して現在位置を推定してもよい。そのほか、投射型デバイス１０２の位置を特定できる方法であればどのような方法であってもよい。

投射部３０５は、また、現在位置の周辺に存在するオブジェクト（展示物等）の情報を取得する（Ｓ９０２）。展示物の情報はあらかじめＲＯＭ２０３に記憶された情報を取得してもよいし、ネットワーク・インタフェース２０６を介して、外部から取得してもよい。
その後、投射部３０５は、出力装置２０５の一例となるプロジェクタから図７（ａ）〜（ｅ）に例示される部分地図７００を投射する。投射する部分地図７００には、美術館における展示品の位置と投射型デバイス１０２の現在位置（マーク７０１）とが表示される。このとき、美術館の全体地図における部分地図７００の相対位置を表す情報と共に表示されるようにしてもよい。投射される部分地図７００の向きや表示位置は、投射型デバイス１０２の水平方向の向きと、鉛直方向からの角度によって決定される。部分地図７００の向きは、投射型デバイス１０２が向いている方位が上になるように表示される。また、部分地図７００の表示位置は、図８に例示した制御テーブルに基づいて決定されるシフト量の分だけ、移動した方位と同じ方向に移動される。そのため、図７（ａ）のように投射型デバイス１０２を北向きでかつ真下に向けた場合は、投射型デバイス１０２の位置が中心に来る。その一方、そこから約２０度傾けた場合は、図７（ｂ）のように、現在位置を基準として、投影面の高さの１／３の分、先の地図を見ている状態になる。同様に、図７の（ｃ）、（ｄ）、（ｅ）の部分地図７００は、それぞれ投射型デバイス１０２を西、東、南に向けて、鉛直方向から約２０度傾けている。そのため、図４に示した地図４００の左、右、下方向がそれぞれ上になっていて、かつ表示位置が投射型デバイス１０２の位置から方位の方向にシフトした位置になっている。

以上のように、投射型デバイス１０２を「下向き」としたときに部分地図７００を表示することで、ユーザ１０１である投射型デバイス１０２のユーザは、美術館全体における自身の現在位置を直感的に把握することができる。これにより、近隣のオブジェクト及び現在位置からそこに到達するためのルートについても容易に発見できるようになる。さらに、発見したオブジェクトに関する関連情報を容易に得ることが可能となる。

＜第１変形例＞
上述した実施形態では、投射型デバイス１０２を「下向き」にしたときに、ユーザの現在位置を含む部分地図７００を投射する例について説明したが、本発明の適用範囲は、そのような例に限定されない。例えば、投影面が地面又は床に対して水平な場合のみ、つまり、投影面が壁でない場合にのみ地図表示を行うようにしてもよい。この場合の投射型デバイス１０２における処理手順は図５と同様であり、地図投射判定部３０４が行うＳ５０５の地図投射判定処理の内容が異なるものとなる。

図１０は、第１変形例に係る地図投射判定処理の手順説明図である。地図投射判定部３０４は、撮像装置を用いて投影面の傾きを検出する（Ｓ１００１）。投影面の傾きの検出方法及び水平であることを判定する方法は第１実施形態と同様である。地図投射判定部３０４は、また、投影面が水平かどうかを判定する（Ｓ１００２）。水平である場合は（Ｓ１００２：Ｙ）後続の処理で地図投射を行うと判定し（Ｓ１００３）、そうでない場合（Ｓ１００２：Ｎ）は地図投射を行わないと判定する（Ｓ１００４）。

以上のように、投影面が水平の場合に部分地図７００を表示することで、投射型デバイス１０２のユーザは、自身の現在位置を直感的に把握し、当該現在位置を起点とした近隣のオブジェクト及びそこに至るルートを容易に発見できるようになる。

＜第２変形例＞
第２変形例では、投射型デバイス１０２からの投射により形成される投影面が床で（つまり第１変形例と同様、傾きが水平で）、その床の材質が所定の材質の場合にだけ地図表示を行う場合の例を説明する。この場合の投射型デバイス１０２の制御手順は図５と同様であり、Ｓ５０５で行う地図投射判定処理の内容だけが異なる。第２変形例において地図投射判定部３０４が実行する地図投射判定処理を図１１を参照して説明する。

地図投射判定部３０４は、撮像装置を用いて投射先の材質を検出する（Ｓ１１０１）。美術館では、撮像装置から入力された画像とあらかじめ与えられた地面の画像とのパターン認識により、投影面の所定の材質かどうかを判定する（Ｓ１１０２）。本例では、床が絨毯かどうかを判定基準とする。これは例えば特定の美術館では特徴的な模様ないし凹凸の絨毯が敷かれていることが判明している場合に特に顕著な効果を奏する。すなわち、特徴的な模様ないし凹凸を有し、光の反射を防ぐような材質の特徴をあらかじめ記憶しておき、撮像装置で撮像した結果と比較することにより、判定基準に該当するかどうかの判定が容易となる。
もちろん床の材質は場所に合わせて絨毯以外のものを用いてもよいし、複数の材質に対応するようにしてもよい。また、認識しやすいように特定の柄などを持つ素材を床に設置し、それを認識してもよい。いずれにせよ、床にある素材の材質を認識できればいずれの方法であってもよい。

地図投射判定部３０４は、投影面の材質が絨毯の特徴を表していると判定される場合は（Ｓ１１０２：Ｙ）後続の処理で地図投射を行うと判定し（Ｓ１１０３）、そうでない場合は（Ｓ１１０２：Ｎ）地図投射を行わないと判定する（Ｓ１１０４）。

以上のように、投射型デバイス１０２の投射先の面の材質が所定の材質の場合に地図投射を行うことで、ユーザは全体地図に対する自身の現在位置がどこかを把握して近隣のオブジェクト及びそこに至るまでのルートを容易に把握できるようになる。

＜第３変形例＞
第３変形例では、投射型デバイス１０２による投射先、すなわち投影面にユーザの身体の一部、例えばユーザの足が存在することを検出した場合に地図投射を行うと判定する場合の例を説明する。この場合の投射型デバイス１０２の制御手順は図５と同様であり、Ｓ５０５で行う地図投射判定処理の内容が異なる。第３変形例において地図投射判定部３０４が行う地図投射判定処理を図１２を参照して説明する。

地図投射判定部３０４は、撮像装置を用いて投射方向の一定の範囲内にあるユーザの足を検出する（Ｓ１２０１）。ユーザの足の認識は、例えばあらかじめユーザの靴の画像をいくつか撮影しておき、それを機械学習により学習した結果を用いて行うことにより実現が可能である。また、深さ検出が可能な撮像装置を用いてユーザの体の骨格推定を行い、足先に当たる部分をユーザの足と推定してもよい。いずれにせよ、ユーザの足を認識する方法であればいずれの方法であってもよい。

地図投射判定部３０４は、ユーザの足が検出された場合は（Ｓ１２０２：Ｙ）後続の処理で地図投射を行うと判定し（Ｓ１２０３）、そうでない場合は（Ｓ１２０２：Ｎ）地図投射を行わないと判定する（Ｓ１２０４）。ユーザの足の存在を認識することで、当該投影面には確実に対象物件が存在しないことをより確実に認識することができる。

次に、投射部３０５で投射する地図情報の一例について、図１３に基づいて説明する。図１３（ａ）は図７（ａ）と同様、投射型デバイス１０２を北向きでかつ真下（鉛直方向）に向けたときに投射される部分地図７００の例を示す。図１３（ｂ）は図１３（ａ）と同じ位置、同じ方位で、投射型デバイス１０２を鉛直方向を起点に所定角度、例えば約２０度傾けて投射した場合に投射される部分地図７００の例を表す。すなわち投射部３０５は、地図情報を二次元画像として投射した後、投射位置と同じ位置及び同じ方位で、所定角度以上傾いたことが検出された場合、傾いた後の地図情報を三次元画像に変換する。これにより、展示室１００の絵画１０４、１０６やタペストリー１０７を実際の展示品と同じ見え方で表示されるように投射する。

投射部３０５で実行させる地図投射処理を図１４を参照して説明する。Ｓ９０１とＳ９０２は、図９で示した処理と同様のため、説明を省略する。
投射部３０５は、投射している位置、つまり投影面の中心の位置と認識された足との距離を計算する（Ｓ１４０１）。次いで、計算された距離に応じて地図情報の表示形態を選択可能にする（Ｓ１４０２）。ここでは、その距離に応じて、投射する地図情報の視点の角度を傾けて、かつ拡大表示されるように投射するものとする。但し、この例に限定されない。また、ユーザの足の位置を示す画像を地図上の現在位置にマッピングさせる（Ｓ１４０３）。
このようにすることで図１３（ａ）に示すように、投射型デバイス１０２を真下に向けているときは二次元画像に見えた部分地図が投射型デバイス１０２の投影面を足から徐々に遠ざけていくに従って図１３（ｂ）のように立体的な表示となって見える。さらに、特定の拡大率を超えたときに、展示物の表示を実際のものと同じ見え方で表示する。このような立体表示にすることで、今自分がいる部屋のどの方向にどのような展示品があるかを直感的に把握できるようになる。

以上のように、投射型デバイス１０２が投射する方向においてユーザの足を検出した場合に地図情報を投射することで、ユーザは自身の位置を把握し、近隣のオブジェクトを容易に発見できるようになる。

［第２実施形態］
第１実施形態では、投射型デバイス１０２を美術館などの屋内で使用する地図表示の例を説明したが、第２実施形態では、投射型デバイス１０２を屋外で使う場合の例を説明する。投射型デバイス１０２のハードウェア構成及び機能構成は、第１実施形態の場合と同じである。図１５は、屋外美術館の地図情報の例示図である。屋外美術館は、散策可能なエリアを有している。図１５に示された地図情報１５００は上方向の方位を北とする。投射型デバイス１０２のユーザであるユーザは、グレーで示されたエリアを歩いて所々に設置された展示品を鑑賞することを想定する。

投射型デバイス１０２の投射部３０５が投射する地図情報の一例を図１６を参照して説明する。図１６（ａ）、（ｂ）に示す地図情報は、図１５で示した屋外美術館の全体地図の一部を表す部分地図１６００である。図の矢印は投射型デバイス１０２を向けている方角を表している。図１６（ａ）、（ｂ）は投射型デバイス１０２を北向きに向けたときに表示される地図である。各地図の白い丸は屋外に設置された野外展示品を表す。マーク１６０１は投射型デバイス１０２の位置、つまりユーザの足の位置を表す。図１６（ｂ）の点線の矢印１６０３は、ユーザの現在位置を表すマーク１６０１から、野外展示品１６０２までのルートを示している。ルート表示の詳細については後述する。

第２実施形態における処理手順は図５と同様であり、Ｓ５０７で行う地図投射処理の内容が異なる。そのため、投射部３０５で実行させる地図投射処理を図１７を参照して説明する。Ｓ９０１は図９で示した処理と同様のため、説明を省略する。
投射型デバイス１０２は、まず、現在位置から最近情報を取得した展示物までのルートを取得する（Ｓ１７０１）。ルート計算は投射型デバイス１０２上で処理してもよいし、ネットワーク・インタフェース２０６を介して外部装置で計算させ、結果を取得してもよい。
屋外美術館の地図情報と取得したルートがあればそれを合わせて上記のプロジェクタから投射する（Ｓ１７０２）。投射型デバイス１０２を持ったユーザが投射型デバイス１０２を下向きにすると図１６（ａ）に示される地図が表示される。
また、ユーザが投射型デバイス１０２を野外展示品１６０２の方向に向けて美術品に関する関連情報を見たり聞いたりした後で下に向けると、図１６（ｂ）に示すように、地図情報と共にその美術品までのルートが表示される。このように展示品までに距離があり、そこへどのように向かえばよいかわからない屋外美術館のようなケースにおいても、第２実施形態によれば、展示品の正確な場所と共にルートも把握できるようになる。

以上のように、投射型デバイス１０２を下向きにしたときに地図情報を表示することで、ユーザは自身の現在位置を把握した上で、近隣のオブジェクトを容易に把握できるようになる。さらに、そのオブジェクトに至るまでのルートを投射することで、ユーザがどの方向に向かえばよいかが容易にわかるようになる。

以上の例では、関連情報を対象物の近傍に投射する例を示したがこれに限らない。例えば、色などを対象物の表面に直接投射してもよい。また各実施形態では、美術館での展示品の解説表示について説明したが、店舗での広告表示等への利用も可能である。また、ＡＲ技術で物体の関連情報を閲覧するためのデバイスは、投射型デバイスに限らない。例えば、カメラとディスプレイを備えたスマートホンやタブレット端末であって、カメラを物体に向けることでディスプレイに物体と該物体に重畳した関連情報を表示し、カメラを下向きにしたときに地図情報を表示してもよい。
また、本発明は、１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する態様でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (13)

1. 物体に関連付けられた関連情報を投射する投射手段と、
   前記物体の位置を表す地図情報を取得する地図情報取得手段と、
   前記投射手段による投射環境を検出する検出手段と、
   前記検出手段の検出結果が所定条件を満たす場合に、前記関連情報に代えて前記地図情報を前記投射手段に投射させる制御手段と、
   を有し、
   前記投射手段は、前記地図情報を二次元画像として投射した後、投射位置と同じ位置及び同じ方位で、所定角度以上傾いたことが前記検出手段で検出された場合に、傾いた後の前記地図情報を三次元画像に変換することを特徴とする投射型デバイス。
2. 物体に関連付けられた関連情報を投射する投射手段と、
   前記物体の位置を表す地図情報を取得する地図情報取得手段と、
   前記投射手段による投射環境を検出する検出手段と、
   現在位置を取得する取得手段と、
   前記検出手段の検出結果が所定条件を満たす場合に前記関連情報に代えて投射する前記地図情報又は前記関連情報を投射する際に、前記取得手段で取得した現在位置を表す画像をマッピングさせるように前記投射手段に投射させる制御手段と、を有することを特徴とする投射型デバイス。
3. 前記制御手段は、前記検出手段による検出結果に応じて前記地図情報をシフトさせることを特徴とする、
   請求項２に記載の投射型デバイス。
4. 前記シフトさせる地図情報は、前記物体を含む複数の物体が存在する領域の全体地図の一部となる部分地図であることを特徴とする、
   請求項３に記載の投射型デバイス。
5. 音を出力する音出力手段をさらに備えており、
   前記制御手段は、前記関連情報を、前記投射手段に代えて又は前記投射手段と共に、前記音出力手段から出力させることを特徴とする、
   請求項１に記載の投射型デバイス。
6. 前記投射環境は、前記投射手段による投射の方向及び投射先に形成される投影面の状態の少なくとも一方を検出することを特徴とする、
   請求項１、３乃至５のいずれか一項に記載の投射型デバイス。
7. 前記投影面の状態は、所定の基準面に対する前記投影面の角度又は当該投影面が形成される部位の材質であることを特徴とする、
   請求項６に記載の投射型デバイス。
8. 前記検出手段は、前記投影面の角度を検出するものであり、
   前記制御手段は、検出された角度が水平でない場合は前記地図情報の投射を制限することを特徴とする、
   請求項７に記載の投射型デバイス。
9. 前記投影面の状態は、前記投影面における前記物体又はユーザの人体の一部の存在の有無であることを特徴とする、
   請求項６に記載の投射型デバイス。
10. 前記検出手段が前記投影面に前記物体又は前記人体の一部が存在することを検出した場合、前記制御手段は、前記投影面への前記地図情報の投射を制限することを特徴とする、
    請求項９に記載の投射型デバイス。
11. 前記検出手段が前記投影面に前記人体の一部が存在することを検出した場合、
    前記制御手段は、前記投影面の位置と前記人体の一部との距離に応じて、投影する地図情報の表示形態を選択可能にすることを特徴とする、
    請求項９に記載の投射型デバイス。
12. コンピュータを、物体に関連付けられた関連情報を投射する投射手段、
    前記物体の位置を表す地図情報を取得する地図情報取得手段、
    前記投射手段による投射環境を検出する検出手段、
    前記検出手段の検出結果が所定条件を満たす場合に、前記関連情報に代えて前記地図情報を前記投射手段に投射させる制御手段、として機能させるためのコンピュータプログラムであって、
    前記投射手段は、前記地図情報を二次元画像として投射した後、投射位置と同じ位置及び同じ方位で、所定角度以上傾いたことが前記検出手段で検出された場合に、傾いた後の地図情報を三次元画像に変換することを特徴とするコンピュータプログラム。
13. コンピュータを、物体に関連付けられた関連情報を投射する投射手段、
    前記物体の位置を表す地図情報を取得する地図情報取得手段、
    前記投射手段による投射環境を検出する検出手段、
    現在位置を取得する取得手段、
    前記検出手段の検出結果が所定条件を満たす場合に前記関連情報に代えて投射する前記地図情報又は前記関連情報を投射する際に、前記取得手段で取得した現在位置を表す画像をマッピングさせるように前記投射手段に投射させる制御手段、
    として機能させるためのコンピュータプログラム。

Images