JP7063992B2

JP7063992B2 - 方位判定デバイス、方位判定方法、レンダリングデバイス、およびレンダリング方法

Info

Publication number: JP7063992B2
Application number: JP2020523271A
Authority: JP
Inventors: ベンエイテル; ダニエルシュナイダー
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2017-10-26
Filing date: 2018-10-26
Publication date: 2022-05-09
Anticipated expiration: 2038-10-26
Also published as: JP2021500568A; EP3701224A2; WO2019081754A2; WO2019081754A3; US20200348135A1

Description

本開示は、デバイスの方位を判定する方位判定デバイスおよび方位判定方法に関する。また、本開示は対象情報のレンダリングを行うレンダリングデバイスおよびレンダリング方法に関する。

現在において広く普及している屋外ナビゲーションの技術を使用する際、屋内での位置決めおよびナビゲーションにおいては問題が発生する場合がある。これは主に、ＧＮＳＳ（全地球航法衛星システム）信号は屋内では利用できず、建物に使用される鉄鋼材は屋外での方位磁針ベースのナビゲーションに用いられる地磁気を大きくゆがめてしまう、という２つの理由のためである。また、様々な用途において、基準座標系に対する方位、すなわち、向き（ヘディング）および傾き（姿勢）が注目されている。

本明細書に記載する背景技術の説明は、本開示がどのような文脈で為されたかの概要を説明する目的で記載するものである。本願の発明者として名前を挙げているものの研究内容は、この背景技術のセクションに記載されている限りにおいて、出願時に先行技術と認められない部分と同様に、本開示に対する先行技術として明示的にも暗示的にも認めるものではない。

本開示の目的は、各デバイスの方位の判定と使用が可能であるか、またこれらの改良が可能な方位判定デバイス、方位判定方法、レンダリングデバイス、およびレンダリング方法を提供することにある。さらに、本発明の別の目的は、上記方法を実施するための対応するコンピュータプログラムおよび非一過性のコンピュータ読み取り可能記録媒体を提供することにある。

本開示の一態様によれば、
１以上の磁場センサによって空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータを取得するように構成されるデータ入力回路と、
上記磁場センサデータが取得された上記１以上の磁場センサの１か所以上の位置の位置推定結果を取得するように構成される位置入力回路と、
取得した上記位置推定結果によって示される上記１以上の磁場センサの１か所以上の位置における方位角・傾きデータを磁気マップから導き出し、取得した上記磁場センサデータと、上記磁気マップから導き出した上記方位角・傾きデータに基づいて方位判定デバイスの方位を推定するように構成される推定回路を含む、
方位判定デバイスが提供される。

また、本開示の他の態様によれば、
空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータ検知するように構成される１以上の磁場センサと、
レンダリングデバイスの方位を示す方位情報を判定する、本明細書に記載の方位判定デバイスと、
上記レンダリングデバイスの位置推定結果を取得するように構成される位置入力回路と、
１以上の対象の対象位置を示す対象位置情報を取得するように構成される対象位置入力回路と、
上記方位情報、取得した上記位置推定結果、および取得した上記対象位置情報に基づいて上記レンダリングデバイスに対する上記１以上の対象の相対位置を判定するように構成される相対対象位置判定回路と、
上記１以上の対象の判定された相対位置を用いて上記１以上の対象に関する対象情報のレンダリングを行うように構成されるレンダリング回路を含む、
レンダリングデバイスが提供される。

さらに他の態様によれば、対応する方法と、コンピュータ上で実行された際に、当該コンピュータに本明細書に開示の方法の各ステップを実行させるプログラム手段を含むコンピュータプログラムと、プロセッサにより実行された際に、本明細書に開示の方法を行うコンピュータプログラムを記憶した非一過性のコンピュータ読み取り可能記録媒体とが提供される。

実施例は従属クレームによって定義される。開示された方法、開示されたコンピュータプログラム、および開示されたコンピュータ読み取り可能記録媒体は、請求項に係るデバイスとして、従属項および／または本明細書で定義されたものと同様のおよび／または同一のさらなる実施形態を有する。

本開示の一態様では、建物内に位置するデバイスに関して、磁気センサから得られる磁場情報とあらかじめ記録された建物（エリア）の磁気マップを用いて特定の基準座標系に対する方位判定デバイスの方位を推定する。これにより、センサコストおよび／または電力消費の減少が可能になり（例えばジャイロスコープおよび／または加速度計のデータが必要ないため）、また、センサ統合プロセスに関して方位推定の精度が向上する（ジャイロスコープおよび／または加速度計のデータが利用可能な場合）。この技術は特に、関連するセンサや演算が超低電力消費で実現される際のバッテリ駆動式のモバイルデバイスやウェアラブルデバイスに適している。この方位推定は、「拡張」方位磁針のようなナビゲーション（対象までの距離＋方向）から、ユーザまたはデバイスの位置や方位に関わらず２Ｄまたは３Ｄエリアにおける仮想音源（対象）の実現（音源とは例えばＡＲ（拡張現実）サウンド等であり、ユーザの位置や頭部の方位に関わらず、静止した位置に配置される）まで、広い範囲の用途において用いることができる。

前述の段落は、一般的な序論として提供したものであり、以下の特許請求の範囲を限定するものではない。本開示の実施形態は、更なる利点とともに、添付の図面と併せて以下の詳細な説明を参照することによって理解される。

添付の図面と合わせて検討される以下の詳細な記載を参照することにより、本開示およびそれに付随する多くの利点をより完全に、かつ容易に理解することができる。
磁場ベクトルの座標の定義を示す図である。本開示に係る方位判定デバイスの第１の実施形態の概略図である。本開示に係るレンダリングデバイスの第１の実施形態の概略図である。位置に依存した方位角歪みを示す磁気マップの例を示す図である。デバイスの方位を示す図である。本開示に係る方位判定デバイスの第２の実施形態の概略図である。本開示に係る方位判定デバイスの第３の実施形態の概略図である。本開示に係る方位判定デバイスの第４の実施形態の概略図である。本開示に係る方位判定デバイスの第５の実施形態の概略図である。本開示に係る方位判定デバイスの第６の実施形態の概略図である。本開示のデバイスと方法の適用状況を示す図である。図１１に示す適用状況において用いられる本開示に係るレンダリングデバイスの第２の実施形態の概略図である。第２の利用状況において用いられる本開示に係るレンダリングデバイスの第３の実施形態の概略図である。

本開示の詳細を説明する前に、いくつかの定義について説明する。「磁気マップ」とは、エリア全体の磁気マップ（磁気指紋を含む）、または、エリア全体の磁気マップのうちの一部のマップを意味する。好ましくは、エリア全体の磁気マップとは建物等の屋内のマップであり、一部のマップとは例えば建物の棟や階等の建物の一部のマップである。本明細書において開示する実施形態において用いられる磁気マップ、または磁気マップのうちの適切な一部のマップはそれぞれ磁場センサの周囲の領域の磁気指紋を含む。これは、磁界センサの現在位置、例えば、所与の位置推定結果、および必要であればその推定信頼度（例えば推定位置精度）に基づいて、またはユーザがサーバなどから適切な磁気マップをダウンロードすることによって選択することができる。

磁場センサデータは、例えば３Ｄセンサのための磁場センサのローカル座標系のｘ、ｙ、ｚ方向における（つまりセンサ座標における）電磁流密度であり得る。図１は磁場ベクトルの異なる表現について示しており、磁場ベクトルの座標定義について示している。磁場ベクトルの特徴の例として、磁場の大きさｍ、磁場の傾きｉ、磁場の方位角ａ、磁場の垂直成分ｖ、磁場の水平成分ｈ、磁場のデカルト成分（ｘ、ｙ、ｚ）および、これらを組み合わせたものが挙げられる。例えば、磁場ベクトルは磁場の水平成分ｈと垂直成分ｖの特徴によって表され得る。また、磁場の大きさｍと磁場の傾きｉの特徴を用いて表すこともできる。状況によっては、磁場の大きさｍ、磁場の傾きｉ、および磁場の方位角ａによって表されてもよいし、デカルト成分ｘ、ｙ、ｚによって表されてもよい。

地磁気の大きさ（磁場ベクトルとも呼ばれる）は、例えば磁場センサによる磁場測定結果から簡単に導き出すことができ、このプロセスは一般的に追加の推定プロセスを含まない。したがって、地磁気の大きさは地磁気指紋において最も信頼できる情報となる。しかし、１つの建物内の異なる地点においては同様の大きさの値が頻繁に検出され得る。つまり、地磁気の大きさのみを考慮して対応する１次元特量ベクトルを用いる場合は、１つの地磁気測定結果が同様の尤度で１つの建物内の複数の地点に割り当てられる可能性がある。

地磁気の傾きは、磁場測定結果と地球重力場の方向に基づいて演算することができる。地球重力場は、加速度計によって測定され得る。重力以外にも、加速度計は、モバイル／ウェアラブルデバイスに関して他のすべての加速度の測定も行うことができる。異なる加速度源の分離は困難であり、重力方向の推定において誤差を生じさせる。同様に、これは地磁気の傾きの推定精度を劣化させる。それにもかかわらず、この情報は地磁気指紋法のための２次元特徴ベクトルを取得するために地磁気の大きさと共に使用されることがある。磁場の大きさと傾きとは広く無相関であるため、２次元特徴ベクトル（指紋）を用いることによって位置曖昧性を低減することができる。

方位角情報は、地磁気指紋法のための入力として取得することは難しい。重力方向に加えて、モバイル／ウェアラブルデバイスの向きの推定が必要になり得る。これは、特にジャイロスコープセンサ信号情報に特有のドリフトが原因で、推定誤差を生じさせる傾向にある。そのため、地磁気指紋法のために方位角情報を使用することは、通常は特定の用途に限定される。特定の用途とは例えば、ロボットの位置決めである。センサは、通常はロボットの本体に固定されており、これにより、推定プロセスが簡素化され、推定誤差を低減することができる。多くの場合、ｚ座標が重力方向となるようにあらかじめ調整されており、センサの向きとモーションの向きとの間には一定の関係性が確立されているため、歩調や歩幅を推定する必要はない。

図２は、本開示に係る方位判定デバイス１０の第１の実施形態の概略図である。

方位判定デバイス１０は、（本実施形態においてはデバイス１０の一部ではない）１以上の磁場センサ２０によって空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータ１０１を取得するように構成されるデータ入力回路１１を含む。一般的に、磁場センサデータ１０１はセンサ座標において測定される。データ入力回路１１はデータインターフェースによって実現され得る。データインターフェースは例えば、データの受信や検索に用いるインターフェース（例えばＨＤＭＩ、ＵＳＢ、ネットワークインターフェース等）であり、１以上の磁場センサ２０や、記憶手段（例えば、図示しないデータキャリア、電子メモリ、バッファ等）から直接磁場センサデータ１０１を受信または検索する。記憶手段では、磁場センサデータ１０１が記憶またはバッファされている。

方位判定デバイス１０はさらに、磁場センサデータが取得された１以上の磁場センサ２０の１か所以上の位置の位置推定結果１０２を取得するように構成される位置入力回路１２を含む。位置入力回路１２も独立したデータインターフェースによって実現され得る。このデータインターフェースも例えばデータの受信や検索に用いるインターフェース（例えばＨＤＭＩ、ＵＳＢ、ネットワークインターフェース等）であり、例えば内部または外部の位置推定回路３０から位置推定結果１０２を受信または検索する。または、位置入力回路１２とデータ入力回路１１と組み合わせて共通インターフェースとしてもよい。

方位判定デバイス１０はさらに、取得した位置推定結果によって示される１以上の磁場センサの１か所以上の位置における方位角・傾きデータを磁気マップ１０３から導き出し、取得した上記磁場センサデータと、磁気マップ１０３から導き出した方位角・傾きデータに基づいて方位判定デバイスの方位を推定するように構成される推定回路１３を含む。一般的に、方位角・傾きデータは基準座標系において利用可能である。一般的に、磁気マップ１０３はあらかじめ取得されている。例えば、磁気マップ１０３はサービスプロバイダや、方位判定が行われる建物の所有者や管理者当によって提供される。また、磁気マップ１０３は（本実施形態においてはデバイス１０の一部ではない）記憶手段（不図示）に記憶されていてもよいし、例えばインターネットや他のネットワークを介して（一般的にはデバイス１０の一部ではない）サーバ４０によって提供されてもよい。例えば、ユーザは訪問したい場所の磁気マップをダウンロードしてもよいし、または１以上の磁場センサ２０（を含むかこれに接続されるデバイス）の現在地情報（例えば建物に入る前や、建物の入口に配置されたＢｌｕｅｔｏｏｔｈビーコンが検出された際に取得されたＧＰＳ情報等）に基づいて自動的に適切な磁気マップがダウンロードされたり提供されたりしてもよい。推定回路１３は例えばハードウェアまたはソフトウェアによって実現され得る。これは例えば、適切にプログラムされたプロセッサやコンピュータであり得る。

つまり、本開示によれば、ハードウェアおよびソフトウェア的に大きな労力を費やすことなく、基準座標系、つまり３Ｄ座標において方位判定デバイス１０の方位を判定することができる。特に、磁場センサのｘ軸およびｙ軸が同一水平面上にある場合（例えば磁場センサが可動式のロボットに取り付けられている場合）に、検知した磁場の方位角とこの位置における磁気マップの方位角を比較することによって、磁気マップを記録するために用いられる基準座標系に対するデバイスの向きの絶対値を直接提供することができる。より一般的には、デバイスは３Ｄ空間において任意の方位を向くことができる。

図３は本開示に係るレンダリングデバイス２００の第１の実施形態の概略図である。レンダリングデバイス２００は例えばハンドヘルドデバイス、ウェアラブルデバイス、モバイルフォン、スマートフォン、ポータブルフォン、カメラ、スマートウォッチ、バイタルサインモニタ、ノートパソコン、タブレット、スマートグラス、ヘッドフォン、イヤフォン、またはユーザによって持ち運ぶことができる各種ポータブルデバイスであり得る。

レンダリングデバイス２００は、空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータ検知するように構成される１以上の磁場センサ２０を含む。レンダリングデバイス２００はさらに、本明細書に記載の、例えば図２に示す方位判定デバイス１０を含む。方位判定デバイス１０はレンダリングデバイスの方位を示す方位情報を判定する。

レンダリングデバイス２００はさらに、レンダリングデバイス２００の方位を示す方位情報２１１を取得するように構成される方位入力回路２０１を含む。方位情報２１１は方位判定デバイス１０から取得される。レンダリングデバイス２００はさらに、例えば内部または外部の位置推定回路３０から位置推定結果を検索または受信するために、レンダリングデバイス２００の位置推定結果２１２を取得するように構成される位置入力回路２０２を含む。レンダリングデバイス２００はさらに、例えば（一般的にはレンダリングデバイス２００の一部ではない）サーバ５０や対象情報記憶装置から１以上の対象の対象位置を示す対象位置情報２１３を取得するように構成される対象位置入力回路２０３を含む。対象とは、例えば仮想音源、仮想光源、またはとある場所等の任意の物理対象であり得る（例えば、ショッピングモール内のとある売り場や、オフィスビル内のとある部署、大規模な建物内の会議スペースや、大規模工場内のとある生産場所等のユーザが行きたいと思っている場所）。方位入力回路２０１、位置入力回路２０２、および対象位置入力回路２０３はそれぞれ別のデータインターフェースによって実現されてもよいし、例えばデータを受信または検索するためのインターフェースのような共通インターフェース（例えばＨＤＭＩ、ＵＳＢ、ネットワークインターフェース等）によって実現されてもよい。

レンダリングデバイス２００はさらに、方位情報２１１、取得した位置推定結果２１２、および取得した対象位置情報２１３に基づいてレンダリングデバイス２００に対する１以上の対象の相対位置２１４を判定するように構成される相対対象位置判定回路２０４を含む。最後に、レンダリングデバイス２００はさらに、１以上の対象について判定された相対位置２１４を用いて１以上の対象に関する対象情報２１５のレンダリングを行うように構成されるレンダリング回路２０５を含む。

本開示のレンダリングデバイスを用いて、（好ましくは距離・方向推定結果を含む）上記の向きおよび／または方位を異なる用途に使用することができる。異なる用途とは例えば、ユーザまたはデバイスの位置や方位に関係なく、２Ｄ／３Ｄエリア内で仮想音源（対象）を実現したり、対象までの方位磁針様の拡張ナビゲーションを行うことである。つまり、頭部の方位やユーザの位置に関わらず、静止位置において音源を実現し、拡張現実サウンドの印象を与えることができる。

上述の実施形態においては、磁場センサ（図２）とレンダリングデバイス（図３）それぞれの位置の推定結果が利用される。一般的に、この推定結果をどのように判定するかは重要ではない。この目的のために内部または外部手段が提供されてもよい。図２、３に示す実施形態において、位置推定回路３０は位置推定結果を供給する外部の構成要素として提供されている。他の実施形態において、位置推定回路３０はそれぞれ向き判定デバイス１０およびレンダリングデバイス２００の内部の構成要素である。

（外部または内部の）位置推定回路３０は、例えば通信システム、Ｗｉ－Ｆｉアクセスポイント、（Ｂｌｕｅｔｏｏｔｈ(登録商標)等の）ビーコン、または超広帯域無線システムからの非磁気情報に基づいて１以上の磁場センサ２０の位置を推定するように構成され得る。向き判定デバイス１０の一部として提供される位置推定回路３０は、取得した磁場センサデータ１０１および磁気マップ１０３を使用した地磁気指紋法も用い得る。位置決めのために磁気指紋法を用いる場合は、信頼性の高い位置推定結果を得るために少なくとも磁場の大きさ（必要に応じて傾きも）を追加で考慮する必要がある。上記に加えて、または上記に替えて、（地球座標に対する）傾き、水平磁場成分、および／または垂直磁場成分を用いて位置推定の改良を行ってもよい。さらに、相補的技術を用いて、磁場から固有の位置推定結果を取得してもよい。１つの可能性として、他の実施形態に記載されるように、デバイス搭載センサからの加速度計・ジャイロスコープデータに基づいた（歩行者）自律航法（ＰＤＲ）を用いてもよい。

方位判定デバイスの位置は、非磁性の位置決めシステム（例えばＷｉ－Ｆｉアクセスポイント、Ｂｌｕｅｔｏｏｔｈビーコン、超広帯域無線システム）を用いて取得されてもよいし、磁気指紋法を用いて取得されてもよい。位置決めのために磁気指紋法を使用する場合は、信頼性の高い位置推定結果を得るために少なくとも磁場の大きさを追加で考慮する必要がある。上記に加えて、または上記に替えて、（地球座標に対する）傾き、水平磁場成分、および／または垂直磁場成分を用いて位置推定の改良を行うこともできる。さらに、磁場から固有の位置推定結果を取得するためには相補的技術が必要となり得る。１つの可能性として、他の実施形態に記載されるように、デバイス搭載センサからの加速度計・ジャイロスコープデータに基づいた（歩行者）自律航法（（Ｐ）ＤＲ）を用いてもよい。

磁気マップ１０３は、２Ｄ向き推定結果を取得するために、所定の基準座標系（例えば地球座標系）に対する（歪み）磁場の位置依存方位角を少なくとも含む必要がある。図４はオフィスビルで記録された磁気マップの例を示す。ここで、座標基準系の向き（ゼロ・ヘディング）は、横軸（ｘ軸）を基準としている。この例では、磁場の方位角の歪みを示している（図４の矢印Ｄは、地球座標に対する磁北が－２２°に対応していることを示している）。方位角が－２２°と異なる場合、デバイスの方位磁針の向きが歪められていることになる。

特に、１以上の磁場センサ２０のｘ軸およびｙ軸が同一水平面上にあることが分かっている場合（例えば磁場センサ２０が可動式のロボットに取り付けられている場合）に、検知した磁場の方位角とこの位置における磁気マップの方位角を比較することによって、磁気マップを記録するために用いられる基準座標系に対する１以上のセンサ２０の向き（および、１以上のセンサ２０を搭載するデバイスの向き。例えば、スマートフォン等のユーザデバイス）の絶対値を直接提供することができる。図３に、対応するデバイスのブロック図を示す。

より一般的な場合では、デバイス（特に磁場センサ）は３Ｄ空間において任意の方位を向くことができる。図５は、本開示のレンダリングシステムが埋め込まれているスマートフォン２としてのデバイスの向きを示す図である。図５では、３つの角度（ロール、ピッチ、ヘディング（向き））を用いた方位の定義について説明する。他の要素を用いて方位を表現することも可能である（例えば、後述の数学的導出において用いられる、自由に定義された回転軸や角度を用いる）。ロール／ピッチ情報は３Ｄレンダリング情報に用いられ得る（例えば、仮想音源の３Ｄ位置を導き出すために用いられ得る。詳細については後述する）。ヘディング（向き）情報１０７のみが用いられる場合には、主に２Ｄレンダリングが可能である。

デバイスの３Ｄ方位を推定するため、例えば地球座標系等の座標系に対して、磁場の方位角・傾き情報を含む磁気マップが提供される。３Ｄ磁場ベクトルはそれ自体の軸を中心に回転対称であるため、単一の磁場ベクトルではセンサの方位を取得するのに十分でない場合がある。従って、異なる方向を示す少なくとも２つの３次元磁場ベクトルが用いられ得る。複数の３Ｄ磁場ベクトルを取得するために異なるオプションが用いられてもよい。これらのオプションについては図６から９に示す方位判定デバイスの異なる実施形態においてそれぞれ用いられる。図６から９においては、図面の簡略化のためにインターフェース（つまり入力回路１１および１２）の図示が省略されている。

図６は本開示に係る方位判定デバイス１０ａの第２の実施形態の概略図である。本実施形態において、３Ｄ磁場は局所的に離れて配置された少なくとも２つの磁場センサ２０ａ、２０ｂを用いて同時に計測される。この際、磁場センサ２０ａ、２０ｂは同じ方向を向いている（または互いに既知の方位オフセットとなっている）。これは例えば、両センサを硬い棒に取り付けることによって実現することができる。これにより、推定回路１３は２つの磁場測定結果１０１ａ、１０１ｂを用いてデバイス１０ａの方位１０４を判定する。２つの磁場センサ２０ａ、２０ｂの位置の位置推定結果１０２ａ、１０２ｂは、推定回路１３が使用するこれらの位置における磁気マップ１０３からの傾き情報１０５および方位角情報１０６を選択するために使用される。

図７は本開示に係る方位判定デバイス１０ｂの第３の実施形態の概略図である。本実施形態において、３Ｄ磁場は異なるタイムインスタンスにおいて１つの磁場センサ２０を用いて測定される。この測定と測定の間の時間間隔は、位置が十分に（例えば０．５ｍまたは１ｍ以上）変化したことを保証するのに十分な長さである必要がある。これは例えば、この時間間隔においてセンサの方位がずっと固定されているということを保証することによって、または例えばジャイロスコープ２１を用いて測定と測定の間の方位の変化をトラッキングすることによって実現することができる。ジャイロスコープ２１は、磁場センサ２０と共に共通センサユニット２５を構成し、このようなトラッキングデータ１０７を提供する。方位推定誤差の蓄積を避けるため、測定と測定の間の時間間隔は、例えば、既存のセンサでは数秒以内など、十分に短くする必要がある。これにより、許容されるタイムフレームは、センサの品質（例えばバイアス）に強く依存し、実際には、高品質（例えば軍事用途）のセンサでは、より長いタイムフレームが必要となる可能性がある。

図８は本開示に係る方位判定デバイス１０ｃの第４の実施形態の概略図である。本実施形態において、複数の３Ｄ磁場ベクトルが同時に（そして場合によっては同じセンサ２０によって）測定される。複数の３Ｄ磁場ベクトルとは例えば、適切なフィルタリングによって周波数領域において分離可能な地磁気と磁気ビーコン信号である。上記の他に、または上記に加えて、例えば地磁気と１以上の磁気ビーコン信号等の複数の３Ｄ磁場ベクトルが異なる時間で（そして場合によっては同じセンサ２０によって）測定されてもよい。この１以上のビーコン信号は時分割多重信号であり、適切な時分割分離および／または（過去の、または取得した）ビーコン信号のタイミング（例えば周期性）の情報によって、時間領域において分離することができる。さらに、とある実施形態においては、例えば地磁気と１以上の磁気ビーコン信号等の複数の３Ｄ磁場ベクトルが異なるコード（例えば直交符号）で（そして場合によっては同じセンサ２０によって）測定され得る。１以上のビーコン信号は、符号多重信号であり、適切な符号分離で用いられるコードに基づいて分離することができる。全ての場合において、３Ｄ方位の推定のためには、対応する基準ベクトルを用いた２つのベクトル測定が一般的に必要になる。この基準ベクトルは、３Ｄ方位の推定において曖昧さを回避するために異なる方向を有する。これは、これらのベクトルの測定方法や測定された磁場の原因とは無関係である。

図９は本開示に係る方位判定デバイス１０ｄの第５の実施形態の概略図である。本実施形態において、３Ｄ方位推定は、２つの空間的にまたは周波数的に離れた磁場の測定結果に基づく。この背景として、測定した３Ｄ磁場ベクトルを対応する磁気マップ３Ｄベクトルにマッピングする回転行列Ｒを推定するという手法がある。この推定を曖昧さ無しで行うことができれば、磁気マップ座標基準システムの逆回転Γ＝Ｒ^－１からセンサ方位１０４を取得することができる。

３Ｄ空間における回転を定義する方法は様々である（例えば回転行列や四元数）。以下の数学的導出において、正規化３Ｄ回転軸ｎ＝［ｎ_１，ｎ_２，ｎ_３）］^Ｔとｎを中心とした回転角α分の回転に関して、上記回転を定義する。デカルト表現においては、対応する回転行列は以下のように定義される。

説明を行うにあたり、局所的に（または他のドメインにおいて）分離された（センサ座標における）２回の３Ｄ磁場測定ｍ_ｓ，１およびｍ_ｓ，２のみが行われ、各測定がそれぞれ別個の（地球座標における）磁気マップエントリｍ_ｐ，１およびｍ_ｐ，２に関連し得ると仮定する。センサ測定１とセンサ測定２の間の相対回転Ｒ（ｎ_ｒｅｌ，α_ｒｅｌ）は固定されているか、またはジャイロスコープから取得することができる。以下の式、両方のセンサ測定の間の関係、つまり、ｍ_ｓ，１を取得するために使用されるセンサの方位においてｍ_ｓ，２がどのように表現されるかについて表している。

なお、以下の記述において、

もっとも単純なケースでは、ｍ_ｓ，１とｍ_ｓ，２が硬い棒に固定された異なるセンサで同時に測定され、両方のセンサはそれらの軸が厳密に一直線になるように並べられる。この場合、Ｒ_ｒｅｌ＝Ｉ_３となる。
例えばチルダｍ_ｓ，２を皮切りに、チルダｍ_ｓ，２をｍ_ｐ，２にマッピングする回転行列Ｒ（ｎ_２，α_２）の演算が行われる。つまり、ｍ_ｐ，２＝Ｒ（ｎ_２，α_２）チルダｍ_ｓ，２となる。この際、

である。
なお、この場合、３Ｄベクトルｍ_ｐ，２が回転対称のため、上記の回転行列は一意解は示さない。次に、ｍ_ｓ，１が以下の式に従って回転させられる。

多くの場合、上述の曖昧さのためにチルダｍ_ｓ，１がまだｍ_ｐ，１と一致しないということが観測される。つまり、以下の正規化ベクトルによって与えられる曖昧回転軸の周りの別の回転によって最終的なマッピングが行われ得る。

回転角を取得するため、ｍ_ｐ，２へのｍ_ｐ，１の射影ｘ_０が行われる。

そして、ベクトルｖ_ｓ＝チルダｍ_ｓ，１－ｘ_０とベクトルｖ_ｐ＝チルダｍ_ｐ，１－ｘ_０の間の角度として回転角α_１が導き出される。

最終的に、両方の推定回転行列を乗算することによって、基準座標系に対するデバイス／センサの方位を表する最終的な回転行列が得られる。

なお、上記の導出は、ある程度の自由度を含む。例えば、始点としてチルダｍ_ｓ，２の代わりにｍ_ｓ，１を用いることもできるし、相対回転Ｒ（ｎ_ｒｅｌ，α_ｒｅｌ）は、ｍ_ｓ，２を取得するために用いるセンサの方位においてｍ_ｓ，１がどのように表されるかを示すこともできる。続く演算ステップは、それに応じて変更される。

３つ以上の磁場測定結果および対応する位置に関する磁気マップエントリが利用可能であれば、重み付け平均化を適用して方位推定の精度を高めることができる。特に、第２の回転の回転角度推定においては、磁気マップエントリを検索するために使用される不正確な位置推定結果および／またはノイズの多いセンサ信号によって誤差が生じる傾向にある。ベクトルｖ_ｓおよび／またはｖ_ｐが短いほど、磁場情報に基づく向き推定の信頼度は減少する。従って、他の実施形態においては、ジャイロスコープおよび磁場情報に基づく複合向き推定プロセスにおいて、磁場の向き推定の際の重み情報としてベクトルの長さ｜ｖ_ｓ｜や｜ｖ_ｐ｜またはそれらの関数を用いることが提案されている。重みｗの例としては以下が挙げられる。

ジャイロスコープと磁気センサを用いた（さらに加速度計用いてもよい）多くの方位アルゴリズムはアダプティブ・デザインに基づいている（つまり、新たな方位推定結果は、過去の方位推定結果及び新たな入力センサデータに基づいて取得される）。通常、重み係数βは、ジャイロスコープに基づく相対的なアップデートと磁力計（さらに加速度計用いてもよい）に基づく絶対的なアップデートとの間の重み付けを制御する。本発明者は、重み係数βを上記係数ｗに依存させることを提案した。

図１０は、本開示に係る方位判定デバイス１０ｅの第６の実施形態の概略図である。第６の実施形態において、磁気指紋法が方位と位置両方の推定に用いられる。ここで、現在の磁気測定結果１０１を、磁気マップ１０３から得られた磁界データ、特に磁界の大きさ１０８と比較することによって、磁気指紋ユニット３１における位置が推定される。３Ｄ方位推定が磁場センサのみに基づいている場合、傾き情報は既に方位推定に使用されており、この自由度を２回使用することはないので、大きさ１０８のみを磁気指紋法に使用することができる。２Ｄヘディングまたはロール／ピッチを推定する場合、磁気指紋法を用いた位置推定にも傾きを用いてもよい。

本開示に係るデバイスおよび方法は、デバイスが必要とするセンサ（加速度計、ジャイロスコープ、磁力計）が現在入手可能であり、かつ、ＶｉｓｕａｌＳＬＡＭまたは広帯域ＭＩＭＯシステムなどの他の技術と比較して電力消費が低いため、モバイルおよびウェアラブルデバイスに特に適している。対象は屋内でも屋外でもどちらでもよいが、デバイスは屋内に位置する。適用例としては拡張方位磁針やサウンド拡張現実（ＡＲ）が挙げられる。拡張方位磁針は対象までの相対的な距離や方向を示す。サウンド拡張現実（ＡＲ）を用いると、モバイルデバイス（ユーザ）の位置や向きに関わらず特定の位置（または移動する対象の軌跡）において仮想音源を作成できる。

図１１、１２に示す２つの異なる実施形態を参照して、上述のレンダリングプロセスの詳細について説明する。図１１はサウンドＡＲの適用例を示す図である。図１２はこの適用状況において使用するレンダリングデバイス２００ａ（インターフェースは不図示）の対応する実施例を示す。このレンダリングデバイス２００ａは、ヘッドフォン３に搭載され得る。この実施形態において、対象情報１１０によって表される対象の位置は、仮想音源５００、５０１に相当する。第１のステップでは、ユーザ５０２の方位（または向き）情報１０９と位置推定結果１０２および音源５００、５０１の位置に基づいて、演算ユニット２０６において音源５００、５０１の相対位置の演算を行う。次に、音源５００、５０１のオーディオ信号１５０と、ユーザの位置及び方位に対する音源５００、５０１の位置１１０とをサウンドレンダラ２０７（例えばドルビーサラウンドや他のサラウンドサウンドシステム）で使用して、ヘッドフォン３で再生されるサウンド信号１６０を生成する。入口（出口でもよい）におけるＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ（ＢＬＥ）ビーコン等のビーコンを用いて、ユーザがこの適用状況が用いられるエリアに入ったことを通知し得る。

図１３は第２の適用状況、特に拡張方位磁針への適用において用いられる本開示に係るレンダリングデバイス２２０ｂの第３の実施形態の概略図である。ここで、対象の位置は注目点に相当し得る（例えば、とある店舗、製品、ポケモン、（ゲームにおける）財宝、人物等）。ここでも、ユーザの方位（または向き）情報１０９と位置推定結果１０２および対象情報１１０が示す対象の位置とに基づいて、対象の相対位置が算出される。この結果に基づいて、ディスプレイレンダラ２０８によっていくつかのディスプレイ情報１６１が導出される。これは例えばデバイス（例えばスマートウォッチやスマートフォン）の方位と相対的な対象への向きや距離である。この情報は、例えばモバイルデバイスのディスプレイ上に示される対象に関するいくつかの追加情報１５１と組み合わせられてもよい。

別の実施形態では、両方の適用例を組み合わせて、「音源を追う」ようなナビゲーションを実現してもよい。この場合、仮想音源はユーザを注目点の方向に誘導する。例えば、音源が対象自体の位置に現れる（または、例えばユーザから５ｍ離れた場所等、対象の方向に音源が配置される）。

現在の位置推定結果に基づいて対象を選択し得る。例えば、博物館内の特定の展示物に近づくことによって、展示物からのオーディオ情報を再生する。また、ナレータが歩きながら何かを説明しているなど、対象が動く場合もある。（まるで人が隣を歩いているように声がユーザの右側から聞こえる）。「音源を追う」ようなナビゲーションの場合、音源はユーザの現在位置に応じて変化し得る。例えば、ユーザを正しい方向に案内するため、音声はユーザの前から聞こえる。音源はナビゲーションルートを追従するようにアップデートされる。通常、対象までの最短距離は利用できず、ユーザはいくつかの通路をたどったり、角を曲がって移動したりする必要がある。

本開示によって達成することが出来る効果を、以下に示す。
・磁場測定結果と位置固有の磁気マップエントリ（方位角／方位補正）を比較することによって、（定義された基準座標系に対する）絶対的な向きを直接取得することができる。
・磁気マップの大きさを独立して使用することによって磁気指紋法に基づく位置情報を得ることができる。
・建物において位置および方位情報を取得するのに必要な電力を抑えることができる。
・本開示に必要なセンサ（ジャイロスコープ、磁力計）は既存のモバイルデバイスやウェアラブルデバイスにおいて広く利用されているものである。
・建物に専用の設備を導入する必要が無い（建物の磁気マップは必須である）。

以上のように、上述の説明により開示された本開示の実施形態は単に例示的なものである。当業者に理解されるように、本開示は、その本質や基本的な特徴から逸脱することなく、他の特異的な形態において実施することができる。つまり、本開示に関する記載は、例として提示したものであり、発明の範囲や特許請求の範囲を限定することは意図していない。本開示は、本明細書において容易に認められる教示の変形を含み、発明の主題が公衆のものとされないように、特許請求の範囲の用語を部分的に定義する。

特許請求の範囲において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の構成要素またはステップを排除せず、不定冠詞「ａ」または「ａｎ」は、複数であることを排除しない。単一の構成要素または他のユニットは、特許請求の範囲に列挙されたいくつかのアイテムの機能を発揮することができる。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示さない。

本開示の実施形態は、ソフトウェア制御型データ処理装置によって、少なくとも部分的に実施されるものとして記載する限りにおいて、そのようなソフトウェアを記録する光ディスク、磁気ディスク、半導体メモリ等の非一過性の機械読み取り可能媒体も本開示の一実施形態を表すと考えられることが理解される。さらに、このようなソフトウェアを、他の形態で配信することができる。例えば、インターネットを介して、または他の有線もしくは無線の電気通信システム等により、このようなソフトウェアを配信することができる。

開示されたデバイス、装置、およびシステムの構成要素は、対応するハードウェアおよび／または適切な回路等のソフトウェア要素により実施され得る。回路は電子部品の構造的な組み合わせであり、従来の回路要素、特定用途向け集積回路等の集積回路、標準的な集積回路、特定用途用標準品、およびフィールドプログラマブルゲートアレイを含む。さらに、回路は、中央処理装置、グラフィックスプロセッシングユニット、およびプログラム化されたマイクロプロセッサまたはソフトウェア符号に従って構成されたマイクロプロセッサを含む。回路は、上述のハードウェア実行ソフトウェアを含むが、純粋なソフトウェアを含まない。

以下に、上記の発明特定事項の他の実施形態を示す。
１．
１以上の磁場センサによって空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータを取得するように構成されるデータ入力回路と、
上記磁場センサデータが取得された上記１以上の磁場センサの１か所以上の位置の位置推定結果を取得するように構成される位置入力回路と、
取得した上記位置推定結果によって示される上記１以上の磁場センサの１か所以上の位置における方位角・傾きデータを磁気マップから導き出し、取得した上記磁場センサデータと、上記磁気マップから導き出した上記方位角・傾きデータに基づいて方位判定デバイスの方位を推定するように構成される推定回路を含む、
方位判定デバイス。
２．
実施形態１に記載の方位判定デバイスであって、
上記推定回路は、取得した上記磁場センサデータを上記磁気マップから導き出した上記方位角・傾きデータにマッピングする回転行列を判定し、推定した上記回転行列の逆行列を用いて上記方位判定デバイスの方位を推定するように構成される、
方位判定デバイス。
３．
実施形態２に記載の方位判定デバイスであって、
上記推定回路は、正規化３Ｄ回転軸と上記正規化３Ｄ回転軸を中心とした回転角分の回転を用いて上記回転行列を定義するように構成される、
方位判定デバイス。
４．
実施形態３に記載の方位判定デバイスであって、
上記推定回路は、正規化３Ｄ回転軸ｎ＝［ｎ_１，ｎ_２，ｎ_３）］^Ｔと上記正規化３Ｄ回転軸ｎを中心とした回転角α分の回転を用いて回転行列Ｒを以下のように定義するように構成される、

方位判定デバイス。
５．
上述の実施形態２から４のいずれか１つに記載の方位向き判定デバイスであって、
上記推定回路は、取得した上記磁場測定結果間の相対的な回転を用いて上記回転行列を判定するように構成される
方位向き判定デバイス。
６．
実施形態５に記載の方位向き判定デバイスであって、
上記データ入力回路は、少なくとも２つの磁場センサによって空間的に離れた位置において検知された磁場測定結果を含む磁場センサデータを取得するように構成され、
上記少なくとも２つの磁場センサの相対位置および方位は固定または既知であり、
上記推定回路は、上記少なくとも２つの磁場センサの固定または既知の相対位置と方位から、取得した上記磁場測定結果間の相対的な回転を判定するように構成される、
方位向き判定デバイス。
７．
上述の実施形態５または６のいずれか１つに記載の方位向き判定デバイスであって、
上記データ入力回路は、１つの磁場センサによって異なるタイムインスタンスかつ空間的に離れた位置において検知された磁場測定結果を含む磁場センサデータを取得するように構成され、
上記空間的に離れた位置における磁場センサの方位は固定されているか、または方位センサによってトラッキングされており、

上記推定回路は、上記磁場センサの固定またはトラッキングされている方位から、取得した上記磁場測定結果間の相対的な回転を判定するように構成される、
方位向き判定デバイス。
８．
上述の実施形態のいずれか１つに記載の方位向き判定デバイスであって、
上記データ入力回路は、１つの磁場センサによって、離れた周波数帯域および／または異なる時間および／または異なるコードで検知された磁場測定結果を含む磁場センサデータを取得するように構成され、
上記磁場測定結果のうちの１つは、１以上の磁気ビーコンによって用いられた周波数帯域における磁気ビーコン信号、および／または１以上の磁気ビーコンによって用いられた時間において発せられた磁気ビーコン信号、および／または１以上の磁気ビーコンによって用いられたコードを伴う磁気ビーコン信号を表す、
方位向き判定デバイス。
９．
上述の実施形態のいずれか１つに記載の方位向き判定デバイスであって、
上記推定回路は、上記磁場測定結果をそれぞれ上記磁気マップから導き出した上記方位角・傾きデータにマッピングする各磁場測定結果のための異なる回転行列を判定し、上記異なる回転行列の積を用いて上記方位判定デバイスの方位を推定するように構成される、
方位向き判定デバイス。
１０．
上述の実施形態のいずれか１つに記載の方位判定デバイスであって、
上記磁場センサの位置を推定するように構成される位置推定回路をさらに含む、
方位判定デバイス。
１１．
実施形態１０に記載の方位判定デバイスであって、
上記位置推定回路は、取得した上記磁場センサデータと上記磁気マップを用いて、通信システム、Ｗｉ－Ｆｉアクセスポイント、またはビーコンからの情報および／または地磁気指紋に基づいて、上記磁場センサの位置を推定するように構成される
方位判定デバイス。
１２．
上述の実施形態１０または１１のいずれか１つに記載の方位判定デバイスであって、
上記位置推定回路は、取得した上記磁場センサデータに含まれるか取得した上記磁場センサデータから導き出された大きさおよび／または傾きに基づいて、および／または上記磁場センサの傾きを示す傾き推定結果に基づいて、上記磁場センサの位置を推定するように構成される
方位判定デバイス。
１３．
空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータ検知するように構成される１以上の磁場センサと、
レンダリングデバイスの方位を示す方位情報を判定する、請求項１に記載された方位判定デバイスと、
上記レンダリングデバイスの位置推定結果を取得するように構成される位置入力回路と、
１以上の対象の対象位置を示す対象位置情報を取得するように構成される対象位置入力回路と、
上記方位情報、取得した上記位置推定結果、および取得した上記対象位置情報に基づいて上記レンダリングデバイスに対する上記１以上の対象の相対位置を判定するように構成される相対対象位置判定回路と、
上記１以上の対象の判定された相対位置を用いて上記１以上の対象に関する対象情報のレンダリングを行うように構成されるレンダリング回路を含む、
レンダリングデバイス。
１４．
上述の実施形態のいずれか１つに記載のレンダリングデバイスであって、
上記１以上の対象の対象位置は、仮想音源の位置であり、
上記レンダリング回路は、オーディオ信号が上記仮想音源の位置においてレンダリングされるかのように上記オーディオ信号のレンダリングを行うように構成される、
レンダリングデバイス。
１５．
実施形態１３に記載のレンダリングデバイスであって、
上記レンダリング回路は、１以上の上記対象までの距離および／または方向を示す表示情報のレンダリングを行うように構成される、
レンダリングデバイス。
１６．
上述の実施形態１３から１５のいずれか１つに記載のレンダリングデバイスであって、
上記レンダリングデバイスの位置推定結果に基づき１以上の対象の選択を行うように構成される対象選択回路をさらに含む、
レンダリングデバイス。
１７．
上述の実施形態１３から１６のいずれか１つに記載のレンダリングデバイスであって、
上記対象位置入力回路は、連続的に、または、定期的に、または、時折、新たな対象位置を取得するように構成される、
レンダリングデバイス。
１８．
上述の実施形態１３から１７のいずれか１つに記載のレンダリングデバイスであって、
加速度計データを取得するように構成される加速度計および／または、
ジャイロスコープデータを取得するように構成されるジャイロスコープをさらに含む、
レンダリングデバイス。
１９．
１以上の磁場センサによって空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータを取得し、
上記磁場センサデータが取得された上記１以上の磁場センサの１か所以上の位置の位置推定結果を取得し、
取得した上記位置推定結果によって示される上記１以上の磁場センサの１か所以上の位置における方位角・傾きデータを磁気マップから導き出し、
取得した上記磁場センサデータと、上記磁気マップから導き出した上記方位角・傾きデータに基づいて方位判定デバイスの方位を推定することを含む、
方位判定方法。
２０．
空間的に離れた位置および／または離れた周波数帯域および／または異なる時間および／または異なるコードで検知された少なくとも２つの磁場測定結果を含む磁場センサデータ検知し、
実施形態１９に記載された方位判定方法によってレンダリングデバイスの方位を示す方位情報を判定し、
上記レンダリングデバイスの位置推定結果を取得し、
１以上の対象の対象位置を示す対象位置情報を取得し、
上記方位情報、取得した上記位置推定結果、および取得した上記対象位置情報に基づいて上記レンダリングデバイスに対する上記１以上の対象の相対位置を判定し、
上記１以上の対象の判定された相対位置を用いて上記１以上の対象に関する対象情報のレンダリングを行うことを含む、
レンダリング方法。
２１．
プロセッサによって実行される際に実施形態１８または１９に記載の方法を行うコンピュータプログラム製品を記憶する非一過性のコンピュータ読み取り可能記録媒体。
２２．
コンピュータ上で実行されたときに、上記コンピュータに実施形態１９または２０に記載の方法のステップを実行させるプログラムコード手段を備えるコンピュータプログラム。

Claims

相対位置および方位が固定または既知である少なくとも２つの磁場センサによって空間的に離れた位置において検知された少なくとも２つの磁場測定結果を含む磁場センサデータを取得するように構成されるデータ入力回路と、
前記磁場センサデータが取得された前記少なくとも２つの磁場センサの１か所以上の位置の位置推定結果を取得するように構成される位置入力回路と、
取得した前記位置推定結果によって示される前記少なくとも２つの磁場センサの１か所以上の位置における方位角・傾きデータを磁気マップから導き出し、取得した前記磁場センサデータと、前記磁気マップから導き出した前記方位角・傾きデータに基づいて方位判定デバイスの方位を推定するように構成される推定回路を含み、
前記推定回路は、前記少なくとも２つの磁場センサの固定または既知の相対位置と方位から、取得した前記磁場測定結果間の相対的な回転を判定し、この回転から、取得した前記磁場センサデータを前記磁気マップから導き出した前記方位角・傾きデータにマッピングする回転行列を判定し、判定した回転行列の逆行列を用いて前記方位判定デバイスの方位を推定するように構成される、
方位判定デバイス。
空間的に離れた位置において検知された少なくとも２つの磁場測定結果を含む磁場センサデータを検知するように構成される少なくとも２つの磁場センサと、
レンダリングデバイスの方位を示す方位情報を判定する、請求項１に記載された方位判定デバイスと、
前記レンダリングデバイスの位置推定結果を取得するように構成される位置入力回路と、
１以上の対象の対象位置を示す対象位置情報を取得するように構成される対象位置入力
回路と、
前記方位情報、取得した前記位置推定結果、および取得した前記対象位置情報に基づいて前記レンダリングデバイスに対する前記１以上の対象の相対位置を判定するように構成される相対対象位置判定回路と、
前記１以上の対象の判定された相対位置を用いて前記１以上の対象に関する対象情報のレンダリングを行うように構成されるレンダリング回路を含む、
レンダリングデバイス。
相対位置および方位が固定または既知である少なくとも２つの磁場センサによって空間的に離れた位置において検知された少なくとも２つの磁場測定結果を含む磁場センサデータを取得し、
前記磁場センサデータが取得された前記少なくとも２つの磁場センサの１か所以上の位置の位置推定結果を取得し、
取得した前記位置推定結果によって示される前記少なくとも２つの磁場センサの１か所以上の位置における方位角・傾きデータを磁気マップから導き出し、
取得した前記磁場センサデータと、前記磁気マップから導き出した前記方位角・傾きデータに基づいて方位判定デバイスの方位を推定し、
前記方位判定デバイスの方位を推定することは、前記少なくとも２つの磁場センサの固定または既知の相対位置と方位から、取得した前記磁場測定結果間の相対的な回転を判定し、この回転から、取得した前記磁場センサデータを前記磁気マップから導き出した前記方位角・傾きデータにマッピングする回転行列を判定し、判定した回転行列の逆行列を用いて前記方位判定デバイスの方位を推定することを含む
方位判定方法。
空間的に離れた位置において検知された少なくとも２つの磁場測定結果を含む磁場センサデータを検知し、
請求項３に記載された方位判定方法によってレンダリングデバイスの方位を示す方位情報を判定し、
前記レンダリングデバイスの位置推定結果を取得し、
１以上の対象の対象位置を示す対象位置情報を取得し、
前記方位情報、取得した前記位置推定結果、および取得した前記対象位置情報に基づいて前記レンダリングデバイスに対する前記１以上の対象の相対位置を判定し、
前記１以上の対象の判定された相対位置を用いて前記１以上の対象に関する対象情報のレンダリングを行うことを含む、
レンダリング方法。
プロセッサによって実行される際に請求項３または４に記載の方法を行うコンピュータプログラム製品を記憶する非一過性のコンピュータ読み取り可能記録媒体。