JP7409497B2 - 位置合わせ支援装置、位置合わせ支援方法およびプログラム - Google Patents

Description

本発明の実施形態は、拡張現実に係るコンテンツと被写体との位置合わせを支援する、位置合わせ支援装置、位置合わせ支援方法およびプログラムに関する。

近年、現実の空間に仮想物体などのデジタル情報を重畳表示させる、拡張現実（ＡＲ：Augmented Reality）技術が注目されている。ユーザは、例えば、可搬型のディスプレイデバイスを通して、現実空間にデジタル情報（ＡＲコンテンツ）が重畳された拡張現実を体験することができる。

ＡＲコンテンツを用いた適用例として、眼鏡型のデバイスを用いて歩行者の視界にナビゲーション情報を重畳させる技術が提案されている（例えば、非特許文献１参照）。

矢野 椋也ほか、「眼鏡型ウェアラブル端末を用いたランドマーク確認に基づく屋外歩行者ナビゲーション」、マルチメディア，分散，協調とモバイル（DICOMO2016）シンポジウム２０１６論文集、４１９～４２７ページ、２０１６年７月

デジタル情報を現実空間に重畳表示するシステムの一例は、透過型ディスプレイとカメラとを備える情報提示端末を用いて実現される。ユーザが情報提示端末を把持し、ディスプレイを現実空間内の被写体にかざすと、カメラによって撮影された被写体の映像データに基づくＡＲコンテンツ（以下、単に「コンテンツ」とも言う）がディスプレイ上に表示される。これにより、ユーザは、ディスプレイを通して被写体を観察しつつ、ディスプレイ上のコンテンツを視認することができる。

ここで、ディスプレイを通して観察される被写体とコンテンツとの位置合わせは、ユーザ自身が端末の位置や角度を調整することによって行う必要がある。従来のシステムでは、そのような位置合わせ操作をユーザに促すために、例えば、重畳対象の被写体を示す提示情報が用いられる。

図１０は、従来の提示情報の一例を示す。図１０では、ユーザにより、情報提示端末の表示画面ＳＣを通して被写体ＯＢ１１，ＯＢ１２が観察されるとともに、表示画面ＳＣ上に提示情報ＧＩ１１，ＧＩ１２が表示される。提示情報ＧＩ１１は、「黄色の円」という文字情報を含み、対象となる被写体がＯＢ１１であり、ＧＩ１１をＯＢ１１に重畳させるよう誘導している。同様に、提示情報ＧＩ１２は、「青い三角形」という文字情報を含み、対象となる被写体がＯＢ１２であり、ＧＩ１２をＯＢ１２に重畳させるよう誘導している。なお、図１０では色情報を網掛けにより表現している。

このように、従来のシステムでは、提示情報内でそれぞれの対象となる被写体を明示することによって、コンテンツの提供者が見せたい場所に情報提示端末を向けさせるための位置合わせを促す。従来のシステムでは、事前に定義された提示情報が継続的に使用され、また具体的にどのような位置合わせ操作を行うべきかはユーザに任されているので、コンテンツの提供者が意図したコンテンツと被写体の位置関係へと適切に誘導するのは容易ではない。

この発明は上記事情に着目してなされたもので、その目的とするところは、コンテンツと被写体とが適切な位置関係になるような位置合わせを効率的に支援する技術を提供することにある。

上記課題を解決するため、この発明の第１の態様は、ディスプレイ上に表示されるコンテンツと、上記ディスプレイを通して透過的に観察される被写体との位置合わせを支援する、位置合わせ支援装置に関する。位置合わせ支援装置は、上記被写体に対する上記ディスプレイの支持状態を算出する状態算出部と、上記支持状態について、上記コンテンツと上記被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出する調整量算出部と、上記調整量を含む提示情報を生成し出力する提示情報生成部とを備える。ここで、上記調整量算出部は、事前に出力された上記提示情報に対して上記ディスプレイのユーザにより実施された位置合わせ操作に関する実績データを用いて、上記調整量を算出する。

この発明の第１の態様によれば、ディスプレイのユーザに対して、コンテンツと被写体との位置合わせを支援する情報が提示される。その際、事前に出力された提示情報に対してユーザによってなされた位置合わせ操作に関する実績データを用いて調整量が算出され、提示情報に含められる。これにより、実際にどのような位置合わせ操作が行われる傾向にあるかを考慮して、ユーザに提示する情報を生成することができ、より効率的な誘導を行うことができる。

すなわちこの発明の第１の態様によれば、コンテンツと被写体とが適切な位置関係になるような位置合わせを効率的に支援する技術を提供することができる。

図１は、この発明の一実施形態に係る位置合わせ支援装置を備えたシステム全体の機能構成を示す図である。 図２は、この発明の一実施形態に係る位置合わせ支援装置のハードウェア構成を示すブロック図である。 図３は、図１に示したシステムにおける撮影範囲とユーザによる観察範囲の関係を示す略図である。 図４は、図１に示したシステムの動作に係る記号または符号について説明する図である。 図５は、図１に示したシステムによる誘導情報の生成に係る処理フローの一例を示す図である。 図６Ａは、従来の提示情報の表示例を示す図である。 図６Ｂは、図１に示したシステムにおける提示情報の表示例を示す図である。 図７は、図１に示したシステムで使用される実績データの一例を示す図である。 図８は、図１に示したシステムによるキャリブレーションの処理フローの一例を示す図である。 図９Ａは、誘導情報の補正イメージの第１の例を示す図である。 図９Ｂは、誘導情報の補正イメージの第２の例を示す図である。 図１０は、従来の提示情報の一例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。

［一実施形態］
（１）構成
図１は、この発明の一実施形態に係る位置合わせ支援装置を含む、位置合わせ支援システムの全体構成の一例を示す図である。

位置合わせ支援システム１は、位置合わせ支援装置としての情報処理端末１０と、ディスプレイデバイス２０とを備える。

ディスプレイデバイス２０は、例えば透明ディスプレイを備える可搬型のデバイスである。ユーザは、例えば手でディスプレイデバイス２０を把持して、現実空間内の被写体を透過的に観察しつつ、撮影された被写体に関するコンテンツの閲覧を行うことができる。ただし、閲覧の間ユーザがディスプレイデバイス２０を手で把持し続ける必要はなく、ディスプレイデバイス２０が適切に支持された状態にあればよい。したがって、以下で「把持」というとき、必ずしも手で把持し続ける用途に限定することを意図したものではなく、説明の便宜上「把持」と表現するにすぎない。ここでは、「把持」は、単なる「支持」と交換可能に使用される。また、ここでは「コンテンツ」とは、ディスプレイ上で実現される拡張現実の内容全般を指し、「デジタル情報」と交換可能に使用される。

ディスプレイデバイス２０は、撮影部２１と、加速度計測部２２と、映像表示部２３と、送受信部２４とを備える。

撮影部２１は、現実空間内の被写体を撮影し、映像データまたは画像データを生成する機能を有する。なお、説明の便宜のため、以下では「映像データ」と言うが、画像（静止画）データであってもよい。

加速度計測部２２は、加速度センサなど、ディスプレイデバイス２０にかかる加速度を計測し、加速度データを出力する機能を有する。

映像表示部２３は、例えば透明ディスプレイを備え、被写体を透過的に観察できるようにするとともに、コンテンツを表示する機能を有する。

送受信部２４は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースを備え、情報処理端末１０との間でデータの送受信を可能にする機能を有する。

情報処理端末１０は、一実施形態に係る位置合わせ支援装置の一例である。情報処理端末１０は、ディスプレイデバイス２０から転送された映像データをもとに、画像認識、提示情報生成等の処理を行い、処理の結果をディスプレイデバイス２０に送信する機能を有する。情報処理端末１０は、上記機能を実現するための専用の端末であってもよいし、スマートフォン、タブレット端末、パーソナルコンピュータなどの汎用端末に専用のアプリケーションソフトウェアをインストールしたものであってもよい。

情報処理端末１０は、映像取得部１１と、把持状態計算部１２と、画像認識部１３と、提示情報生成部１４と、コンテンツ情報データベース（ＤＢ）１５と、誘導情報生成部１６と、送受信部１７とを備える。

映像取得部１１は、撮影部２１により撮影された映像データを取得する機能を有する。

把持状態計算部１２は、支持状態を算出する状態算出部として、ユーザによるディスプレイデバイス２０の把持（支持）状態を表す値を算出する機能を有する。一実施形態では、把持状態計算部１２は、ユーザがディスプレイデバイス２０を把持している角度（以下、「把持角度」）を算出する。例えば把持状態計算部１２は、加速度計測部２２で計測された加速度データを取得し、ディスプレイデバイス２０にかかる重力加速度に基づいてユーザがディスプレイデバイス２０を把持している角度を算出する。

画像認識部１３は、撮影部２１により撮影された映像データから被写体を認識する機能を有する。画像認識部１３は、例えば、あらかじめ記憶された辞書画像（図示せず）とのマッチングにより被写体を認識する。

提示情報生成部１４は、認識された被写体にあらかじめ関連付けられたコンテンツと、ユーザにコンテンツと被写体との位置関係を調整するための位置合わせ操作を促す誘導情報とを組み合わせた提示情報を生成し、出力する機能を有する。

コンテンツ情報データベース（ＤＢ）１５は、被写体にあらかじめ関連付けられたコンテンツに関する情報を記憶する。

誘導情報生成部１６は、コンテンツと被写体との位置合わせを支援する誘導情報を生成し出力する機能を有する。誘導情報生成部１６は、調整量計算部１６１と、学習部１６２と、把持状態データベース（ＤＢ）１６３とを備える。

調整量計算部１６１は、調整量算出部として、誘導情報に含めるべき調整量を算出する機能を有する。調整量は、ディスプレイデバイス２０の位置合わせ操作に係る物理量であり、例えば、角度、距離、向き等で表される。調整量計算部１６１は、把持状態計算部１２によって算出されたディスプレイデバイス２０の支持状態の値（例えば把持角度）、被写体とディスプレイデバイス２０との間の距離、コンテンツと被写体との適切な位置関係に関する情報（例えば、コンテンツが関連付けられた被写体の特定の部分に関する情報（例えば高さ））、誘導情報に対するユーザの位置合わせ操作（例えば角度調整量）の傾向、または被写体もしくは提示情報ごとの支持状態（例えば把持角度）の傾向などの要素に基づいて、位置合わせのために提示する調整量を算出する機能を有する。

学習部１６２は、ユーザによるディスプレイデバイス２０の位置合わせ操作または支持状態の調整操作の傾向を学習する。

把持状態ＤＢ１６３は、ユーザによるディスプレイデバイス２０の位置合わせ操作に関するデータ（以下、「実績データ」と言う）を記憶する。一実施形態によれば、実績データは、事前に出力された提示情報に対して実際にユーザにより実施された位置合わせ操作を表す情報を蓄積したものである。実績データは、被写体またはコンテンツごとの操作または支持状態の傾向の学習に使用され得る。

送受信部１７は、例えばＢｌｕｅｔｏｏｔｈインタフェースを備え、ディスプレイデバイス２０との間でペアリングによりデータの送受信を可能にする機能を有する。送受信部１７と送受信部２４は、他の無線接続または有線接続方式により接続されてもよい。

なお、情報処理端末１０およびディスプレイデバイス２０は、上記のように別々のデバイスとして構成されてもよいし、一体型のデバイスとして構成されてもよい。また、送受信部１７と送受信部２４が一体的に構成されてもよい。

図２は、一実施形態に係る位置合わせ支援装置としての情報処理端末１０のハードウェア構成の一例を示す。情報処理端末１０は、制御部１０１、記憶部１０２、通信インタフェース（Ｉ／Ｆ）１０３、入力部１０４、出力部１０５、およびバッテリ１０６を備える。

制御部１０１は、ＣＰＵ（Central Processing Unit）１０１１と、ＲＯＭ（Read Only Memory）１０１２と、ＲＡＭ（Random Access Memory）１０１３などを含み、各構成要素を制御する。ＣＰＵ１０１１がＲＯＭ１０１２または記憶部１０２に記憶されたプログラムをＲＡＭ１０１３に展開し、このプログラムを実行することによって、制御部１０１は、上述した情報処理端末１０の様々な機能を実行可能となる。

記憶部１０２は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、半導体メモリ（例えばフラッシュメモリ）などの補助記憶装置であり、制御部１０１で実行されるプログラムや、プログラムを実行するために必要な設定データなどを非一時的に記憶する。

通信インタフェース１０３は、無線通信または有線通信のためのインタフェースである。通信インタフェース１０３は、例えば上記のようにＢｌｕｅｔｏｏｔｈインタフェースを含み、ディスプレイデバイス２０との間のデータ伝送を可能にする。

入力部１０４は、例えば、タッチスクリーン、キーボード、マウスなど、ユーザからの入力を受け付ける。出力部１０５は、例えば、ディスプレイやスピーカなどである。

バッテリ１０６は、情報処理端末１０の各構成要素に電力を供給する。

（２）動作
次に、以上のように構成された情報処理端末１０とディスプレイデバイス２０とを備える位置合わせ支援システム１の動作について説明する。

（２－１）概要
まず、以下で説明する位置合わせシステム１の動作の概要について説明する。
図３は、ディスプレイデバイス２０の撮影部２１による撮影範囲と、映像表示部２３越しに見える観察範囲の関係の一例を示す。ユーザＵＳは、ディスプレイデバイス２０を把持し、現実空間内の被写体ＯＢにかざすことにより、映像表示部２３越しに被写体ＯＢを観察している。この図では、ユーザＵＳが、水平の基準位置ＲＰから肩を中心に略円運動により移動した把持角度θ_ｃでディスプレイデバイスを把持しているものとする。

図３の上方の吹き出しに示されるように、映像表示部２３により提供される表示画面２３Ｄには、認識された被写体ＯＢにあらかじめ関連付けられたコンテンツＣＴＳが表示される。これにより、ユーザＵＳは、表示画面２３Ｄ上で被写体ＯＢを含む現実空間にコンテンツＣＴＳが重畳表示された拡張現実を体験することができる。

図３の例では、コンテンツＣＴＳは、「先端は５００ｍ」というテキスト情報を含んでおり、被写体ＯＢの先端部ＯＢＴの高さが５００ｍであることを示している。ここで、実線で描かれた表示画面２３Ｄは、ユーザＵＳが実際に観察する範囲であるのに対し、破線２１Ｖは、撮影部２１により撮影される範囲を示している。このように、撮影部２１の画角ρと映像表示部２３越しに見える角度φが必ずしも一致しないことから、ユーザＵＳが観察する範囲２３Ｄと撮影部２１により撮影される映像データの範囲２１Ｖも必ずしも一致しない。コンテンツＣＴＳが撮影部２１により撮影された映像データに基づいて提示されるので、映像表示部２３を通して観察される被写体ＯＢとコンテンツＣＴＳとの位置関係は、コンテンツＣＴＳの提供者が設定した位置関係からずれたものとなることがある。この例では、「先端は５００ｍ」というコンテンツＣＴＳは、表示画面２３Ｄにおいて、被写体ＯＢの先端部ＯＢＴの近くに（または先端部ＯＢＴに重畳して）表示されることが望まれるが、ユーザＵＳの観察範囲（表示画面２３Ｄ）には先端部ＯＢＴが観察されていない。したがって、コンテンツ提供者が望む位置関係を実現するためには、ユーザＵＳの観察範囲（表示画面２３Ｄ）内に先端部ＯＢＴがくるような位置合わせ操作が必要である。

実施形態によれば、ユーザＵＳがディスプレイデバイス２０を把持して観察を行う際に、被写体とＡＲコンテンツの位置関係がコンテンツ提供者によって設定された関係になるように、ユーザに位置合わせ操作を促す誘導情報が提示される。その際、必要な位置合わせ操作に関する調整量が、ユーザによる位置合わせ操作の傾向を考慮して算出される。一実施形態に係る情報処理端末１０は、あらかじめ取得された、「提示した誘導情報に対する当該ユーザの位置合わせ操作に関する実績データ」と「ある指定された被写体の誘導情報に対する１または複数のユーザの位置合わせ操作に関する実績データ」の両方またはいずれか一方を用いて、ユーザの操作の傾向を把握し、その傾向に合わせて実際に提示する誘導情報の値を補正する。

言い換えれば、情報処理端末１０は、被写体とデバイスとの間の距離とディスプレイデバイスの把持角度からユーザが注視している範囲を推定し、提示情報と異なる範囲を注視していた場合にはより正確な把持角度へ調整するための誘導情報を出力する。その際、ユーザのデバイス利用開始時に誘導情報に対する実際の位置合わせ操作量のキャリブレーションを行い、その後の誘導情報をユーザごとに補正する。追加的にまたは代替的に、情報処理端末１０は、被写体または提示情報ごとに支持状態の傾向を学習し、学習結果を用いて、ユーザに提示する誘導情報を被写体または提示情報ごとに補正する。

なお、以下では特にディスプレイデバイス２０の垂直方向の把持角度の調整を例に挙げて説明するが、実施形態の適用範囲を垂直方向の把持角度のみに限定するものではない。実施形態に係る装置またはシステムは、例えば、水平方向の把持角度や被写体との距離に関する誘導情報を提示するものであってもよい。

また、以下では特にディスプレイデバイス２０が透明ディスプレイを備えるものとして説明するが、これに限定されるものではなく、ディスプレイデバイス２０は、ユーザが現実空間を透過的に観察できるものであれば、光学透過式であってもビデオ透過式であってもよい。

情報処理端末１０は、撮影時における被写体とディスプレイデバイス２０との間の距離、ユーザによるディスプレイデバイス２０の把持角度、コンテンツによって言及される被写体の特定の部分（すなわち、コンテンツと被写体との適切な位置関係に関連してあらかじめ指定された被写体の特定の部分）の高さ、または目標とする把持角度に基づき、ユーザに位置合わせを支援する情報として把持角度調整の誘導情報を与えることで、ディスプレイデバイス２０を目的の角度に傾けるよう誘導する。

また、ディスプレイデバイス２０の把持角度調整の誘導情報に対して、ユーザごとに実際の角度補正の大きさが異なりうることを考慮して、ユーザに合わせた誘導情報を生成し出力する。具体的には以下の２つの方式が考えられる。
（Ａ）ユーザがディスプレイデバイス２０の利用を開始するときに、ユーザに把持角度に関する誘導情報を提示し、その誘導情報に対してユーザが実際に調整した角度をもとにキャリブレーションを行い、被写体の観察中にユーザに提示すべき誘導情報をユーザごとに補正する
（Ｂ）各被写体および提示情報に対する、１または複数のユーザ各々の把持角度を逐次的に学習し、学習結果に基づいて被写体または提示情報ごとにユーザに提示すべき誘導情報を決定する

なお、ここでは前提条件として、
・カメラのフレームレートが低く（例えば１ｆｐｓなど）、メモリやプロセッサを搭載しないディスプレイデバイスでＡＲ表現を行う
・被写体は映像データから認識できる
・ディスプレイ端末越しに見えている範囲がカメラの画角全体と必ずしも一致するとは限らない
・ユーザはディスプレイ越しに被写体を観察している
ものとする。

図４は、位置合わせ支援システム１の動作の説明に先立って、以下で使用する記号／符号の定義を説明する図である。

図４では、図３と同様にユーザＵＳがディスプレイデバイス２０を把持して被写体ＯＢにかざしているものとする。ここでは、表示されるコンテンツ（図示せず）は、図３と同様に被写体ＯＢの先端ＯＢＴについて言及しているものとする。なお、映像表示部２３により提供される表示画面２３Ｄには、ユーザに位置合わせ操作を促す誘導情報が表示される。ここでは誘導情報は、「θ_a度上にあげて」というテキストＧＩＴと、矢印イメージＧＩＡとを含む。なお、２３Ｂは、ディスプレイデバイス２０のバッテリ等が格納されている不透明な部分を示す。
ｄ： 被写体－ディスプレイデバイス間の距離
ｈ： コンテンツによって言及される被写体の特定の部分（この例では先端ＯＢＴ）の高さ
θ_c： ユーザが被写体にディスプレイデバイスをかざした把持角度（水平面上の基準位置ＲＰに対して）
θ_t： 補正後の目標とする把持角度（ｄ、ｈを用いて算出する）（ＴＰはディスプレイデバイスの目標位置）
θ_a： ユーザに提示する把持角度の調整量（θ_c、θ_tを用いて算出する）（図示せず）

（２－２）処理フロー
図５は、被写体に関するコンテンツの提示、誘導情報の生成および把持角度調整に関する処理フローの一例を示す。
まずステップＳ１０１において、ディスプレイデバイス２０の撮影部２１が、被写体を撮影し、映像データを生成する。また加速度計測部２２が、ディスプレイデバイス２０にかかる垂直方向の加速度を計測し、加速度データを生成する。映像データおよび加速度データは、それぞれ任意のタイミングで（例えば１秒ごとに）、送受信部２４を介して情報処理端末１０に送信される。映像データと加速度データはそれぞれ異なる送信間隔で送信されてもよい。

ステップＳ１０２において、情報処理端末１０の映像取得部１１が映像データを、把持状態計算部１２が加速度データを取得する。

ステップＳ１０３において、画像認識部１３が、例えば、画像認識用の辞書画像に基づいて、映像データ内の被写体を認識する。

ステップＳ１０４において、誘導情報生成部１６が、被写体－ディスプレイデバイス間距離ｄを算出する。誘導情報生成部１６は、例えば、画像認識用の辞書画像と、映像データ内で認識された被写体のサイズ比から、距離ｄを算出することができる。

ステップＳ１０５において、把持状態計算部１２が、ディスプレイデバイス２０の加速度と重力加速度を用いて、ディスプレイデバイス２０の把持角度θ_cを算出する。把持角度θ_cは、加速度センサ計測値からの傾斜角度の算出として一般に知られている方法を使用して算出されてよい。上述したように、垂直方向の把持角度に限らず、支持状態に関する他の物理量が算出されてもよい。

ステップＳ１０６において、調整量計算部１６１が、コンテンツと被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出し、誘導情報を生成する。ここで、調整量計算部１６１は、事前に出力された提示情報に対してユーザにより実施された位置合わせ操作に関する実績データに基づいて調整量を算出する。一実施形態によれば、調整量計算部１６１は、過去の学習によって得られた被写体または提示情報ごとの目標把持角度の傾向、および／またはキャリブレーション結果により最適化された計算モデルを用いて、誘導情報を生成する。具体的な調整量の算出方法、学習方法、およびキャリブレーション方法については後述する。誘導情報は、算出された調整量を含む。一実施形態によれば、誘導情報は、調整量の大きさに応じた矢印イメージとテキスト情報とを含む。

ステップＳ１０７において、提示情報生成部１４が、被写体に関するコンテンツと誘導情報とを合わせた提示情報を生成する。提示情報は、送受信部１７を介して送信され、送受信部２４を介してディスプレイデバイス２０により受信される。

ステップＳ１０８において、ディスプレイデバイス２０は、受信した提示情報を映像表示部２３によりユーザに提示する。提示情報の表示例について図６Ａおよび図６Ｂを参照して説明する。

図６Ａは、従来の提示情報の表示例を示す。撮影部により撮影される範囲ＣＶと、映像表示部の表示画面ＤＶとは一致しない。コンテンツＣＴＳは、「先端は５００ｍ」というテキスト情報を含み、被写体ＯＢの先端部ＯＢＴの部分に言及しているが、表示画面ＤＶにおいてコンテンツＣＴＳと先端部ＯＢＴの位置は、コンテンツ提供者が意図した位置関係からずれている。従来技術では、その後の位置合わせはユーザに任され、ユーザが自身の判断で把持角度を調整する必要がある。

図６Ｂは、一実施形態による提示情報が、映像表示部２３により提供される表示画面２３Ｄに表示される例を示す。図６Ｂにおいても、撮影部２１による撮影範囲２１Ｖと、表示画面２３Ｄによる観察範囲とは一致しない。図６Ｂの左側に示されるように、提示情報生成部１４により生成された提示情報が、表示画面２３Ｄに表示される。提示情報は、図６Ａの例と同じコンテンツＣＴＳに加え、誘導情報として、上向きの矢印イメージＧＩＡと、「１５°上にあげて」というテキスト情報ＧＩＴとを含む。「１５°上」という情報は、調整量計算部１６１によって算出された調整量にあたる。矢印イメージＧＩＡは、調整量を反映する長さおよび向きになるように生成されてよい。

表示画面２３Ｄに表示された提示情報を確認したユーザは、「１５°上にあげる」という位置合わせ操作（ディスプレイデバイス２０を把持する角度の調整）を行う。ユーザは、正確な「１５°」がわからなかったとしても、表示された矢印イメージＧＩＡの長さを頼りに、テキスト情報ＧＩＴで指示された調整を行うことができる。これにより、図６Ｂの右側に示されるように、表示画面２３Ｄ上で透過的に観察される被写体ＯＢの先端部ＯＢＴの位置が変わり、コンテンツＣＴＳがその言及内容に対応する適切な位置関係に表示される。

次いで、ステップＳ１０９において、ディスプレイデバイス２０は、加速度計測部２２により、提示情報（誘導情報）を表示した後のディスプレイデバイス２０にかかる垂直方向の加速度を計測し、送受信部２４を介して情報処理端末１０に送信する。

ステップＳ１１０において、情報処理端末１０の把持状態計算部１２は、提示情報を出力した後の加速度データを取得する。

ステップＳ１１１において、把持状態計算部１２は、取得した加速度データと重力加速度に基づき、位置合わせ操作が行われた後のディスプレイデバイス２０の把持角度θ’_tを算出する。例えば、把持状態計算部１２は、提示情報がディスプレイデバイス２０に送信されてから一定時間が経過したことにより位置合わせ操作が実施されたものと推定して、位置合わせ操作後の把持角度θ’_tを算出する。あるいは把持状態計算部１２は、加速度データの変化に基づいて、位置合わせ操作が実施されたものと判断してもよい。

ステップＳ１１２において、誘導情報生成部１６は、位置合わせ操作後の把持角度θ’_tおよび距離ｄを実績データとして把持状態ＤＢ１６３に登録し、把持状態ＤＢ１６３に蓄積された実績データを用いて学習を行い、調整量計算部１６１によって使用される計算モデルを更新する。

図７は、把持状態ＤＢに記憶される実績データの一例を示す。実績データは、例えば、被写体ＩＤと、提示情報と、提示情報で言及される被写体の特定の部分の高さと、撮影距離と、ディスプレイデバイス２０の把持角度（実測値）とを含む。なお、図７に示した実績データは、その前提として、ある展示会場に高さ３３３ｍのタワーのミニチュア模型が展示されており、ユーザがミニチュア模型にディスプレイデバイス２０をかざすと、あらかじめ準備されたコンテンツ「タワーのてっぺんは３３３ｍ」を含む提示情報が表示画面２３Ｄに表示される状況を想定している。ここで、提示情報で言及される「タワーのてっぺん」はミニチュア模型では高さ２．０ｍの位置にあたるものとする。すなわち、コンテンツの提供者は、ユーザに「タワーのてっぺん」（高さ２．０ｍの位置）に上記コンテンツを重ねて見てもらうことを意図している。

図７において、被写体ＩＤは、画像認識部１３によって認識された被写体を識別する符号であり、提示情報は、コンテンツに含まれる「タワーのてっぺんは３３３ｍ」というテキスト情報であり、提示情報で言及される被写体の特定の部分の高さは、ミニチュア模型の高さ２．０ｍであり、調整後にユーザがディスプレイデバイス２０を把持する角度は１５°（実測値）である。

ただし、位置合わせ支援システム１は、上記の例に限定されるものではなく、博物館や展示会などで展示物にかざす場合に加えて、屋外で建築物等にかざす場合にも適用可能であることに留意されたい。

（２－３）キャリブレーションフロー
図８は、キャリブレーション処理のフローの一例を示す。
まずステップＳ２０１において、情報処理端末１０の誘導情報生成部１６が、キャリブレーション用の調整量（「補正用の調整量」ともいう）θ’_aをもちいた誘導情報を生成する。キャリブレーション用の調整量θ’_aは、固定値であってもよいし、状況に応じて変更可能としてもよい（例えば、ユーザごとに変更されてもよい）。誘導情報は、図４に例示したように、矢印イメージＧＩＡおよび／またはテキストＧＩＴとして生成される。必要な調整量と調整方向は、それぞれ矢印イメージの長さと向きによって表され得る。

次いでステップＳ２０２において、提示情報生成部１４が、誘導情報に基づきユーザに提示するキャリブレーション用の提示情報を生成する。提示情報は、送受信部１７および２４を介してディスプレイデバイス２０に受信される。

ステップＳ２０３において、映像表示部２３が、情報処理端末１０から送信されたキャリブレーション用の提示情報を表示する。

ステップＳ２０４において、加速度計測部２２が、キャリブレーション用の提示情報の表示に応じてユーザが把持角度調整を行った後の垂直方向の加速度を計測する。加速度データは、送受信部２４により情報処理端末１０に送信する。

ステップＳ２０５において、把持状態計算部１２が、加速度データを取得する。

ステップＳ２０６において、把持状態計算部１２が、ディスプレイデバイス２０から送信された加速度データと重力加速度を用いて、キャリブレーション用の提示情報に対してユーザが行った把持角度の調整量θ’_cを算出する。調整量θ’_cの計算例についてはさらに後述する。

ステップＳ２０７において、誘導情報生成部１６が、ユーザが行った把持角度の調整量θ’_cに基づき、調整量計算部１６１によって使用される計算モデルを補正する。

（２－４）調整量の算出例
調整量計算部１６１は、例えば式（１）により、目標の把持角度θ_tを算出することができる。

上述したように、
ｄ： 被写体－ディスプレイデバイス間の距離
ｈ： コンテンツによって言及される被写体の特定の部分の高さ
θ_c： ユーザが被写体にディスプレイデバイスをかざした把持角度
θ_t： 補正後の目標とする把持角度（ｄ、ｈを用いて算出する）
θ_a： ユーザに提示する把持角度の調整量（θ_c、θ_tを用いて算出する）
を表す。

また調整量計算部１６１は、目標の把持角度θ_tを用いて、例えば式（２）により、ユーザに提示する調整量θ_aを算出することができる。

（２－５）キャリブレーションによる調整量の算出例
調整量計算部１６１は、ユーザがディスプレイデバイス２０の使用を開始するときに、当該ユーザの操作の傾向を考慮するため、キャリブレーションを行うことができる。
調整量の算出に関して上述したのと同様に、情報処理端末１０は、まず誘導情報生成部１６の制御の下でキャリブレーション用の調整量θ’_aを含むキャリブレーション用の誘導情報を生成する。誘導情報を含む提示情報は、ディスプレイデバイス２０に送信され、映像表示部２３を介してユーザに提示される。そして、情報処理端末１０は、提示後のディスプレイデバイス２０の加速度に基づいて、キャリブレーション用の調整量θ’_aに対してユーザが実際に行った調整量θ’_cを算出し、例えば式（３）により、定数αを算出する。算出されたαは、図示しない記憶部に記憶される。

θ’_a： キャリブレーション用の調整量
θ’_c： θ’_aに対してユーザが行った調整量
α： 定数

その後、ユーザによるディスプレイデバイス２０の使用時に、調整量計算部１６１は、記憶された定数αを用いて、例えば式（２）を次式（２’）のように拡張することにより、調整量θ_aを算出する。

式（２’）により算出される調整量θ_aは、当該ユーザの操作の傾向を考慮して補正されており、ユーザにより適切な位置合わせ操作を促すことができる。

（２－６）学習方法（実施例１）
学習部１６２による学習方法の第１の実施例として、式（４）に示すように、実績データに含まれる、位置合わせ操作後のディスプレイデバイス２０の把持角度θ’_t、被写体－ディスプレイデバイス間距離ｄ、および被写体の特定の部分の高さｈを利用して、重み係数ｗ₀，ｗ₁，ｗ₂を最適化するように学習を行うことができる。学習部１６２は、学習済みモデルを図示しない記憶部に記憶させ、学習のたびに更新することができる。

誘導情報の生成の際には、調整量計算部１６１が、記憶部から最新の学習済みモデルを読み出し、観察しようとする被写体－可搬型ディスプレイデバイス間距離ｄと、被写体の特定の部分の高さｈとを用いて、ユーザに把持角度調整の誘導情報を提示する際の調整後の目標とする把持角度θ_tを決定する。

学習部１６２による学習は、ユーザが観察を行うたびに逐次的に実施し得る。逐次的に学習を行い重み係数を最適化する手法として、例えば、ベイズ線形回帰の手法を利用することができる。

（２－７）学習方法（実施例２）
学習部１６２による学習方法の第２の実施例として、式（５）のガウス関数を用いることができる。この例では、学習部１６２は、実績データに含まれる、各被写体または各コンテンツに対するユーザの観察時のディスプレイデバイス２０の把持角度θ’_tが、式（５）のガウス関数に従うと仮定し、定数Ａ，μ，σを最適化する学習を行う。

誘導情報の生成の際には、調整量計算部１６１が、式（５）においてｙ（例えば把持角度ｘで観察を行ったユーザの人数）が最大になるディスプレイデバイス２０の把持角度ｘを、ユーザに把持角度調整の誘導情報を提示する際の調整後の目標とする把持角度（目標値）θ_tとして決定する。なお、把持状態ＤＢ１６３にはあらかじめある一定量以上のデータが蓄積されているものとする。

学習部１６２が把持状態ＤＢ１６３に蓄積されたデータを用いて学習を行い、定数Ａ，μ，σを最適化する手法として、例えば、最小二乗法を用いることができる。

（３）効果
以上詳述したように、この発明の一実施形態では、ディスプレイデバイス２０と情報処理端末１０とを備える位置合わせ支援システム１において、ユーザがディスプレイデバイス２０を被写体ＯＢにかざして観察する際に、ディスプレイデバイス２０の映像表示部２３上に表示されるコンテンツＣＴＳと、映像表示部２３を通して透過的に観察される被写体ＯＢとの位置関係が、コンテンツ提供者が設定した関係になるように、誘導情報をユーザに提示する。その際、情報処理端末１０は、被写体とディスプレイデバイス間の距離、ユーザのディスプレイデバイス把持角度、提示情報が言及する箇所の高さ、目標とする把持角度のうち少なくともいずれか１つを利用して誘導情報の値を補正する。言い換えれば、情報処理端末１０は、あらかじめ取得された実績データに基づき、上述したようなキャリブレーションを行うことによって当該ユーザの操作の傾向を踏まえて、または上述したような学習を行うことによって被写体もしくはコンテンツに対する操作の傾向を踏まえて、補正された誘導情報を生成することができる。

これにより、ディスプレイデバイス２０を用いたＡＲコンテンツの提示において、被写体とコンテンツが適切な位置関係になるような位置合わせを促す場合に、より適切に補正された誘導情報をユーザに提示することができ、より正確な操作を誘導することができる。またキャリブレーションと学習を併用することによって、各ユーザの操作の傾向と、被写体もしくはコンテンツに応じた操作の傾向との両方が考慮されるので、さらに正確な操作が期待される。

図９Ａ，９Ｂは、補正された誘導情報の一例を示す。図９Ａ，９Ｂは、いずれも、実際に傾けてほしい角度が３０°の場合を想定しており、図９Ａは、指示よりも大きく調整する傾向のあるユーザＵＳ１１に提示する誘導情報、図９Ｂは、指示よりも小さく調整する傾向のあるユーザＵＳ１２に提示する誘導情報の例を示す。

図９Ａにおいて、被写体ＯＢに対し、ユーザＵＳ１１には、表示画面２３Ｄ１１内に、矢印ＩＤＡ１１と、「１５°上にあげて」という指示ＩＤＴ１１が表示される。２３Ｂ１１は、バッテリ等が格納されている部分を示す。

図９Ｂにおいて、被写体ＯＢに対し、ユーザＵＳ１２には、表示画面２３Ｄ１２内に、図９ＡのＩＤＡ１１よりも大きな矢印ＩＤＡ１２と、「４５°上にあげて」という指示ＩＤＴ１２が表示される。２３Ｂ１２は、バッテリ等が格納されている部分を示す。

このように、実際に傾けてほしい角度が３０°の場合に、ユーザの操作の傾向に合わせて、提示する調整量を補正することにより（図９Ａでは１５°、図９Ｂでは４５°）、コンテンツ提供者の意図に沿ったより正確な位置合わせを実現することができる。

［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、ユーザがディスプレイデバイス２０を把持する角度の調整を促す誘導情報を生成する例を説明したが、上述したように、垂直方向の角度調整のみに限定されず、水平方向の角度調整や、被写体とディスプレイデバイスとの距離の調整など、他の観点での調整を促すこともできる。

また、上記実施形態では、主に透明ディスプレイを通した光学透過により観察する方法に関して説明したが、これに限定されるものではなく、上記実施形態はビデオ透過（カメラ映像をディスプレイ上に表示するなど）により透過的に観察する方法にも適用可能である。

ディスプレイデバイス２０または情報処理端末１０が備える各機能部を、複数の装置に分散配置し、これらの装置が互いに連携することにより処理を行うようにしてもよい。また各機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。

また、以上で説明した各処理の流れは、説明した手順に限定されるものではなく、いくつかのステップの順序が入れ替えられてもよいし、いくつかのステップが同時並行で実施されてもよい。また、以上で説明した一連の処理は、時間的に連続して実行される必要はなく、各ステップは任意のタイミングで実行されてもよい。

以上で記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体（記憶媒体）に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。上記装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。

この発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１…位置合わせ支援システム
１０…情報処理端末
１１…映像取得部
１２…把持状態計算部
１３…画像認識部
１４…提示情報生成部
１５…コンテンツ情報データベース
１６…誘導情報生成部
１６１…調整量計算部
１６２…学習部
１６３…把持状態データベース
１７…送受信部
２０…ディスプレイデバイス
２１…撮影部
２２…加速度計測部
２３…映像表示部
２４…送受信部

Claims (7)

1. ディスプレイ上に表示されるコンテンツと、前記ディスプレイを通して透過的に観察される被写体との位置合わせを支援する、位置合わせ支援装置であって、
   前記被写体に対する前記ディスプレイの支持状態を算出する状態算出部と、
   前記支持状態について、前記コンテンツと前記被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出する調整量算出部と、
   前記調整量を含む提示情報を生成し出力する提示情報生成部と、
   を備え、
   前記調整量算出部は、
   ユーザにあらかじめ提示した補正用調整量と、それに対して前記ユーザが実施した実績調整量とを含む実績データに基づき、補正係数を算出する第１算出部と、
   前記コンテンツと前記被写体との適切な位置関係に係る前記ディスプレイの支持状態を表す目標値を算出する第２算出部と、
   前記ディスプレイの現在の支持状態を表す値と前記目標値との差に前記補正係数を乗じることによって前記調整量を算出する第３算出部と、
   を備える、
   位置合わせ支援装置。
2. ディスプレイ上に表示されるコンテンツと、前記ディスプレイを通して透過的に観察される被写体との位置合わせを支援する、位置合わせ支援装置であって、
   前記被写体に対する前記ディスプレイの支持状態を算出する状態算出部と、
   前記支持状態について、前記コンテンツと前記被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出する調整量算出部と、
   前記調整量を含む提示情報を生成し出力する提示情報生成部と、
   １もしくは複数のユーザから得られる実績データに基づいて、前記コンテンツまたは前記被写体ごとに、前記コンテンツと前記被写体との適切な位置関係に関連してあらかじめ指定された前記被写体の特定の部分の高さと、前記被写体と前記ディスプレイとの間の距離とを説明変数とし、前記提示情報を出力した後の前記ディスプレイの支持角度を目的変数とするモデルを学習する第１学習部と、
   を備え、
   前記調整量算出部は、前記第１学習部によって学習されたモデルに対し、前記被写体の特定の部分の高さと前記被写体と前記ディスプレイとの間の距離とを入力して得られる出力値を目標支持角度として用いて、前記調整量を算出する、
   位置合わせ支援装置。
3. ディスプレイ上に表示されるコンテンツと、前記ディスプレイを通して透過的に観察される被写体との位置合わせを支援する、位置合わせ支援装置であって、
   前記被写体に対する前記ディスプレイの支持状態を算出する状態算出部と、
   前記支持状態について、前記コンテンツと前記被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出する調整量算出部と、
   前記調整量を含む提示情報を生成し出力する提示情報生成部と、
   １もしくは複数のユーザから得られる実績データに基づいて、前記提示情報を出力してから所定の時間経過後の前記ディスプレイの支持角度をｘ、前記実績データに含まれるユーザの人数をｙとするガウス関数ｙ＝ｆ（ｘ）の各定数を最適化する第２学習部と、
   を備え、
   前記調整量算出部は、前記第２学習部によって最適化された前記ガウス関数においてｙを最大にするｘを目標支持角度として用いて、前記調整量を算出する、
   位置合わせ支援装置。
4. ディスプレイ上に表示されるコンテンツと、前記ディスプレイを通して透過的に観察される被写体との位置合わせを支援する、位置合わせ支援方法であって、
   前記被写体に対する前記ディスプレイの支持状態を算出することと、
   前記支持状態について、前記コンテンツと前記被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出することと、
   前記調整量を含む提示情報を生成し出力することと
   を備え、
   前記調整量は、
   ユーザにあらかじめ提示した補正用調整量と、それに対して前記ユーザが実施した実績調整量とを含む実績データに基づき、補正係数を算出し、
   前記コンテンツと前記被写体との適切な位置関係に係る前記ディスプレイの支持状態を表す目標値を算出し、
   前記ディスプレイの現在の支持状態を表す値と前記目標値との差に前記補正係数を乗じることによって算出される、
   位置合わせ支援方法。
5. ディスプレイ上に表示されるコンテンツと、前記ディスプレイを通して透過的に観察される被写体との位置合わせを支援する、位置合わせ支援方法であって、
   前記被写体に対する前記ディスプレイの支持状態を算出することと、
   前記支持状態について、前記コンテンツと前記被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出することと、
   前記調整量を含む提示情報を生成し出力することと、
   １もしくは複数のユーザから得られる実績データに基づいて、前記コンテンツまたは前記被写体ごとに、前記コンテンツと前記被写体との適切な位置関係に関連してあらかじめ指定された前記被写体の特定の部分の高さと、前記被写体と前記ディスプレイとの間の距離とを説明変数とし、前記提示情報を出力した後の前記ディスプレイの支持角度を目的変数とするモデルを学習することと、
   を備え、
   前記調整量は、前記学習することによって学習されたモデルに対し、前記被写体の特定の部分の高さと前記被写体と前記ディスプレイとの間の距離とを入力して得られる出力値を目標支持角度として用いて、算出される、
   位置合わせ支援方法。
6. ディスプレイ上に表示されるコンテンツと、前記ディスプレイを通して透過的に観察される被写体との位置合わせを支援する、位置合わせ支援方法であって、
   前記被写体に対する前記ディスプレイの支持状態を算出することと、
   前記支持状態について、前記コンテンツと前記被写体との位置関係を適切にするための位置合わせ操作に係る調整量を算出することと、
   前記調整量を含む提示情報を生成し出力することと、
   １もしくは複数のユーザから得られる実績データに基づいて、前記提示情報を出力してから所定の時間経過後の前記ディスプレイの支持角度をｘ、前記実績データに含まれるユーザの人数をｙとするガウス関数ｙ＝ｆ（ｘ）の各定数を最適化することと、
   を備え、
   前記調整量は、前記最適化することによって最適化された前記ガウス関数においてｙを最大にするｘを目標支持角度として用いて、算出される、
   位置合わせ支援方法。
7. 請求項１乃至３のいずれか一項に記載の位置合わせ支援装置の各部による処理をコンピュータに実行させるプログラム。

Images