WO2023140110A1 - 端末装置、位置姿勢推定方法、およびプログラム - Google Patents

Abstract

本開示は、環境によらないＡＲコンテンツの表示を実現することができるようにする端末装置、位置姿勢推定方法、およびプログラムに関する。 位置推定部は、ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、ユーザのカメラ画像における注目オブジェクトのカメラ画像上の位置との対応関係に基づいて、自装置の絶対位置姿勢を推定する。本開示に係る技術は、例えば、実空間の映像にＡＲコンテンツを表示するＡＲデバイスに適用することができる。

Description

端末装置、位置姿勢推定方法、およびプログラム

　本開示は、端末装置、位置姿勢推定方法、およびプログラムに関し、特に、環境によらないＡＲコンテンツの表示を実現できるようにする端末装置、位置姿勢推定方法、およびプログラムに関する。

　スポーツ放送において、世界記録を表すラインや、過去の選手などを模したゴーストと呼ばれる情報を、ＡＲ（Augmented Reality）コンテンツとして映像に重畳して放送する技術がある。この技術によれば、視聴者がより緊迫感を味わうことや付加的な情報を得ることができることから、現代のスポーツ放送には不可欠な技術となっている。

　スポーツ放送をテレビジョン受像機などで視聴している視聴者は、このようなＡＲコンテンツを見ることができる一方、実際に競技場にいる観客は、このようなＡＲコンテンツを見ることができない。ゆえに、それら観客は、ＡＲコンテンツが重畳された映像を楽しむことはできなかった。

　これに対して、競技場にいる観客がＡＲグラスなどの映像機器を通して、現実の映像に対してＡＲコンテンツを重畳する技術が提案されている。例えば、特許文献１には、観客が携帯する端末装置の撮像部により撮像された映像に、例えばサッカーにおけるオフサイドラインなど、競技者の位置に基づいたコンテンツを重畳する技術が開示されている。この技術は、サッカー競技場のピッチ（フィールド）のラインなどをマーカーとして用いて観客の自己位置姿勢を取得することで実現可能となる。

国際公開第２０１６／０１７１２１号

　しかしながら、特許文献１の技術では、撮像部が、競技場に設けられる特殊なマーカーを撮像する必要があった。そのため、特許文献１の技術は、マーカーになり得るものがない競技場では適用できなかったり、新たにマーカーを設置する場合にはコストがかかったりしていた。

　本開示は、このような状況に鑑みてなされたものであり、環境によらないＡＲコンテンツの表示を実現できるようにするものである。

　本開示の端末装置は、ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、自装置の絶対位置姿勢を推定する位置推定部を備える端末装置である。

　本開示の位置姿勢推定方法は、端末装置が、ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、自装置の絶対位置姿勢を推定する位置姿勢推定方法である。

　本開示のプログラムは、コンピュータに、ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、端末装置の絶対位置姿勢を推定する処理を実行させるためのプログラムである。

　本開示においては、ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、端末装置の絶対位置姿勢が推定される。

本開示に係る技術の概要について説明する図である。 本開示に係る技術を適用したＡＲ表示システムの構成例を示す図である。 サーバの機能構成例を示すブロック図である。 自己位置姿勢取得手法について説明する図である。 Visual ＳＬＡＭの概要について説明する図である。 追跡技術について説明する図である。 サーバの動作の流れについて説明するフローチャートである。 端末装置の機能構成例を示すブロック図である。 三次元位置とカメラ画像による絶対位置姿勢の推定について説明する図である。 端末装置の動作の流れについて説明するフローチャートである。 端末装置の他の機能構成例を示すブロック図である。 端末装置の動作の流れについて説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

　１．本開示に係る技術の概要
　２．ＡＲ表示システムの構成例
　３．サーバの構成および動作
　４．端末装置の構成および動作
　５．変形例
　６．コンピュータの構成例

＜１．本開示に係る技術の概要＞
　スポーツ放送において、世界記録を表すラインや、過去の選手などを模したゴーストと呼ばれる情報を、ＡＲ（Augmented Reality）コンテンツとして映像に重畳して放送する技術がある。この技術によれば、視聴者がより緊迫感を味わうことや付加的な情報を得ることができることから、現代のスポーツ放送には不可欠な技術となっている。

　スポーツ放送をテレビジョン受像機などで視聴している視聴者は、このようなＡＲコンテンツを見ることができる一方、実際に競技場にいる観客は、このようなＡＲコンテンツを見ることができない。ゆえに、それら観客は、ＡＲコンテンツが重畳された映像を楽しむことはできなかった。

　そこで、本開示においては、競技場にいる観客がＡＲグラスなどの映像機器を通して、現実の映像に対してＡＲコンテンツを重畳する技術を提案する。

　例えば、図１左に示されるように、競技場にいる観客（ユーザ）が、ＡＲグラス１０を装着した状態で、競技者Ａｔに注目しているとする。ＡＲグラス１０は、光学透過型のＡＲグラスとして構成され、ユーザは、レンズ部分のディスプレイＤ１０を通して、競技者Ａｔを見ることができる。

　また、図１右に示されるように、ユーザからみたディスプレイＤ１０には、競技者Ａｔに対応した表示位置に、ＡＲコンテンツとしてのゴーストＧｈが表示される。図１の例では、ゴーストＧｈは、例えば競技者Ａｔが参加している競技における世界記録保持者を模した情報とされる。ＡＲコンテンツは、ゴーストＧｈのような三次元立体画像情報に限らず、二次元画像情報や任意の幾何学図形情報、文字情報など、各種の表示情報であってもよい。

　このように、本開示に係る技術によれば、スポーツ放送をテレビジョン受像機などで視聴している視聴者と同様に、実際に競技場にいる観客もＡＲコンテンツを楽しむことが可能となる。特に、本開示に係る技術は、ＡＲグラスに設けられたカメラが、競技場に設けられる特殊なマーカーなどを撮像することなく、このようなＡＲコンテンツの表示を実現する。

＜２．ＡＲ表示システムの構成例＞
　図２は、本開示に係る技術を適用し得るＡＲ表示システムの構成例を示す図である。

　図２に示されるＡＲ表示システムは、サーバ１００と端末装置２００から構成される。

　サーバ１００は、例えば、競技場の外部に設けられるクラウドサーバにより構成される。サーバ１００は、競技場の周囲に設置された多数のカメラ、撮影スタッフが扱う放送用カメラを始めとするセンサ類、競技者が装着しているセンサなどからセンサデータを取得する。

　サーバ１００は、取得したセンサデータに基づいて、競技場においてスポーツ競技に参加している競技者などのオブジェクトに関するオブジェクトデータを生成し、端末装置２００に配信する。以下において、オブジェクトは、競技者である人間であるものとして説明するが、スポーツ競技に係る対象物であればよく、例えば、馬などの動物や、自動車や自転車などの機械（車両）、ボールなどの用具などであってもよい。また、オブジェクトは、競技者（人間）や動物の各関節、機械や用具のパーツであってもよい。

　また、サーバ１００は、端末装置２００において各オブジェクトに対応するＡＲコンテンツを表示するためのコンテンツデータを生成し、端末装置２００に配信する。

　端末装置２００は、図１を参照して説明したＡＲグラスやスマートフォンなどのＡＲデバイスにより構成される。端末装置２００は、ＡＲグラスと同等の機能を備え、視界を所定の倍率で拡大する双眼鏡により構成されてもよい。端末装置２００は、サーバ１００からのオブジェクトデータとコンテンツデータに基づいて、その表示領域上の、ユーザが注目しているオブジェクト（以下、注目オブジェクトという）に対応する表示位置に、ＡＲコンテンツを表示する。

　具体的には、端末装置２００がＡＲグラスにより構成される場合、レンズ部分のディスプレイとしての、注目オブジェクトを含む実空間を透過する表示領域において、注目オブジェクトに対応する表示位置に、ＡＲコンテンツを表示する。また、端末装置２００がスマートフォンにより構成される場合、そのスマートフォンのディスプレイとしての表示領域に表示された、注目オブジェクトを含むカメラ画像において、注目オブジェクトに対応する表示位置に、ＡＲコンテンツを重畳表示する。

　以下においては、サーバ１００と端末装置２００それぞれの機能および動作について、詳細に説明する。

＜３．サーバの構成および動作＞
（サーバの機能構成例）
　図３は、図２のＡＲ表示システムを構成するサーバ１００の機能構成例を示すブロック図である。

　図３に示されるように、サーバ１００は、オブジェクトデータ生成部１１１、コンテンツデータ生成部１１２、およびデータ配信部１１３を備える。

　オブジェクトデータ生成部１１１は、競技場の周囲に設置された多数のカメラ、撮影スタッフが扱う放送用カメラを始めとするセンサ類、競技者が装着しているセンサなどから取得したセンサデータに基づいて、オブジェクトに関するオブジェクトデータを生成する。

　オブジェクトデータには、オブジェクトの三次元位置（ｘ，ｙ，ｚ）を表す三次元位置情報が含まれる。三次元位置情報の生成方法には、以下のような方法がある。

（１）競技場の周囲に設置された多数のカメラから取得したセンサデータを用いる方法
　競技場の周囲に設置された多数のカメラからセンサデータが取得される場合、オブジェクトデータ生成部１１１は、カメラそれぞれの映像を三次元データに変換することで、各オブジェクトの三次元位置情報を生成する。

（２）放送用カメラを始めとするセンサ類から取得したセンサデータを用いる方法
　撮影スタッフが扱う放送用カメラを始めとするセンサ類からセンサデータが取得される場合、オブジェクトデータ生成部１１１は、放送用カメラの自己位置姿勢を取得し、放送用カメラによりオブジェクトを追跡することで、各オブジェクトの三次元位置情報を生成する。

　放送用カメラの自己位置姿勢取得手法には、Outside-In方式とInside-Out方式とがある。

　Outside-In方式は、図４左に示されるように、カメラＣｍにマーカーを装着し、競技場内に設置された複数のセンサＳｃによりマーカーを認識することで、カメラＣｍの自己位置姿勢を取得する手法である。

　Inside-Out方式は、図４右に示されるように、カメラＣｍ自身が外部環境を観測することで、カメラＣｍの自己位置姿勢を取得する手法である。Inside-Out方式においては、Visual ＳＬＡＭ（Simultaneous Localization and Mapping）が用いられる。Visual ＳＬＡＭは、図５に示されるように、時刻ｔ_１において取得された画像上の特徴点ＦＰと、時刻ｔ_２において取得された画像上の特徴点ＦＰに基づいて、特徴点ＦＰとの距離を算出することで、時刻ｔ_１から時刻ｔ_２の間の自己位置姿勢の変化量を推定する技術である。

　オブジェクトデータ生成部１１１は、以上のようにして、放送用カメラの自己位置姿勢を取得した後、追跡技術と深度推定技術を組み合わせて用いることで、オブジェクトの三次元位置を取得する。

　まず、追跡技術においては、機械学習などを利用した、人や物体を追跡する技術が利用される。オブジェクトを利用した絶対位置姿勢推定では、対応するオブジェクトが複数存在する必要がある。オブジェクトが必要な最小数よりも少ない場合、例えば図６に示されるように、オブジェクトである競技者の骨格のポーズを推定し、その各骨格をオブジェクトとして利用する。これにより、放送用カメラで撮影されている映像上での競技者自身または競技者の各関節の放送用カメラ画像上の位置が取得される。図６の例では、競技者Ｈ１の骨格Ｓｋ１１のポーズと、競技者Ｈ２の骨格Ｓｋ１２のポーズが推定されている。図６の例においては、ボールＢ２１が追跡対象であってもよい。次いで、深度推定技術により、各関節の放送用カメラのカメラ座標系での三次元位置が取得される。その後、放送用カメラの自己位置姿勢を用いることで、各関節の競技場内での絶対三次元位置が取得される。

　深度推定には、カメラ単体が用いられてもよいし、ＬｉＤＡＲ（Light Detection And Ranging），ｄＴｏＦ（Direct Time of Flight）センサやｉＴｏＦ（Indirect Time of Flight）センサなどの測距センサが用いられてもよい。また、オブジェクトの追跡には、輝度の変化をイベントとして検知するイベントカメラが用いられてもよい。イベントカメラによれば、高速で移動するオブジェクトの追跡が可能となる。

（３）競技者が装着しているセンサから取得したセンサデータを用いる方法
　競技者が装着しているセンサからセンサデータが取得される場合、オブジェクトデータ生成部１１１は、上述したOutside-In方式やInside-Out方式の自己位置姿勢取得手法を用いて、各オブジェクトの三次元位置情報を生成する。

　上述した三次元位置情報の生成方法のうち、（１）は、既存のシステムにより実現可能とされ、例えば、サッカーやラグビーなどの一部の競技に適用することができる。一方で、（２）や（３）は、（１）の適用が難しい、競馬やカーレースなどの広大な競技場で行われる競技や、スキーやスノーボード、マラソンやロードレースなどのカメラの設置が容易でない競技にも適用することができる。

　このようにして生成される三次元位置情報には、オブジェクトの三次元位置だけでなく、オブジェクトを構成する各関節や各パーツの三次元位置も含まれるものとする。

　オブジェクトデータには、オブジェクトの三次元位置情報に加え、当該オブジェクトの特徴量がさらに含まれ得る。

　オブジェクトの特徴量は、追跡において識別されている各オブジェクトに付与されるＩＤ、多次元の特徴ベクトル、オブジェクトの画像データ、上述した放送用に生成された映像に含まれるオブジェクトの三次元データなどであってよい。なお、オブジェクトの特徴量は、上述した三次元位置情報の生成方法がカメラを用いる（１）または（２）の場合に、映像から抽出可能とされる。

　また、オブジェクトデータには、各オブジェクトの三次元位置情報の生成に用いられたセンサデータの取得時刻がさらに含まれるようにしてもよい。

　以上のようにして生成されたオブジェクトデータは、コンテンツデータ生成部１１２とデータ配信部１１３に供給される。

　コンテンツデータ生成部１１２は、オブジェクトデータ生成部１１１からのオブジェクトデータに基づいて、端末装置２００において、各オブジェクトに対応した表示位置に表示されるＡＲコンテンツのコンテンツデータを生成する。

　コンテンツデータ生成部１１２においては、競技に応じたＡＲコンテンツが生成される。ＡＲコンテンツは、スポーツ競技の記録、注目オブジェクトの動作の再現、および注目オブジェクトの軌跡を表す表示情報である。例えばサッカーの場合、ＡＲコンテンツとして、競技者のリプレイの様子を模したゴースト、オフサイドラインを表す画像、ボールの軌道を表すエフェクト画像などが生成される。また、陸上や水泳、スノーボードやスキージャンプなどの場合、ＡＲコンテンツとして、世界記録のラインを表す画像、世界記録保持者を模したゴースト、競技者のリプレイの様子を模したゴーストなどが生成される。さらに、カーレースやロードレースの場合、ＡＲコンテンツとして、世界記録のラインを表す画像、世界記録保持者を模したゴースト、競技車両のリプレイの様子を模したゴーストに加え、車体の軌跡を表すエフェクト画像などが生成される。

　コンテンツデータ生成部１１２においては、端末装置２００のユーザに応じた特別なＡＲコンテンツが生成されてもよいし、放送向けに用意されるＡＲコンテンツが生成されてもよい。

　以上のようにして生成されたコンテンツデータは、データ配信部１１３に供給される。

　データ配信部１１３は、オブジェクトデータ生成部１１１からのオブジェクトデータと、コンテンツデータ生成部１１２からのコンテンツデータを、端末装置２００に配信する。

（サーバの動作）
　図７のフローチャートを参照して、サーバ１００の動作（処理）の流れについて説明する。図７の処理は、例えば、端末装置２００においてＡＲコンテンツが表示されるフレームレートと同じ時間単位で、繰り返し実行される。

　ステップＳ１１において、オブジェクトデータ生成部１１１は、競技場内の各種のセンサからセンサデータを取得する。

　ステップＳ１２において、オブジェクトデータ生成部１１１は、取得したセンサデータに基づいて、競技場内のオブジェクト毎にオブジェクトデータを生成する。

　ステップＳ１３において、コンテンツデータ生成部１１２は、競技場内のオブジェクトそれぞれに応じたコンテンツデータを生成する。

　ステップＳ１４において、データ配信部１１３は、オブジェクトデータ生成部１１１により生成されたオブジェクトデータと、コンテンツデータ生成部１１２により生成されたコンテンツデータを、端末装置２００に配信する。

＜４．端末装置の構成および動作＞
（端末装置の機能構成例）
　図８は、図２のＡＲ表示システムを構成する端末装置２００の機能構成例を示すブロック図である。

　図８に示されるように、端末装置２００は、受信部２１１、撮像部２１２、オブジェクト追跡部２１３、対応付け部２１４、絶対位置姿勢推定部２１５、表示制御部２１６、および表示部２１７を備える。

　受信部２１１は、サーバ１００から配信されるオブジェクトデータとコンテンツデータを受信する。オブジェクトデータは対応付け部２１４に供給され、コンテンツデータは表示制御部２１６に供給される。

　撮像部２１２は、端末装置２００に搭載または内蔵されているカメラとして構成され、ユーザの視点を含む範囲を撮像したカメラ画像を出力する。すなわち、カメラ画像は、ユーザの視点に対応する動画像ということができ、カメラ画像に映るオブジェクトの一部または全部は、ユーザが注目している注目オブジェクトということができる。撮像部２１２により出力されたカメラ画像は、オブジェクト追跡部２１３に供給される。

　オブジェクト追跡部２１３は、撮像部２１２からのカメラ画像に映るオブジェクト（注目オブジェクト）を追跡する。オブジェクト追跡部２１３による追跡技術は、オブジェクトが人間、動物、機械のいずれであるかに応じて使い分けられてよい。

　例えば、オブジェクトが競技者（人間）である場合には、図６を参照して説明したように、競技者の各関節の位置を追跡対象としてもよい。これにより、例えば競技者が少ない場合であっても、絶対位置姿勢推定に必要な数の対応オブジェクトを得ることができる。オブジェクトが自動車や自転車である場合には、例えばタイヤ（車輪）の位置を追跡対象として利用することができる。このようなオブジェクトの追跡には機械学習が用いられ、追跡対象となるオブジェクトに応じて機械学習モデルをチューニングすることで、ロバスト性の高い追跡が可能となる。

　カメラ画像における注目オブジェクトのカメラ画像上の位置は、対応付け部２１４に供給される。

　対応付け部２１４は、サーバ１００からの注目オブジェクトのオブジェクトデータに含まれる三次元位置情報で表される三次元位置と、オブジェクト追跡部２１３からのカメラ画像における注目オブジェクトのカメラ画像上の位置とを対応付ける。

　注目オブジェクトの三次元位置と、カメラ画像における注目オブジェクトのカメラ画像上の位置との対応付け方法は、サーバ１００における各オブジェクトの三次元位置情報の生成方法によって異なる。

　サーバ１００における各オブジェクトの三次元位置情報の生成方法がカメラを用いる（１）または（２）の場合、オブジェクトデータに含まれる注目オブジェクトの特徴量と、カメラ画像における注目オブジェクトの特徴量に基づいて、注目オブジェクトの三次元位置とカメラ画像上の位置とが対応付けられる。具体的には、オブジェクトデータに含まれる注目オブジェクトの特徴量と、カメラ画像における注目オブジェクトの特徴量とをマッチングすることで、実空間における注目オブジェクトとカメラ画像における注目オブジェクトが一意に対応付けられる。なお、特徴量には、競技者のゼッケンやナンバープレートなど、競技者固有の情報が含まれてもよい。

　近年、機械学習の発展により個人認証技術の水準が向上している。このような個人認証技術を用いることにより、競技者毎の特徴量を算出し、カメラ画像から取得された特徴量と比較し、互いに十分近い場合に、当該競技者が対応付けられるようにする。特徴量は、事前に各競技者について多くの写真を用意して学習してもよいし、教師なし学習によりオンライン学習してもよい。

　対応付けられた注目オブジェクトについて、注目オブジェクトを構成する各関節や各パーツの三次元位置と、カメラ画像における注目オブジェクトの各関節や各パーツのカメラ画像上の位置とがさらに対応付けられるようにもできる。

　サーバ１００における各オブジェクトの三次元位置情報の生成方法がオブジェクトに付随するセンサを用いる（３）の場合、カメラ画像において、注目オブジェクトに付随する（上述したOutside-In方式に用いられる）センサを認識することで、注目オブジェクトの三次元位置が得られ、カメラ画像上の位置と対応付けられる。

　上述した注目オブジェクトの対応付けは、例えば、競技者が複数人存在する競技においては必要である一方、フィギュアスケートのような競技者が１人の競技においては、注目オブジェクトを一意に定めることができるため不要となる。競技者が複数人存在する競技においては、各競技者の相対的な位置関係に基づいて、各競技者の三次元位置とカメラ画像上の位置が対応付けられるようにしてもよい。

　対応付けられた注目オブジェクトの三次元位置とカメラ画像上の位置との対応関係は、絶対位置姿勢推定部２１５に供給される。

　絶対位置姿勢推定部２１５は、注目オブジェクトの三次元位置と、カメラ画像における注目オブジェクトのカメラ画像上の位置との対応関係に基づいて、自装置（端末装置２００）の絶対位置姿勢を推定する。絶対位置姿勢推定部２１５は、端末装置２００の絶対位置姿勢として、端末装置２００の三次元位置（ｘ，ｙ，ｚ）と姿勢（θｘ，θｙ，θｚ）の６自由度の変数を推定する。

　これら変数は、例えば、図１２に示されるように、注目オブジェクトの各点ｐ１，ｐ２，ｐ３，ｐ４の三次元位置（ｘ，ｙ，ｚ）と、カメラ画像に映る注目オブジェクトの各点ｑ１，ｑ２，ｑ３，ｑ４のカメラ画像上の位置（ｕ，ｖ）との対応関係が既知である場合に求めることができる。

　推定された端末装置２００の絶対位置姿勢は、表示制御部２１６に供給される。

　表示制御部２１６は、絶対位置姿勢推定部２１５により推定された端末装置２００の絶対位置姿勢に基づいて、表示部２１７の表示領域上の注目オブジェクトに対応した表示位置への、コンテンツデータで表されるＡＲコンテンツの表示を制御する。具体的には、表示制御部２１６は、端末装置２００の絶対位置姿勢に基づいて、表示部２１７の表示領域におけるＡＲコンテンツの表示位置を決定し、決定した表示位置に対して、コンテンツデータに基づいたＡＲコンテンツのレンダリングを行う。

　端末装置２００がＡＲグラスにより構成される場合、表示部２１７は、レンズ部分のディスプレイとして構成される。表示制御部２１６は、注目オブジェクトを含む実空間を透過する表示領域において、その表示領域上の注目オブジェクトに対応する表示位置に、ＡＲコンテンツを表示する。

　端末装置２００がスマートフォンにより構成される場合、表示部２１７は、そのスマートフォンのディスプレイとして構成される。表示制御部２１６は、ディスプレイの表示領域に表示された注目オブジェクトを含むカメラ画像において、その表示領域上の注目オブジェクトに対応する表示位置に、ＡＲコンテンツを重畳表示する。

（端末装置の動作）
　図１０のフローチャートを参照して、端末装置２００の動作（処理）の流れについて説明する。図１０の処理は、例えば、表示部２１７においてＡＲコンテンツが表示されるフレームレートと同じ時間単位で、繰り返し実行される。

　ステップＳ２１において、受信部２１１は、サーバ１００から配信されるオブジェクトデータとコンテンツデータを受信する。

　ステップＳ２２において、オブジェクト追跡部２１３は、撮像部２１２により撮像されているカメラ画像において注目オブジェクトを追跡する。

　ステップＳ２３において、対応付け部２１４は、注目オブジェクトのオブジェクトデータに含まれる三次元位置情報で表される三次元位置と、カメラ画像において追跡されている注目オブジェクトのカメラ画像上の位置とを対応付ける。

　ステップＳ２４において、絶対位置姿勢推定部２１５は、注目オブジェクトの三次元位置と、カメラ画像における注目オブジェクトのカメラ画像上の位置の対応関係に基づいて、端末装置２００の絶対位置姿勢を推定する。

　ステップＳ２５において、表示制御部２１６は、絶対位置姿勢推定部２１５により推定された端末装置２００の絶対位置姿勢に基づいて、表示部２１７の表示領域上の注目オブジェクトに対応した表示位置に、コンテンツデータで表されるＡＲコンテンツを表示する。

　以上の構成および処理によれば、ユーザが注目している注目オブジェクトの三次元位置と、カメラ画像に映る注目オブジェクトのカメラ画像上の位置の対応関係に基づいて、ユーザの自己位置姿勢を推定することができる。言い換えると、注目オブジェクトをマーカーとして用いてユーザの自己位置姿勢を推定することができる。したがって、本開示に係る技術は、マーカーになり得るものがない競技場でも適用でき、また、新たにマーカーを設置することでコストがかかることもなく、環境によらないＡＲコンテンツの表示を実現することが可能となる。

＜５．変形例＞
（遅延時間について）
　上述したＡＲ表示システムにおいては、センサデータの取得からＡＲコンテンツの表示までの時間差（遅延時間）が極めて小さいことが前提とされる。そのため、センサとサーバ１００の間、サーバ１００と端末装置２００の間においては、５Ｇ（第５世代移動通信システム）などの高速通信によるデータの送受信が求められる。また、サーバ１００においては、過去のＡＲコンテンツを流用したり、あらかじめＡＲコンテンツを生成するなど、ＡＲコンテンツの生成に時間を要しないことが望ましい。

　一方で、上述したＡＲ表示システムにおいて、センサデータの取得からＡＲコンテンツの表示までの遅延時間が大きい場合、その間にユーザやオブジェクトの位置が変化し、注目オブジェクトに対するＡＲコンテンツの表示位置が、本来の表示位置からずれてしまう可能性がある。

　そこで、以下においては、センサデータの取得からＡＲコンテンツの表示までの遅延時間を補償したＡＲコンテンツの表示を実現する構成について説明する。

（端末装置の機能構成例）
　図１１は、センサデータの取得からＡＲコンテンツの表示までの遅延時間を補償する機能を備えた端末装置２００の機能構成例を示すブロック図である。

　図１１の端末装置２００において、図８の端末装置２００が備える機能ブロックと同様の機能を備える機能ブロックについては、同一の符号を付与し、その説明は適宜省略する。

　図１１の端末装置２００は、相対位置姿勢推定部３１１と遅延補償部３１２が新たに設けられている点で、図８の端末装置２００と異なる。

　相対位置姿勢推定部３１１は、撮像部２１２からのカメラ画像に基づいて、図５を参照して説明したVisual ＳＬＡＭにより、注目オブジェクトのオブジェクトデータに含まれる取得時刻からの、自装置（端末装置２００）の相対位置姿勢変化量を推定する。相対位置姿勢推定部３１１においては、端末装置２００の過去の相対位置姿勢変化量が保持されるようにする。

　なお、端末装置２００の相対位置姿勢変化量の推定には、Visual ＳＬＡＭの他、ＩＭＵ（Inertial Measurement Unit）や、ＬｉＤＡＲ，ｄＴｏＦセンサ、ｉＴｏＦセンサなどの測距センサが用いられてもよいし、これらが組み合わされて用いられてもよい。

　推定された端末装置２００の相対位置姿勢変化量は、遅延補償部３１２に供給される。

　ところで、オブジェクト追跡部２１３においては、センサデータの取得からコンテンツデータの受信までの遅延時間分、撮像部２１２からのカメラ画像が進んでいることになる。そこで、オブジェクト追跡部２１３においては、カメラ画像における注目オブジェクトの過去のカメラ画像上の位置（軌跡）が保持されるようにする。対応付け部２１４には、遅延時間分を遡った注目オブジェクトのカメラ画像上の位置が供給される。

　また、絶対位置姿勢推定部２１５により推定された端末装置２００の三次元位置や姿勢は、サーバ１００において注目オブジェクトについてのセンサデータが取得された時刻の三次元位置や姿勢であり、実際の三次元位置や姿勢とずれが生じる。

　そこで、遅延補償部３１２は、注目オブジェクトのオブジェクトデータに含まれる取得時刻に対応して、絶対位置姿勢推定部２１５により推定された端末装置２００の絶対位置姿勢を補正する。具体的には、遅延補償部３１２は、相対位置姿勢推定部３１１により推定された端末装置２００の相対位置姿勢変化量に基づいて、端末装置２００の絶対位置姿勢を補正する。

　また、遅延補償部３１２は、端末装置２００の絶対位置姿勢を補正する以外に、注目オブジェクトの位置も補正する。センサデータが取得された時刻と、絶対位置姿勢が推定される時刻の間に、注目オブジェクトが移動している可能性があるためである。そこで、遅延補償部３１２は、取得時刻に対応して補正した絶対位置姿勢に対して、注目オブジェクトを投影してカメラ画像上の位置を取得する。この位置と、絶対位置姿勢が推定された時刻におけるカメラ画像上の注目オブジェクトの位置がずれていた場合、注目オブジェクトは移動していることになる。この場合、遅延補償部３１２は、カメラ画像上の位置の変化量を用いて三次元位置を予測することで、注目オブジェクトの三次元位置を補正する。

　補正された端末装置２００の絶対位置姿勢と注目オブジェクトの三次元位置は、表示制御部２１６に供給される。

　表示制御部２１６は、遅延補償部３１２により補正された端末装置２００の絶対位置姿勢に基づいて、表示部２１７の表示領域上の補正された注目オブジェクトの三次元位置に対応した表示位置への、コンテンツデータで表されるＡＲコンテンツの表示を制御する。

（端末装置の動作）
　図１２のフローチャートを参照して、図１１の端末装置２００の動作（処理）の流れについて説明する。図１２の処理もまた、例えば、表示部２１７においてＡＲコンテンツが表示されるフレームレートと同じ時間単位で、繰り返し実行される。

　なお、図１２のステップＳ３１，Ｓ３２においては、図１０のステップＳ２１，Ｓ２２と同様の処理が行われるので、その説明は省略する。

　すなわち、ステップＳ３３において、相対位置姿勢推定部３１１は、撮像部２１２からのカメラ画像に基づいて、注目オブジェクトのオブジェクトデータに含まれる取得時刻からの、端末装置２００の相対位置姿勢変化量を推定する。

　ステップＳ３４においては、図１０のステップＳ２３と同様にして、注目オブジェクトのオブジェクトデータに含まれる三次元位置情報で表される三次元位置と、カメラ画像における注目オブジェクトのカメラ画像上の位置とが対応付けられる。

　ステップＳ３５においては、図１０のステップＳ２４と同様にして、注目オブジェクトの三次元位置と、カメラ画像における注目オブジェクトのカメラ画像上の位置の対応関係に基づいて、端末装置２００の絶対位置姿勢が推定される。

　ステップＳ３６において、遅延補償部３１２は、相対位置姿勢推定部３１１により推定された端末装置２００の相対位置姿勢変化量に基づいて、端末装置２００の絶対位置姿勢と注目オブジェクトの三次元位置を補正する。

　そして、ステップＳ３７において、表示制御部２１６は、遅延補償部３１２により補正された端末装置２００の絶対位置姿勢に基づいて、表示部２１７の表示領域上の補正された注目オブジェクトの三次元位置に対応した表示位置に、コンテンツデータで表されるＡＲコンテンツを表示する。

　以上の構成および処理によれば、ＡＲ表示システムにおいて、センサデータの取得からＡＲコンテンツの表示までの遅延時間が大きい場合であっても、注目オブジェクトに対する表示位置がずれることなく、ＡＲコンテンツを表示することが可能となる。

　なお、遅延補償部３１２においては、ＡＲコンテンツのレンダリングに要する時間などを考慮して、相対位置姿勢推定部３１１やオブジェクト追跡部２１３によって保持されている過去の情報を用いて、端末装置２００の将来の絶対位置姿勢が予測されてもよい。例えば、遅延補償部３１２は、端末装置２００の過去の相対位置姿勢変化量と、カメラ画像における注目オブジェクトの過去のカメラ画像上の位置（軌跡）を用いて、端末装置２００や注目オブジェクトの運動状態（等速直線運動をしているなど）を推定することで、端末装置２００の将来の絶対位置姿勢を予測することができる。

＜６．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

　図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　本開示に係る技術を適用し得るサーバ１００や端末装置２００は、図１３に示される構成を有するコンピュータ５００により実現される。

　ＣＰＵ５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続される。また、入出力インタフェース５０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、リムーバブルメディア５１１を駆動するドライブ５１０が接続される。

　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを入出力インタフェース５０５およびバス５０４を介してＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

　ＣＰＵ５０１が実行するプログラムは、例えばリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５０８にインストールされる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。

　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本開示は以下のような構成をとることができる。
（１）
　ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、自装置の絶対位置姿勢を推定する位置推定部
　を備える端末装置。
（２）
　前記位置推定部は、前記絶対位置姿勢として、前記自装置の三次元位置と姿勢を推定する
　（１）に記載の端末装置。
（３）
　前記注目オブジェクトの前記三次元位置と前記カメラ画像上の位置とを対応付ける対応付け部をさらに備える
　（２）に記載の端末装置。
（４）
　前記対応付け部は、前記オブジェクトデータに含まれる前記注目オブジェクトの特徴量と、前記カメラ画像における前記注目オブジェクトの前記特徴量に基づいて、前記注目オブジェクトの前記三次元位置と前記カメラ画像上の位置とを対応付ける
　（３）に記載の端末装置。
（５）
　前記対応付け部は、前記カメラ画像において、前記注目オブジェクトに付随する前記オブジェクトデータを取得するためのセンサを認識することで、前記注目オブジェクトの前記三次元位置と前記カメラ画像上の位置とを対応付ける
　（３）に記載の端末装置。
（６）
　前記オブジェクトデータが取得された取得時刻に対応して、前記絶対位置姿勢を補正する遅延補償部をさらに備える
　（１）乃至（５）のいずれかに記載の端末装置。
（７）
　前記カメラ画像に基づいて、前記取得時刻からの前記自装置の相対位置姿勢変化量を推定する相対位置姿勢推定部をさらに備え、
　前記遅延補償部は、推定された前記相対位置姿勢変化量に基づいて、前記絶対位置姿勢を補正する
　（６）に記載の端末装置。
（８）
　前記遅延補償部は、前記取得時刻に対応して補正された、前記カメラ画像における前記注目オブジェクトの前記カメラ画像上の位置をさらに用いて、前記絶対位置姿勢を補正する
　（６）に記載の端末装置。
（９）
　推定された前記絶対位置姿勢に基づいて、表示領域上の前記注目オブジェクトに対応した表示位置へのコンテンツの表示を制御する表示制御部をさらに備える
　（１）乃至（８）のいずれかに記載の端末装置。
（１０）
　前記表示制御部は、前記注目オブジェクトを含む実空間を透過する前記表示領域における前記コンテンツの表示を制御する
　（９）に記載の端末装置。
（１１）
　ＡＲグラスとして構成される
　（１０）に記載の端末装置。
（１２）
　前記表示制御部は、前記表示領域に表示された前記注目オブジェクトを含む前記カメラ画像への前記コンテンツの重畳表示を制御する
　（９）に記載の端末装置。
（１３）
　スマートフォンとして構成される
　（１２）に記載の端末装置。
（１４）
　前記コンテンツを生成するサーバから、前記コンテンツとともに配信される前記注目オブジェクトの前記オブジェクトデータを受信する受信部をさらに備える
　（９）乃至（１３）のいずれかに記載の端末装置。
（１５）
　前記注目オブジェクトは、スポーツ競技に係る競技者、動物、機械、および用具、並びに、前記競技者、前記動物の各関節、および、前記機械、前記用具のパーツを含み、
　前記コンテンツは、前記スポーツ競技の記録、前記注目オブジェクトの動作の再現、および前記注目オブジェクトの軌跡を表す表示情報である
　（９）乃至（１４）のいずれかに記載の端末装置。
（１６）
　端末装置が、
　ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、自装置の絶対位置姿勢を推定する
　位置姿勢推定方法。
（１７）
　コンピュータに、
　ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、端末装置の絶対位置姿勢を推定する
　処理を実行させるためのプログラム。

　１００　サーバ，　１１１　オブジェクトデータ生成部，　１１２　コンテンツデータ生成部，　１１３　データ配信部，　２００　端末装置，　２１１　受信部，　２１２　撮像部，　２１３　オブジェクト追跡部，　２１４　対応付け部，　２１５　絶対位置姿勢推定部，　２１６　表示制御部，　２１７　表示部，　３１１　相対位置姿勢推定部，　３１２　遅延補償部

Claims (17)

1. 　ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、自装置の絶対位置姿勢を推定する位置推定部
   　を備える端末装置。
2. 　前記位置推定部は、前記絶対位置姿勢として、前記自装置の三次元位置と姿勢を推定する
   　請求項１に記載の端末装置。
3. 　前記注目オブジェクトの前記三次元位置と前記カメラ画像上の位置とを対応付ける対応付け部をさらに備える
   　請求項２に記載の端末装置。
4. 　前記対応付け部は、前記オブジェクトデータに含まれる前記注目オブジェクトの特徴量と、前記カメラ画像における前記注目オブジェクトの前記特徴量に基づいて、前記注目オブジェクトの前記三次元位置と前記カメラ画像上の位置とを対応付ける
   　請求項３に記載の端末装置。
5. 　前記対応付け部は、前記カメラ画像において、前記注目オブジェクトに付随する前記オブジェクトデータを取得するためのセンサを認識することで、前記注目オブジェクトの前記三次元位置と前記カメラ画像上の位置とを対応付ける
   　請求項３に記載の端末装置。
6. 　前記オブジェクトデータが取得された取得時刻に対応して、前記絶対位置姿勢を補正する遅延補償部をさらに備える
   　請求項１に記載の端末装置。
7. 　前記カメラ画像に基づいて、前記取得時刻からの前記自装置の相対位置姿勢変化量を推定する相対位置姿勢推定部をさらに備え、
   　前記遅延補償部は、推定された前記相対位置姿勢変化量に基づいて、前記絶対位置姿勢を補正する
   　請求項６に記載の端末装置。
8. 　前記遅延補償部は、前記取得時刻に対応して補正された、前記カメラ画像における前記注目オブジェクトの前記カメラ画像上の位置をさらに用いて、前記絶対位置姿勢を補正する
   　請求項６に記載の端末装置。
9. 　推定された前記絶対位置姿勢に基づいて、表示領域上の前記注目オブジェクトに対応した表示位置へのコンテンツの表示を制御する表示制御部をさらに備える
   　請求項１に記載の端末装置。
10. 　前記表示制御部は、前記注目オブジェクトを含む実空間を透過する前記表示領域における前記コンテンツの表示を制御する
    　請求項９に記載の端末装置。
11. 　ＡＲグラスとして構成される
    　請求項１０に記載の端末装置。
12. 　前記表示制御部は、前記表示領域に表示された前記注目オブジェクトを含む前記カメラ画像への前記コンテンツの重畳表示を制御する
    　請求項９に記載の端末装置。
13. 　スマートフォンとして構成される
    　請求項１２に記載の端末装置。
14. 　前記コンテンツを生成するサーバから、前記コンテンツとともに配信される前記注目オブジェクトの前記オブジェクトデータを受信する受信部をさらに備える
    　請求項９に記載の端末装置。
15. 　前記注目オブジェクトは、スポーツ競技に係る競技者、動物、機械、および用具、並びに、前記競技者、前記動物の各関節、および、前記機械、前記用具のパーツを含み、
    　前記コンテンツは、前記スポーツ競技の記録、前記注目オブジェクトの動作の再現、および前記注目オブジェクトの軌跡を表す表示情報である
    　請求項９に記載の端末装置。
16. 　端末装置が、
    　ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、自装置の絶対位置姿勢を推定する
    　位置姿勢推定方法。
17. 　コンピュータに、
    　ユーザが注目している注目オブジェクトのオブジェクトデータに含まれる三次元位置と、前記ユーザのカメラ画像における前記注目オブジェクトの前記カメラ画像上の位置との対応関係に基づいて、端末装置の絶対位置姿勢を推定する
    　処理を実行させるためのプログラム。

Images