JP7264788B2 - 提示システム、サーバ及び端末 - Google Patents

Description

本発明は、通信帯域の圧迫を抑制して高品質な拡張現実を提供することが可能な提示システム、サーバ及び端末に関する。

撮像対象と撮像部との相対的な位置および姿勢を推定し関連情報を提示する拡張現実において、リアルタイムかつ高品位に情報を提示することができれば、利用者の利便性を向上させることができる。この拡張現実を実現する従来技術の例として、特許文献１に開示のものがあり、ここでは以下のような手法が公開されている。

特許文献１では、サーバに備え付けられた撮像部で対象を撮像し撮像情報に撮像された撮像対象を認識した結果に応じて関連情報を描画した上で、描画結果を端末へ伝送し端末で提示する手法を開示している。このとき、サーバの高性能な計算リソースを利用することで関連情報は高品位に描画されうる。

特開２０１４－４４６５５号公報

特許文献１では、サーバの豊富な計算資源を利用できるが、映像伝送が必要であるため、通信帯域が狭いと実現できないという問題がある。

上記従来技術の課題に鑑み、本発明は、通信帯域の圧迫を抑制して高品質な拡張現実を提供することが可能な提示システム、サーバ及び端末を提供することを目的とする。

上記目的を達成するため、本発明は、拡張現実表示を行う端末とサーバとを備える提示システムであって、前記端末は、カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、前記サーバは、前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、前記端末はさらに、前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、前記復元された第二描画情報に基づいた表示を行う提示部と、を備えることを特徴とする。また、前記提示システムにおけるサーバ及び端末であることを特徴とする。

本発明によれば、サーバから端末へと映像を直接に伝送するのではなく相違情報を伝送することで、端末において高品質な第二描画情報を復元して表示し、高品質な拡張現実を提供することが可能となる。

一実施形態に係る提示システムの機能ブロック図である。 提示システムにおけるリアルタイムの離散的な各時刻の動作シーケンスの一例を示す図である。 提示システムの各機能部において処理される各情報の模式例を第１パネル～第３パネルに分けて示す図である。 図３の設定例における第一、第二及び第三描画情報及び対応する相違情報のうち、アルベドマップに関するものの模式例を示す図である。 一般的なコンピュータにおけるハードウェア構成の例を示す図である。

図１は、一実施形態に係る提示システムの機能ブロック図である。提示システム100は、インターネット等のネットワークNWを介して相互に通信可能とされる端末10及びサーバ20で構成される。図示するように機能ブロック構成として、端末10は撮像部11、認識部12、第一描画部13、統合部14、提示部15及び端末側送受部16を備え、サーバ20は第二描画部21、第三描画部22、抽出部23及びサーバ側送受部24を備える。

端末側送受部16及びサーバ側送受部24はそれぞれ端末10及びサーバ20におけるネットワークNWを介した情報の送受信を担う機能部であり、ハードウェアとしては通信インタフェースで構成することができ、アプリケーション用途に応じた任意内容の情報をネットワークNW上で送受信する機能（通信機能）を有する。本実施形態においては当該通信機能により、端末側送受部16及びサーバ側送受部24は、端末10が送信してサーバ20で受信する情報として詳細を後述する認識部12で得る対象情報の送受信と、この逆にサーバ20が送信して端末10で受信する情報として詳細を後述する抽出部23で得る相違情報の送受信と、を担うものである。

提示システム100はその全体的な動作として、例えば30fps（フレーム毎秒）や120fpsといったような所定の表示処理レートに応じたリアルタイムの各時刻t(t=1,2,…)において端末10で現実世界にある対象の撮像を行い、撮像された対象に応じた描画処理を端末10及びサーバ20において行い、描画結果を端末10においてリアルタイムで表示することで、端末10を利用するユーザに対して撮像された対象に応じた拡張現実表示を提供するものである。

図２は、提示システム100における上記リアルタイムの離散的な各時刻t(t=1,2,…)の動作シーケンスの一例を示す図である。図２では、リアルタイムの処理タイミングである任意の時刻tにおける提示システム100での共通の処理ステップ群SG(t)が、図１に示す各機能部の各処理において発生する情報の授受の流れと共に示されている。（すなわち、提示システム100は各時刻tにおいてこの処理ステップ群SG(t)を実行することで、リアルタイムの拡張現実表示を端末10のユーザに提供するものである。）図２にて、図１に示される端末10及びサーバ20の各機能部に付された縦線は下方向が共通の時間進行を表す、各機能部における処理のタイムラインであり、当該縦線上のグレーのバー領域は、当該機能部において処理が行われている時間帯（処理に必要な情報の一部を受け取って待機中の時間帯も含む）を模式的に表したものであり、一実施形態においてリアルタイムの離散的な各時刻t(t=1,2,…)の間隔内において処理が完了する連続的な時間帯を模式的に表すものである。図２では横方向での矢印線が、各機能部間での情報の授受の流れを表している。

以下、図１及び図２に示される提示システム100におけるリアルタイムの各時刻t(t=1,2,…)での各機能部の処理の詳細を説明する。図３は、提示システム100の各機能部において処理される各情報の模式例を第１パネルPL1～第３パネルPL3に分けて示す図であり、以下の説明において適宜、参照する。

撮像部11は、後段側の認識部12において認識される対象が存在する実世界の撮像を行い、得られた撮像画像を端末10内の認識部12及び統合部14へと出力する。ここで、図２にも示されるように撮像がなされた時刻t（リアルタイムの処理タイミングとしての離散的な時刻t=1,2,…）を紐づけた撮像画像P(t)として出力される。撮像部11はハードウェアとしてはカメラで構成することができ、端末10を利用するユーザが当該カメラを操作することにより、（例えばカメラを対象に向ける操作などを行うことにより、）撮像部11による撮像が行われる。

図３では第１パネルPL1に撮像部11で時刻tについて得られた撮像画像P(t)の例が示され、撮影されている対象OBはその一例として現実世界の地面GR上に配置された正方マーカである場合が示されている。

認識部12は撮像部11で得た撮像画像P(t)に対して、撮像されている対象OBの種類（物体種別）を認識し、且つ、この対象OBの位置姿勢を計算した結果の対象情報OB(t)を求め、この対象情報OB(t)を第一描画部13へと出力すると共に、通信機能（端末側送受部16及びサーバ側送受部24の機能）を介してサーバ20の第二描画部21及び第三描画部22へと送信する。すなわち、第一描画部13、第二描画部21及び第三描画部22へとそれぞれ出力される対象情報OB(t)は、撮像画像P(t)に撮像されている対象OBの種類の情報と、この対象OBの位置姿勢の情報と、で構成されるものである。なお、対象情報OB(t)には、時刻tの撮像画像P(t)から求めた情報として、この撮像の時刻tの情報が紐づいている。

認識部12における撮像画像から撮像されている対象の物体種別を認識する処理と、当該対象の位置姿勢を計算する処理とには、既存の拡張現実表示技術等において利用されている任意の既存手法を用いることができる。例えば、画像よりSIFT特徴情報等の特徴点及び特徴量の検出を行い、リファレンスとなる１種類以上の物体種別に関して予め登録されている特徴情報との照合を行い、照合により特徴情報同士が最も一致すると判定される物体種別を対象の認識結果とし、この照合の際に一致した特徴点同士の画像座標の対応関係を与える変換（平面射影変換）の関係として、対象の位置姿勢を得るようにしてもよい。３次元コンピュータグラフィックスの分野において既知のように、こうして得られる対象の位置姿勢は、所定の３次元世界座標系内における対象の座標(X,Y,Z)_[世界]と、撮像部11を構成するハードウェアとしてのカメラにおける３次元カメラ座標系での対象の座標(X,Y,Z)_[カメラ]と、の変換関係として表現されるものであり、当該カメラの外部パラメータに相当するものである。

図３の例では第１パネルPL1に示される撮像画像P(t)より対象情報OB(t)として、対象OBの物体種別が所定の正方マーカである旨の情報と、その位置姿勢の情報として、正方マーカとして歪みのない正方形状に見えるようカメラから真正面にあるのではなく、地面GR上に傾いて位置している旨の情報（外部パラメータとして表現される情報）と、が得られる。

第一描画部13は、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデルを２次元画像平面上に描画することで第一描画情報G1(t)を得て、この第一描画情報G1(t)を統合部14へと出力する。ここで、対象情報OB(t)における物体種別より、提示システム100で実現する拡張現実表示の用途に応じたコンテンツとして管理者等により予め用意され、端末10上あるいはネットワークNW上に保存されているこの物体種別に応じた所定の３次元モデルを読み込み、この３次元モデルを対象情報OB(t)における位置姿勢に配置して２次元画像平面（撮像部11を構成するカメラの画像平面）上に描画することで、第一描画情報G1(t)を得ることができる。３次元コンピュータグラフィックスの分野においてビューイングパイプラインの関係として既知のように、この２次元画像平面上への描画は、撮像部11をハードウェアとして構成するカメラについて既知の内部パラメータを用いて行うことができる。

図３の例では第２パネルPL2内に第一描画情報G1(t)の例として、対象情報OB(t)の物体種別である所定の正方マーカに応じた３次元モデルとして立方体を、対象情報OB(t)における対象OBの位置姿勢に応じた位置姿勢として、正方マーカが乗る平面（撮像画像P(t)における地面GR）上に立方体が位置している状態で描画したものが示されている。

図３の例にも示されるように、第一描画情報G1(t)は画像平面内において３次元モデルが描画された領域のみにその描画結果としての画素値が与えられるマスク画像の形式で得ることができる。後述する第二描画情報G2(t)及び第三描画情報G3(t)も同様にマスク画像の形式で得ることができるものである。

第二描画部21及び第三描画部22は、第一描画部13における処理と同様に、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデルを２次元画像平面上に描画することで第二描画情報G2(t)及び第三描画情報G3(t)をそれぞれ得て、この第二描画情報G2(t)及び第三描画情報G3(t)を抽出部23へと出力する。ここで、第二描画部21及び第三描画部22において描画を行う際の、対象情報OB(t)の物体種別に応じて参照する描画対象の所定の３次元モデルと、描画の際の位置姿勢の反映の仕方とは、第一描画部13におけるものと同一である。（すなわち、サーバ20側においても、サーバ20上あるいはネットワークNW上に保存されている物体種別に応じた所定の３次元モデル（第一描画部13で利用したのと同様のもの）を読み込んで、第二描画部21及び第三描画部22で描画を行う。）

特に、第一描画部13での描画処理と第三描画部22での描画処理とは同一であり、両者共に、第一描画品質を与える第一描画態様において描画を行う。一方、第二描画部21は、第一描画部13及び第三描画部22が描画したのと同一の３次元モデルを同一の位置姿勢において描画するが、第一描画品質よりも高い第二描画品質を与える第二描画態様での描画を行う、という相違点がある。

第一描画部13及び第三描画部22での第一描画品質を与える第一描画態様と、これよりも高い第二描画部21での第二描画品質を与える第二描画態様とには、種々の実施形態が可能である。例えば、用いる光源モデルや反射モデル（モデル種別及び／又はモデル計算パラメータ）の違いで第一描画態様と第二描画態様とを区別して与えることができる。

図３の第２パネルPL2内には、既に説明した通りに第一描画部13で得られる第一描画情報G1(t)が第三描画部22による第三描画情報G3(t)と同一のものとして示され、また、これらより高品位なものとして第二描画部21で描画された第二描画情報G2(t)が示されている。前者G1(t),G3(t)は第一描画態様として点光源及び拡散反射モデルで描画され、後者G2(t)は第二描画態様として第一描画態様と同様の点光源及び拡散反射モデルに加えてさらに鏡面反射モデルも用いて描画されたものである。前者及び後者共に、点光源と立方体によって生じる影が描画されているが、前者よりも後者の方が、鏡面反射モデルが追加されることで立方体において見えている３面の各々における面内での輝度変化がより大きなものとなり、高品質に描画されていることを見て取ることができる。

通常、第二描画態様では第一描画態様よりも高品質な描画結果が得られる代わりに、第一描画態様よりも多くの計算量（空間及び時間）を要することが想定される。図２の模式例では、この想定に即した例として、第二描画部21において第二描画情報G2(t)を描画するための計算時間の方が、第三描画部22において第三描画情報G3(t)を描画するための計算時間よりも長くなっていることを見て取ることができる。

抽出部23は、第二描画部21で高品質なものとして得た第二描画情報G2(t)と第三描画部22で得た第三描画情報G3(t)と、の相違を相違情報D(t)として抽出し、この相違情報D(t)を通信機能（端末側送受部16及びサーバ側送受部24の機能）を介して端末10の統合部14へと送信する。一実施形態では抽出部23は、以下の式(1)で示されるように、マスク画像としての第二描画情報G2(t)と第三描画情報G3(t)との差分画像として、相違情報D(t)を抽出することができる。
D(t)=G2(t)-G3(t) …(1)

差分画像としての相違情報D(t)は、各画素位置(u,v)において第二描画情報G2(t)の画素値G2(t)(u,v)から第三描画情報G3(t)の画素値G3(t)(u,v)を減算した、差分の画素値を与えた画像として得ることができる。この差分の画素値は、ゼロ又は正負いずれの値も取りうる。マスク画像としての第二描画情報G2(t)及び第三描画情報G3(t)におけるマスク外の領域（描画がなされず値が設定されていない領域）において、差分画像としての相違情報D(t)の画素値はゼロとすればよい。

図３の第２パネルPL2内には例として、上記の式(1)により差分画像として求めた相違情報D(t)が示されている。この相違情報D(t)は、差分の絶対値が大きいほど黒色寄りになるグレースケール画像として模式的に表現されたものである。なお、第２パネルPL2内では上記の式(1)と同値の関係である以下の式(2)の関係も各情報の模式例の間に「=」及び「+」を付すことで模式的に示されている。
G2(t)=G3(t)+D(t) …(2)

なお、第２パネルPL2内にも例示される通り、第二描画情報G2(t)と第三描画情報G3(t)とは、同一の３次元モデルを同一の位置姿勢において描画しているものであるため、互いに描画品質は異なるが、画素値の空間的な分布は大きく類似しており、（すなわち、画像としての相互の類似は顕著であり、）差分としての相違情報D(t)は第二描画情報G2(t)と比べて顕著に情報量が削減されたものとなる。本実施形態においては、端末10とサーバ20との間でネットワークNWを経由して情報量の大きい第二描画情報G2(t)を送受信するのではなく、情報量の小さい相違情報D(t)（及び同様に、画像と比べて情報量の小さい対象情報OB(t)）を送受信することにより、ネットワークNWの帯域を圧迫しない効果が得られる。

なお、以上の説明における各情報の変数名表記からも明らかなように、撮像画像P(t)の撮像時刻tが紐づいた対象情報OB(t)を受け取ってサーバ20の各部21,22,23で処理を行って得られる第二描画情報G2(t)、第三描画情報G3(t)及び相違情報D(t)に関しても、この撮像時刻tが紐づいたものとして得られるものとなる。

統合部14は、共通の撮像時刻tが紐づいたものとして第一描画部13から得られる第一描画情報G1(t)と、抽出部23から得られる相違情報D(t)と、撮像部11から得られる撮像画像P(t)と、を用いて、この時刻tにおける提示情報AR(t)を生成し、提示部15へと出力する。

統合部14では、サーバ20側で求めている高品質な第二描画情報G2(t)を端末10の側で復元する処理を行ってから、当該復元された第二描画情報G2(t)を対象OBに応じた拡張現実表示として撮像画像P(t)に対して重畳することで、拡張現実表示を実現した画像として提示情報AR(t)を得ることができる。

ここで、復元処理は次のようにすればよい。すなわち、第一描画部13、第二描画部21及び第三描画部22の説明で既に述べたように、端末10において求めた第一描画情報G1(t)はサーバ20において求めた第三描画情報G3(t)と同じものであるという関係「G1(t)=G3(t)」を利用して前述の式(2)を適用すればよく、具体的には、統合部14において以下の式(3)の加算処理により第一描画情報G1(t)と相違情報D(t)とを統合し、第一描画情報G1(t)に対して相違情報D(t)の相違を反映することにより、第二描画情報G2(t)を復元することができる。
G2(t)=G1(t)+D(t) …(3)

図３の第３パネルPL3内には上記の式(3)により端末10の側で復元された第二描画情報G2(t)を撮像画像P(t)に対して重畳することで生成された提示情報AR(t)の例が示されている。

提示部15は、ハードウェアとしてディスプレイで構成されるものであり、統合部14から得られた提示情報AR(t)を、端末10のユーザに対して提示する。

以上、本発明の一実施形態によれば、計算リソースが豊富なサーバ20においてサーバサイドレンダリングにより高品質な第二描画情報G2(t)と、端末10の側で生成するのと同様な第三描画情報G3(t)と、を生成し、ネットワークNWを介して送信するのはこれらの差分として、情報量が第二描画情報G2(t)と比べて削減された相違情報D(t)を送信し、端末10の側ではその計算リソースにおいて可能な品質の第一描画情報G1(t)を生成したうえで、受信した相違情報D(t)を反映することで、高品質な第二描画情報G2(t)を端末10自身において直接に生成することなく復元し、提示情報AR(t)を得ることができる。

すなわち、本発明の一実施形態によれば、サーバサイドレンダリング方式によるサーバ20の豊富な計算リソースを活用して、ネットワークNWの帯域を圧迫することなく、計算リソースが限られている端末10において高品質な拡張現実表示を実現することが可能となる。ここで、相違情報D(t)はデータサイズが小さいため、サーバ20と端末10との間での伝送時間も短縮可能である。

以下、本発明の別の実施形態や補足等に関する追加の説明を行う。なお、対比説明のため、以上において説明してきた実施形態を第一実施形態と呼ぶ。

（１） 第一描画部13と第三描画部22とは共通の第一描画態様で描画を行うが、この共通の第一描画態様とは、描画に用いるモデル、アルゴリズム、パラメータ（例えば光線追跡モデルにおいて計算する反射や屈折の回数）等の観点（画像処理手法の観点）で共通のものであればよく、ソフトウェア及び／又はハードウェアによって第一描画部13及び第三描画部22を実装する際には相違があってもよい。例えば第一描画部13はCPUによって実行される第１のオペレーティングシステム（OS）上の第１のプログラム言語における実行命令で実現され、第三描画部22はCPUによって実行される第２のオペレーティングシステム（OS）上の第２のプログラム言語における実行命令で実現され、これら第１及び第２のOSとプログラム言語との両方又は片方が異なっていてもよい。また、ハードウェアとしてのCPU等の計算リソースが異なっていてもよい。換言すれば、第三描画部22は、第一描画部13をエミュレートするものとして、第一描画部13と同様の第一態様における描画処理を行うようにすればよい。（逆も同様である。）従って、第一描画部13で得る第一描画情報G1(t)と、第三描画部22で得る第三描画情報G3(t)とは、画像としてほぼ同じものとなることが想定されるが、必ずしも完全に同一の画像である必要はない。

上記と同様に、第一描画部13及び第三描画部22において共通の第一描画態様と、第二描画部21における第二描画態様と、の相違も、描画に用いるモデル、アルゴリズム、パラメータ等の少なくとも一部が相違するものとして設定しておけばよい。当該相違は、これらのモデルやパラメータを設定したソフトウェアパッケージ（コンピュータのプロセッサが実行可能な描画命令群）であるシェーダー及び／又はレンダラーの相違として設定されてもよい。（なお、レンダラーとは３次元描画全体を行うものであり、シェーダーはこの全体のうち、陰影処理に関連するものである。）例えば、第一描画部13及び第三描画部22では第一シェーダーを用いて描画を行い、第二描画部21では第一シェーダーよりも高品質な第二シェーダーを用いて描画を行うように設定してよい。

（２） 相違情報D(t)をサーバ20から端末10に送信する際は、サーバ20において圧縮符号化してデータサイズを減らしてから送信し、端末10において相違情報D(t)を復号するようにしてもよい。この際、可逆圧縮を用いて、端末10においてサーバ20で計算したのと同一データとしての相違情報D(t)を復号するようにしてもよいし、非可逆圧縮を用いて、圧縮率を向上させる代わりにサーバ20で計算した相違情報D(t)と完全同一ではない相違情報（幾分かの劣化を伴う相違情報）を端末10において復号するようにしてもよい。これら符号化及び復号には任意の既存手法を用いてよい。

（３） H.265映像符号化規格などに即した所定の動画像圧縮のエンコーダ（及びデコーダ）がソフトウェア及び／又はハードウェアとしてサーバ20及び端末10で利用できる場合、この枠組みに変更を加えて利用するようにしてもよい。具体的には、サーバ20の側で抽出部23においてエンコーダを実行し、予測符号化対象となるフレームとして第二描画情報G2(t)を設定し、予測モードとしてフレーム間予測を指定し、参照フレームとして第三描画情報G3(t)を指定し、動きベクトルとしてゼロベクトルを与える（SAD（最小絶対値和）やSSD（最小二乗和）等による動きベクトル探索は行わない）ことで、予測残差として差分情報D(t)を得ることができる。サーバ20から端末10へと圧縮符号化して伝送する情報は、予測モードとして動き予測が適用される旨の情報と、動きベクトルがゼロである旨の情報と、差分情報D(t)のみとし、参照フレームとしての第三描画情報G3(t)は伝送しないようにする。差分情報D(t)には直交変換及び量子化を適用したうえで量子化係数として伝送することができる。参照フレームとしての第三描画情報G3(t)は伝送しないため、これに相当する第一描画情報G1(t)を端末10の側で算出すべき旨のフラグ情報を伝送するようにしてもよい。端末10の統合部14においては、伝送されていない参照フレームとしての第三描画情報G3(t)を第一描画部13より得られている第一描画情報G1(t)で差し替えて利用するようにし、デコーダの枠組みを利用して、サーバ20の逆の処理で量子化係数に逆量子化及び逆直交変換を適用して差分情報D(t)を再構成したうえで、ゼロの動きベクトルによる予測を適用して、差し替えられた第一描画情報G1(t)に再構成された差分情報D(t)を反映することで第二描画情報G2(t)を復号できる。

（４） 第一実施形態では、第一、第二及び第三描画情報G1(t),G2(t),G3(t)は、拡張現実表示する際の画像平面（撮像部11を構成するカメラの画像平面）に描画された画像であった。すなわち、そのままの状態で撮像画像P(t)に対して重畳することで拡張現実表示可能なレンダリング結果としての画像であった。第二実施形態は第一実施形態の変形例として、第一、第二及び第三描画情報G1(t),G2(t),G3(t)を、レンダリング結果を得るために必要な前段階の各種情報として、第一描画部13、第二描画部21及び第三描画部22においてそれぞれ得るようにしてよい。そして、統合部14において、第一実施形態と同様に式(3)によって第二描画情報G2(t)を復元したうえで、第二実施形態における追加的な処理として、この復元された第二描画情報G2(t)に対して最終的なレンダリング結果を得るための後処理を行ってレンダリング結果を得たうえで、撮像画像P(t)に重畳して提示情報AR(t)を得るようにすればよい。

第二実施形態では３次元コンピュータグラフィックスの分野で用いられている、任意の種類の、レンダリング結果の前段階の情報として第一、第二及び第三描画情報G1(t),G2(t),G3(t)を得るようにしてよく、統合部14では当該種類に応じた既存手法として後処理を行うことで、レンダリング結果を得るようにしてよい。例えば、アルベドマップ（３Ｄモデルの展開図における光源効果を除外した表面テクスチャ）、ノーマルマップ（法線マップ）、ライトマップ（３Ｄモデルと光源による影のマップ）、リフレクションマップ（周囲環境の映り込みのマップ）の任意の組み合わせ（１つ以上または全部の組み合わせ）として描画情報G1(t),G2(t),G3(t)の各々を得るようにしてよい。

アルベドマップは３Ｄモデルの表面（ポリゴン）のテクスチャ（対象由来の直接のテクスチャ）を描画した情報であり、ノーマルマップやリフレクションマップは当該テクスチャを、対象以外の外部環境の要因も反映したうえで描画するために参照される情報である。

例えば、図３の例であれば、第一、第二及び第三描画情報G1(t),G2(t),G3(t)を以下のように得るようにしてもよい。
G1(t)及びG3(t)…アルベドマップ及びライトマップ（拡散反射モデルによる）
G2(t)…アルベドマップ及びライトマップ（拡散反射モデル及び鏡面反射モデルによる）

図４は、上記の図３の設定例における第一、第二及び第三描画情報G1(t),G2(t),G3(t)及び対応する相違情報D(t)のうち、アルベドマップに関するものをそれぞれG1'(t),G2'(t),G3'(t)及びD'(t)として、模式例を示す図であり、３Ｄモデルとしての立方体の展開図における表面テクスチャ及びその差分が示されている。なお、不図示であるが、上記の設定例における第一、第二及び第三描画情報G1(t),G2(t),G3(t)及び対応する相違情報D(t)のうち、ライトマップに関するものをG1''(t),G2''(t),G3''(t)及びD''(t)とすると、品質に相違がないように設定されている場合には以下の関係がある。
G1''(t)=G2''(t)=G3''(t)
D''(t)=0
一方、ライトマップに関しても品質に相違を設けて設定し、例えば、G1(t)及びG3(t)におけるライトマップはアンビエントオクルージョンを考慮しないものとし、G2(t)におけるライトマップはアンビエントオクルージョンを考慮したより高品質なものとしてもよい。（あるいは、アンビエントオクルージョンを考慮する精度に相違を設けて設定してもよい。）この場合、上記とは異なり、G2''(t)≠G1''(t), G2''(t)≠G3''(t),D''(t)≠0となる。

図３及び図４の例であれば、統合部14はアルベドマップ及びライトマップ（拡散反射モデル及び鏡面反射モデルによる）として復元された第二描画情報G2(t)を用いて後処理（アルベドマップ及び３Ｄモデルを撮像部11のカメラ視点に配置して描画し、さらに、ライトマップの影も描画する処理）を行うことで、図３の第２、第３パネルPL2,PL3内に示されるような最終的なレンダリング結果を得ることができる。

（５） 第一描画部13及び第三描画部22での第一描画品質を与える第一描画態様と、これよりも高い第二描画部21での第二描画品質を与える第二描画態様の区別として、既に説明した光源モデルや反射モデルの区別に加えて、あるいは代えて、描画する３Ｄモデルの品質の区別を用いるようにしてもよい。（当該区別は用いるレンダラーの相違に含まれるものである。）例えば、３Ｄモデルの形状の精密さに影響するポリゴンや法線情報に関して、第一描画態様では低密度、第二描画態様では高密度としてよく、３Ｄモデルを構成するポリゴンに貼り付けて描画するテクスチャに関して、第一描画態様では低解像度、第二描画態様では高解像度とする（あるいは、同一解像度であるが、表現されるテクスチャが精密化される）ようにしてよい。法線情報は前述のノーマルマップとして与えることができる。

また同様に、第二描画態様においては、第一描画態様では付与されていなかった効果を付与するようにしてもよい。例えば、３Ｄモデルを構成する各ポリゴン要素について、カメラ位置からの距離に応じて、遠近感の演出効果として距離が遠いほど強いぼかしを付与するようにしてもよいし、カメラ撮影を模した演出効果としてピントが合っている範囲から乖離するほど（すなわち、カメラに対して近すぎる又は遠すぎる際に）強いぼかしを付与するようにしてもよい。

（６） 第一実施形態は所定の撮像レート且つ処理レートにおいて、提示システム100が各時刻t（撮像の時刻t）に関する処理をリアルタイムで行うものであった。この変形例として、端末10の側では第一実施形態と同様に各時刻tでリアルタイムに処理を行うが、サーバ20の側で相違情報D(t)を求めて端末10の側に送信する処理は間欠的に行うようにしてもよい。すなわち、サーバ20の側の処理レートを、端末10の側の処理レートよりも粗いものとしてもよい。この場合、端末10の側では、粗な処理レートで得られている相違情報D(t)のうちの最新時刻のものを利用してリアルタイムの処理を行うようにすればよい。

例えば、端末10の側ではt=0,1,2,…、9,10,11,…,19,20,21,…等のようにリアルタイムで処理を行うが、サーバ20の側では10倍の粗な処理レートで、t=0,10,20,…のみに関して相違情報D(t)を求めて端末10の側に送信するようにしてもよい。この場合例えば、t=0,1,2,…,9の間では参照可能となっている最新の相違情報はD(0)であるためこれを利用し、式(3)に代えて以下の式(3')で統合部14による第二描画情報G2(t)の復元を行い、撮像画像P(t)に重畳して提示情報AR(t)を得るようにすればよい。
G2(t)=G1(t)+D(0) …(3')

この場合、相違情報D(t)すなわち高品質に第二描画情報G2(t)を描画するための差分情報はt=0,1,2,…,9の間で静止している状態にあるが、この間の撮像部11を構成するカメラや撮影されている対象の動きがそれほど大きくないことを前提に、リアルタイムで高品質な第二描画情報G2(t)及び提示情報AR(t)を得ることが可能となる。

（７） 第一実施形態において抽出部23は、第二描画情報G2(t)と第三描画情報G3(t)との差分画像として相違情報D(t)を求めた。すなわち、各画素位置(u,v)において画素値の差分「D(t)(u,v)=G2(t)(u,v)-G3(t)(u,v)」として相違情報D(t)を求めた。この変形例として、以下の式(4)に示される比や式(5a),(5b)に示される積和として相違情報D(t)を求めるようにしてもよい。式(5a),(5b)の積和の場合、G2(t)をG3(t)から線形予測するための係数(α,β)で相違情報を表現している。
D(t)(u,v)= G2(t)(u,v)/G3(t)(u,v) …(4)
D(t)(u,v)=(α(t)(u,v),β(t)(u,v)) …(5a)
G2(t)(u,v)=α(t)(u,v)*G3(t)(u,v)+β(t)(u,v) …(5b)

また、画素単位ではなくブロック単位で差分値や比や積和を求めたものとして相違情報D(t)を構成するようにしてもよく、この場合、抽出部23ではブロックごとに最小二乗法で予測残差の二乗和を最小化するものとして最適な差分値や比や積和の係数を定め、予測残差も含めて相違情報D(t)を構成するようすればよい。（なお、ブロックとは画像の範囲全体を区切るものとして予め設定しておくものであり、画像の画素数が横1600×縦1200であれば例えば、個別のブロックのサイズが縦100×横100である合計16×12=192個のブロックを設定するといったことが可能である。）例えば、式(5a),(5b)による積和の係数による予測及び予測残差で相違情報D(t)を構成する場合、ブロック単位で定まる予測係数(α(t),β(t))と、当該ブロック内の画素単位で定まる以下の式(5c)で与えられる予測残差D'(t)(u,v)と、で相違情報D(t)を構成してよい。
D'(t)(u,v)=G2(t)(u,v)-(α(t)*G3(t)(u,v)+β(t)) …(5c)

ここで、比や積和の係数は一般に実数となるので、有限個の実数値をルックアップテーブルで保持しておいて当該テーブル上のインデクスとしての整数で比や積和の係数を指定し、端末10の側に伝送するようにしてもよい。（端末10でもサーバ20と同様のルックアップテーブルを予め保持しておく。）統合部14においても同様に、画素単位の比の場合は式(4)で、画素単位の積和係数(α,β)の場合は式(5b)で、「G1(t)=G3(t)」の関係を用いて第一描画情報G1(t)から第二描画情報G2(t)を復元することができる。また、ブロック単位の積和の場合であれば、「G1(t)=G3(t)」の前提下で式(5c)と同値の以下の式(5d)により、ブロック単位の予測係数(α(t),β(t))による予測値「α(t)*G1(t)(u,v)+β(t)」に画素単位の予測残差D'(t)(u,v)を加算して第二描画情報G2(t)を復元できる。ブロック単位の比の場合も同様であり、式(5d)でβ(t)=0とすればよい。
G2(t)(u,v)=D'(t)(u,v)+(α(t)*G1(t)(u,v)+β(t)) …(5d)

（８） 第一実施形態にて、提示部15では撮像画像P(t)に第二描画情報G2(t)を重畳した拡張現実表示を提供するものとした。これは、端末10がディスプレイを有するスマートフォン等である場合や、ビデオシースルー型のディスプレイを有するHMD（ヘッドマウントディスプレイ）等である場合に適用可能である。この変形例として、端末10を光学シースルー型ディスプレイを有するHMD等で構成し、統合部14では第二描画情報G2(t)を復元して撮像画像P(t)への重畳を行うことなく第二描画情報G2(t)のみを提示部15へと出力し、提示部15では第二描画情報G2(t)のみを、ユーザの肉眼に直接見えている実世界の背景（撮像画像P(t)が撮像しているのと同じ背景）に対して重畳して表示することで拡張現実表示を提供するようにしてもよい。なお、光学シースルー型ディスプレイから見える景色が撮像部11のカメラで撮像する撮像画像と一致するように、ディスプレイ及びカメラ間で位置合わせやキャリブレーション等を予め行っておくようにすればよい。

（９） 図５は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。提示システム100における情報端末装置10及びサーバ20はそれぞれ、このような構成を有する１台以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する１つ以上の専用プロセッサ72（GPU（グラフィックス処理装置）や深層学習専用プロセッサ等）、CPU71にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ78と、これらの間でデータを授受するためのバスBSと、を備える。

情報端末装置10及びサーバ20の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、ネットワーク上でのデータ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。撮像部11及び提示部15をハードウェアとして構成するのがそれぞれ、カメラ78及びディスプレイ76である。端末側送受部16及びサーバ側送受部24をハードウェアとして構成するのが通信インタフェース75である。

100…提示システム、10…端末、20…サーバ
11…撮像部、12…認識部、13…第一描画部、14…統合部、15…提示部
21…第二描画部、22…第三描画部、23…抽出部

Claims (12)

1. 拡張現実表示を行う端末とサーバとを備える提示システムであって、
   前記端末は、
   カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
   前記サーバは、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
   前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
   前記端末はさらに、
   前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
   前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
   前記抽出部は、前記第三描画情報を参照フレームに設定し、前記第二描画情報を予測対象フレームに設定し、ゼロの動きベクトルでフレーム間予測を適用した予測残差として前記相違情報を抽出したうえで、前記参照フレームを除外した前記予測残差のみに対して符号化を適用することを特徴とする提示システム。
2. 拡張現実表示を行う端末とサーバとを備える提示システムであって、
   前記端末は、
   カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
   前記サーバは、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
   前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
   前記端末はさらに、
   前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
   前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
   前記端末では、第一時刻と当該第一時刻よりも後の第二時刻に関して、前記位置姿勢を求め、前記第一描画情報を得て、
   前記サーバでは、前記第一時刻での位置姿勢を用いて、前記第一時刻での相違情報を得て、
   前記端末の前記統合部では、前記第二時刻での第一描画情報に前記第一時刻での相違情報を反映することにより、前記第二描画部で得る第二描画情報の前記第二時刻に相当するものを復元することを特徴とする提示システム。
3. 拡張現実表示を行う端末とサーバとを備える提示システムであって、
   前記端末は、
   カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
   前記サーバは、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
   前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
   前記端末はさらに、
   前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
   前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
   前記第一描画情報、前記第二描画情報及び前記第三描画情報はそれぞれ、前記３次元モデルの表面のテクスチャを描画するために参照される情報であって、当該３次元モデルを構成する複数の表面要素を正面で見た状態に展開した２次元マップの情報を含んで構成されており、
   前記統合部は、前記２次元マップの状態において前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元したうえでさらに、当該復元した第二描画情報を前記位置姿勢のもとに３次元配置することで、前記３次元モデルの前記カメラの画像平面における描画結果を得ることを特徴とする提示システム。
4. 前記第一態様及び前記第二態様はそれぞれ所定の描画態様として予め設定されるものであり、且つ、前記第二態様における描画品質は前記第一態様における描画品質よりも高いものとして設定されていることを特徴とする請求項１ないし３のいずれかに記載の提示システム。
5. 前記第一態様の描画態様における描画品質と、前記第二態様の描画態様における描画品質と、の相違は、光源モデル、反射モデル又は３次元モデルのうちの少なくとも１つの相違として設定されることを特徴とする請求項４に記載の提示システム。
6. 前記第一態様の描画態様における描画品質と、前記第二態様の描画態様における描画品質と、の相違は、描画で用いるシェーダー及び／又はレンダラーの相違として設定されることを特徴とする請求項４に記載の提示システム。
7. 前記第一描画情報、前記第二描画情報及び前記第三描画情報はそれぞれ、前記カメラの画像平面において描画された画像であることを特徴とする請求項１または２に記載の提示システム。
8. 拡張現実表示を行う端末とサーバとを備える提示システムにおけるサーバであって、
   前記端末は、
   カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
   前記サーバは、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
   前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
   前記端末はさらに、
   前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
   前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
   前記抽出部は、前記第三描画情報を参照フレームに設定し、前記第二描画情報を予測対象フレームに設定し、ゼロの動きベクトルでフレーム間予測を適用した予測残差として前記相違情報を抽出したうえで、前記参照フレームを除外した前記予測残差のみに対して符号化を適用することを特徴とするサーバ。
9. 拡張現実表示を行う端末とサーバとを備える提示システムにおけるサーバであって、
   前記端末は、
   カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
   前記サーバは、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
   前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
   前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
   前記端末はさらに、
   前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
   前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
   前記第一描画情報、前記第二描画情報及び前記第三描画情報はそれぞれ、前記３次元モデルの表面のテクスチャを描画するために参照される情報であって、当該３次元モデルを構成する複数の表面要素を正面で見た状態に展開した２次元マップの情報を含んで構成されており、
   前記統合部は、前記２次元マップの状態において前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元したうえでさらに、当該復元した第二描画情報を前記位置姿勢のもとに３次元配置することで、前記３次元モデルの前記カメラの画像平面における描画結果を得ることを特徴とするサーバ。
10. 拡張現実表示を行う端末とサーバとを備える提示システムにおける端末であって、
    前記端末は、
    カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
    前記サーバは、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
    前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
    前記端末はさらに、
    前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
    前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
    前記抽出部は、前記第三描画情報を参照フレームに設定し、前記第二描画情報を予測対象フレームに設定し、ゼロの動きベクトルでフレーム間予測を適用した予測残差として前記相違情報を抽出したうえで、前記参照フレームを除外した前記予測残差のみに対して符号化を適用し、
    前記統合部は、前記第一描画情報を参照フレームに設定し、前記符号化された予測残差を再構成し、ゼロの動きベクトルでフレーム間予測を適用することで、前記第二描画情報を復号することによって前記復元することを特徴とする端末。
11. 拡張現実表示を行う端末とサーバとを備える提示システムにおける端末であって、
    前記端末は、
    カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
    前記サーバは、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
    前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
    前記端末はさらに、
    前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
    前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
    前記端末では、第一時刻と当該第一時刻よりも後の第二時刻に関して、前記位置姿勢を求め、前記第一描画情報を得て、
    前記サーバでは、前記第一時刻での位置姿勢を用いて、前記第一時刻での相違情報を得て、
    前記端末の前記統合部では、前記第二時刻での第一描画情報に前記第一時刻での相違情報を反映することにより、前記第二描画部で得る第二描画情報の前記第二時刻に相当するものを復元することを特徴とする端末。
12. 拡張現実表示を行う端末とサーバとを備える提示システムにおける端末であって、
    前記端末は、
    カメラで撮像した撮像画像より、撮像されている対象の種別を特定し、当該対象の前記カメラを基準とした位置姿勢を求める認識部と、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第一態様で描画するための第一描画情報を得る第一描画部と、を備え、
    前記サーバは、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において第二態様で描画するための第二描画情報を得る第二描画部と、
    前記種別に応じた３次元モデルを前記位置姿勢に配置して前記カメラの画像平面において前記第一態様で描画するための第三描画情報を得る第三描画部と、
    前記第二描画情報と前記第三描画情報との相違情報を抽出する抽出部と、を備え、
    前記端末はさらに、
    前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元する統合部と、
    前記復元された第二描画情報に基づいた表示を行う提示部と、を備え、
    前記第一描画情報、前記第二描画情報及び前記第三描画情報はそれぞれ、前記３次元モデルの表面のテクスチャを描画するために参照される情報であって、当該３次元モデルを構成する複数の表面要素を正面で見た状態に展開した２次元マップの情報を含んで構成されており、
    前記統合部は、前記２次元マップの状態において前記第一描画情報に前記相違情報を反映することにより、前記第二描画部で得た第二描画情報を復元したうえでさらに、当該復元した第二描画情報を前記位置姿勢のもとに３次元配置することで、前記３次元モデルの前記カメラの画像平面における描画結果を得ることを特徴とする端末。

Images