JP7429633B2

JP7429633B2 - 情報処理システム、端末、サーバ及びプログラム

Info

Publication number: JP7429633B2
Application number: JP2020203229A
Authority: JP
Inventors: 晴久加藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2024-02-08
Anticipated expiration: 2040-12-08
Also published as: JP2022090745A

Description

本発明は、サーバサイドレンダリング方式を用いた描画を行う情報処理システム、端末、サーバ及びプログラムに関する。

撮像対象と撮像部との相対的な位置および姿勢を推定し関連情報を提示する拡張現実において、リアルタイムかつ高品位に情報を提示することができれば、利用者の利便性を向上させることができる。上記を実現する従来技術の例として、特許文献１に開示のものがあり、ここでは次のような手法が公開されている。特許文献１では、サーバに備え付けられた撮像部で対象を撮像し撮像情報に撮像された撮像対象を認識した結果に応じて関連情報を描画した上で、描画結果を端末へ伝送し端末で提示する手法を開示している。このとき、サーバの高性能な計算リソースを利用することで関連情報は高品位に描画されうる。

特開２０１４－４４６５５号公報

特許文献１では、サーバサイドレンダリング方式の採用によりサーバの豊富な計算資源を利用できるが、映像伝送が必要であるため、通信帯域が狭いと実現できないという問題がある。サーバの計算資源を利用して高品位な描画結果を得るようにしつつ、映像伝送のデータサイズを抑制することが望まれるが、このような課題について特許文献１では検討されていなかった。

ここで、拡張現実等の用途における描画では通常、現実世界等に重畳させる仮想オブジェクト等を描画するため、描画しうる範囲全体において描画を行うのではなく、当該範囲全体のうち仮想オブジェクトが存在する一部分の範囲のみにおいて描画を行うこととなる。（仮想オブジェクトと仮想カメラが接近して仮想オブジェクトが拡大された結果、一時的に描画範囲全体に描画されるような状況は除く。）このため、描画可能範囲全体のうち、仮想オブジェクトが存在する領域を非透過領域とし、これ以外の領域を透過領域として区別して、仮想オブジェクト領域を指定することができる。さらに、仮想オブジェクト等の具体的な内容によっては、非透過と透過の中間にある段階的な半透明の状態として描画する場合もありうる。ここで、このような透過領域の情報それ自体も描画情報を構成するものとしてデータサイズを増大させる等の問題が発生しうるが、従来技術ではこの問題に対して適切に対処することができなかった。

特に、拡張現実において透過させる領域を表現する場合、一般的に２種類の方法が存在するがそれぞれ次の課題を抱える。ひとつは特定色を透過領域として処理する方法である。H.264など既存の映像符号化を利用できる利点があるが、透過・非透過しか表現できないため半透明などの表現に対応できない。もう一方は透過領域をひとつのチャネルとして処理する方法である。半透明を表現できる利点があるが、H.264など既存の映像符号化を利用できないため、透過領域そのものの伝送量に加えオーバーヘッドの伝送量増加が課題となる。

また、いずれの手法も、符号化ノイズの影響で透過領域が正確に再現できないという課題がある。図１にこの透過領域が正確に再現できない状況の模式例を示す。例EX1は、サーバでの仮想オブジェクト等の描画結果として、グレーの非透過領域と白色の透過領域とが滑らかな曲線状の境界を有するように得られていることを示す。例EX2は、例EX1の描画結果を符号化（H.264等の既存手法における非可逆圧縮）してから復号した結果の例であり、当初の曲線状の境界が不規則に変形してしまい、透過領域の正確な再現に失敗していることを示す。

本発明は上記従来技術の課題に鑑み、伝送データ量を削減しつつ高品位な描画結果を得ることのできる情報処理システム、端末、サーバ及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、第１描画部及び統合部を備える端末と、第２描画部を備えるサーバと、を備える情報処理システムであって、前記第１描画部は、所定モデルの画像範囲内における透過情報を第１描画情報として描画し、前記第２描画部は、透過情報が画像範囲の全体において非透過であるものとすることによって透過情報を含まないものとして、前記所定モデルを第２描画情報として描画し、前記サーバは前記第２描画情報を前記端末へと送信し、前記統合部は、前記第２描画情報に対して前記第１描画情報の透過情報を反映して、前記所定モデルの描画結果を得ることを特徴とする。また、前記情報処理システムにおける端末又はサーバであることを特徴とする。また、前記端末又はサーバとしてコンピュータを機能させるプログラムであることを特徴とする。

本発明によれば、端末では透過情報のみを第１描画情報として描画し、サーバでは透過情報を除外して描画して第２描画情報として描画することにより、送信対象となる第２描画情報の伝送データ量を削減することが可能となり、且つ、端末で受信した第２描画情報に透過情報である第１描画情報を反映することにより、サーバでの高品位な描画が反映され且つ透過情報も反映されたものとして、所定モデルの描画結果を端末側において得ることができる。

透過領域が正確に再現できない状況の模式例を示す図である。一実施形態に係る情報処理システムの構成図である。一実施形態に係る情報処理システムの端末及びサーバの機能ブロック図である。第１描画情報及び第２描画情報並びこれらの統合処理に関して説明するための例を示す図である。第１描画情報及び第２描画情報並びこれらの統合処理に関して説明するための例を示す図である。ブロック単位での処理を模式的に示す図である。拡大された描画を行う変形例を説明するための図である。一般的なコンピュータにおけるハードウェア構成を示す図である。

図２は、一実施形態に係る情報処理システムの構成図である。情報処理システム100は、インターネット等のネットワークNWを介して相互に通信可能とされる端末10及びサーバ20を備える。ここで、端末10に関しては複数台存在してもよく、サーバ20はその各々の端末10との間で互いに独立に情報提示のための処理を並行して行うことができ、端末10を利用するユーザUに対して当該ユーザUに応じた情報提示が実現される。以下、これら複数台存在することのできる端末10を代表する任意の1つの端末として説明する。

図３は、一実施形態に係る情報処理システム100の端末10及びサーバ20の機能ブロック図である。図示するように、端末10は撮像部11、認識部12、第１描画部13、統合部14及び提示部15を備え、サーバ20は第２描画部23を備える。

一実施形態に係る情報処理システム100では、端末10を利用するユーザUに対してユーザUがその場（ユーザUが存在する現場）で撮像した映像上にリアルタイムでの拡張現実表示を実現することができる。本発明の情報処理システム100は任意内容のコンテンツについてリアルタイム描画を行うことでこの描画結果によるリアルタイムでの情報提示を行うものとして利用可能であり、拡張現実表示以外の用途にも適用可能であるが、以下では説明例として拡張現実表示を行う場合について説明する。

図３に示す端末10及びサーバ20の各機能部は例えば30fps（フレーム毎秒）や120fpsといったような所定の表示処理レートに応じたリアルタイムの各時刻において共通の処理を各時刻において繰り返し実行し、端末10においてユーザに対して拡張現実表示を提供することができる。以下、このリアルタイムの各時刻を（現在）時刻t（t=1,2,3,…）として、未来時刻t+1,t+2,…や過去時刻t-1,t-2,…から区別して参照するものとし、図３の各機能部の処理内容に関して説明する。

図３にも示されるように、各機能部の処理の概要は次の通りである。撮像部11では現時刻tにおいて撮像を行って撮像画像P(t)を得て、この撮像画像P(t)を認識部12及び統合部14へと出力する。認識部12は撮像画像P(t)に対して認識処理を適用し、画像に撮像されている対象の認識結果である対象情報OB(t)を得て、この対象情報OB(t)を第１描画部13及び第２描画部23へと出力する。

第１描画部13及び第２描画部23は、得られた対象情報OB(t)に応じた共通の拡張現実表示コンテンツ（後段側の統合部14において最終的に提示情報D(t)内に描画される拡張現実表示コンテンツ）の描画を、役割分担して行うものである。第１描画部13では、対象情報OB(t)に応じた拡張現実表示コンテンツの描画を、領域等を表現する透過情報のみに関して行うことで第１描画情報G1(t)を得て、この第１描画情報G1(t)を統合部14へと出力する。第２描画部23では、対象情報OB(t)に応じた拡張現実表示コンテンツの描画を、領域等を表現する透過情報は（第１描画部13において描画されるものであるため）省略したうえで、所定サイズの矩形形状等として予め設定されている描画領域の全体に渡って行うことで第２描画情報G2(t)を得て、この第２描画情報G2(t)を統合部14へと送信する。

すなわち、第２描画情報G2(t)は、領域情報としての透過情報を含まない、RGBチャネル等で構成される矩形形状の通常の画像であり、透過情報を含まないことによってデータ量が抑制されたものとして描画される。第２描画部23では当該描画された第２描画情報G2(t)を映像{G2(t)|t=1,2,3…}としてH.264等の既存の符号化（非可逆圧縮）を適用したうえで端末10の統合部14へと送信することができる。

統合部14は、第２描画部23から受信して復号された画像として得られた第２描画情報G2(t)を、第１描画部13から得られる第１描画情報G1(t)と統合して拡張現実表示コンテンツを生成し、このコンテンツを撮像部11から得た撮像画像P1(t)に対して重畳することで提示情報D(t)を得て、この提示情報D(t)を提示部15へと出力する。（詳細を後述するように、統合部14では通常の画像として構成される第２描画情報G2(t)に対して第１描画情報G1(t)の透過情報を反映させることで統合する。）提示部15では提示情報D(t)をユーザに対して表示することで、ユーザに対してリアルタイムの各時刻tにおける拡張現実表示を実現する。

以下、これら図３の各機能部の処理の詳細に関して説明する。

撮像部11は、後段側の認識部12において認識される対象が存在する実世界の撮像を行い、得られた撮像画像P(t)を端末10内の認識部12及び統合部14へと出力する。ここで、撮像がなされた時刻t（リアルタイムの処理タイミングとしての離散的な時刻t=1,2,…）を紐づけた撮像画像P(t)として出力される。撮像部11はハードウェアとしてはカメラで構成することができ、端末10を利用するユーザが当該カメラを操作することにより、（例えばカメラを対象に向ける操作などを行うことにより、）撮像部11による撮像が行われる。

認識部12は撮像部11で得た撮像画像P(t)に対して、撮像されている対象の種類（物体種別）を認識し、且つ、この対象の位置姿勢を計算した結果の対象情報OB(t)を求め、この対象情報OB(t)を第１描画部13へと出力すると共に、通信機能（不図示）を介してサーバ20の第２描画部23へと送信する。すなわち、第１描画部13及び第２描画部23へとそれぞれ出力される対象情報OB(t)は、撮像画像P(t)に撮像されている対象の種類の情報と、この対象の位置姿勢の情報と、で構成されるものである。なお、対象情報OB(t)には、時刻tの撮像画像P(t)から求めた情報として、この撮像の時刻tの情報が紐づいている。

認識部12における撮像画像P(t)から撮像されている対象の物体種別を認識する処理と、当該対象の位置姿勢を計算する処理とには、既存の拡張現実表示技術等において利用されている任意の既存手法を用いることができる。例えば、画像よりSIFT特徴情報等の特徴点及び特徴量（すなわち、特徴情報）の検出を行い、リファレンスとなる１種類以上の物体種別に関して予め登録されている特徴情報との照合を行い、照合により特徴情報同士が最も一致すると判定される物体種別を対象の認識結果とし、この照合の際に一致した特徴点同士の画像座標の対応関係を与える変換（平面射影変換）の関係として、対象の位置姿勢を得るようにしてもよい。３次元コンピュータグラフィックスの分野において既知のように、こうして得られる対象の位置姿勢は、所定の３次元世界座標系内における対象の座標(X,Y,Z)_[世界]と、撮像部11を構成するハードウェアとしてのカメラにおける３次元カメラ座標系での対象の座標(X,Y,Z)_[カメラ]と、の変換関係として表現されるものであり、当該カメラの外部パラメータに相当するものである。

第１描画部13は、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデルの透過情報を２次元画像平面上に描画することで第１描画情報G1(t)を得て、この第１描画情報G1(t)を統合部14へと出力する。この際、描画された第１描画情報G1(t)をそのまま、端末10のコンピュータを構成するRAMに一時的に保存する等によって統合部14から参照可能とすることにより、圧縮符号化を適用せずに描画されたそのままの状態での第１描画情報G1(t)として、統合部14へと出力する。

ここで、対象情報OB(t)における物体種別に対して、提示システムで実現する拡張現実表示の用途に応じたコンテンツとして管理者等により予め用意され、端末10上あるいはネットワーク上に保存されているこの物体種別に応じた所定の３次元モデルを読み込み、この３次元モデルの透過情報を対象情報OB(t)における位置姿勢に配置して２次元画像平面（撮像部11を構成するカメラの画像平面）上に描画することで、第１描画情報G1(t)を得ることができる。３次元コンピュータグラフィックスの分野においてビューイングパイプラインの関係として既知のように、この２次元画像平面上への描画は、撮像部11をハードウェアとして構成するカメラについて既知の内部パラメータを用いて行うことができる。

第１描画情報G1(t)は画像平面内において３次元モデルが描画された領域のみにその描画結果としての透過度合いあるいは不透過度合いを画素値として表すアルファマスクの形式で得ることができる。

図４及び図５は、第１描画情報G1(t)及び第２描画情報G2(t)並びこれらの統合処理に関して説明するための例（図４及び図５で共通の例）を示す図であり、描画される３次元モデルとしてバイクが示されている。第１描画情報G1(t)として例G1が、画像平面範囲A0（図４のみで示す）内に定義されるものとして透過領域（バイク以外の背景領域）を白色、非透過領域（バイクのフロントガラス領域のうち背景に透過している領域は除いたバイク領域）を黒色、その中間にある半透明領域（フロントガラスがバイク以外の背景に対して透過している部分）をグレー色として示されている。例G1として示される第１描画情報G1(t)は、例G2として示される第２描画情報G2(t)（より詳細には後述する第２'描画情報G2'(t)）の領域及び透明度を定めるアルファマスクとなっている。

第２描画部23は、第１描画部13における処理と同様に、認識部12から得た対象情報OB(t)に基づき、拡張現実表示するための仮想対象としての３次元モデルを２次元画像平面上に描画することで第２描画情報G2(t)を得て、統合部14へと出力（前述のように圧縮符号化を適用して送信することで出力）する。ここで、第２描画部において描画を行う際の、対象情報OB(t)の物体種別に応じて参照する描画対象の所定の３次元モデルと、描画の際の位置姿勢の反映の仕方とは、第１描画部13におけるものと同一である。（すなわち、サーバ20側においても、サーバ20上あるいはネットワーク上に保存されている物体種別に応じた所定の３次元モデル（第１描画部13で利用したのと同様のもの）を読み込んで、第２描画部23で描画を行う。）

図４には、既に参照した第１描画情報G1(t)の例G1に対応する例として、第２描画情報G2(t)の例G2が示されている。例G1,G2は同一コンテンツであるバイク描画結果として、前者は領域等の情報として透過情報を与え、後者は当該透過情報で定まる領域における実際のコンテンツの描画結果を与えるものである。端末10の計算リソースでは表現できない（表現できるが計算時間が長くリアルタイム処理を実現できない場合も含む）高品質なレンダリングをサーバの計算リソースを利用することで実現することが可能となる。

詳細には、第２描画部23は次の処理p1,p2によって第２描画情報G2(t)を得ることができ、当該得られた第２描画情報G2(t)を圧縮符号化して端末10の統合部14へと送信する。

（処理p1）端末10の第１描画部13と同様の処理として、対象情報OB(t)に従って第１描画情報G1(t)を描画し、且つ、この第１描画情報G1(t)で定義されている透過情報に従ってRGB等の所定の色チャネルの各々において描画を行い、透過情報に従った第２'描画情報G2'(t)を得る。例えば、この第２'描画情報G2'(t)は、各画素がRGBA（Red, Green, Blue, Alpha）として構成されるものとして得ることができ、このうちA（アルファ）チャネルがアルファマスクとして第１描画情報G1(t)を構成している。

（処理p2） Aチャネルを含む第２'描画情報G2'(t)はH.264等の既存手法で符号化できないため、符号化可能なように当該Aチャネルを削除することでRGB等の所定の色チャネルで構成される通常画像として第２描画情報G2(t)を得る。この際、Aチャネルで完全に透過している領域については一定色を割り当てることで、RGB等の所定の色チャネルで構成される通常画像として第２描画情報G2(t)を得ることができる。（なお、一定色を割り当てる以外の実施形態も可能であり、後述する。）

図５は図４と共通の例として第１、第２描画情報G1(t),G(t)によって対象情報OB(t)の位置姿勢に応じた位置姿勢にあるバイクが描画される場合を例として、上記の処理p1,p2の模式例を示している。

図５の左側に示すように、例G1として示す第１描画情報G1(t)のアルファマスクに従ってRGB等の所定の色チャネルで描画した結果として、処理p1の第２'描画情報G2'(t)の例G2'が、バイク領域以外は描画する画素値が存在しない完全透過領域（白色で示す）となるものとして、RGB等の各チャネルが例G2'R,G2'G,G2'Bで構成されるものとして示されている。

次いで、図５の右側に示すように処理p2では、処理p1の第２'描画情報G2'(t)における透過情報であるアルファマスク（例G1）を削除して例G1'のように画像領域の全体が（完全）非透過であるものとみなし、RGB等の各チャネルが例G2R,G2G,G2Bで構成されるものとして例G2に示されるような、画像領域全体で描画された通常画像としての第２描画情報G2(t)を得ることができる。この際、第２'描画情報G2'(t)（例G2'）において透過情報で透過処理されていた領域には一定色を割り当てる等により、第２描画情報G2(t)（図４及び図５の例G2）が得られている。

統合部14は、共通の撮像時刻tが紐づいたものとして第１描画部13から得られる透過情報としての第１描画情報G1(t)を、第２描画部23から得られる第２描画情報G2(t)（復号したもの）に対して適用することで、透過領域を含んで画像領域全体のうち部分的に描画されたものとしての第２'描画情報G'2(t)（第２描画部23の処理p1で生成したもの）を復元し、当該復元された第２'描画情報G'2(t)を撮像部11から得られる撮像画像P(t)に対して重畳することにより、この時刻tにおける拡張現実表示である提示情報D(t)を生成し、提示部15へと出力する。重畳の際は、アルファマスクの情報を利用して、半透明の部分は半透明として重畳すればよい。

また、統合部14における復元処理は次のようにすればよい。すなわち、第１描画部13及び第２描画部23の説明で既に述べたように、端末10において求めた第１描画情報G1(t)はサーバ20において求めた第２描画情報G2(t)を得る処理p1,p2のうち処理p1で用いた透過情報と同じものであるという関係を利用して、第２描画情報G2(t)に第１描画情報G1(t)をアルファマスクとして適用することで透過情報を含む第２'描画情報G2'(t)を復元することができる。

このように、端末10で透過情報である第１描画情報G1(t)を生成することでサーバ20から透過情報の伝送が不要となるため、第２描画情報G2(t)の伝送データ量（本実施形態とは異なり、透過情報も第２描画情報G2(t)に含めて伝送したと仮定する場合のデータ量）が増大する課題や符号化ノイズの影響による透過領域の再現性に対する課題を解決できる効果が得られる。また、第２描画情報G2(t)を得る際に処理p2で透過領域に対して一定色等を割り当てていた領域の画素値は復元しないこととなるが、透過情報により提示されないため復元処理の省力化の効果が得られる。

提示部15は、ハードウェアとしてディスプレイで構成されるものであり、統合部14から得られた提示情報D(t)を、端末10のユーザに対して提示する。

以上、本発明の一実施形態によれば、計算リソースが豊富なサーバ20においてサーバサイドレンダリングにより高品質な第２'描画情報G2'(t)を生成し、ネットワークを介して送信するのは透過情報を排除するとともに、一定色を割り当てる等の処理によって高周波成分が削減されることによって情報量が第２'描画情報G2'(t)と比べて削減された第２描画情報G2(t)とすることができる。また、端末10の側ではその計算リソースにおいて可能な透過領域のみの第１描画情報G1(t)を生成したうえで、受信した第２描画情報G2(t)に対して反映することで、高品質な第２'描画情報G2'(t)を端末10自身において直接に生成することなく復元し、提示情報D(t)を得ることができる。

すなわち、本発明の一実施形態によれば、サーバサイドレンダリング方式によるサーバの豊富な計算リソースを活用して、ネットワークの帯域を圧迫することなく、計算リソースが限られている端末10において高品質な拡張現実表示を実現することが可能となる。ここで、第２描画情報G2(t)はデータサイズが小さいため、サーバ20と端末10との間での伝送時間も短縮可能であり、端末10において提示情報D(t)を表示することによる拡張現実表示等を高フレームレートで実現することが可能である。

以下、種々の補足例、追加例、代替例などに関して説明する。

（１）第１描画部13で描画し、且つ、第２描画部23でも処理p1において同様に描画する第１透過情報G1(t)に関して、既に説明したように３次元モデル等の描画対象が存在する画素位置を非透過（または半透明）とし、存在しない画素位置を透過とするアルファマスクの形で与えることができる。すなわち、画像範囲（縦サイズH、横サイズW）内の各画素位置(i,j)（1≦i≦H,1≦j≦W）におけるアルファ値α(i,j)として与えることができる。このアルファ値α(i,j)は、描画する対象となるコンテンツ内容に応じて、２値のみ（非透過状態または透過状態の２値）としても与えてもよいし、これら（完全な）非透過状態または透過状態の間に存在する段階的または連続的な半透明状態を含むものとして与えてもよい。

（２）半透明状態で描画される対象としてもコンテンツ内容に応じた任意のものを用いてよく、図４及び図５の例のように、描画対象の３次元モデルであるバイクにおけるフロントガラス等のように、３次元モデルの構成要素として半透明な描画対象が含まれてもよいし、例えば、３次元モデルに所定の光源モデルを適用する際の影（当該光源モデルと、当該影の投影される地面等も３次元モデルに付随するものとして用意しておく）を描画するために半透明状態を用いてもよい。

（３）半透明状態で描画する場合は、非透過状態での描画結果にアルファ値を適用することで半透明状態の描画結果が得られるように、３次元モデル等のコンテンツを予め用意しておけばよい。統合部14において撮像画像P(t)に半透明状態として重畳する場合も、アルファブレンド等の既存手法により、例えば非透過状態の背景としての撮像画像P(t)に対して半透明状態の描画コンテンツ（第２描画情報G2(t)の半透明部分）を重畳させるようにすればよい。

（４）第２描画部23では、処理p1において第１描画部13と同様の透過情報としての第１描画情報G1(t)及びこれに即して描画された第２'描画情報G2'(t)を得て、処理p2において透過領域（描画対象のオブジェクトが存在しない領域）に一定色を割り当てることで透過情報を削除した第２描画情報G2(t)を得るものとした。処理p2では一定色を割り当てること（手法s1とする）に代えて、または加えて、次のような手法で第２描画情報G2(t)を得るようにしてもよい。

手法s2として、透過領域に属する各画素位置(i,j)に対して、例えば最も近いなどの条件により、近いと判定される非透過領域（半透明状態の領域も含む）の画素の値を割り当てるようにしてもよい。この際、最も近い１画素の画素値を割り当ててもよいし、閾値判定等により近いと判定される範囲内にある画素値の平均値を割り当てるようにしてもよい。

手法s1またはs2の適用は、画像範囲A0={(i,j)|1≦i≦W,1≦j≦H}をブロック分割して、当該ブロックごとに行うようにしてもよい。この際、画像範囲A0を分割したブロックごとに、当該ブロック内に非透過領域が存在するか否かで場合分けを行い、非透過領域が存在するブロックと存在しないブロックとで処理を分けるようにしてもよい。例えば非透過領域が存在するブロックには手法s2を適用して近接画素値を割り当て、非透過領域が存在しないブロックには手法s1を適用して一定色を割り当てるようにしてもよい。また、非透過領域が存在するブロックの全てについて手法s2を適用して近接画素値を割り当て、割り当て済みの画素は非透過領域になったものとみなして、以降、逐次的に、非透過領域が存在しないブロックに対して手法s2を適用して非透過領域になったものとみなすことを繰り返すようにしてもよい。

図６は、以上のようなブロック単位での処理を模式的に示す図である。例EX11に示すように、画像範囲A0全体は、第１及び第２'描画情報G1,G2'（３次元モデルとして円柱を描画する例）により非透過領域とされる領域とこれ以外の透過領域（白色で示す）とに区別される。例EX12に示すように、当該領域の区別が存在する画像範囲A0を所定分割によりブロック分割する。この例では横方向に６分割、縦方向に４分割することで２４個のブロックに分割している。当該ブロック分割の結果、例EX13に示すように、画像範囲A0全体の各ブロックは、非透過領域が内部に存在するブロック群B1（グレー色で示す）と、存在しないブロック群B2（白色で示す）と、に分類することが可能となり、上記のようにブロック群B1,B2で区別した処理を行うことが可能となる。

以上のような手法s1,s2等により、画像範囲A0の全体に渡る描画結果としての第２描画情報G2(t)が高周波成分の少ない平坦なものとして得られることが期待され、離散コサイン変換などを伴う非可逆圧縮の適用による圧縮効率が向上し、サーバ20から端末10へと送信する第２描画情報G2(t)の情報量が小さくなることが期待される。手法s1,s2を適用したブロック及び／又は当該ブロック境界に対してさらに、ガウシアンフィルタ等を適用して平坦化を行うようにしてもよい。

（５）端末10の第１描画部13では第１描画情報G1(t)を描画し、サーバ20の処理p1においても同様の第１描画情報G1(t)を描画するが、これらは同一の３次元モデル等を、異なる精度で与えたものを用いて描画したものであってよい。（これとは異なり、同一精度の同一モデルを端末10及びサーバ20で共通して用いるようにしてもよい。）例えば、端末10及びサーバ20では図４及び図５の例のように、同一３次元モデルとしてバイクを第１描画情報G1(t)として描画するが、端末10では３次元モデルのポリゴン密度が標準密度で構成されたものを用いて第１描画情報G1(t)_{[標準密度]}を描画し、サーバ20では３次元モデルのポリゴン密度が当該標準密度よりも高い高密度で構成されたものを用いて第１描画情報G1(t)_[高密度]を描画してもよい。

これら精度の異なる第１描画情報G1(t)_{[標準密度]}, G1(t)_[高密度]は、透過領域と非透過領域との境界形状などに微差が生じうることも起こりうるが、サーバ20で送信するための第２描画情報G2(t)は上記（４）の手法s1,s2等によって平坦化されたものとして得られることにより、境界形状の微差が端末10の側での第２描画情報G2(t)を復元した描画結果に与える影響は軽微となることが期待される。

（６）前述の通り、提示部15はハードウェアとしてはディスプレイで構成することができ、拡張現実表示の分野で用いられている任意の態様を用いて拡張現実表示としての提示情報D(t)を表示してよい。例えば、ユーザはヘッドマウントディスプレイを装着するものとし、光学シースルー型ディスプレイを用いて、現実世界の景色に対して拡張現実表示である提示情報D(t)を重畳表示してもよい。この場合、統合部14において撮像画像P(t)を背景として読み込む処理は省略し、統合して得た第２描画情報G2(t)がそのまま提示情報D(t)を構成するものとして、提示部15へと出力すればよい。一方、ビデオシースルー型ディスプレイを用いて、現実世界の景色の映像（撮像部11の撮像画像P(t)）に対して第２描画情報G2(t)を重畳した拡張現実表示である提示情報D(t)を提示部15において表示してもよい。端末10がスマートフォン等のヘッドマウントディスプレイではないモバイルデバイスとして構成される場合も、ビデオシースルー型ディスプレイの場合と同様に、スマートフォン等のディスプレイにおいて提示情報D(t)を表示すればよい。

（７）認識部12では、撮像部11において撮像した撮像画像P(t)を解析して周辺環境に存在する対象を認識し、当該対象に対する相対的な位置姿勢（端末10の位置姿勢）を求めるものとしたが、位置姿勢を求めるためのその他の任意の既存手法を用いてもよい。例えば、別の実施形態として、LiDAR（光検出及び測距）等の既存手法により周辺環境を点群等として３次元的に計測し、予め存在する周辺環境の３次元地図と計測点群を照合することで、端末10の位置姿勢を求めるようにしてもよい。

（８）提示情報D(t)として拡張現実表示を行うのは、本発明を適用するのが好適な一例であるが、本発明の適用はこれに限られない。例えば、ウェブページ上で表示するコンテンツを構成する一部として、ウェブページ内を動き回る３次元コンピュータグラフィックスモデルを描画する際に、端末10において当該モデルの透過情報として第１描画情報G1(t)を描画し、サーバ20において当該モデルから透過情報を排して描画した第２描画情報G2(t)を描画し、端末10において透過情報を反映してウェブページとしての提示情報D(t)を得て表示するようにしてもよい。この場合、情報処理システム100から撮像部11及び認識部12を省略した構成とし、対象情報OB(t)が、所定のウェブページ上で動き回る（すなわち時刻tに応じて見え方等が変化する）３次元モデルの情報であるものとみなして、また、撮像画像P1(t)が３次元モデルを重畳させる背景としてのウェブページであるものとみなして、以上の説明と同様にして描画を行うことが可能となる。また、ウェブページの場合と同様に、ゲーム等の任意コンテンツの描画の一部に本発明を利用することも可能である。

（９）以上の実施形態では、端末10の第１描画部13による第１描画情報G1(t)とサーバ20の第２描画部23による第２描画情報G2(t)とは、提示部15での拡張現実表示等を行う際の共通の画像範囲A0（サイズW×H）で定義されるものとして描画していたが、当該描画の変形例として図７に示されるように、描画対象が含まれる範囲R0に画像範囲A0の全体を割り当てることで、より高解像度で描画するようにしてもよい。

図７では以上説明してきた描画例を例EX21とし、変形例を例EX22として示している。例EX21では、第１及び第２描画情報G1(t),G2(t)が例G1,G2として示されるように、画像範囲A0（サイズW×H）内の部分的な矩形範囲R0（サイズw×h）において描画対象が存在するものとしてこの画像範囲A0内に描画されている。矩形範囲R0は、描画対象を囲む最小矩形であって、画像範囲A0と同様の横・縦方向を有するものである。変形例の例EX22では、この部分的な矩形範囲R0を画像範囲A0全体に拡大した状態とする（横にW/w倍だけ拡大し、縦にH/h倍だけ拡大する）ことにより、第１及び第２描画情報G1(t),G2(t)を拡大された第１及び第２描画情報G1E(t),G2E(t)として、例G1E,G2Eのように描画する。

この変形例により例EX22のように描画した後、統合部14では例EX21のように縮小した状態として配置することで、拡大描画しない実施形態と同様の状態での提示情報D(t)を得ることができる。（すなわち、統合部14は例EX22の拡大された範囲A0を例EX21の範囲R0へと縮小して配置することで、例EX21に示される状態として提示情報D(t)を得ることができる。）予めより高解像度で描画されているため、例えばスマートフォン等の画面における拡張現実表示の場合にユーザによるピンチアウト操作等を受けて提示情報D(t)を拡大する場合（範囲A0の一部分を拡大する場合）に、描画された対象物の解像度を確保することが可能となる。

なお、この変形例では、第１及び第２描画情報G1(t),G2(t)を拡大された第１及び第２描画情報G1E(t),G2E(t)として描画するのは、両方ではなく片方のみであってもよい。統合部14では、第１描画部13における描画結果として、例EX21に示す描画対象R0が画像範囲A0の全体のどの位置範囲を占めるかの情報（例えば、位置として左上の点P0の座標の情報及びサイズとして領域R0の横幅w及び縦幅hの情報）が既知である。従って、第２描画部23により画像範囲A0の全体に拡大された第２描画情報G2E(t)が送信されて統合部14において受信した場合でも、第１描画部13での描画結果を参照して、例EX21に示すような画像全体範囲A0の一部の範囲R0に、この拡大された第２描画情報G2E(t)を縮小して配置したものとして、提示情報D(t)を得ることができる。第２描画部23においても第１描画部13と同様の描画を行うことで、画像範囲A0の全体のうち一部の範囲R0のみを拡大した状態として、拡大された第２描画情報G2E(t)を描画することが可能である。

すなわち、当該変形例を適用する場合、端末10とサーバ20との間では、描画対象の３次元モデルなどを予め共有しておくことにより、画像全体範囲A0の一部の範囲R0の情報（拡大された描画の位置及び範囲の情報）は第１描画情報G1(t)及び第２描画情報G2(t)を範囲A0内に描画（拡大を適用せずに描画）した結果として既知となるため、この範囲R0の情報を端末10とサーバ20との間で送受信することは不要となる。（従って、拡大描画しない実施形態の場合と同様に、端末10からサーバ20へは対象情報OB(t)のみを送信し、サーバ20から端末10へは第２描画情報G2(t)又は拡大された第２描画情報G2E(t)のみを送信すればよい。端末10及び／又はサーバ20において拡大描画を行う旨の設定のみを、端末10及びサーバ20において予め既知としておくのみでよい。）

また、当該変形例のさらに別の例として、図７に例EX23として示すように、拡大描画は領域R0のアスペクト比を保ってk倍に拡大した状態として行うようにしてもよい。この場合、第１及び第２描画情報G1(t),G2(t)は例G1EA,G2EAとして示されるように、アスペクト比を保って拡大された第１及び第２描画情報G1EA(t),G2EA(t)として、範囲A1（サイズkw×kh）に描画する。（上記と同様に、当該実施形態を適用する旨のみを既知としておくことで、拡大率kの情報等をサーバ20と端末10との間で送受信することは不要である。）

（１０）同様に、提示部14で拡張現実表示等の描画を行う範囲としての画像範囲A0を所定のものとするが、第１描画部13及び第２描画部23で用いる描画範囲R1,R2のサイズは画像範囲A0と一致するものでなくともよい。描画範囲R1,R2はさらに、時刻tに応じて可変のものとしてもよい。（例えば、所定の画像サイズの候補リストの中から選択可能にすることで可変としてもよい。）特に、第２描画部23で用いる描画範囲R2は、ネットワークNWの混雑状況等に応じて、遅延が大きい場合は小さいサイズとする等により、その解像度を可変なものとしてもよい。可変な描画範囲R1,R2で描画した場合等も、最終的には統合部14において、画像範囲A0に一致するものとしてサイズ調整（及び配置調整）することで、提示情報D(t)を得ることができる。可変な描画範囲R1,R2を用いて、且つ、上記（９）の拡大描画（アスペクト比は可変）を行うことで、当該可変な描画範囲R1,R2の全体に描画を行うようにしてもよい。

（１１）図８は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。情報処理システム100における端末10及びサーバ20はそれぞれ、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で端末10及びサーバ20のそれぞれを実現する場合、ネットワークNW経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、拡張現実表示の対象となる景色を撮像するカメラ78及びLiDARセンサ等の画像撮像以外を用いたセンシングや計測を行う１種類以上のセンサ79と、これらの間でデータを授受するためのバスBSと、を備える。

端末10及びサーバ20のそれぞれの各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。提示部15はディスプレイ76として実現することで、拡張現実表示を出力してよい。撮像部11はカメラ78として実現してよく、撮像画像P(t)から認識情報OB(t)における位置姿勢を得る処理に関して、この画像P(t)を解析した処理を利用することに代えて、または加えて、専用センサとしてのセンサ79からの出力を利用するようにしてもよい。

100…情報処理システム、10…端末、20…サーバ
11…撮像部、12…認識部、13…第１描画部、23…第２描画部、14…統合部、15…提示部

Claims

第１描画部及び統合部を備える端末と、第２描画部を備えるサーバと、を備える情報処理システムであって、
前記第１描画部は、所定モデルの画像範囲内における透過情報を第１描画情報として描画し、
前記第２描画部は、透過情報が画像範囲の全体において非透過であるものとすることによって透過情報を含まないものとして、前記所定モデルを第２描画情報として描画し、
前記サーバは前記第２描画情報を前記端末へと送信し、
前記統合部は、前記第２描画情報に対して前記第１描画情報の透過情報を反映して、前記所定モデルの描画結果を得ることを特徴とする情報処理システム。
前記サーバは、前記第２描画情報に対して非可逆圧縮による符号化を行ったうえで当該符号化された第２描画情報を前記端末へと送信し、前記端末は当該符号化された第２描画情報を復号し、
前記統合部は、当該復号された第２描画情報に対して前記第１描画情報の透過情報を反映して、前記所定モデルの描画結果を得ることを特徴とする請求項１に記載の情報処理システム。
前記所定モデルの画像範囲内における透過情報は、画像範囲内の各画素位置において、当該所定モデルが存在する位置に該当することにより当該画素が非透過状態として描画される対象であること、または、当該所定モデルが存在しない位置に該当することにより透過状態として描画されない対象であること、を特定する情報を含むことを特徴とする請求項１または２に記載の情報処理システム。
前記所定モデルの画像範囲内における透過情報は、画像範囲内の各画素位置において、当該所定モデルが存在する位置に該当することにより当該画素が非透過状態もしくは非透過状態と透過状態の中間の半透明状態として描画される対象であること、または、当該所定モデルが位置しない位置に該当することにより透過状態として描画されない対象であること、を特定する情報を含むことを特徴とする請求項１または２に記載の情報処理システム。
前記第２描画部は、前記所定モデルの透過情報に従って、画像範囲内において当該所定モデルが非透過状態または非透過状態と透過状態の中間の半透明状態となる領域において当該所定モデルを描画し、画像範囲内において当該所定モデルが透過状態となる領域には所定描画を行うことにより、前記第２描画情報を描画することを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。
前記所定描画の１つの態様として、一定色を割り当てることによる描画が含まれることを特徴とする請求項５に記載の情報処理システム。
前記所定描画の１つの態様として、各画素位置において、前記所定モデルが描画された領域内の画素で近いと判定される位置にある画素の値に基づく描画が含まれることを特徴とする請求項５または６に記載の情報処理システム。
前記所定描画は、画像範囲内を区切ったブロック単位で行われることを特徴とする請求項５ないし７のいずれかに記載の情報処理システム。
前記第１描画部及び前記第２描画部がそれぞれ、前記第１描画情報及び前記第２描画情報を描画するに際して、
前記端末の位置姿勢に応じて前記所定モデルの位置姿勢が定まるものとして描画することを特徴とする請求項１ないし８のいずれかに記載の情報処理システム。
前記端末では周辺環境を計測することにより当該端末の位置姿勢を取得し、
前記統合部での描画結果を前記端末において表示することにより前記周辺環境に対する拡張現実表示を行うことを特徴とする請求項９に記載の情報処理システム。
前記統合部は、所定画像範囲において、前記第２描画情報に対して前記第１描画情報の透過情報を反映して、前記所定モデルの描画結果を得るものであり、
前記第１描画部及び前記第２描画部の少なくとも一方は、それぞれ前記第１描画情報及び前記第２描画情報を描画するに際して、前記所定モデルが前記所定画像範囲の一部として描画される部分範囲を拡大して描画し、
前記統合部は、当該拡大されて描画された前記第１描画情報及び前記第２描画情報の少なくとも一方を、前記所定画像範囲の部分範囲として配置して前記所定モデルの描画結果を得ることを特徴とする請求項１ないし１０のいずれかに記載の情報処理システム。
第１描画部及び統合部を備える端末と、第２描画部を備えるサーバと、を備える情報処理システムにおける端末であって、
前記第１描画部は、所定モデルの画像範囲内における透過情報を第１描画情報として描画し、
前記第２描画部は、透過情報が画像範囲の全体において非透過であるものとすることによって透過情報を含まないものとして、前記所定モデルを第２描画情報として描画し、
前記サーバは前記第２描画情報を前記端末へと送信し、
前記統合部は、前記第２描画情報に対して前記第１描画情報の透過情報を反映して、前記所定モデルの描画結果を得ることを特徴とする端末。
第１描画部及び統合部を備える端末と、第２描画部を備えるサーバと、を備える情報処理システムにおけるサーバであって、
前記第１描画部は、所定モデルの画像範囲内における透過情報を第１描画情報として描画し、
前記第２描画部は、透過情報が画像範囲の全体において非透過であるものとすることによって透過情報を含まないものとして、前記所定モデルを第２描画情報として描画し、
前記サーバは前記第２描画情報を前記端末へと送信し、
前記統合部は、前記第２描画情報に対して前記第１描画情報の透過情報を反映して、前記所定モデルの描画結果を得ることを特徴とするサーバ。
コンピュータを請求項１２に記載の端末または請求項１３に記載のサーバとして機能させることを特徴とするプログラム。