JPWO2017030193A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2017030193A1
JPWO2017030193A1 JP2017535577A JP2017535577A JPWO2017030193A1 JP WO2017030193 A1 JPWO2017030193 A1 JP WO2017030193A1 JP 2017535577 A JP2017535577 A JP 2017535577A JP 2017535577 A JP2017535577 A JP 2017535577A JP WO2017030193 A1 JPWO2017030193 A1 JP WO2017030193A1
Authority
JP
Japan
Prior art keywords
information processing
display
virtual object
processing apparatus
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017535577A
Other languages
English (en)
Inventor
俊一 笠原
俊一 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017030193A1 publication Critical patent/JPWO2017030193A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように表示を制御する表示制御部、を備える情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、現実空間のオブジェクト（以下、実オブジェクトと呼ぶ）と、仮想的なオブジェクト（以下、仮想オブジェクトと呼ぶ）を同時に視認可能な透過型ヘッドマウントディスプレイ（ＨＭＤ）が実用化されている（例えば特許文献１）。上記のような透過型ＨＭＤは、例えば人間の知覚する現実空間を拡張するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術や、仮想空間に現実空間の情報を複合させるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術等の技術分野で用いられている。
特開２０１５−１４９６３４号公報
上記のような技術分野においては、実オブジェクトのリアルタイムな変動に応じた、より多様な表示を実現することが望まれていた。
本開示によれば、第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように表示を制御する表示制御部、を備える情報処理装置が提供される。
また、本開示によれば、第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように、プロセッサが表示を制御すること、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように表示を制御する機能を実現させるための、プログラムが提供される。
以上説明したように本開示によれば、実オブジェクトのリアルタイムな変動に応じた、より多様な表示が可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概要を説明するための説明図である。 同実施形態に係る表示システム１の構成を説明するための説明図である。 同実施形態に係る表示装置１０の構成例を示すブロック図である。 同実施形態に係る表示装置１０を装着するユーザの視界の一例を示すイメージ図である。 同実施形態に係る表示装置１０を装着するユーザの視界の一例を示す線図である。 同実施形態に係る表示装置１０を装着するユーザの視界の他の一例を示す線図である。 同実施形態に係る表示装置１０を装着するユーザの視界の他の一例を示す線図である。 同実施形態に係るサーバ２の構成例を示すブロック図である。 同実施形態に係る情報処理システムの動作例を示すシーケンス図である。 同実施形態に係る表示制御の具体例１におけるユーザの視界の一例を示す線図である。 同実施形態に係る表示制御の具体例２におけるユーザの視界の一例を示す線図である。 同実施形態に係る表示制御の具体例２におけるユーザの視界の一例を示す線図である。 同実施形態に係る表示制御の具体例３におけるユーザの視界の一例を示す線図である。 同実施形態に係る表示制御の具体例４におけるユーザの視界の一例を示す線図である。 ハードウェア構成例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜＜２．構成＞＞
＜２−１．表示装置＞
＜２−２．サーバ＞
＜＜３．動作例＞＞
＜＜４．表示制御の具体例＞＞
＜＜５．変形例＞＞
＜＜６．ハードウェア構成例＞＞
＜＜７．むすび＞＞
＜＜１．概要＞＞
まず、本開示の一実施形態に係る情報処理システムの概要について説明する。
本実施形態に係る情報処理システムは、ユーザの身体の動きをリアルタイムにセンシング（キャプチャ）して得たセンシングデータ（画像データ、モーションデータ、ポイントクラウドデータ等）に基づき、すでに記録されていたデータ（画像データ、モーションデータ、ポイントクラウドデータ）のデータベースを逐次検索する。
また、本実施形態に係る情報処理システムは、検索結果に基づいて、仮想オブジェクト（仮想グラフィック）をユーザに提示(例えばヘッドマウントディスプレイ、ヘッドアップディスプレイを利用して拡張現実（ＡＲ）表示を行う)する。さらに本実施形態に係る情報処理システムは、逐次検索の状態によって仮想オブジェクトの表現、またはアニメーション表示を制御してもよい。
また、本実施形態に係る情報処理システムは、現在の空間の検出情報（３次元計測データ、映像データ等のセンシングデータ）を解析してもよい。本実施形態に係る情報処理システムは、その解析結果に基づいて、データベースから検索されて取得される時系列的な仮想オブジェクト（３次元データ）の、再生位置（開始位置、終了位置）、再生速度、表示方法、挙動を変化させてもよい。
なお、現在の空間（実空間）の検出情報（センシングデータ）はユーザの視界とほぼ同じ一人称の視点でセンシング（キャプチャ）された情報でもよいし、三人称の視点でセンシング（キャプチャ）された情報であってもよい。
また、キャプチャするデータ（センシングデータ）、及び表示するデータ（仮想オブジェクト）は、ボーン構造の推定モデル情報や、画像から推定したボリューメトリックデータ、ポイントクラウドデータ等を含む３次元データであってもよい。また記録されていたデータは、静止した３次元データであってもよいし、時間経過とともに変化する３次元データであってもよい。
また、仮想オブジェクトの表示装置は、例えばヘッドマウントディスプレイや、透過型ヘッドマウントディスプレイ、ヘッドアップディスプレイなどが考えられる。
このような情報処理システムの一例について図１を参照して説明する。図１は、本開示の一実施形態に係る情報処理システムの概要を説明するための説明図である。図１に示すように、本実施形態に係る情報処理システムは、表示システム１と、サーバ２とを含む。
図２は、表示システム１の構成を説明するための説明図である。なお、図２は、図１に示す表示システム１を異なる視点から見た図である。表示システム１は、図１、２に示すように、表示装置１０、実空間センサ２０、及びヘッドトラッキングセンサ３０を含む。
表示装置１０は、例えば透過型ＨＭＤであり、ユーザに仮想オブジェクトと実オブジェクトを同時に視認させることが可能である。なお、表示装置１０の構成例については図３を参照して後述する。
実空間センサ２０は、実空間の情報をリアルタイムにセンシングし、実オブジェクトに係るセンシングデータを取得する。実オブジェクトは、例えばユーザの身体、またはユーザが把持する物体等であってもよい。例えば、実空間センサ２０は、Ｋｉｎｅｃｔ（登録商標）等のデプスセンサであってもよく、係る場合、センシングデータは、ポイントクラウドデータを含む３次元データであってもよい。図１に示す例において、実空間センサ２０は、机７上で作業するユーザの身体Ｂ１（実オブジェクトの一例）をセンシングし、センシングデータ（ポイントクラウドデータ）を取得する。
ヘッドトラッキングセンサ３０は表示装置１０を装着するユーザの頭部位置、及び頭部姿勢をセンシングするためのセンサである。表示装置１０は、頭部位置、及び頭部姿勢のセンシング結果を用いて、後述するように表示を行ってもよい。
上述した表示システム１が有する表示装置１０、実空間センサ２０、及びヘッドトラッキングセンサ３０は、有線通信、または無線通信により相互に接続されていてもよい。また、表示システム１と、サーバ２も、有線通信、または無線通信により相互に接続される。
サーバ２は、すでに記録されていた一人称経験データ（ポイントクラウドデータ）のデータベースを有する。サーバ２は、表示システム１からセンシングデータを含む検索クエリを逐次受け取り、当該検索クエリを用いて当該データベースを逐次検索し、検索結果として、仮想オブジェクトを表示システム１に提供する。検索結果として表示システム１に提供される仮想オブジェクトは、例えば、実オブジェクトに係るセンシングデータと類似した、すでに記録されたセンシングデータに係る仮想オブジェクトであってもよい。なお、サーバ２の構成例については、図７を参照して後述する。
仮想オブジェクトを受け取った表示システム１は、仮想オブジェクトを、ユーザが実オブジェクトと同時に視認可能となるように、実空間にオーバーレイさせて表示装置１０に表示する。例えば、図１に示す例では、一人称視点におけるユーザの視界Ｇ１にユーザの身体Ｂ１と、仮想オブジェクトＶ１が含まれ、ユーザは実オブジェクトである身体Ｂ１と、仮想オブジェクトＶ１を同時に視認可能である。
以上、説明したように、本開示の一実施形態による情報処理システムによれば、リアルタイムに取得される実オブジェクトに係るセンシングデータを用いた逐次検索により、実オブジェクトのリアルタイムな変動に応じた、より多様な表示が可能となる。例えば、本実施形態に係る情報処理システムは、作業中のユーザに、ユーザの作業のお手本となる仮想オブジェクトを提示することで、ユーザの作業を補助することも可能となり得る。以下、このような効果を有する本実施形態の構成について詳細に説明する。
＜＜２．構成＞＞
以上、本実施形態に係る情報処理システムの概要を説明した。続いて、本実施形態に係る情報処理システムが有する表示装置１０、及びサーバ２の構成例について、順次詳細に説明する。
＜２−１．表示装置＞
図３は、本実施形態に係る表示装置１０の構成例を示すブロック図である。表示装置１０は、図３に示すように、制御部１２０、通信部１４０、入力部１６０、及び表示部１８０を備える情報処理装置である。本実施形態に係る表示装置１０は、図１，２を参照して説明したように、例えば透過型ＨＭＤである。
制御部１２０は、表示装置１０の各構成を制御する。また、制御部１２０は、図３に示すように、通信制御部１２２、クエリ生成部１２４、及び表示制御部１２６としても機能する。
通信制御部１２２は、通信部１４０による通信を制御する。例えば、通信制御部１２２は、通信部１４０を制御して、実空間センサ２０から実オブジェクトに係るセンシングデータ（例えばポイントクラウドデータ）を受信させてもよい。また、通信制御部１２２は、通信部１４０を制御して、ヘッドトラッキングセンサ３０から、ユーザの頭部位置、及び頭部姿勢のセンシング結果を受信させてもよい。また、通信制御部１２２は、通信部１４０を制御して、後述するクエリ生成部１２４により生成された検索クエリをサーバ２へ送信させ、サーバ２から、仮想オブジェクトを含む検索結果を受信させてもよい。
クエリ生成部１２４は、サーバ２が仮想オブジェクトを検索するための検索クエリを生成する。クエリ生成部１２４により生成された検索クエリは、逐次的にサーバ２へ送信される。クエリ生成部１２４が生成する検索クエリは、例えば実空間センサ２０から受信される、実オブジェクトに係るセンシングデータを含む。
また、クエリ生成部１２４が生成する検索クエリは、ユーザが行う作業や行動の名称等の事前情報を含んでもよい。事前情報は、「アボカドを切る」や「魚を三枚下ろしにする」、「エンジンルームの点検をする」等のテキストデータであってもよく、例えば、後述する入力部１６０を介したユーザ入力により与えられてもよい。また、可能性のある事前情報候補が表示部１８０に表示され、複数の事前情報候補から、ユーザ入力により事前情報が選択されてもよい。係る構成により、サーバ２における検索精度が向上する。
表示制御部１２６は、後述する表示部１８０の表示を制御する。例えば、表示制御部１２６は、サーバ２による検索により得られた仮想オブジェクトを、ユーザが実オブジェクトと同時に視認可能となるように表示部１８０の表示を制御する。ここで、当該仮想オブジェクトは、第一の時点での当該実オブジェクトに係るセンシングデータと、第二の時点での当該実オブジェクトに係るセンシングデータと、に基づく検索により得られる仮想オブジェクトである。
表示制御部１２６は、ヘッドトラッキングセンサ３０から受信されたユーザの頭部位置、及び頭部姿勢のセンシング結果に基づいて、仮想オブジェクトの表示位置を制御してもよい。例えば、仮想オブジェクトが記録された際の頭部位置、及び頭部姿勢と仮想オブジェクトとの関係が、現在のユーザの頭部位置、及び頭部姿勢と仮想オブジェクトの関係との関係と同様になるように、仮想オブジェクトの表示位置を制御してもよい。
また、表示制御部１２６は、仮想オブジェクトに対し、実オブジェクトとの空間的同期を施して、仮想オブジェクトを表示させてもよい。
例えば、空間的同期は、実オブジェクトと仮想オブジェクトとの位置合わせ（位置同期）を含んでもよい。位置合わせは、例えば表示されている仮想オブジェクトの状態と、現在の実オブジェクトの状態とが同一であると判定された場合に行われてもよい。仮想オブジェクトの状態と、現在の実オブジェクトの状態との比較は、実オブジェクトのセンシングデータを用いて、時系列的に行われてもよいし、各時刻において行われてもよい。
また、空間的同期は、仮想オブジェクトの表示サイズを実オブジェクトのサイズに合わせるスケーリング同期を含んでもよい。例えば、実オブジェクトが、ユーザの手や腕等、ユーザの身体であり、ユーザの身体の大きさと仮想オブジェクトに係る身体の大きさに差がある場合、ユーザの身体の大きさを基準にして、仮想オブジェクトの表示サイズを変更するスケーリング同期を行ってもよい。
また、空間的同期は、仮想オブジェクトの角度を実オブジェクトの角度に合わせる角度同期を含んでもよい。
また、空間的同期は、実オブジェクトを基準にして仮想オブジェクトを反転させる反転同期を含んでもよい。例えば、実オブジェクトがユーザの手であり、当該ユーザと、仮想オブジェクトに係る人物の利き手が異なる場合に、仮想オブジェクトを左右反転させる反転同期が有効な場合がある。
係る構成によれば、ユーザは、仮想オブジェクトを、実オブジェクトにより近い状態で視認することが可能である。
また、例えば表示部１８０が後述するように透過型（光学シースルー型）のディスプレイである場合、表示制御部１２６は、上記の空間的同期により、仮想オブジェクトと実オブジェクトをオーバーレイ（重畳）表示させ得る。係る構成によれば、ユーザは、仮想オブジェクトと、実オブジェクトとを、より容易に比較することが可能となる。
なお、表示制御部１２６による表示制御の具体例については、図４〜７、及び図１０〜１４を参照して後述する。
通信部１４０は、他の装置との間の通信を仲介する通信インタフェースである。通信部１４０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば不図示の通信網を介して他の装置との間の通信接続を確立する。
入力部１６０は、ユーザの入力を受け付け、制御部１２０に提供する。入力部１６０は、例えば、音声認識による音声入力のためのマイクロフォン、画像認識によるジェスチャー入力等のためのカメラ、またはテキスト入力のためのキーボード等を含んでもよい。なお、入力部１６０の構成は上記に限定されず、また、表示装置１０への入力方法も上記に限定されない。
表示部１８０は、表示制御部１２６により制御され、種々の情報を表示するディスプレイである。表示部１８０は、例えば透過型（光学シースルー型）のディスプレイであってもよい。係る構成により、表示制御部１２６は、現実空間に存在する実オブジェクトと、仮想オブジェクトとを、ユーザが同時に視認する（同時にユーザの視界に含まれる）ように表示を制御することが可能である。
図４は、表示装置１０を装着するユーザの視界の一例を示すイメージ図である。図４に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ２、ユーザが把持する物体Ｈ１，Ｈ２と、仮想オブジェクトＶ２とが同時にユーザに視認される。
図５は、図４に示したユーザの視界の一例を示す線図である。図５に示すユーザの身体Ｂ１１は、図４に示したユーザの身体Ｂ２に対応する。また、図５に示す物体Ｈ１１、Ｈ１２は、図４に示したユーザが把持する物体Ｈ１，Ｈ２に対応する。また、図５に示す仮想オブジェクトＶ１１は、図４に示した仮想オブジェクトＶ２に対応する。また、図５に示すように、表示制御部１２６の表示制御により、仮想オブジェクトＶ１１と、実オブジェクトであるユーザの身体Ｂ２は、オーバーレイ表示されている。
図６は、表示装置１０を装着するユーザの視界の他の一例を示す線図である。図６に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ３、ユーザが把持する物体Ｈ３と、仮想オブジェクトＶ３とが同時にユーザに視認される。なお、図５に示すように、仮想オブジェクトＶ３は表示領域Ｒ３の範囲内にのみ表示される。表示領域Ｒ３は、例えば表示部１８０に係る設計や構成により決定される領域である。
図７は、表示装置１０を装着するユーザの視界の他の一例を示す模式図である。図７に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ４、ユーザが把持する物体Ｈ４と、仮想オブジェクトＶ４とが同時にユーザに視認される。なお、上記と同様に、仮想オブジェクトＶ４は表示領域Ｒ４の範囲内にのみ表示される。また、仮想オブジェクトＶ４は、ユーザの身体部分のみならず、他の物体部分Ｖ４０２を含み得る。
＜２−２．サーバ＞
以上、本実施形態に係る表示装置１０の構成例を説明した。続いて、本実施形態に係るサーバ２の構成例を説明する。図８は、本実施形態に係るサーバ２の構成例を示すブロック図である。サーバ２は、図８に示すように、制御部２２０、通信部２４０、及び記憶部２６０を備える情報処理装置である。
制御部２２０は、サーバ２の各構成を制御する。また、制御部２２０は、図８に示すように、通信制御部２２２、及び検索部２２４としても機能する。
通信制御部２２２は、通信部２４０による通信を制御する。例えば、通信制御部２２２は、通信部２４０を制御して、表示装置１０から実オブジェクトに係るセンシングデータを含む検索クエリを受信させ、後述する検索部２２４から提供される検索結果を表示装置１０へ送信させてもよい。
検索部２２４は、記憶部２６０に記憶されたデータベースを対象とし、検索クエリに含まれる第一の時点での当該実オブジェクトに係るセンシングデータと、他の検索クエリに含まれる第二の時点での当該実オブジェクトに係るセンシングデータと、に基づく検索を行う。
なお、検索部２２４による検索処理は、検索クエリに含まれるデータ、及び記憶部２６０に記憶されたデータベースに応じて、多様な処理であり得る。例えば、検索クエリに含まれるセンシングデータ、及びデータベースに含まれる仮想オブジェクトがポイントクラウドデータ（３次元点群データ）である場合には、検索部２２４は３次元点群データのマッチング処理を行ってもよい。また、検索クエリに含まれるセンシングデータ、及びデータベースに含まれる仮想オブジェクトが画像データである場合には、検索部２２４は画像のマッチング処理を行ってもよい。
また、検索部２２４は、検索におけるスコアが高い上位所定数の仮想オブジェクトを含む検索結果を、通信制御部２２２に提供してもよいし、検索におけるスコアが最上位である１の仮想オブジェクトを含む検索結果を、通信制御部２２２に提供してもよい。
また、検索部２２４は、例えばデータベースに含まれる仮想オブジェクトのシーケンスと、複数の検索クエリに含まれる実オブジェクトに係るセンシングデータとの時系列的なマッチング処理による検索を行ってもよい。係る場合、検索におけるスコアは、マッチング処理におけるエラー値に基づいて定義される類似度であってもよく、検索結果には、検索クエリに含まれる実オブジェクトのセンシングデータにより類似した仮想オブジェクトが含まれ得る。その結果、表示装置１０には、現在の実オブジェクト（例えばユーザの身体）の状態と、最も類似度が高くなる時刻の仮想オブジェクト（仮想グラフィック）が時間的に同期して表示される。
また、検索部２２４は、表示装置１０から受信した検索クエリに基づき、記憶部２６０に記憶されたデータベースから、実オブジェクトの次の動きとなる可能性のある仮想オブジェクトを検索してもよい。係る場合、検索におけるスコアは、当該仮想オブジェクト（例えば身体）の状態へ遷移する確率を示す遷移確率であってもよい。
通信部２４０は、他の装置との間の通信を仲介する通信インタフェースである。通信部１４０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば不図示の通信網を介して他の装置との間の通信接続を確立する。
記憶部２６０は、サーバ２の各構成が機能するためのプログラムやパラメータを記憶する。また、記憶部２６０は、すでに記録されたデータ（画像データ、モーションデータ、ポイントクラウドデータ等）を含むデータベースを記憶する。
以上、本実施形態に係る情報処理システムが有する表示装置１０、及びサーバ２の構成例を説明したが、上記の構成は一例であって、本実施形態は係る例に限定されない。例えば、表示装置１０がサーバ２の機能を有していてもよいし、表示装置１０は、実空間センサ２０、及びヘッドトラッキングセンサ３０の機能を有していてもよい。
＜＜３．動作例＞＞
続いて、本実施形態に係る情報処理システムの動作について、図９を参照して説明する。図９は、本実施形態に係る情報処理システムの動作例を示すシーケンス図である。
図９に示すように、まず表示システム１の実空間センサ２０が実オブジェクトのセンシングを行う（Ｓ１００）。ステップＳ１００のセンシングにより得られた実オブジェクトのセンシングデータは、表示システム１表示装置１０が生成する検索クエリに含まれ、サーバ２へ送信される（Ｓ１０２）。
続いて、実空間センサ２０が再度実オブジェクトのセンシングを行う（Ｓ１０４）。ステップＳ１０４のセンシングにより得られた実オブジェクトのセンシングデータは、表示装置１０が生成する検索クエリに含まれ、サーバ２へ送信される（Ｓ１０６）。
続いて、サーバ２の検索部２２４が、ステップＳ１０２で受信した検索クエリに含まれる第一の時点でのセンシングデータと、ステップＳ１０６で受信した検索クエリに含まれる第二の時点でのセンシングデータと、に基づいて、検索を行う（Ｓ１０８）。なお、上記のステップＳ１００の時点が第一の時点に対応し、上記のステップＳ１０４の時点が第二の時点に対応する。
続いて、仮想オブジェクトを含む検索結果がサーバ２から表示システム１の表示装置１０へ送信される（Ｓ１１０）。続いて、表示装置１０の表示制御部１２６は、検索結果に含まれる仮想オブジェクトを、ユーザが実オブジェクトと同時に視認可能となるように、表示制御を行う（Ｓ１１２）。なお、ステップＳ１０４〜Ｓ１１２の処理は逐次繰り返されてもよい。
＜＜４．表示制御の具体例＞＞
以上、本実施形態に係る動作例を説明した。続いて、本実施形態に係る表示制御部１２６による表示制御の具体例について説明する。本実施形態に係る表示制御部１２６は、図４〜７を参照して説明した例に限定されず、多様な表示制御を行い得る。以下、図１０〜１４を参照して、本実施形態に係る表示制御部１２６による表示制御の具体例について説明する。
（具体例１）
表示制御部１２６は、検索により得られた複数の仮想オブジェクトを同時に表示させてもよい。係る例を具体例１として説明する。図１０は、表示制御の具体例１におけるユーザの視界の一例を示す線図である。
図１０に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ２１、ユーザが把持する物体Ｈ２１、Ｈ２２と、複数の仮想オブジェクトＶ２１，Ｖ２２とが同時にユーザに視認される。表示制御部１２６が表示させる複数の仮想オブジェクトは、例えばサーバ２による検索におけるスコアが高い上位所定数の仮想オブジェクトであってもよい。また、表示制御部１２６が表示させる複数の仮想オブジェクトは、実オブジェクト（例えばユーザの身体）の次の動きとなる可能性のある仮想オブジェクト（仮想身体表示）であってもよい。
係る構成によれば、例えば、ユーザは同時に表示された複数の仮想オブジェクトを参考にして、次のユーザの身体の動きを決めることが可能となる。
また、図１０に示す例において、複数の仮想オブジェクトＶ２１，Ｖ２２は、実オブジェクトであるユーザの身体Ｂ２１、及びユーザが把持する物体Ｈ２１、Ｈ２２のセンシングデータをクエリとした検索により得られる。そのため、図１０に示すように、複数の仮想オブジェクトＶ２１，Ｖ２２は、それぞれ、実オブジェクト（ユーザの身体Ｂ２１、及びユーザが把持する物体Ｈ２１、Ｈ２２）の輪郭と対応する輪郭を有している。係る構成により、例えばユーザは仮想オブジェクトが、実オブジェクト(例えば、ユーザの身体)に関連して表示されているものであることを容易に把握することが可能となる。
（具体例２）
また、表示制御部１２６は、仮想オブジェクトの視認性を制御してもよい。係る例を具体例２として説明する。図１１、１２は、表示制御の具体例２におけるユーザの視界の一例を示す線図である。
図１１に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ３１、ユーザが把持する物体Ｈ３１、Ｈ３２と、複数の仮想オブジェクトＶ３１〜Ｖ３４とが同時にユーザに視認される。
ここで、図１１に示す例では仮想オブジェクトＶ３３に係る遷移確率（検索におけるスコアの一例）が最も高いものとする。図１１に示すように、表示制御部１２６は検索における遷移確率に応じて、仮想オブジェクトＶ３１〜Ｖ３４の濃度（視認性の一例）を異ならせてもよい。図１１に示すように、仮想オブジェクトＶ３３は、他の仮想オブジェクトＶ３１，Ｖ３２，Ｖ３３よりも濃く表示されている。
図１２に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ４１、ユーザが把持する物体Ｈ４１、Ｈ４２と、複数の仮想オブジェクトＶ４１〜Ｖ４３とが同時にユーザに視認される。
ここで、図１２に示す例では仮想オブジェクトＶ４２に係る類似度（検索におけるスコアの一例）が最も高いものとする。図１２に示すように、表示制御部１２６は検索におけるスコアに応じて、仮想オブジェクトＶ４１〜Ｖ４３の濃度（視認性の一例）を異ならせてもよい。図１２に示すように、仮想オブジェクトＶ４２は、他の仮想オブジェクトＶ４１，Ｖ４３よりも濃く表示され、仮想オブジェクトＶ４１，Ｖ４３は、輪郭のみが表示されている。
例えば、実オブジェクトであるユーザの身体Ｂ４１の動きにより、仮想オブジェクトＶ４１，Ｖ４３に係る類似度がさらに低下した場合、仮想オブジェクトＶ４１，Ｖ４３は表示されなくなってもよい。
なお、表示制御部１２６による視認性の制御は、上述した濃度の制御に限定されず、例えば色、明るさ、透過度等の制御を含んでもよい。
また、上記では、表示制御部１２６が、検索におけるスコアが高い程、仮想オブジェクトの視認性（例えば濃度）が高くなるように、仮想オブジェクトの視認性を制御する例を説明したが、本実施形態は係る例に限定されない。
例えば、表示制御部１２６は、検索におけるスコアが高い程、仮想オブジェクトの視認性が低くなるように、仮想オブジェクトの視認性を制御してもよい。
例えば、料理や工作など、予め手順が決められた作業に係る仮想オブジェクトを表示させる際において、手順通り身体が動いていると推定された場合は、表示制御部１２６は表示濃度を低下させてもよい。例えば、表示制御部１２６は、仮想オブジェクトに係る類似度（検索におけるスコアの一例）が高い程、当該仮想オブジェクトの表示濃度を低下させてもよい。係る構成によれば、ユーザが手順を十分に覚えて作業している場合に、仮想オブジェクトの表示によりユーザの作業を妨げることを防ぐことが可能である。
また、表示制御部１２６は、ユーザの視界における、実オブジェクトと仮想オブジェクトの位置関係に応じて、仮想オブジェクトの視認性を制御してもよい。例えば、表示制御部１２６は、仮想オブジェクトのうち、実オブジェクトと重なってユーザに視認される部分の視認性を低下させてもよい。例えば、仮想オブジェクトのうち、ユーザの腕と重なっている（オーバーレイ表示されている）部分は薄く表示され、ユーザの腕や身体と重なっていない部分は濃く表示されてもよい。
（具体例３）
また、表示制御部１２６は、時系列的な仮想オブジェクトのシーケンス（以下、仮想オブジェクトシーケンスと呼ぶ場合がある）をアニメーション表示させてもよい。係る例を具体例３として説明する
表示制御部１２６は、仮想オブジェクトのアニメーション表示を、実オブジェクトに係るセンシングデータに応じて制御してもよい。仮想オブジェクトシーケンスは、例えば予め定められた手順の１ステップと対応付けられたシーケンスであってもよい。
例えば、表示制御部１２６は、実オブジェクトのセンシングデータに基づき、当該実オブジェクトが静止していると検出した場合に、所定のアニメーション表示を行ってもよい。例えば、手順の途中で、ユーザの手が止まっている状態が検出されると、次の動きとして可能性がある仮想オブジェクトに係る所定のアニメーション表示が行われてもよい。
例えば、所定のアニメーション表示は、次の所定時間の仮想オブジェクトシーケンスが、等速、またはスロー再生されるスロー再生表示であってもよい。
また、所定のアニメーション表示は、次の所定時間の仮想オブジェクトシーケンスが、長時間露光したように（軌跡が残る）オーバーレイ表示される長時間露光表示であってもよい。
また、所定のアニメーション表示は、次の所定時間の仮想オブジェクトシーケンスが、実オブジェクトが静止していない場合と比べて短いインターバルで表示される短インターバル表示であってもよい。
図１３は、表示制御の具体例３におけるユーザの視界の一例を示す線図である。図１３に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ５１、ユーザが把持する物体Ｈ５１、Ｈ５２と、手順のゴールである時刻０における仮想オブジェクトＶ５０とが同時にユーザに視認される。ここで、ユーザの身体Ｂ５１が、仮想オブジェクトＶ５０の姿勢まで動かされるまで、仮想オブジェクトＶ５０は常時表示される。
また、図１３に示す仮想オブジェクトＶ５１〜Ｖ５３は、それぞれ時刻１〜時刻３における仮想オブジェクトであり、時間的インターバルで、順次、繰り返しアニメーション表示される。ユーザの身体Ｂ５１が静止している場合には、仮想オブジェクトＶ５１〜Ｖ５３は短いインターバルで表示され、ユーザの身体Ｂ５１が静止していない場合には、仮想オブジェクトＶ５１〜Ｖ５３は長いインターバルで表示される。
なお、仮想オブジェクトシーケンスの再生を次のステップへ遷移するかどうかの判断は、現在の実オブジェクトに係るセンシングデータとの比較により行われてもよい。例えば、ある状態で止まっているポイントクラウドデータ表示に、ユーザの身体および物体が一定以上重なりあった場合、表示制御部１２６は、次のステップの仮想オブジェクトシーケンスを表示させてもよい。
また、ユーザは、実オブジェクト（例えばユーザの身体）を用いて、仮想オブジェクトシーケンスをシークすることが可能である。例えば、ユーザの身体をある地点（位置）に静止させることで、ユーザは、当該地点に仮想オブジェクトが存在した時刻まで、仮想オブジェクトシーケンスをシークさせることが可能である。
（具体例４）
また、表示制御部１２６は、仮想オブジェクトと、実オブジェクトに係るセンシングデータとの差分を示すインジケータを表示させてもよい。係る例を具体例４として説明する。図１４は、表示制御の具体例４におけるユーザの視界の一例を示す線図である。
図１４に示すように、表示制御部１２６の表示制御により、実オブジェクトであるユーザの身体Ｂ６１、ユーザが把持する物体Ｈ６１、Ｈ６２と、仮想オブジェクトＶ６１とが同時にユーザに視認される。また、図１４に示すように、表示制御部１２６は、ユーザの身体Ｂ６１に係るセンシングデータと、仮想オブジェクトＶ６１の角度の差分を示すインジケータＶ６２をオーバーレイ表示させる。
なお、図１４に示したインジケータＶ６２は一例であって、表示制御部１２６が表示させる差分を示すインジケータは係る例に限定されない。例えば、表示制御部１２６は、仮想オブジェクトと、実オブジェクトに係るセンシングデータとの位置の差分を示すインジケータをオーバーレイ表示させてもよい。
また、表示制御部１２６が表示させるインジケータは、差分を示す数字（角度差、距離差等）であってもよいし、差分に係る方向を示す矢印などであってもよい。また、表示制御部１２６が表示させるインジケータは、実空間における差分の大きさで表示されなくてもよく、例えば、インジケータは、実空間における差分の大きさよりも拡大されて、よりわかりやすくデフォルメ表示されてもよい。
係る構成によれば、例えば身体の動きや角度が重要な作業（例えば書道）において、ユーザの作業をより高精度に補助することが可能である。
なお、身体の動きや角度があまり重要ではなく、例えば作業手順がわかればよい程度の作業であることが予めわかっている場合、サーバ２は検索において、実オブジェクトのセンシングデータとの差が大きい（スコアが低い）仮想オブジェクトを検索結果に含めてもよい。
＜＜５．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
（変形例１）
上記では、実オブジェクトに係るセンシングデータがポイントクラウドデータを含む３次元データである例を説明したが、本技術は係る例に限定されない。例えば、実オブジェクトに係るセンシングデータは、二次元画像（静止画、または映像）でもよいし、加速度データ等のモーションデータであってもよい。
実オブジェクトに係るセンシングデータがモーションデータである場合、サーバ２は、モーションデータと仮想オブジェクトが対応付けられたデータベースを有してもよく、モーションデータ同士のマッチング処理に基づいて、仮想オブジェクトを検索してもよい。
（変形例２）
また、上記では、実オブジェクトのセンシングデータに基づく検索により仮想オブジェクトが取得されると、表示制御部１２６が当該仮想オブジェクトを表示させる例を説明したが、本技術は係る例に限定されない。例えば、ユーザが意図しない場合に仮想オブジェクトが表示されてしまうと、ユーザの作業の妨げとなり得る。そこで、例えば、ユーザが仮想オブジェクトを振り払うジェスチャーをしたことが認識された場合、表示制御部１２６は、仮想オブジェクト（ポイントクラウドデータ）表示を消してもよい。なお、係る場合、制御部１２０が、ユーザの身体のセンシングデータに基づきジェスチャー認識を行ってもよい。
（変形例３）
また、上記では表示装置１０が透過型ＨＭＤである例を説明したが、本技術は係る例に限定されない。例えば、表示装置１０は、透過型のヘッドアップディスプレイであってもよい。また、表示装置１０は、カメラで撮影された実オブジェクトの映像を、仮想オブジェクトと同時に表示するビデオシースルー表示が可能な多様な表示デバイス（例えばＨＭＤ、スマートフォン、タブレットＰＣ等）であってもよい。
また、表示システム１は、表示部としてプロジェクタを含んでもよい。係る場合、表示制御部１２６はプロジェクタの表示を制御して、実空間に仮想オブジェクトを投影表示させることで、ユーザに仮想オブジェクトと実オブジェクトとを同時に視認させてもよい。
また、本技術は、実オブジェクトに基づく仮想オブジェクト（例えばユーザの身体に基づくアバタ）を表示させるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）システムにも適用することが可能である。係る場合、実オブジェクトに基づく仮想オブジェクトと、当該実オブジェクトのセンシングデータに基づいて検索された仮想オブジェクトとが、表示されてユーザに同時に視認される。
＜＜６．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図１５を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１５は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１５に示す情報処理装置９００は、例えば、図３、８にそれぞれ示した表示装置１０、サーバ２を実現し得る。本実施形態に係る表示装置１０、サーバ２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図１５に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３に示す制御部１２０や、図８に示す制御部２２０を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図３に示す入力部１６０を形成し得る。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図３に示す表示部１８０を形成し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、図８に示す記憶部２６０を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図２、８に示す通信部１４０、通信部２４０を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜７．むすび＞＞
以上、説明したように、本開示の実施形態によれば、実オブジェクトのリアルタイムな変動に応じた、より多様な表示が可能である。例えば、データベース上にあるポイントクラウドデータとのマッチング結果は、ユーザの身体の動きがリアルタイムに変動するため、静的な表現では変化に対応することが困難であった。しかし、本開示の実施形態によれば、ユーザの身体の動きのリアルタイムな変動に応じて、例えば仮想オブジェクトシーケンスの動的なアニメーション表示を制御することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように表示を制御する表示制御部、を備える情報処理装置。
（２）
前記表示制御部は、前記検索により得られた複数の前記仮想オブジェクトを同時に表示させる、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記検索におけるスコアが上位である複数の前記仮想オブジェクトを同時に表示させる、前記（２）に記載の情報処理装置。
（４）
前記スコアは、前記実オブジェクトに係るセンシングデータと前記仮想オブジェクトとの類似度を含む、前記（３）に記載の情報処理装置。
（５）
前記スコアは、前記実オブジェクトが、前記仮想オブジェクトの状態へ遷移する確率を示す遷移確率を含む、前記（３）に記載の情報処理装置。
（６）
前記表示制御部は、前記スコアに応じて前記仮想オブジェクトの視認性を制御する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、前記スコアが高い程、前記仮想オブジェクトの視認性が高くなるように、前記仮想オブジェクトの視認性を制御する、前記（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記スコアが高い程、前記仮想オブジェクトの視認性が低くなるように、前記仮想オブジェクトの視認性を制御する、前記（６）に記載の情報処理装置。
（９）
複数の前記仮想オブジェクトは、それぞれ前記実オブジェクトの輪郭と対応する輪郭を有する、前記（２）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記表示制御部は、前記仮想オブジェクトと前記実オブジェクトをオーバーレイ表示させる、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記表示制御部は、前記仮想オブジェクトのアニメーション表示を、前記実オブジェクトに係るセンシングデータに応じて制御する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記表示制御部は、前記実オブジェクトが静止していることが検出された場合に、所定のアニメーション表示を行う、前記（１１）に記載の情報処理装置。
（１３）
前記所定のアニメーション表示は、スロー再生表示、長時間露光表示、短インターバル表示のうち、少なくともいずれか一つを含む、前記（１２）に記載の情報処理装置。
（１４）
前記表示制御部は、前記仮想オブジェクトと、前記実オブジェクトに係るセンシングデータとの差分を示すインジケータをさらに表示させる、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記表示制御部は、前記仮想オブジェクトに対し、前記実オブジェクトとの空間的同期を施して表示させる、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記空間的同期は、位置同期、スケーリング同期、角度同期、反転同期等のうち、少なくともいずれか一つを含む、前記（１５）に記載の情報処理装置。
（１７）
前記表示制御部は、前記ユーザの視界における、前記実オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトの視認性を制御する、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記センシングデータは、３次元データを含む、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように、プロセッサが表示を制御すること、を含む情報処理方法。
（２０）
コンピュータに、
第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように表示を制御する機能を実現させるための、プログラム。
１ 表示システム
２ サーバ
１０ 表示装置
２０ 実空間センサ
３０ ヘッドトラッキングセンサ
１２０ 制御部
１２２ 通信制御部
１２４ クエリ生成部
１２６ 表示制御部
１４０ 通信部
１６０ 入力部
１８０ 表示部
２２０ 制御部
２２２ 通信制御部
２２４ 検索部
２４０ 通信部
２６０ 記憶部

Claims (20)

  1. 第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように表示を制御する表示制御部、を備える情報処理装置。
  2. 前記表示制御部は、前記検索により得られた複数の前記仮想オブジェクトを同時に表示させる、請求項１に記載の情報処理装置。
  3. 前記表示制御部は、前記検索におけるスコアが上位である複数の前記仮想オブジェクトを同時に表示させる、請求項２に記載の情報処理装置。
  4. 前記スコアは、前記実オブジェクトに係るセンシングデータと前記仮想オブジェクトとの類似度を含む、請求項３に記載の情報処理装置。
  5. 前記スコアは、前記実オブジェクトが、前記仮想オブジェクトの状態へ遷移する確率を示す遷移確率を含む、請求項３に記載の情報処理装置。
  6. 前記表示制御部は、前記スコアに応じて前記仮想オブジェクトの視認性を制御する、請求項３に記載の情報処理装置。
  7. 前記表示制御部は、前記スコアが高い程、前記仮想オブジェクトの視認性が高くなるように、前記仮想オブジェクトの視認性を制御する、請求項６に記載の情報処理装置。
  8. 前記表示制御部は、前記スコアが高い程、前記仮想オブジェクトの視認性が低くなるように、前記仮想オブジェクトの視認性を制御する、請求項６に記載の情報処理装置。
  9. 複数の前記仮想オブジェクトは、それぞれ前記実オブジェクトの輪郭と対応する輪郭を有する、請求項２に記載の情報処理装置。
  10. 前記表示制御部は、前記仮想オブジェクトと前記実オブジェクトをオーバーレイ表示させる、請求項１に記載の情報処理装置。
  11. 前記表示制御部は、前記仮想オブジェクトのアニメーション表示を、前記実オブジェクトに係るセンシングデータに応じて制御する、請求項１に記載の情報処理装置。
  12. 前記表示制御部は、前記実オブジェクトが静止していることが検出された場合に、所定のアニメーション表示を行う、請求項１１に記載の情報処理装置。
  13. 前記所定のアニメーション表示は、スロー再生表示、長時間露光表示、短インターバル表示のうち、少なくともいずれか一つを含む、請求項１２に記載の情報処理装置。
  14. 前記表示制御部は、前記仮想オブジェクトと、前記実オブジェクトに係るセンシングデータとの差分を示すインジケータをさらに表示させる、請求項１に記載の情報処理装置。
  15. 前記表示制御部は、前記仮想オブジェクトに対し、前記実オブジェクトとの空間的同期を施して表示させる、請求項１に記載の情報処理装置。
  16. 前記空間的同期は、位置同期、スケーリング同期、角度同期、反転同期等のうち、少なくともいずれか一つを含む、請求項１５に記載の情報処理装置。
  17. 前記表示制御部は、前記ユーザの視界における、前記実オブジェクトと前記仮想オブジェクトの位置関係に応じて、前記仮想オブジェクトの視認性を制御する、請求項１に記載の情報処理装置。
  18. 前記センシングデータは、３次元データを含む、請求項１に記載の情報処理装置。
  19. 第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように、プロセッサが表示を制御すること、を含む情報処理方法。
  20. コンピュータに、
    第一の時点での実オブジェクトに係るセンシングデータと、第二の時点での前記実オブジェクトに係るセンシングデータと、に基づく検索により得られた仮想オブジェクトを、ユーザが前記実オブジェクトと同時に視認可能となるように表示を制御する機能を実現させるための、プログラム。
JP2017535577A 2015-08-20 2016-08-19 情報処理装置、情報処理方法、及びプログラム Pending JPWO2017030193A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562207492P 2015-08-20 2015-08-20
US62/207,492 2015-08-20
PCT/JP2016/074263 WO2017030193A1 (ja) 2015-08-20 2016-08-19 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2017030193A1 true JPWO2017030193A1 (ja) 2018-05-31

Family

ID=58051130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017535577A Pending JPWO2017030193A1 (ja) 2015-08-20 2016-08-19 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US20180197342A1 (ja)
EP (1) EP3340188A4 (ja)
JP (1) JPWO2017030193A1 (ja)
WO (1) WO2017030193A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242502B2 (en) * 2017-07-27 2019-03-26 Facebook, Inc. Providing an augmented reality overlay for display over a view of a user
JP7102173B2 (ja) * 2018-03-09 2022-07-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021096272A (ja) 2018-03-30 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019230852A1 (ja) * 2018-06-01 2019-12-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110047150B (zh) * 2019-04-24 2023-06-16 大唐环境产业集团股份有限公司 一种基于增强现实的复杂设备操作运行在位仿真系统
JP7433126B2 (ja) 2020-04-21 2024-02-19 三菱電機株式会社 画像表示システム、画像表示装置、サーバ、画像表示方法およびプログラム
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2023049944A2 (de) * 2021-10-01 2023-04-06 Sehrschoen Harald Vermittlungsverfahren zur erzeugung eines virtuellen objekts in einer video-aufnahme durch zumindest einen diensterbringer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2011159162A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20140310595A1 (en) * 2012-12-20 2014-10-16 Sri International Augmented reality virtual personal assistant for external representation
JP2015143976A (ja) * 2013-12-25 2015-08-06 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法、プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6828962B1 (en) * 1999-12-30 2004-12-07 Intel Corporation Method and system for altering object views in three dimensions
US8332333B2 (en) * 2006-10-19 2012-12-11 Massachusetts Institute Of Technology Learning algorithm for ranking on graph data
US7733343B2 (en) * 2007-06-25 2010-06-08 Hewlett-Packard Development Company, L.P. Virtual shadow for physical object placed on surface
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
US7961986B1 (en) * 2008-06-30 2011-06-14 Google Inc. Ranking of images and image labels
JP2010015238A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
JP5051080B2 (ja) * 2008-09-25 2012-10-17 富士通株式会社 情報表示装置、情報表示方法、及びプログラム
US8675025B2 (en) * 2009-12-17 2014-03-18 Nokia Corporation Method and apparatus for providing control over a device display based on device orientation
US9704288B2 (en) * 2010-05-04 2017-07-11 Disney Enterprises, Inc. Stable spaces for rendering character garments in real-time
JP5643549B2 (ja) * 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
KR101505060B1 (ko) * 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
US8780014B2 (en) * 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US8749573B2 (en) * 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
US20140068526A1 (en) * 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction
KR101713772B1 (ko) * 2012-02-06 2017-03-09 한국전자통신연구원 사전 시각화 영상 생성 장치 및 방법
US9330478B2 (en) * 2012-02-08 2016-05-03 Intel Corporation Augmented reality creation using a real scene
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
CN103309895B (zh) * 2012-03-15 2018-04-10 中兴通讯股份有限公司 移动增强现实搜索方法、客户端、服务器及搜索系统
KR20130117553A (ko) * 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
US9020203B2 (en) * 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9087269B2 (en) * 2012-08-24 2015-07-21 Google Inc. Providing image search templates
JP5613213B2 (ja) * 2012-09-28 2014-10-22 富士フイルム株式会社 グラフ表示制御装置および方法並びにプログラム
US20150332620A1 (en) * 2012-12-21 2015-11-19 Sony Corporation Display control apparatus and recording medium
US20140240225A1 (en) * 2013-02-26 2014-08-28 Pointgrab Ltd. Method for touchless control of a device
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9207771B2 (en) * 2013-07-08 2015-12-08 Augmenta Oy Gesture based user interface
US9361733B2 (en) * 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
US20150123890A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Two hand natural user input
EP2911089B1 (en) * 2014-02-25 2018-04-04 Karlsruher Institut für Technologie Method and system for handwriting and gesture recognition
US9911351B2 (en) * 2014-02-27 2018-03-06 Microsoft Technology Licensing, Llc Tracking objects during processes
CN105301771B (zh) * 2014-06-06 2020-06-09 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
CN106030495B (zh) * 2015-01-30 2021-04-13 索尼深度传感解决方案股份有限公司 利用单个感测系统的基于多模式姿势的交互系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2011159162A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20140310595A1 (en) * 2012-12-20 2014-10-16 Sri International Augmented reality virtual personal assistant for external representation
JP2015143976A (ja) * 2013-12-25 2015-08-06 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
古矢真之介, 外２名: ""過去の使用者の作業情報から学習するＭＲマニュアル"", 電子情報通信学会技術研究報告, vol. 第１１４巻, 第２３９号, JPN6020015830, 2 October 2014 (2014-10-02), JP, pages 13 - 18, ISSN: 0004386767 *
鈴木優, 外２名: ""食材を認識して調理方法を重畳表示する調理支援システムの試作"", 電子情報通信学会技術研究報告, vol. 第１１２巻, 第２２５号, JPN6020015827, 27 September 2012 (2012-09-27), JP, pages 89 - 94, ISSN: 0004386766 *

Also Published As

Publication number Publication date
EP3340188A4 (en) 2019-05-22
WO2017030193A1 (ja) 2017-02-23
US20180197342A1 (en) 2018-07-12
EP3340188A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
WO2017030193A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
US20180300037A1 (en) Information processing device, information processing method, and program
JPWO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JPWO2016103988A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP4006847A1 (en) Virtual object processing method and apparatus, and storage medium and electronic device
EP3528024B1 (en) Information processing device, information processing method, and program
WO2017221492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6729555B2 (ja) 情報処理システムおよび情報処理方法
US11151804B2 (en) Information processing device, information processing method, and program
EP3355278A1 (en) Information processing device, information processing method, and program
EP3070681A1 (en) Display control device, display control method and program
JPWO2018083910A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2016181018A (ja) 情報処理システムおよび情報処理方法
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10582190B2 (en) Virtual training system
JP6575518B2 (ja) 表示制御装置、表示制御方法およびプログラム
US20210311608A1 (en) Displaying Representations of Environments
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
JP2019023902A (ja) プログラムおよび情報処理装置
JP7468506B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6065084B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5475163B2 (ja) データ取得装置、データ取得システム、データ取得装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201117