JP5776201B2 - 情報処理装置、情報共有方法、プログラム及び端末装置 - Google Patents

情報処理装置、情報共有方法、プログラム及び端末装置 Download PDF

Info

Publication number
JP5776201B2
JP5776201B2 JP2011027654A JP2011027654A JP5776201B2 JP 5776201 B2 JP5776201 B2 JP 5776201B2 JP 2011027654 A JP2011027654 A JP 2011027654A JP 2011027654 A JP2011027654 A JP 2011027654A JP 5776201 B2 JP5776201 B2 JP 5776201B2
Authority
JP
Japan
Prior art keywords
virtual object
shared area
terminal device
user
shared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011027654A
Other languages
English (en)
Other versions
JP2012168646A (ja
Inventor
福地 正樹
正樹 福地
辰起 柏谷
辰起 柏谷
俊一 本間
俊一 本間
隆之 芦ヶ原
隆之 芦ヶ原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011027654A priority Critical patent/JP5776201B2/ja
Priority to US13/364,029 priority patent/US20120210254A1/en
Priority to CN201210023940.3A priority patent/CN102695032B/zh
Publication of JP2012168646A publication Critical patent/JP2012168646A/ja
Application granted granted Critical
Publication of JP5776201B2 publication Critical patent/JP5776201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Description

本発明は、情報処理装置、情報共有方法、プログラム及び端末装置に関する。
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実(AR:Augmented Reality)と呼ばれる技術が注目されている。AR技術においてユーザに呈示される情報は、アノテーションとも呼ばれ、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。AR技術の主要な適用分野の1つは、実世界でのユーザ活動の支援である。AR技術は、単独のユーザによる活動の支援のみならず、複数のユーザによる活動を支援するためにも用いられる(例えば、下記特許文献1及び2参照)。
特開2004−62756号公報 特開2005−49996号公報
しかしながら、複数のユーザがAR空間を共有する場合、どの情報をどのユーザに呈示すべきかが問題となる。例えば、実世界での会議において、会議の参加者の多くは、自身のアイディアや会議の内容をメモに残すが、そのメモを他の参加者に自由に閲覧させることまでは望まない。しかし、上記特許文献1又は2に記載された手法は、ユーザ間で共有される情報と個々のユーザが共有を望まない情報とを区別しないため、ユーザの意思に関わらず、どのような情報も複数のユーザに閲覧可能となる恐れがある。
既存のAR技術において、プライベートレイヤ(階層)及び共有レイヤという2通りのAR空間を用意し、これらレイヤを切り替えながら使用することで、共有すべき情報と共有を望まない情報とをユーザが別々に保持することは可能であった。しかし、このような複数のレイヤの取り扱いはユーザにとって面倒であり、レイヤの設定を変更する操作は非直感的かつ煩雑なものであった。
そこで、本発明は、AR空間で他のユーザと共有したい情報及び共有を望まない情報をユーザが容易に取り扱うことのできる、情報処理装置、情報共有方法、プログラム及び端末装置を提供しようとするものである。
本発明のある実施形態によれば、端末装置の画面上で実空間に重畳して表示される仮想オブジェクトの位置を表す位置データを記憶する記憶部と、上記実空間内に仮想的な共有領域を設定する共有領域設定部と、各仮想オブジェクトが上記共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示を許可し又は拒否する制御部と、を備える情報処理装置が提供される。
また、上記制御部は、ある仮想オブジェクトの所有者ユーザの端末装置での当該仮想オブジェクトの表示を、当該仮想オブジェクトが上記共有領域に位置するか否かによらず許可してもよい。
また、上記制御部は、ある仮想オブジェクトが公開属性を有する場合には、当該仮想オブジェクトが上記共有領域に位置するか否かによらず、当該仮想オブジェクトの全ての端末装置での表示を許可してもよい。
また、上記制御部は、ある仮想オブジェクトの所有者ユーザにより当該仮想オブジェクトが非共有オブジェクトに設定されると、当該仮想オブジェクトが上記共有領域に位置する場合であっても、当該仮想オブジェクトの上記所有者ユーザ以外のユーザの端末装置での表示を拒否してもよい。
また、上記共有領域設定部は、共有領域ごとにユーザグループを設定し、上記制御部は、各共有領域に位置する仮想オブジェクトの表示を、当該共有領域のユーザグループに属するユーザの端末装置に許可してもよい。
また、上記共有領域は、上記実空間内の所定の物体と関連付けられる位置に設定されてもよい。
また、上記制御部は、各端末装置において検知される仮想オブジェクトの操作に応じて、操作された仮想オブジェクトの上記位置データを更新してもよい。
また、上記情報処理装置は、複数の上記端末装置の1つであってもよい。
また、本発明の別の実施形態によれば、端末装置の画面上で実空間に重畳して表示される仮想オブジェクトの位置を表す位置データを記憶媒体に記憶する情報処理装置において実行される情報共有方法であって、上記実空間内に仮想的な共有領域を設定するステップと、各仮想オブジェクトが上記共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示を許可し又は拒否するステップと、を含む情報共有方法が提供される。
また、本発明の別の実施形態によれば、端末装置の画面上で実空間に重畳して表示される仮想オブジェクトの位置を表す位置データを記憶媒体に記憶する情報処理装置を制御するコンピュータを、上記実空間内に仮想的な共有領域を設定する共有領域設定部と、各仮想オブジェクトが上記共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示を許可し又は拒否する制御部と、として動作させるためのプログラムが提供される。
また、本発明の別の実施形態によれば、仮想オブジェクトの位置を表す位置データを記憶している情報処理装置から、実空間内に設定される仮想的な共有領域と各仮想オブジェクトとの位置関係に応じて表示を許可された仮想オブジェクトを取得するオブジェクト制御部と、上記オブジェクト制御部により取得された仮想オブジェクトを上記実空間に重畳して表示する表示部と、を備える端末装置が提供される。
また、上記表示部は、上記共有領域をユーザに識別させるための補助的なオブジェクトをさらに表示してもよい。
また、上記オブジェクト制御部は、上記表示部により表示される仮想オブジェクトをユーザ入力に応じて移動させてもよい。
また、上記端末装置は、ユーザ入力に応じて移動される仮想オブジェクトの新たな位置を上記情報処理装置へ送信する通信部、をさらに備えてもよい。
以上説明したように、本発明に係る情報処理装置、情報共有方法、プログラム及び端末装置によれば、AR空間で他のユーザと共有したい情報及び共有を望まない情報をユーザが容易に取り扱うことができる。
一実施形態に係る情報共有システムの概要を示す説明図である。 情報共有システムの他の例を示す説明図である。 一実施形態に係る端末装置の構成の一例を示すブロック図である。 一実施形態に係る端末装置により撮像される画像の一例を示す説明図である。 一実施形態に係る端末装置により表示される画像の一例を示す説明図である。 一実施形態に係る情報処理装置の構成の一例を示すブロック図である。 一実施形態に係るオブジェクトデータについて説明するための説明図である。 一実施形態に係る共有領域データについて説明するための説明図である。 共有領域の第1の例を示す説明図である。 共有領域の第2の例を示す説明図である。 共有領域の第3の例を示す説明図である。 共有領域の認識を支援する手法の一例について説明するための説明図である。 一実施形態において情報共有が開始されるまでの処理の流れの一例を示すシーケンス図である。 一実施形態に係る共有判定処理の流れの一例を示すフローチャートである。 仮想オブジェクトの表示位置の算出について説明するための説明図である。 一実施形態において共有される情報及び共有されない情報の一例を示す説明図である。 図15において非共有であった情報が共有化される第1のシナリオについて説明するための説明図である。 図15において非共有であった情報が共有化される第2のシナリオについて説明するための説明図である。 一変形例に係る情報共有システムの概要を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
1.システムの概要
2.端末装置の構成例
3.情報処理装置の構成例
4.処理の流れの例
5.共有される情報及び共有されない情報の例
6.変形例
7.まとめ
<1.システムの概要>
図1Aは、本発明の一実施形態に係る情報共有システム1の概要を示す説明図である。図1Aを参照すると、情報共有システム1は、端末装置100a、100b及び100c、並びに情報処理装置200を含む。図1Aの例において、ユーザUa、Ub及びUcは、実空間の物体であるテーブル3を囲んでいる。ユーザUaは端末装置100a、ユーザUbは端末装置100b、ユーザUcは端末装置100cをそれぞれ使用する。なお、図1Aには3人のユーザが情報共有システム1に参加する例を示しているが、かかる例に限定されず、情報共有システム1に2人又は4人以上のユーザが参加してもよい。
端末装置100aは、ユーザUaの頭部に装着される撮像装置102a及び表示装置160aと接続される。撮像装置102aは、ユーザUaの視線方向を向いて実空間を撮像し、一連の入力画像を端末装置100aへ出力する。表示装置160aは、端末装置100aにより生成され又は取得される仮想オブジェクトの画像をユーザUaに表示する。表示装置160aの画面は、シースルー型の画面であってもよく、又は非シースルー型の画面であってもよい。図1Aの例では、表示装置160aは、ヘッドマウントディスプレイ(HMD:Head Mounted Display)である。
端末装置100bは、ユーザUbの頭部に装着される撮像装置102b及び表示装置160bと接続される。撮像装置102bは、ユーザUbの視線方向を向いて実空間を撮像し、一連の入力画像を端末装置100bへ出力する。表示装置160bは、端末装置100bにより生成され又は取得される仮想オブジェクトの画像をユーザUbに表示する。
端末装置100cは、ユーザUcの頭部に装着される撮像装置102c及び表示装置160cと接続される。撮像装置102cは、ユーザUcの視線方向を向いて実空間を撮像し、一連の入力画像を端末装置100cへ出力する。表示装置160cは、端末装置100cにより生成され又は取得される仮想オブジェクトの画像をユーザUcに表示する。
端末装置100a、100b及び100cは、有線又は無線による通信接続を介して、情報処理装置200との間で通信する。端末装置100a、100b及び100cの間でも同様に通信可能であってよい。端末装置100a、100b及び100c、並びに情報処理装置200の間の通信は、例えば、P2P(Peer to Peer)方式により直接行われてもよく、ルータ又はサーバなどの他の装置(図示せず)を介して間接的に行われてもよい。
端末装置100aは、ユーザUaが所有する情報、並びにユーザUa、Ub及びUcの間で共有される情報を、表示装置160aの画面上で実空間に重畳して表示する。端末装置100bは、ユーザUbが所有する情報、並びにユーザUa、Ub及びUcの間で共有される情報を、表示装置160bの画面上で実空間に重畳して表示する。端末装置100cは、ユーザUcが所有する情報、並びにユーザUa、Ub及びUcの間で共有される情報を、表示装置160bの画面上で実空間に重畳して表示する。
なお、図1Aの例に限定されず、端末装置100a、100b及び100cは、スマートフォンなどのカメラ付き携帯端末であってもよい(図1B参照)。その場合には、カメラ付き携帯端末のカメラが実空間を撮像し、端末の制御部により画像処理が行われた後、端末の画面上に仮想オブジェクトの画像が実空間の画像に重畳して表示され得る。また、各端末装置は、PC(Personal Computer)又はゲーム端末などのその他の種類の装置であってもよい。
本明細書のこれ以降の説明において、端末装置100a、100b及び100cを互いに区別する必要がない場合には、符号の末尾のアルファベットを省略することにより、これらを端末装置100と総称する。また、撮像装置102a、102b及び100c(撮像装置102)、表示装置160a、160b及び160c(表示装置160)、並びにその他の要素についても同様とする。
情報処理装置200は、複数の端末装置100の間の情報の共有を支援するサーバとして動作する装置である。本実施形態において、情報処理装置200は、仮想オブジェクトの位置及び属性を表すオブジェクトデータを保持する。仮想オブジェクトは、例えば、付箋、吹出し又はメッセージタグのような、何らかの文字情報が記述されるテキストボックスであってもよい。また、仮想オブジェクトは、例えば、アイコンのような、何らかの情報を象徴的に表現する図形又は記号であってもよい。さらに、情報処理装置200は、情報共有システム1内で共通的に設定される共有領域を定義する共有領域データを保持する。共有領域は、例えば、テーブル3のような実空間内の物体と関連付けて定義されてもよく、又は物体と関連付けられることなく実空間の座標系上の特定の領域として定義されてもよい。そして、情報処理装置200は、各仮想オブジェクトの属性、及び各仮想オブジェクトの共有領域との位置関係に応じて、各仮想オブジェクトの共有を制御する。
このような情報共有システム1の各装置の具体的な構成例について、次節より詳細に説明する。
<2.端末装置の構成例>
図2は、本実施形態に係る端末装置100の構成の一例を示すブロック図である。図2を参照すると、端末装置100は、撮像部102、センサ部104、入力部106、通信部110、記憶部120、画像認識部130、位置・姿勢推定部140、オブジェクト制御部150及び表示部160を備える。
撮像部102は、図1A又は図1Bに示した端末装置100の撮像装置102に相当し、実空間を撮像することにより一連の入力画像を取得する。そして、撮像部102は、取得した入力画像を画像認識部130、位置・姿勢推定部140及びオブジェクト制御部150へ出力する。
センサ部104は、ジャイロセンサ、加速度センサ、地磁気センサ及びGPS(Global Positioning System)センサの少なくとも1つを含む。ジャイロセンサ、加速度センサ又は地磁気センサにより測定される端末装置100の傾き角、3軸加速度又は方位は、端末装置100の姿勢を推定するために使用され得る。また、GPSセンサは、端末装置100の絶対位置(緯度、経度及び高度)を測定するために使用され得る。センサ部104は、各センサにより測定される測定値を、位置・姿勢推定部140及びオブジェクト制御部150へ出力する。
入力部106は、端末装置100のユーザが端末装置100を操作し又は端末装置100へ情報を入力するために使用される。入力部106は、例えば、キーパッド、ボタン、スイッチ又はタッチパネルなどを含み得る。また、入力部106は、ユーザの発する音声から操作コマンド若しくは情報入力コマンドを認識する音声認識モジュール、又は入力画像に映るユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。ユーザは、例えば、表示部160の画面上に表示された仮想オブジェクトを、入力部106を介する操作(例えば、仮想オブジェクトのドラッグ又は方向キーの押下など)により移動させる。また、ユーザは、自身が所有する仮想オブジェクトの属性を、入力部106を介して編集する。
通信部110は、端末装置100と他の装置との間の通信接続を仲介する通信インタフェースである。端末装置100が情報共有システム1に参加すると、通信部110は、端末装置100と情報処理装置200との間の通信接続を確立する。また、通信部110は、複数の端末装置100の間の通信接続をさらに確立し得る。それにより、情報共有システム1におけるユーザ間での情報の共有のための通信が可能となる。
記憶部120は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、端末装置100による処理のためのプログラム及びデータを記憶する。例えば、記憶部120は、オブジェクト制御部150により生成され、又は情報処理装置200から通信部110を介して取得される仮想オブジェクトについてのオブジェクトデータを記憶する。また、記憶部120は、端末装置100のユーザが登録された共有領域についての共有領域データを記憶する。
画像認識部130は、撮像部102から入力される入力画像について画像認識処理を行う。例えば、画像認識部130は、共有領域と関連付けられる、入力画像に映る実空間内の物体(例えば、図1A又は図1Bに示したテーブル3)を、パターンマッチングなどの公知の画像認識手法を用いて認識してもよい。その代わりに、画像認識部130は、物体に物理的に貼付されるマーカ又はQRコードなどを入力画像内で認識してもよい。
位置・姿勢推定部140は、センサ部104から入力される各センサの測定値を用いて、端末装置100の現在位置及び姿勢を推定する。例えば、位置・姿勢推定部140は、GPSセンサの測定値を用いて、端末装置100の絶対位置を推定することができる。また、位置・姿勢推定部140は、ジャイロセンサ、加速度センサ又は地磁気センサの測定値を用いて、端末装置100の姿勢を推定することができる。その代わりに、位置・姿勢推定部140は、画像認識部130による画像認識の結果に基づいて、実空間内の物体に対する端末装置の相対的な位置及び姿勢を推定してもよい。また、位置・姿勢推定部140は、例えば、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”(Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410)に記載されているSLAM技術の原理に従って、撮像部102から入力される入力画像を用いて端末装置100の位置及び姿勢を動的に検出してもよい。なお、SLAM技術が用いられる場合には、端末装置100の構成からセンサ部104が省略されてもよい。位置・姿勢推定部140は、このように推定される端末装置100の位置及び姿勢を、オブジェクト制御部150へ出力する。
オブジェクト制御部150は、端末装置100における仮想オブジェクトの操作及び表示を制御する。
より具体的には、オブジェクト制御部150は、ユーザにより入力され又は選択される情報を表現する仮想オブジェクトを生成する。例えば、テーブル3を囲むユーザの1人は、会議中に思いついたアイディア又は議事に関するメモについての情報を、入力部106を介して文字情報として入力する。すると、オブジェクト制御部150は、入力された文字情報を表現する仮想オブジェクト(例えばテキストボックス)を生成する。仮想オブジェクトを生成した端末装置100のユーザは、当該仮想オブジェクトの所有者となる。また、オブジェクト制御部150は、生成した仮想オブジェクトを、実空間内の位置と関連付ける。仮想オブジェクトが関連付けられる位置は、ユーザにより指定される位置又は既定の位置であってよい。そして、オブジェクト制御部150は、生成したオブジェクトの位置及び属性を表すオブジェクトデータを、通信部110を介して情報処理装置200へ送信する。
また、オブジェクト制御部150は、情報処理装置200から、共有領域と各仮想オブジェクトとの位置関係に応じて表示を許可された仮想オブジェクトについてのオブジェクトデータを、通信部110を介して取得する。そして、オブジェクト制御部150は、取得したオブジェクトデータにより表される各仮想オブジェクトの3次元的な位置と位置・姿勢推定部140により推定される端末装置100の位置及び姿勢とに基づいて、各仮想オブジェクトの画面上での表示位置を算出する。そして、オブジェクト制御部150は、表示部160により、算出した表示位置に各仮想オブジェクトを表示させる。
また、オブジェクト制御部150は、情報処理装置200から、実空間内に設定される仮想的な共有領域を定義する共有領域データを、通信部110を介して取得する。そして、オブジェクト制御部150は、共有領域をユーザに識別させるための補助的なオブジェクト(例えば、共有領域を囲む枠又は半透明の領域)を、表示部160により表示させる。補助的なオブジェクトの表示位置は、共有領域データにより表される共有領域の位置と端末装置100の位置及び姿勢とに基づいて算出され得る。
また、オブジェクト制御部150は、表示部160により表示される仮想オブジェクトを、入力部106を介して検知されるユーザ入力に応じて移動させる。そして、オブジェクト制御部150は、移動後の仮想オブジェクトの新たな位置を、通信部110を介して情報処理装置200へ送信する。
表示部160は、図1A又は図1Bに示した端末装置100の表示装置160に相当する。表示部160は、情報処理装置200から取得された仮想オブジェクトを、オブジェクト制御部150により算出される表示位置において実空間に重畳して表示する。また、表示部160は、情報処理装置200から取得された共有領域データに従って、共有領域をユーザに識別させるための補助的なオブジェクトを実空間に重畳して表示する。
図3は、端末装置100の撮像部102により撮像される画像の一例を示す説明図である。図3を参照すると、ユーザUaの視点から撮像された入力画像Im0が示されている。入力画像Im0には、ユーザUb及びユーザUc、並びにテーブル3が映っている。
図4は、端末装置100(100a)の表示部160により表示される画像の一例を示す説明図である。図4を参照すると、図3の入力画像Im0に映る実空間内のテーブル3に重畳するように、複数のオブジェクトObj11、Obj12、Obj13、Obj21、Obj31、Obj32及びObjAが表示されている。例えば、オブジェクトObj11、Obj12及びObj13は、ユーザUaが入力した情報を表現する仮想オブジェクトである。オブジェクトObj21は、ユーザUbが入力した情報を表現する仮想オブジェクトである。オブジェクトObj31及びObj32は、ユーザUcが入力した情報を表現する仮想オブジェクトである。オブジェクトObjAは、共有領域をユーザに識別させるための補助的なオブジェクトである。情報共有システム1では、次に説明する情報処理装置200が関与することにより、このようなオブジェクトを表示するAR空間がユーザに提供され、ユーザ間での簡易かつ柔軟な情報の共有が可能となる。
<3.情報処理装置の構成例>
図5は、本実施形態に係る情報処理装置200の構成の一例を示すブロック図である。図5を参照すると、情報処理装置200は、通信部210、記憶部220、共有領域設定部230及び共有制御部240を備える。
(3−1)通信部
通信部210は、情報処理装置200と端末装置100との間の通信接続を仲介する通信インタフェースである。通信部210は、端末装置100から情報共有システム1への参加の要求を受信すると、当該端末装置100との間の通信接続を確立する。それにより、端末装置100と情報処理装置200との間のオブジェクトデータ及び共有領域データなどの様々なデータの交換が可能となる。
(3−2)記憶部
記憶部220は、各端末装置100の画面上で実空間に重畳して表示される仮想オブジェクトについてのオブジェクトデータを記憶する。典型的には、オブジェクトデータは、各オブジェクトの実空間内での位置を表す位置データ、及び各オブジェクトの属性を表す属性データを含む。また、記憶部220は、実空間内に仮想的に設定される共有領域を定義する共有領域データを記憶する。共有領域データは、各共有領域の実空間内での範囲に関するデータを含む。さらに、共有領域データは、各共有領域を利用するユーザに関するデータを含んでもよい。
(オブジェクトデータ)
図6は、本実施形態において情報処理装置200により記憶されるオブジェクトデータについて説明するための説明図である。図6を参照すると、一例としてのオブジェクトデータ212が示されている。オブジェクトデータ212は、オブジェクトID、位置、姿勢、所有者、公開フラグ、共有フラグ及び内容、という7個のデータ項目を有する。
「オブジェクトID」は、個々の仮想オブジェクトを一意に識別するための識別子である。「位置」は、各仮想オブジェクトの実空間内での位置を表す。各仮想オブジェクトの実空間内での位置は、例えば、緯度、経度及び高度のような絶対位置を表すグローバル座標により表現されてもよく、特定の空間(例えば、建物又は会議室など)と関連付けて設定されるローカル座標により表現されてもよい。「姿勢」は、各仮想オブジェクトの姿勢を四元数(クォータニオン)又はオイラー角を用いて表す。「所有者」は、各オブジェクトの所有者ユーザを識別するユーザIDである。図6の例では、オブジェクトObj11、Obj12及びObj13の所有者は、ユーザUaである。一方、オブジェクトObj32の所有者は、ユーザUcである。
「公開フラグ」は、各仮想オブジェクトの公開(public)又は非公開(private)の属性を定義するフラグである。「公開フラグ」が“True”である仮想オブジェクト(即ち、公開属性を有する仮想オブジェクト)は、当該仮想オブジェクトの位置に関わらず、原則として全てのユーザに公開される。一方、「公開フラグ」が“False”である仮想オブジェクト(即ち、非公開属性を有する仮想オブジェクト)は、当該仮想オブジェクトの共有フラグの値及び位置に応じて、公開されるか否かを判定される。
「共有フラグ」は、各仮想オブジェクトの所有者により編集可能なフラグである。ある仮想オブジェクトの「共有フラグ」が“True”に設定されると、当該仮想オブジェクトが共有領域に位置する場合に、当該仮想オブジェクトが所有者以外のユーザに公開される(即ち、共有される)。一方、ある仮想オブジェクトの「共有フラグ」が“False”に設定されると、当該仮想オブジェクトが共有領域に位置する場合であっても、当該仮想オブジェクトは所有者以外のユーザには公開されない(即ち、共有されない)。
「内容」は、各仮想オブジェクトが表現すべき情報を表し、例えば、テキストボックス内のテキスト、アイコンのビットマップ、又は立体的なオブジェクトのポリゴンなどのデータをそれぞれ含み得る。
なお、各仮想オブジェクトの表示の許可又は拒否は、単純に共有領域に位置するか否かに応じて判定されてもよい。その場合には、「公開フラグ」及び「共有フラグ」は、オブジェクトデータのデータ項目から省略され得る。
(共有領域データ)
図7は、本実施形態において情報処理装置200により記憶される共有領域データについて説明するための説明図である。図7を参照すると、一例としての共有領域データ214が示されている。共有領域データ214は、共有領域ID、頂点数、頂点座標、ユーザ数及び登録ユーザという5個のデータ項目を有する。
「共有領域ID」は、個々の共有領域を一意に識別するための識別子である。「頂点数」及び「頂点座標」は、各共有領域の実空間内での範囲に関するデータである。図7の例では、共有領域SA1は、座標XA11〜XA1Nによりそれぞれ位置が与えられるN個の頂点により形成されるポリゴン(又は多角形)として定義されている。共有領域SA2は、座標XA21〜XA2Mによりそれぞれ位置が与えられるM個の頂点により形成されるポリゴン(又は多角形)として定義されている。共有領域は、ポリゴンのような立体的な領域であってもよく、又は多角形若しくは楕円形のような平面的な領域であってもよい。
「ユーザ数」及び「登録ユーザ」は、各共有領域を利用するユーザのグループ(以下、ユーザグループという)を定義するデータである。図7の例では、共有領域SA1についてのユーザグループは、NU1人の登録ユーザを含む。また、共有領域SA2についてのユーザグループは、NU2人の登録ユーザを含む。ある共有領域に位置する仮想オブジェクトは、当該仮想オブジェクトの共有フラグが“True”であれば、当該仮想オブジェクトのユーザグループに登録されているユーザに公開され得る。なお、「ユーザ数」及び「登録ユーザ」は、共有領域データのデータ項目から省略されてもよい。
(3−3)共有領域設定部
共有領域設定部230は、実空間内に仮想的な共有領域を設定する。共有領域設定部230により共有領域が設定されると、当該共有領域を定義する図7に例示したような共有領域データが記憶部220により記憶される。
(共有領域の例)
図8は、共有領域設定部230により設定され得る共有領域の第1の例を示す説明図である。第1の例において、共有領域SA1は、テーブル3の表面上に位置する4つの頂点XA11〜XA14を有する四角形の平面的な領域である。
図9は、共有領域設定部230により設定され得る共有領域の第2の例を示す説明図である。第2の例において、共有領域SA2は、テーブル3の上方に位置する8つの頂点XA21〜XA28を有する直方体の立体的な領域である。
図10は、共有領域設定部230により設定され得る共有領域の第3の例を示す説明図である。第3の例において、共有領域SA3は、テーブル3の表面上に位置する点CA3を中心とする半径RA3の円形の平面的な領域である。
図8〜図10に示したように、共有領域設定部230は、実空間内の所定の物体と関連付けられる位置に共有領域を設定し得る。所定の物体とは、例えば、テーブル、ホワイトボード、PC(Personal Computer)の画面、壁又は床などであってよい。その代わりに、共有領域設定部230は、実空間内の物体と関連付けることなく、グローバル座標系又はローカル座標系の特定の位置に共有領域を設定してもよい。
共有領域設定部230により設定される共有領域は、予め固定的に定義されてもよい。また、共有領域設定部230は、端末装置100から新たな共有領域の定義を受信することにより、共有領域を新たに設定してもよい。例えば、図11を参照すると、共有領域の頂点に相当する位置にQRコードが貼付されたテーブル3が示されている。端末装置100は、これらQRコードを撮像することにより共有領域の頂点を認識し、認識した頂点により形成される共有領域の定義を情報処理装置200へ送信する。その結果、共有領域設定部230により、図8に例示したような四角形の平面的な共有領域が設定され得る。このようなQRコード(又はマーカなど)は、共有領域の頂点ではなく中心に配置されてもよい。
(ユーザグループ)
さらに、本実施形態において、共有領域設定部230は、共有領域ごとに、当該共有領域を利用するユーザをグループ化したユーザグループを設定する。共有領域設定部230は、例えば、ある共有領域を設定した後、設定された共有領域を利用するユーザを招待するためのビーコンを周囲の端末装置100へブロードキャストしてもよい。そして、共有領域設定部230は、ビーコンに応答した端末装置100のユーザを、当該共有領域を利用するユーザとして登録し得る(図7の共有領域データ214の「登録ユーザ」)。その代わりに、共有領域設定部230は、共有領域への登録要求を端末装置100から受信し、受信された登録要求の送信元の端末装置100のユーザを、当該共有領域を利用するユーザとして登録してもよい。
(3−4)共有制御部
共有制御部240は、ユーザ間の情報共有のためのAR空間を提供する端末装置100での仮想オブジェクトの表示を制御する。より具体的には、共有制御部240は、各仮想オブジェクトが共有領域に位置するか否かに応じて、各仮想オブジェクトの個々の端末装置100での表示を許可し又は拒否する。さらに、本実施形態において、共有制御部240は、各仮想オブジェクトの属性に応じて、各仮想オブジェクトの個々の端末装置100での表示を許可し又は拒否する。そして、共有制御部240は、各端末装置100へ、当該端末装置100での表示を許可する仮想オブジェクトについてのオブジェクトデータを配信する。
例えば、共有制御部240は、ある仮想オブジェクトの所有者ユーザの端末装置100での当該仮想オブジェクトの表示を、当該仮想オブジェクトが共有領域に位置するか否かによらず許可する。また、共有制御部240は、ある仮想オブジェクトが公開属性を有する場合には、当該仮想オブジェクトが共有領域に位置するか否かによらず、当該仮想オブジェクトの全ての端末装置100での表示を許可する。公開属性を有しない仮想オブジェクトの当該仮想オブジェクトの所有者ユーザ以外の端末装置100での表示の許可又は拒否は、「共有フラグ」の値及び当該仮想オブジェクトの位置に応じて判定される。
例えば、共有制御部240は、ある仮想オブジェクトが所有者ユーザにより非共有オブジェクトに設定されると、当該仮想オブジェクトが共有領域に位置する場合であっても、所有者ユーザ以外のユーザの端末装置100での当該仮想オブジェクトの表示を拒否する。一方、ある仮想オブジェクトが共有オブジェクトに設定されると、共有制御部240は、当該仮想オブジェクトが共有領域に位置する場合に、当該仮想オブジェクトの所有者ユーザ以外のユーザの端末装置100での表示を許可する。この場合、当該仮想オブジェクトの表示が許可される端末装置100は、当該仮想オブジェクトが位置する共有領域のユーザグループに属するユーザの端末装置100であってよい。共有制御部240は、仮想オブジェクトが共有領域に完全に含まれる場合に当該仮想オブジェクトが共有領域に位置すると判定してもよい。その代わりに、共有制御部240は、仮想オブジェクトが共有領域と一部でも重なる場合に当該仮想オブジェクトが共有領域に位置すると判定してもよい。
さらに、共有制御部240は、各端末装置100において検知される仮想オブジェクトの操作に応じて、操作された仮想オブジェクトのオブジェクトデータに含まれる位置及び姿勢を更新する。それにより、ユーザが仮想オブジェクト(共有フラグが“True”である共有オブジェクト)を操作して仮想オブジェクトを共有領域の内部又は外部へ移動させるだけで、仮想オブジェクトを簡単にユーザ間で共有し又はその共有を解除することが可能となる。
<4.処理の流れの例>
次に、図12及び図13を用いて、本実施形態に係る情報共有システム1における処理の流れを説明する。
(4−1)全体的な流れ
図12は、情報共有システム1において情報共有が開始されるまでの処理の流れの一例を示すシーケンス図である。なお、ここでは、説明の簡明さの観点から、情報共有システム1に2人のユーザUa及びUbの端末装置100a及び100bのみが参加しているものとする。
図12を参照すると、まず、端末装置100aは、共有領域の設定を情報処理装置200に要求する(ステップS102)。すると、情報処理装置200の共有領域設定部230は、新たな共有領域を設定する(ステップS104)。そして、共有領域設定部230は、新たに設定した共有領域のユーザを招待するためのビーコンを、端末装置100bへ送信する(ステップS106)。当該ビーコンを受信した端末装置100bは、共有領域への招待に応答する(ステップS108)。ここでは、端末装置100bのユーザUbが招待を受諾したものとする。すると、情報処理装置200の共有領域設定部230は、ユーザUbを新たな共有領域のユーザグループに登録する(ステップS110)。
次に、端末装置100aは、端末装置100aにおいて生成された仮想オブジェクト(即ち、ユーザUaが所有者である仮想オブジェクト)についてのオブジェクトデータを情報処理装置200へ送信する(ステップS120)。同様に、端末装置100bは、端末装置100bにおいて生成された仮想オブジェクトについてのオブジェクトデータを情報処理装置200へ送信する(ステップS122)。それにより、情報処理装置200の記憶部220に図6に例示したようなオブジェクトデータが登録(又は更新)される(ステップS124)。このようなオブジェクトデータの登録又は更新は、定期的に行われてもよく、又は仮想オブジェクトが操作されたタイミングで不定期に行われてもよい。
次に、情報処理装置200の共有制御部240は、ユーザごとに共有判定処理を行う。例えば、共有制御部240は、まず、ユーザUaについて共有判定処理を行い(ステップS132)、端末装置100aでの表示が許可される仮想オブジェクトについてのオブジェクトデータを端末装置100aへ配信する(ステップS134)。次に、共有制御部240は、ユーザUbについて共有判定処理を行い(ステップS142)、端末装置100bでの表示が許可される仮想オブジェクトについてのオブジェクトデータを端末装置100bへ配信する(ステップS144)。
(3−2)共有判定処理の流れ
図13は、情報処理装置200の共有制御部240による各ユーザ(以下、対象ユーザという)についての共有判定処理の流れの一例を示すフローチャートである。図13のステップS202〜S216の処理は、オブジェクトデータ212に含まれる各仮想オブジェクトについて繰り返し行われる。
まず、共有制御部240は、対象ユーザが仮想オブジェクトの所有者であるか否かを判定する(ステップS202)。ここで、ユーザが仮想オブジェクトの所有者である場合には、共有制御部240は、当該仮想オブジェクトの対象ユーザへの表示を許可する(ステップS216)。一方、対象ユーザが仮想オブジェクトの所有者でない場合には、処理はステップS204へ進む。
次に、共有制御部240は、仮想オブジェクトが公開属性を有するか否かを判定する(ステップS204)。ここで、仮想オブジェクトが公開属性を有する場合には、共有制御部240は、当該仮想オブジェクトの対象ユーザへの表示を許可する(ステップS216)。一方、仮想オブジェクトが公開属性を有しない場合には、処理はステップS206へ進む。
次に、共有制御部240は、仮想オブジェクトの共有が有効化されているか否かを判定する(ステップS206)。ここで、仮想オブジェクトの共有が有効化されていない(即ち、共有フラグが“False”である)場合には、共有制御部240は、当該仮想オブジェクトの対象ユーザへの表示を拒否する(ステップS214)。一方、仮想オブジェクトの共有が有効化されている場合には、処理はステップS208へ進む。
次に、共有制御部240は、仮想オブジェクトが共有領域に位置するか否かを判定する(ステップS208)。ここで、仮想オブジェクトが共有領域に位置しない場合には、共有制御部240は、当該仮想オブジェクトの対象ユーザへの表示を拒否する(ステップS214)。一方、仮想オブジェクトが共有領域に位置する場合には、処理はステップS212へ進む。
ステップS212では、共有制御部240は、対象ユーザが仮想オブジェクトが位置する共有領域のユーザグループに含まれるか否かを判定する(ステップS212)。ここで、対象ユーザがユーザグループに含まれる場合には、共有制御部240は、当該仮想オブジェクトの対象ユーザへの表示を許可する(ステップS216)。一方、対象ユーザがユーザグループに含まれない場合には、共有制御部240は、当該仮想オブジェクトの対象ユーザへの表示を拒否する(ステップS214)。
(3−3)表示位置の算出
なお、情報処理装置200により表示が許可された仮想オブジェクトについての、オブジェクトデータにより示される3次元位置から画面上の2次元の表示位置への座標の変換は、例えば、次式のようなピンホールモデルに従って行われてよい。
Figure 0005776201
式(1)において、Xobjはグローバル座標系又はローカル座標系での仮想オブジェクトの3次元位置を表すベクトル、Xは端末装置100の3次元位置を表すベクトル、Ωは端末装置100の姿勢に対応する回転行列、Aはカメラ内部パラメータ、λは正規化のためのパラメータである。また、Cobjは撮像面上の2次元のカメラ座標系(u,v)での仮想オブジェクトの表示位置を表す(図14参照)。仮想オブジェクトの3次元位置が物体の位置Xからの相対位置Vobjにより与えられる場合には、Xobjは、次式のように算出されてもよい。
Figure 0005776201
カメラ内部パラメータAは、端末装置100の撮像部102の特性に応じて、予め次式のように与えられる。
Figure 0005776201
ここで、fは焦点距離、θは画像軸の直交性(理想値は90°)、kは撮像面の縦軸のスケール(実空間の座標系からカメラ座標系へのスケール変化率)、kは撮像面の横軸のスケール、(u,v)は撮像面の中心位置である。
<5.共有される情報及び共有されない情報の例>
図15は、情報共有システム1において共有される情報及び共有されない情報の一例を示す説明図である。図15では、共有領域SA1の内部又は外部に配置された複数の仮想オブジェクトが示されている。なお、ここでは、ユーザUa、Ub及びUcが情報共有システム1に参加しているものとする。図中で網掛けされた仮想オブジェクトは、ユーザUaが閲覧できる(即ち、端末装置100aでの表示が許可される)オブジェクトである。一方、網掛けされていない仮想オブジェクトは、ユーザUaが閲覧できない(即ち、端末装置100aでの表示が拒否される)オブジェクトである。
図15に示された仮想オブジェクトのうち、オブジェクトObj11及びObj12の所有者は、ユーザUaである。従って、オブジェクトObj11及びObj12は、それらの属性によらず、ユーザUaにとって閲覧可能である。
一方、オブジェクトObj21及びObj22の所有者は、ユーザUbである。オブジェクトObj31、Obj32及びObj33の所有者は、ユーザUcである。これら仮想オブジェクトのうち、オブジェクトObj33は、公開(public)属性を有するため、ユーザUaにとって閲覧可能である。また、オブジェクトObj21及びObj31は、共有フラグが“True”であって共有領域の内部に位置するため、ユーザUaにとって閲覧可能である。オブジェクトObj22は、共有フラグが“True”であるものの、共有領域の外部に位置するため、ユーザUaにとって閲覧可能でない。オブジェクトObj32は、共有領域の内部に位置するものの、共有フラグが“False”であるため、ユーザUaにとって閲覧可能でない。
図16及び図17は、それぞれ、図15において非共有であった情報が共有化されるシナリオについて説明するための説明図である。図16を参照すると、ユーザUbにより、オブジェクトObj22が共有領域の外部から内部へ移動されている。その結果、オブジェクトObj22は、ユーザUaにとって閲覧可能となる。また、図17を参照すると、ユーザUcにより、オブジェクトObj32の共有フラグが“False”から“True”に変更されている。その結果、オブジェクトObj32は、ユーザUaにとって閲覧可能となる。これらの逆に、仮想オブジェクトが共有領域の内部から外部へ移動された場合、又は仮想オブジェクトの共有フラグが“False”へ変更された場合には、共有されていた仮想オブジェクトは共有されないようになる。
<6.変形例>
上述した実施形態では、ユーザにより保持又は装着される端末装置100とは別の装置として情報処理装置200が構成される例を説明した。しかしながら、情報処理装置200のサーバ機能(主に共有領域設定部230及び共有制御部240の機能)をいずれかの端末装置が有する場合には、情報共有システムの構成から情報処理装置200は省略されてもよい。図18は、そのような一変形例に係る情報共有システム2の概要を示している。図18を参照すると、情報共有システム2は、ユーザUaが装着する端末装置300a及びユーザUbが装着する端末装置100bを含む。端末装置300aは、上述した端末装置100の機能に加えて、情報処理装置200に関連して説明したサーバ機能を有する。一方、端末装置100bは、上述した端末装置100の機能を有する。このような情報共有システム2においても、情報共有システム1と同様、AR空間で他のユーザと共有したい情報及び共有を望まない情報をユーザが容易に取り扱うことが可能である。
<7.まとめ>
ここまで、図1A〜図18を用いて、本発明の一実施形態(及びその変形例)について説明した。上述した実施形態によれば、拡張現実のための仮想オブジェクトが実空間内に仮想的に設定される共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示が許可され又は拒否される。それにより、ユーザは、共有したい情報を表す仮想オブジェクトを共有領域の内部に移動させるための単純な操作を行うだけで、当該情報を他のユーザと共有することができる。その際、AR空間のレイヤの切り替えなどの煩雑な操作は要求されない。
また、本実施形態によれば、ある仮想オブジェクトの所有者ユーザの端末装置での仮想オブジェクトの表示は、当該仮想オブジェクトが共有領域に位置するか否かによらず許可される。従って、ユーザは、自らが生成した情報を、共有領域の内部及び外部に自由に配置することができる。
また、本実施形態によれば、ある仮想オブジェクトが公開属性を有する場合には、当該仮想オブジェクトが共有領域に位置するか否かによらず、当該仮想オブジェクトの端末装置での表示が許可される。従って、特定の種類の情報については予め公開属性を付し、共有の制限を課すことなく複数のユーザに自由に閲覧させることができる。
また、本実施形態によれば、ある仮想オブジェクトが非共有オブジェクトに設定されると、当該仮想オブジェクトが共有領域に位置する場合であっても、当該仮想オブジェクトの所有者ユーザ以外のユーザの端末装置での表示は拒否される。従って、ユーザは、自らが生成した情報のうち他のユーザと共有したくない情報を、他のユーザにより閲覧されないまま共有領域に配置することができる。
また、本実施形態によれば、各共有領域に位置する仮想オブジェクトの表示は、当該共有領域のユーザグループに属するユーザの端末装置に許可される。従って、例えば、共有領域の近くを偶然通りがかったようなユーザに、情報が無条件に閲覧されることを防ぐことができる。
また、本実施形態によれば、共有領域を実空間内の所定の物体と関連付けられる位置に設定することができる。即ち、実空間内のテーブル、ホワイトボード、PCの画面、壁又は床などの物体を、拡張現実を用いた情報共有のための場として扱うことができる。この場合には、共有領域の範囲をユーザがより直感的に認識することができる。
なお、本明細書では、主に複数のユーザが参加する会議の場での情報の共有を例にとって本発明の一実施形態を説明した。しかしながら、本明細書で説明した技術は、他の様々な用途にも応用されることができる。例えば、本技術を物理的な掲示板に応用し、掲示板に紙を貼り付ける代わりに、掲示板上に共有領域を設定し、共有すべき情報を表す仮想オブジェクトを当該共有領域に配置してもよい。また、本技術をカードゲームに応用し、他のユーザにオープンすべきカードを表す仮想オブジェクトを共有領域の内部へ移動させることとしてもよい。
また、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPU(Central Processing Unit)などのプロセッサにより実行される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
1,2 情報共有システム
100 端末装置
110 通信部
150 オブジェクト制御部
160 表示部
200 情報処理装置
220 記憶部
230 共有領域設定部
240 共有制御部
300 情報処理装置(端末装置)

Claims (13)

  1. 端末装置の画面上で実空間に重畳して表示される仮想オブジェクトの位置を表す位置データを記憶する記憶部と、
    前記実空間内に複数の端末装置の間で仮想オブジェクトが共有される仮想的な共有領域を設定する共有領域設定部と、
    各仮想オブジェクトが前記共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示を許可し又は拒否する制御部と、
    を備え
    前記制御部は、ある仮想オブジェクトが公開属性を有する場合には、当該仮想オブジェクトが前記共有領域に位置するか否かによらず、当該仮想オブジェクトの全ての端末装置での表示を許可する、情報処理装置。
  2. 前記制御部は、ある仮想オブジェクトの所有者ユーザの端末装置での当該仮想オブジェクトの表示を、当該仮想オブジェクトが前記共有領域に位置するか否かによらず許可する、請求項1に記載の情報処理装置。
  3. 前記制御部は、ある仮想オブジェクトの所有者ユーザにより当該仮想オブジェクトが非共有オブジェクトに設定されると、当該仮想オブジェクトが前記共有領域に位置する場合であっても、当該仮想オブジェクトの前記所有者ユーザ以外のユーザの端末装置での表示を拒否する、請求項1に記載の情報処理装置。
  4. 前記共有領域設定部は、共有領域ごとにユーザグループを設定し、
    前記制御部は、各共有領域に位置する仮想オブジェクトの表示を、当該共有領域のユーザグループに属するユーザの端末装置に許可する、
    請求項1に記載の情報処理装置。
  5. 前記共有領域は、前記実空間内の所定の物体と関連付けられる位置に設定される、請求項1に記載の情報処理装置。
  6. 前記制御部は、各端末装置において検知される仮想オブジェクトの操作に応じて、操作された仮想オブジェクトの前記位置データを更新する、請求項1に記載の情報処理装置。
  7. 前記情報処理装置は、複数の前記端末装置の1つである、請求項1に記載の情報処理装置。
  8. 端末装置の画面上で実空間に重畳して表示される仮想オブジェクトの位置を表す位置データを記憶媒体に記憶する情報処理装置により実行される情報共有方法であって、
    前記実空間内に複数の端末装置の間で仮想オブジェクトが共有される仮想的な共有領域を設定するステップと、
    各仮想オブジェクトが前記共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示を許可し又は拒否するステップと、
    ある仮想オブジェクトが公開属性を有する場合には、当該仮想オブジェクトが前記共有領域に位置するか否かによらず、当該仮想オブジェクトの全ての端末装置での表示を許可するステップと、
    を含む情報共有方法。
  9. 端末装置の画面上で実空間に重畳して表示される仮想オブジェクトの位置を表す位置データを記憶媒体に記憶する情報処理装置を制御するコンピュータを、
    前記実空間内に複数の端末装置の間で仮想オブジェクトが共有される仮想的な共有領域を設定する共有領域設定部と、
    各仮想オブジェクトが前記共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示を許可し又は拒否する制御部と、
    として動作させ、
    前記制御部は、ある仮想オブジェクトが公開属性を有する場合には、当該仮想オブジェクトが前記共有領域に位置するか否かによらず、当該仮想オブジェクトの全ての端末装置での表示を許可するよう動作させるプログラム。
  10. 仮想オブジェクトの位置を表す位置データを記憶している情報処理装置から、実空間内に複数の端末装置の間で仮想オブジェクトを共有するために設定される仮想的な共有領域各仮想オブジェクトが位置するか否かに応じて表示を許可された仮想オブジェクトを取得するオブジェクト制御部と、
    前記オブジェクト制御部により取得された仮想オブジェクトを前記実空間に重畳して表示する表示部と、
    を備え
    前記オブジェクト制御部は、前記情報処理装置から、ある仮想オブジェクトが公開属性を有する場合には、当該仮想オブジェクトが前記共有領域に位置するか否かによらず、当該仮想オブジェクトを取得する、端末装置。
  11. 前記表示部は、前記共有領域をユーザに識別させるための補助的なオブジェクトをさらに表示する、請求項10に記載の端末装置。
  12. 前記オブジェクト制御部は、前記表示部により表示される仮想オブジェクトをユーザ入力に応じて移動させる、請求項10に記載の端末装置。
  13. 前記端末装置は、ユーザ入力に応じて移動される仮想オブジェクトの新たな位置を前記情報処理装置へ送信する通信部、をさらに備える、請求項12に記載の端末装置。
JP2011027654A 2011-02-10 2011-02-10 情報処理装置、情報共有方法、プログラム及び端末装置 Active JP5776201B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011027654A JP5776201B2 (ja) 2011-02-10 2011-02-10 情報処理装置、情報共有方法、プログラム及び端末装置
US13/364,029 US20120210254A1 (en) 2011-02-10 2012-02-01 Information processing apparatus, information sharing method, program, and terminal device
CN201210023940.3A CN102695032B (zh) 2011-02-10 2012-02-03 信息处理装置、信息共享方法以及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011027654A JP5776201B2 (ja) 2011-02-10 2011-02-10 情報処理装置、情報共有方法、プログラム及び端末装置

Publications (2)

Publication Number Publication Date
JP2012168646A JP2012168646A (ja) 2012-09-06
JP5776201B2 true JP5776201B2 (ja) 2015-09-09

Family

ID=46637877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011027654A Active JP5776201B2 (ja) 2011-02-10 2011-02-10 情報処理装置、情報共有方法、プログラム及び端末装置

Country Status (3)

Country Link
US (1) US20120210254A1 (ja)
JP (1) JP5776201B2 (ja)
CN (1) CN102695032B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7389222B2 (ja) 2020-02-28 2023-11-29 株式会社Nttドコモ オブジェクト認識システム及び受信端末

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9594767B2 (en) 2012-03-19 2017-03-14 David W. Victor Providing access to documents of friends in an online document sharing community based on whether the friends' documents are public or private
US9875239B2 (en) * 2012-03-19 2018-01-23 David W. Victor Providing different access to documents in an online document sharing community depending on whether the document is public or private
US9355384B2 (en) 2012-03-19 2016-05-31 David W. Victor Providing access to documents requiring a non-disclosure agreement (NDA) in an online document sharing community
US9280794B2 (en) 2012-03-19 2016-03-08 David W. Victor Providing access to documents in an online document sharing community
JP5731998B2 (ja) * 2012-03-21 2015-06-10 株式会社東芝 対話支援装置、対話支援方法および対話支援プログラム
US20140085316A1 (en) * 2012-09-25 2014-03-27 Avaya Inc. Follow me notification and widgets
US9323412B2 (en) * 2012-10-26 2016-04-26 Cellco Partnership Briefing tool having self-guided discovery and suggestion box features
US9330431B2 (en) * 2012-12-19 2016-05-03 Jeffrey Huang System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
US10453259B2 (en) 2013-02-01 2019-10-22 Sony Corporation Information processing device, client device, information processing method, and program
JP6160154B2 (ja) * 2013-03-22 2017-07-12 セイコーエプソン株式会社 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
JP6337907B2 (ja) * 2013-11-13 2018-06-06 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
JP6308842B2 (ja) * 2014-03-31 2018-04-11 株式会社日本総合研究所 表示システム及びプログラム
JP2017523816A (ja) * 2014-04-25 2017-08-24 ノキア テクノロジーズ オサケユイチア 仮想現実エンティティと現実エンティティの間のインタラクション
CN104093061B (zh) * 2014-07-18 2020-06-02 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
CN104580176B (zh) * 2014-12-26 2018-09-21 深圳市海蕴新能源有限公司 设备共享方法及系统
GB201503113D0 (en) * 2015-02-25 2015-04-08 Bae Systems Plc A mixed reality system adn method for displaying data therein
CA2979560C (en) 2015-03-05 2023-11-07 Magic Leap, Inc. Systems and methods for augmented reality
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
EP3128413A1 (en) * 2015-08-04 2017-02-08 Nokia Technologies Oy Sharing mediated reality content
US9928656B2 (en) 2015-09-11 2018-03-27 Futurewei Technologies, Inc. Markerless multi-user, multi-object augmented reality on mobile devices
CN105407448A (zh) * 2015-10-16 2016-03-16 晶赞广告(上海)有限公司 多屏共用方法及装置
JP6632322B2 (ja) * 2015-10-28 2020-01-22 キヤノン株式会社 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム
US10095266B2 (en) * 2016-01-28 2018-10-09 Colopl, Inc. System and method for interfacing between a display and a controller
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
WO2018005672A1 (en) 2016-06-28 2018-01-04 Against Gravity Corp. Managing permission for interacting with virtual objects based on virtual proximity
US10503349B2 (en) 2016-10-04 2019-12-10 Facebook, Inc. Shared three-dimensional user interface with personal space
CN110914789A (zh) * 2017-05-16 2020-03-24 皇家飞利浦有限公司 用于协同介入的增强现实
WO2018225149A1 (ja) 2017-06-06 2018-12-13 マクセル株式会社 複合現実表示システム及び複合現実表示端末
CN109710054B (zh) * 2017-10-26 2022-04-26 北京京东尚科信息技术有限公司 用于头戴式显示设备的虚拟物体呈现方法和装置
JP7342857B2 (ja) * 2018-03-28 2023-09-12 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7209474B2 (ja) * 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
CN108769517B (zh) * 2018-05-29 2021-04-16 亮风台(上海)信息科技有限公司 一种基于增强现实进行远程辅助的方法与设备
US10854004B2 (en) * 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments
EP3617846A1 (en) * 2018-08-28 2020-03-04 Nokia Technologies Oy Control method and control apparatus for an altered reality application
US11733956B2 (en) * 2018-09-04 2023-08-22 Apple Inc. Display device sharing and interactivity
CN117572954A (zh) * 2018-09-25 2024-02-20 奇跃公司 用于增强现实的系统和方法
JP6711885B2 (ja) * 2018-11-06 2020-06-17 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
CN109660667A (zh) * 2018-12-25 2019-04-19 杭州达现科技有限公司 一种基于相同显示界面的资源共享方法和装置
US10983662B2 (en) 2019-04-01 2021-04-20 Wormhole Labs, Inc. Distally shared, augmented reality space
US11107292B1 (en) * 2019-04-03 2021-08-31 State Farm Mutual Automobile Insurance Company Adjustable virtual scenario-based training environment
US11847937B1 (en) 2019-04-30 2023-12-19 State Farm Mutual Automobile Insurance Company Virtual multi-property training environment
JP6815439B2 (ja) * 2019-06-07 2021-01-20 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
US11132827B2 (en) 2019-09-19 2021-09-28 Facebook Technologies, Llc Artificial reality system architecture for concurrent application execution and collaborative 3D scene rendering
CN110703966B (zh) * 2019-10-17 2021-06-11 广州视源电子科技股份有限公司 文件共享方法、装置、系统、相应设备及存储介质
US11404028B2 (en) 2019-12-16 2022-08-02 Microsoft Technology Licensing, Llc Sub-display notification handling
US11093046B2 (en) * 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
US11487423B2 (en) 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
US11042222B1 (en) 2019-12-16 2021-06-22 Microsoft Technology Licensing, Llc Sub-display designation and sharing
US20220335698A1 (en) * 2019-12-17 2022-10-20 Ashley SinHee Kim System and method for transforming mapping information to an illustrated map
CN111179435B (zh) * 2019-12-24 2024-02-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
JP7424121B2 (ja) 2020-03-10 2024-01-30 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN112669464A (zh) * 2020-03-20 2021-04-16 华为技术有限公司 一种分享数据的方法及设备
US11756225B2 (en) 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US11176756B1 (en) * 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
WO2022176450A1 (ja) * 2021-02-22 2022-08-25 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US20220276824A1 (en) * 2021-02-26 2022-09-01 Samsung Electronics Co., Ltd. Augmented reality device and electronic device interacting with augmented reality device
CN117296032A (zh) * 2021-04-26 2023-12-26 松下电器(美国)知识产权公司 作业辅助方法、作业辅助装置以及程序
CN114793274A (zh) * 2021-11-25 2022-07-26 北京萌特博智能机器人科技有限公司 基于视频投影的数据融合方法和装置
CN114461328B (zh) * 2022-02-10 2023-07-25 网易(杭州)网络有限公司 虚拟物品布设方法、装置及电子设备
USD1014499S1 (en) 2022-03-10 2024-02-13 Campfire 3D, Inc. Augmented reality headset
WO2024047720A1 (ja) * 2022-08-30 2024-03-07 京セラ株式会社 仮想画像共有方法および仮想画像共有システム
US20240078759A1 (en) * 2022-09-01 2024-03-07 Daekun Kim Character and costume assignment for co-located users

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107443A (en) * 1988-09-07 1992-04-21 Xerox Corporation Private regions within a shared workspace
JP3494451B2 (ja) * 1993-05-27 2004-02-09 株式会社日立製作所 会議画面表示制御方法および電子会議システム
US6313853B1 (en) * 1998-04-16 2001-11-06 Nortel Networks Limited Multi-service user interface
JP4631987B2 (ja) * 1998-10-19 2011-02-16 ソニー株式会社 情報処理端末、情報処理システム及び情報処理方法
JP2004265193A (ja) * 2003-03-03 2004-09-24 Canon Inc 情報処理方法、情報処理装置、サーバ装置の制御方法、サーバ装置
JP2004348440A (ja) * 2003-05-22 2004-12-09 Ricoh Co Ltd 入力装置、携帯型情報機器及び電子会議システム
JP4268093B2 (ja) * 2004-06-04 2009-05-27 株式会社日立製作所 会議遷移制御方法、会議遷移制御サーバおよび会議遷移制御プログラム
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US9626667B2 (en) * 2005-10-18 2017-04-18 Intertrust Technologies Corporation Digital rights management engine systems and methods
US8125510B2 (en) * 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US8191001B2 (en) * 2008-04-05 2012-05-29 Social Communications Company Shared virtual area communication environment based apparatus and methods
JP2011504710A (ja) * 2007-11-21 2011-02-10 ジェスチャー テック,インコーポレイテッド メディア嗜好
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
JP2009237863A (ja) * 2008-03-27 2009-10-15 Nomura Research Institute Ltd 電子ファイル管理装置および仮想店舗管理装置
US9586149B2 (en) * 2008-11-05 2017-03-07 International Business Machines Corporation Collaborative virtual business objects social sharing in a virtual world
JP2010171664A (ja) * 2009-01-21 2010-08-05 Sony Ericsson Mobilecommunications Japan Inc 携帯情報端末、情報表示制御方法、及び、情報表示制御プログラム
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7389222B2 (ja) 2020-02-28 2023-11-29 株式会社Nttドコモ オブジェクト認識システム及び受信端末

Also Published As

Publication number Publication date
JP2012168646A (ja) 2012-09-06
US20120210254A1 (en) 2012-08-16
CN102695032A (zh) 2012-09-26
CN102695032B (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
JP5776201B2 (ja) 情報処理装置、情報共有方法、プログラム及び端末装置
US9996982B2 (en) Information processing device, authoring method, and program
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
KR101591579B1 (ko) 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
KR102595150B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
JP5724543B2 (ja) 端末装置、オブジェクト制御方法及びプログラム
US9268410B2 (en) Image processing device, image processing method, and program
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
EP2974509B1 (en) Personal information communicator
KR20110082636A (ko) 임의의 위치들을 가지는 디스플레이 구성 요소들 상에 3차원 콘텐츠의 공간적으로 상호 연관된 렌더링
JPWO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6686547B2 (ja) 画像処理システム、プログラム、画像処理方法
JP2014203175A (ja) 情報処理装置、情報処理方法及びプログラム。
KR102260193B1 (ko) 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
JP2017182681A (ja) 画像処理システム、情報処理装置、プログラム
JPWO2020144848A1 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
JP2017168132A (ja) 仮想オブジェクトの表示システム、表示システムプログラム及び表示方法
US11195020B1 (en) Systems and methods for maintaining virtual spaces
CN114092655A (zh) 构建地图的方法、装置、设备及存储介质
KR102208708B1 (ko) 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
JP2021144325A (ja) 情報処理装置及びプログラム
JP2023066265A (ja) 情報処理システム、情報処理装置、プログラム、利用者端末、及び情報処理方法
JP2020160576A (ja) 情報処理装置およびプログラム
KR20210085929A (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150622

R151 Written notification of patent or utility model registration

Ref document number: 5776201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250