JP7424121B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7424121B2
JP7424121B2 JP2020041123A JP2020041123A JP7424121B2 JP 7424121 B2 JP7424121 B2 JP 7424121B2 JP 2020041123 A JP2020041123 A JP 2020041123A JP 2020041123 A JP2020041123 A JP 2020041123A JP 7424121 B2 JP7424121 B2 JP 7424121B2
Authority
JP
Japan
Prior art keywords
area
user
users
shared
shared area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020041123A
Other languages
English (en)
Other versions
JP2021144325A (ja
Inventor
篤志 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2020041123A priority Critical patent/JP7424121B2/ja
Priority to US16/944,134 priority patent/US11295536B2/en
Priority to CN202010914096.8A priority patent/CN113379927A/zh
Publication of JP2021144325A publication Critical patent/JP2021144325A/ja
Application granted granted Critical
Publication of JP7424121B2 publication Critical patent/JP7424121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
AR(Augmented Reality:拡張現実)やMR(Mixed Reality:複合現実)等の技術を利用することで、現実空間上にて、複数のユーザによって共有される領域である共有領域を仮想的に設定する技術が知られている。
特許文献1には、端末装置の画面上で実空間に重複して表示される仮想オブジェクトの位置を表す位置データを記憶し、実空間内に仮想的な共有領域を設定し、各仮想オブジェクトが共有領域に位置するか否かに応じて、各仮想オブジェクトの端末装置での表示を許可し又は拒否する装置が記載されている。
特許文献2には、実空間を撮像した撮像画像を取得し、ユーザ固有の仮想オブジェクトを取得し、撮像画像から情報共有に関するイベントを検出し、実空間を異なる方向から撮像している他端末と同時期に当該イベントが検出され、かつ、当該イベントが当該他端末との協働で指定された位置での共有開始指示を表す場合、当該他端末との間で仮想オブジェクトの共有を可能とする共有領域を撮像画像の位置に重畳表示する情報通信端末が記載されている。
特開2012-168646号公報 特開2017-84100号公報
ところで、三次元空間にて仮想的に共有領域を設定する手法として、その共有領域の座標をユーザが指定したり、現実のオブジェクトを指定したりする手法が考えられるが、これらの手法では、ユーザが座標や現実のオブジェクトを指定する手間がかかる。
本発明の目的は、三次元空間上にて共有領域を設定するためにユーザが座標や現実のオブジェクトを指定する場合と比べて、共有領域を簡単に設定することができる仕組みを提供することにある。
請求項1に係る発明は、プロセッサを有し、前記プロセッサは、複数のユーザが存在している三次元空間にて、前記複数のユーザの視野が交差する領域である交差領域を、前記複数のユーザによって共有される領域である共有領域として設定前記交差領域が形成されない場合、前記交差領域を形成するために前記複数のユーザが視線を向けるべきガイドを、三次元空間において、前記複数のユーザの視野の移動が最少の位置に表示する、情報処理装置である。
請求項に係る発明は、前記プロセッサは、更に、前記複数のユーザのそれぞれの位置から予め定められた距離以内に前記交差領域が形成されている場合、前記交差領域を前記共有領域の候補として三次元空間に表示する、ことを特徴とする請求項1に記載の情報処理装置である。
請求項に係る発明は、前記プロセッサは、更に、三次元空間にて前記複数のユーザによって過去に共有された領域を、前記共有領域の候補として三次元空間上に表示する、ことを特徴とする請求項1に記載の情報処理装置である。
請求項に係る発明は、前記プロセッサは、更に、三次元空間にて前記複数のユーザの一部のユーザによって共有される領域である個別共有領域を設定する、ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置である。
請求項に係る発明は、前記プロセッサは、更に、三次元空間上にて前記共有領域に表示される仮想オブジェクトを、前記個別共有領域を共有するユーザの操作に従って、前記個別共有領域に表示する、ことを特徴とする請求項に記載の情報処理装置である。
請求項に係る発明は、前記プロセッサは、更に、前記共有領域に表示される仮想オブジェクトに応じて、前記共有領域の大きさを変える、ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置である。
請求項に係る発明は、コンピュータに、複数のユーザが存在している三次元空間にて、前記複数のユーザの視野が交差する領域である交差領域を、前記複数のユーザによって共有される領域である共有領域として設定させ、前記交差領域が形成されない場合、前記交差領域を形成するために前記複数のユーザが視線を向けるべきガイドを、三次元空間において、前記複数のユーザの視野の移動が最少の位置に表示させる、プログラムである。
請求項1,に係る発明によれば、三次元空間上にて共有領域を設定するためにユーザが座標や現実のオブジェクトを指定する場合と比べて、共有領域を簡単に設定することができる仕組みを提供することができる。
請求項1,7に係る発明によれば、複数のユーザが視線を向けるべきガイドを表示しない場合と比べて、交差領域を容易に形成することができる。
請求項1,7に係る発明によれば、複数のユーザの視野の移動が最少の位置以外の位置にガイドを表示する場合と比べて、交差領域を形成するときに視野の移動を少なくすることができる。
請求項に係る発明によれば、複数のユーザのそれぞれの位置から予め定められた距離以内に存在する交差領域を、共有領域の候補として、ユーザに案内することができる。
請求項に係る発明によれば、過去に共有された領域を共有領域の候補としてユーザに案内することができる。
請求項に係る発明によれば、一部のユーザのみが利用することができる共有領域を設定することができる。
請求項に係る発明によれば、一部のユーザに仮想オブジェクトを利用させることができる。
請求項に係る発明によれば、共有領域の大きさを固定する場合と比べて、仮想オブジェクトに適した大きさを有する共有領域に仮想オブジェクトを表示することができる。
本実施形態に係る情報処理システムの構成を示すブロック図である。 情報処理装置のハードウェアの構成を示すブロック図である。 情報処理装置及びサーバの機能的な構成を示すブロック図である。 共有領域管理テーブルを示す図である。 履歴管理テーブルを示す図である。 本実施形態に係る情報処理システムによる処理を示すフローチャートである。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 ユーザをZ軸方向から見た図である。 ユーザをX軸方向又はY軸方向から見た図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 三次元空間に存在するユーザを模式的に示す図である。 ユーザの画像を示す図である。 三次元空間に存在するユーザを模式的に示す図である。
図1を参照して、本実施形態に係る情報処理システムについて説明する。図1には、本実施形態に係る情報処理システムのハードウェアの構成の一例が示されている。
本実施形態に係る情報処理システムは、AR(Augmented Reality:拡張現実)やMR(Mixed Reality:複合現実)やVR(Virtual Reality:仮想現実)等の技術を利用することで、三次元空間にて、複数のユーザによって共有される領域である共有領域を仮想的に設定するシステムである。
ここでの「三次元空間」は、現実空間であってもよいし、仮想空間であってもよい。例えば、AR技術又はMR技術を利用することで、現実空間上に共有領域が仮想的に設定されてもよいし、VR技術を利用することで、仮想空間上に共有領域が仮想的に設定されてもよい。
ここでは一例として、AR技術又はMR技術を利用することで、現実空間上に共有領域が仮想的に設定される例について説明する。より具体的には、AR技術が利用されるものとする。
例えば、AR技術が採用された、メガネ型の端末装置であるARグラスが用いられる。ARグラスは、表示機能と撮影機能と通信機能とを有する装置である。また、ARグラスは、例えば、ジャイロセンサ、加速度センサ、地磁気センサ、及び、GPS(Global Positioning System)センサ等の各種のセンサを有する。ジャイロセンサ、加速度センサ及び地磁気センサによって、ARグラスの傾き、加速度及び方位が測定され、その測定の結果に基づいて、ARグラスの向き及び姿勢が算出される。その算出は、ARグラスによって行われてもよいし、情報処理装置14によって行われてもよい。また、GPSセンサによって、ARグラスの位置(例えば、緯度、経度及び高度)が測定される。各センサの測定の結果を示す情報は、情報処理装置14に送信される。
ARグラスの代わりに、AR技術が採用されたHMD(Head Mounted Display)や、MR技術が採用されたMRグラス(つまりメガネ型の端末装置)やHMDが用いられてもよい。また、ARグラスの代わりに、カメラを有する、スマートフォンや携帯電話やゲーム端末等の携帯端末が用いられてもよい。VR技術が利用される場合、ARグラスの代わりに、VR技術が採用されたVRグラスやHMDや携帯端末等が用いられる。
以下では、現実空間に存在する物体を「実物体」と称することがある。仮想オブジェクトは、実物体と対比される概念であり、例えば、画像や文字列や図形やその他の情報等である。画像は、静止画像、動画像、又は、これらの組み合わせである。例えば、三次元空間上に仮想的に設定された共有領域に、仮想オブジェクトが表示される。
AR技術又はMR技術が利用される場合、共有領域は、現実空間に存在する実物体に紐付けられて、当該実物体の位置を基準として相対的な位置に設定された特定の領域として定義されてもよいし、実物体と紐付けられることなく現実空間の座標上の特定の領域として定義されてもよい。VR技術が利用される場合、共有領域は、仮想空間に存在する仮想オブジェクトに紐付けられて、当該仮想オブジェクトの位置を基準として相対的な位置に設定された特定の領域として定義されてもよいし、仮想オブジェクトと紐付けられることなく仮想空間の座標上の特定の領域として定義されてもよい。
また、共有領域は、本実施形態に係る情報処理システムに参加しているユーザによって共有される領域であり、情報処理システムに参加していないユーザによって共有されない領域である。情報処理システムに参加しているユーザは、例えば、情報処理システムにログインしているユーザ、又は、情報処理システムが提供するサービス(例えば会議)にログインしているユーザ等である。また、情報処理システムに1又は複数のグループが登録され、グループ毎に共有領域が設定されてもよい。この場合、グループに設定された共有領域は、当該グループに属するユーザによって共有され、当該グループに属していないユーザによっては共有されない。共有領域を共有するユーザは、例えば、共有領域へのアクセス、共有領域の表示、共有領域内の仮想オブジェクトの表示、共有領域内の仮想オブジェクトの閲覧、及び、共有領域内の仮想オブジェクトの編集等が許可される。ユーザが有する権限に応じて、これらの機能の中の一部の機能が制限されてもよい。
図1に示す例では、本実施形態に係る情報処理システムは、ARグラス10,12と、情報処理装置14と、サーバ16とを含む。図1には、2つのARグラスが示されているが、2つ以上のARグラスが情報処理システムに含まれてもよい。ARグラス10,12、情報処理装置14及びサーバ16は、例えば、LAN(Local Area Network)やインターネット等の通信経路Nを介して、他の装置と通信する機能を有する。各装置は、Bluetooth(登録商標)等の近距離無線通信を利用することで他の装置と通信してもよい。
ARグラス10は、メガネ型の表示装置10aと、ARグラス10を装着したユーザの視線方向の現実空間を撮影するカメラ10bとを含む。同様に、ARグラス12は、メガネ型の表示装置12aとカメラ12bとを含む。以下では、カメラによる撮影によって生成された画像を「撮影画像」と称する。表示装置10a,12aは、シースルー型の表示装置であってもよいし、非シースルー型の表示装置であってもよい。AR技術によって、表示装置10a,12aには、実物体に対して物体が仮想的に表示される。実物体に対して物体を仮想的に表示するとは、当該物体を表す画像の一例である仮想オブジェクトを、表示装置10a,12aの画面上で現実空間に重畳して表示することである。例えば、ユーザの両眼の視差を考慮して、左目用の画面と右目用の画面とが生成され、左右それぞれの表示装置に表示される。ユーザが表示装置10aや表示装置12aを通して現実空間を眺めると、仮想オブジェクトが現実空間上に実際に存在しているかのように重畳して表示される。
本実施形態では、ARグラス10はユーザAに装着され、ARグラス12はユーザBに装着されており、ユーザA,Bが、本実施形態に係る情報処理システムが提供するサービスにログインしているものとする。
情報処理装置14は、例えば、デスクトップ型又はノート型のパーソナルコンピュータ(以下、「PC」と称する)、タブレット端末、スマートフォン、又は、ワークステーション等であり、複数のユーザの間での情報の共有を支援する装置である。例えば、情報処理装置14は、三次元空間上にて、複数のユーザによって共有される共有領域を仮想的に設定する。AR技術又はMR技術が利用される場合、現実空間上に共有領域が仮想的に設定され、VR技術が利用される場合、仮想空間上に共有領域が設定される。例えば、共有領域を定義するデータである共有領域データが情報処理装置14やサーバ16に記憶され、情報処理装置14は、その共有領域データに従って共有領域を設定する。また、情報処理装置14は、複数のユーザによって共有される情報を、ARグラスの画面上で現実空間に重畳して表示してもよい。
サーバ16は、共有領域に関する情報等を記憶して管理する装置である。なお、サーバ16は、情報処理装置14に含まれてもよい。
以下、図2を参照して、情報処理装置14のハードウェアの構成について説明する。図2には、情報処理装置14のハードウェアの構成の一例が示されている。
情報処理装置14は、例えば、通信装置18と、UI20と、メモリ22と、プロセッサ24とを含む。
通信装置18は、通信チップ等を有する通信インターフェース(例えばネットワークインターフェース等)であり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。
UI20はユーザインターフェースであり、表示装置及び操作装置の中の少なくとも1つを含む。表示装置は、液晶ディスプレイやELディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。UI20は、表示装置と操作装置とを兼ね備えたタッチパネル等のUIであってもよい。
メモリ22は、データを記憶する1又は複数の記憶領域を構成する装置である。メモリ22は、例えば、ハードディスクドライブ、各種のメモリ(例えばRAMやDRAMやROM等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。
プロセッサ24は、情報処理装置14の各部の動作を制御するように構成されている。プロセッサ24は、メモリを含んでもよい。また、プロセッサ24は、複数のユーザが存在している三次元空間にて、当該複数のユーザの視野が交差する領域である交差領域を、当該複数のユーザによって共有される共有領域として仮想的に設定する。例えば、プロセッサ24は、現実空間にて共有領域を仮想的に設定してもよいし、仮想空間にて共有領域を仮想的に設定してもよい。この処理については、後で詳しく説明する。
以下、図3を参照して、情報処理装置14及びサーバ16の機能について説明する。図3には、情報処理装置14及びサーバ16の機能的な構成の一例が示されている。
情報処理装置14は、算出部26、表示制御部28、選択部30及び通信部32を含む。サーバ16は、共有領域管理部34及び履歴管理部36を含む。
算出部26は、三次元空間(例えば現実空間又は仮想空間)において複数のユーザの視野が交差する交差領域を算出するように構成されている。例えば、算出部26は、ARグラス10に設けられている各種のセンサによる測定の結果に基づいて、現実空間におけるARグラス10の向き及び姿勢を算出する。ARグラス10はユーザAに装着されているため、その向き及び姿勢は、現実空間におけるユーザAの向き及び姿勢に相当する。算出部26は、その向きをユーザAの視線の向きと推定し、その視線を含む予め定められた大きさを有する領域を、現実空間におけるユーザAの視野として推定する。例えば、算出部26は、ユーザAの視線が中心に存在し、ユーザAから離れるほど広がる領域を、ユーザAの視野として推定してもよい。別の例として、ARグラス10に、ユーザAの視線を測定するセンサ(例えば公知のセンサ)が設けられてもよい。この場合、算出部26は、当該センサによって測定された視線を含む領域をユーザAの視野として推定してもよい。更に別の例として、算出部26は、ARグラス10のカメラ10bによる撮影によって生成された撮影画像に対する画像認識の結果に基づいて、実物体に対するユーザAの視線を推定し、その視線を含む領域をユーザAの視野として推定してもよい。同様に、算出部26は、現実空間におけるユーザBの視野を推定する。
算出部26は、三次元空間(例えば現実空間又は仮想空間)においてユーザAの視野とユーザBの視野とが交差する交差領域を算出し、その算出した交差領域を、ユーザA,Bの共有領域の候補として設定し、その共有領域を定義する共有領域データを生成する。AR技術又はMR技術が利用される場合、算出部26は、上記のようにして推定された現実空間における各ユーザの視野に基づいて、現実空間において各ユーザの視野が交差する交差領域を算出する。VR技術が利用される場合、算出部26は、仮想空間において各ユーザの視野が交差する交差領域を算出する。VR技術が用いられる場合の処理については後で詳しく説明する。共有領域データは、例えば、共有領域を識別するための情報である共有領域IDと、共有領域の頂点の数を示す情報、三次元空間における頂点の座標の情報、及び、共有領域を共有するユーザを識別するための情報であるユーザIDを含む。
また、算出部26は、交差領域が形成されない場合にユーザに提示すべき共有領域の候補を算出してもよい。
表示制御部28は、算出部26によって算出された交差領域や、過去に利用された共有領域を、共有領域の候補として、三次元空間(例えば現実空間又は仮想空間)に仮想的に重畳して表示するように構成されている。過去に利用された共有領域を定義する共有領域は、後述する履歴管理部36によって管理されている。例えば、表示制御部28は、ARグラス10の表示装置10aの表示画面上で、現実空間に重畳して共有領域の候補を仮想的に表示する。具体的には、表示制御部28は、共有領域の候補の現実空間上の位置と、ARグラス10の向き及び姿勢と、に基づいて、表示装置10aの表示画面上で共有領域の候補の表示位置を算出し、その算出した表示位置に共有領域の候補を表示する。ユーザBが装着しているARグラス12についても同様である。VR技術が利用される場合、仮想空間に共有領域が表示される。
表示制御部28は、共有領域の候補をユーザに識別させるためのオブジェクト等の情報を表示してもよい。例えば、表示制御部28は、共有領域の候補を囲む線を表示したり、共有領域の候補を半透明にして表示したりする。
選択部30は、表示制御部28によって表示された共有領域の候補の中から、実際にユーザA,Bによって利用される共有領域を選択するように構成されている。例えば、選択部30は、ユーザA又はユーザBの選択に従って共有領域を選択してもよいし、選択する権限を有するユーザの選択に従って共有領域を選択してもよいし、ユーザA,Bの両方が選択した共有領域の候補を、実際に利用される共有領域として選択してもよい。例えば、ユーザは、ジェスチャや音声やユーザの端末装置の操作等によって共有領域を選択する。
通信部32は、サーバ16に情報を送信し、サーバ16から送信された情報を受信するように構成されている。例えば、通信部32は、算出部26によって生成された共有領域データをサーバ16に送信し、過去に利用された共有領域を定義する共有領域データをサーバ16から受信する。
共有領域管理部34は、共有領域を管理するように構成されている。例えば、共有領域の候補や、過去に実際に利用された共有領域が、共有領域管理部34によって管理される。
履歴管理部36は、過去に利用された共有領域を管理するように構成されている。
なお、共有領域データ自体は、サーバ16に記憶されてもよいし、情報処理装置14に記憶されてもよい。
算出部26、表示制御部28、選択部30及び通信部32は、情報処理装置14に含まれているプロセッサ24によって実現される。その実現に際してメモリ22等が用いられてもよい。また、共有領域管理部34及び履歴管理部36は、サーバ16に含まれるプロセッサによって実現される。その実現に際してメモリ等が用いられてもよい。なお、ARグラス10,12が、情報処理装置14の機能の全部又は一部を有してもよいし、サーバ16の機能の全部又は一部を有してもよい。
以下、図4を参照して、共有領域管理部34によって管理されている情報について説明する。図4には、共有領域を管理するための共有領域管理テーブルの一例が示されている。
共有領域管理テーブルにおいては、例えば、共有領域IDと、共有領域の頂点の数を示す情報と、三次元空間(例えば現実空間又は仮想空間)における頂点の座標を示す情報とが紐付けられている。頂点の座標は、例えば、三次元の直交座標系上の座標(例えば、X座標、Y座標及びZ座標)であり、三次元空間において予め定められた位置の座標を基準とした、相対的な位置の座標である。
以下、図5を参照して、履歴管理部36によって管理されている情報について説明する。図5には、過去に利用された共有領域を管理するための履歴管理テーブルの一例が示されている。
履歴管理テーブルにおいては、例えば、過去に利用された共有領域を識別するための情報である共有領域IDと、当該共有領域の頂点の数を示す情報と、三次元空間(例えば現実空間又は仮想空間)における頂点の座標を示す情報と、当該共有領域を利用したユーザを識別するための情報である参加者IDとが紐付けられている。
以下、図6を参照して、本実施形態に係る情報処理システムによる処理について説明する。図6には、その処理を示すフローチャートが示されている。
ます、ユーザが、情報処理システムが提供するサービス(例えば、仮想的な共有領域を用いた会議等)に参加する(S01)。ユーザがサービスに参加すると、そのサービスが開始される。ここでは、ユーザA,Bが情報処理システムにログインし、情報処理システムが提供する会議に参加するものとする。ユーザAはARグラス10を装着しており、ユーザBはARグラス12を装着している。例えば、ユーザAは、ARグラス10、又は、スマートフォン等の端末装置を用いて情報処理システムにログインする。ユーザBも同様である。ログインにはユーザIDが用いられ、そのユーザIDは、ログインに用いられた装置(例えば、ARグラスや端末装置等)から情報処理装置14に送信される。ここでは、ユーザA,BのそれぞれのユーザIDが、情報処理装置14に送信される。なお、会議等のサービスが開始した後、途中からユーザが当該サービスに参加してもよい。
次に、表示制御部28は、履歴管理部36によって管理されている履歴管理テーブルを参照することで、会議に参加した同じユーザによって過去に利用された共有領域が存在するか否かを確認する(S02)。ここではユーザA,Bが会議に参加しているので、表示制御部28は、ユーザA,Bによって過去に利用された共有領域が存在するか否かを確認する。詳しく説明すると、表示制御部28は、ユーザA,Bの両方のユーザIDに紐付けられた共有領域が履歴管理テーブルに登録されているか否かを確認する。
ユーザA,Bによって過去に利用された共有領域が存在する場合、つまり、ユーザA,Bの両方のユーザIDに紐付けられた共有領域が履歴管理テーブルに登録されている場合(S02,Yes)、表示制御部28は、その共有領域を共有領域の候補として共有領域候補リストに登録する(S03)。その後、処理はステップS04に移行する。なお、表示制御部28は、同じユーザの全員が過去に利用した共有領域ではなくても、予め定められた数以上のユーザが過去に利用した共有領域や、予め定められた割合以上のユーザが過去に利用した共有領域を、共有領域の候補として共有領域候補リストに登録してもよい。例えば、3人のユーザが会議に参加している場合において、その3人の中の2人のユーザが同じ共有領域を過去に利用した場合、表示制御部28は、その共有領域を共有領域候補リストに登録してもよい。別の例として、会議に参加しているユーザの半数以上のユーザが同じ共有領域を過去に利用した場合、表示制御部28は、その共有領域を共有領域候補リストに登録してもよい。例えば、ユーザA,BのうちユーザAが過去に利用した共有領域が存在する場合、表示制御部28は、その共有領域を共有領域候補リストに登録してもよい。
ユーザA,Bによって過去に利用された共有領域が存在しない場合、つまり、ユーザA,Bの両方のユーザIDに紐付けられた共有領域が履歴管理テーブルに登録されていない場合(S02,No)、処理はステップS04に移行する。
次に、算出部26は、ARグラス10に設けられている各種のセンサによる測定の結果に基づいて、現実空間におけるユーザAの向き及び姿勢を推定し、その推定の結果に基づいて、現実空間におけるユーザAの視野を推定する。同様に、算出部26は、ユーザBの視野を推定する。そして、算出部26は、現実空間においてユーザAの視野とユーザBの視野とが交差する交差領域を算出する(S04)。MR技術が利用される場合も同様である。VR技術が利用される場合、算出部26は、仮想空間上にてユーザAの視野とユーザBの視野とが交差する交差領域を算出する。
ユーザAの視野とユーザBの視野とが交差する交差領域が存在する場合(S04,Yes)、表示制御部28は、その交差領域を共有領域の候補として共有領域候補リストに登録する(S05)。その後、処理はステップS06に移行する。
ユーザAの視野とユーザBの視野とが交差する交差領域が存在しない場合(S04,No)、処理はステップS06に移行する。
なお、交差領域が存在しない場合、算出部26は、交差領域を形成するためにユーザA,Bが視線を向けるべきガイド等の情報を、ユーザA,BのそれぞれのARグラスの表示装置に現実空間に重畳して表示してもよい。MR技術が利用される場合も同様である。VR技術が利用される場合、仮想空間上にガイド等の情報が表示される。
次に、算出部26は、各ユーザから予め定められた距離の範囲内に存在する、共有領域の候補となり得る領域を算出する(S06)。例えば、算出部26は、ユーザA,Bのそれぞれの位置から予め定められた距離の範囲内に存在する、共有領域の候補となり得る領域を算出する。MR技術が利用される場合も同様である。例えば、ユーザAの位置は、ARグラス10に設けられているGPSセンサによって特定され、ユーザBの位置は、ARグラス12に設けられているGPSセンサによって特定される。なお、ユーザからの距離は、当該ユーザの身体的特徴に応じて変わり得る。例えば、各ユーザの身体的特徴(例えば、身長や腕の長さ等)を示す情報が、情報処理装置14のメモリ22に予め記憶されており、算出部26は、各ユーザの身体的特徴を採用して、各ユーザから予め定められた距離の範囲内に存在する領域を算出してもよい。VR技術が利用される場合、算出部26は、仮想空間上においてユーザA,Bのそれぞれの位置から予め定められた距離の範囲内に存在する、共有領域の候補となり得る領域を算出する。
各ユーザから予め定められた距離の範囲内に共有領域の候補となり得る領域が存在する場合(S06,Yes)、表示制御部28は、その領域を共有領域の候補として共有領域候補リストに登録する(S07)。その後、処理はステップS08に移行する。
各ユーザから予め定められた距離の範囲内に共有領域の候補となり得る領域が存在しない場合(S06,No)、処理はステップS08に移行する。
表示制御部28は、共有領域候補リストに登録されている共有領域の候補を、ARグラス10の表示装置10a及びARグラス12の表示装置12aのそれぞれの画面上で、現実空間に重畳して仮想的に表示する(S08)。MR技術が利用される場合も同様である。VR技術が利用される場合、仮想空間上に共有領域の候補が表示される。表示制御部28は、候補の一覧を表示してもよいし、各候補を順次表示してもよい。例えば、表示制御部28は、過去に利用された共有領域を最初に表示し、次に、過去に利用されていない領域を表示してもよい。
また、共有領域候補リストに登録されている各共有領域の候補は、それぞれ共有領域IDが紐付けられて共有領域管理部34によって管理される。例えば、各共有領域の候補は、図4に示されている共有領域管理テーブルに登録される。各共有領域を定義する共有領域データは、情報処理装置14やサーバ16に記憶される。
以下、具体例を挙げて、本実施形態に係る情報処理システムによる処理について更に詳しく説明する。
図7には、三次元空間(例えば現実空間又は仮想空間)に存在するユーザA,Bが示されている。ここではAR技術が利用いられており、図7には、現実空間に存在するユーザA,Bが示されている。MR技術が利用される場合も同様である。以下では、三次元空間が現実空間であり、VR技術が利用される場合の処理について説明するが、MR技術が利用される場合も同様の処理が行われる。また、VR技術が利用される場合、三次元空間は仮想空間であり、以下で説明する各処理は仮想空間上で行われる。また、図7に示されている、X軸、Y軸及びZ軸は、互いに直行する軸であり、現実空間における三次元の直交座標系を形成する軸である。
ユーザAはARグラス10を装着しており、ユーザBはARグラス12を装着している。ユーザA,Bが情報処理システムにログインし、情報処理システムが提供するサービス(例えば会議)に参加すると、そのサービスが開始する。ユーザA,Bによって過去に利用された共有領域が存在する場合、その共有領域が共有領域の候補として、現実空間上に仮想的に表示される。例えば、領域38は、ユーザA,Bによって過去に利用された共有領域である。この場合、表示制御部28は、ARグラス10の表示装置10a及びARグラス12の表示装置12aのそれぞれの画面上で、領域38を現実空間に重畳して仮想的に表示する。例えば、表示制御部28は、領域38を囲む線を表示してもよいし、領域38を半透明にして表示してもよいし、領域38に色を付けて表示してもよい。領域38は、三次元の領域であってもよいし、二次元の領域であってもよい。なお、領域38は、ユーザA,Bの中の一部のユーザによって過去に利用された共有領域であってもよい。この場合、表示制御部28は、その一部のユーザの名前やユーザID等を表示してもよい。別の例として、領域38は、ユーザA,Bの中で過去にサービス(例えば会議)を主宰したユーザが設定した共有領域であってもよい。この場合、表示制御部28は、そのユーザの名前やユーザID等を表示してもよい。
サービスに参加している複数のユーザの中の1人のユーザ、当該複数のユーザの中の予め定められた人数以上のユーザ、当該複数のユーザの全員、又は、当該複数のユーザの中で選択の権限を有するユーザが、共有領域の候補の中から実際に利用される共有領域を選択した場合、選択部30は、その選択された共有領域の候補を、実際に利用される共有領域として定める。この場合、表示制御部28は、各ユーザのARグラスの表示装置の画面上で、選択された共有領域を現実空間に重畳して仮想的に表示する。例えば、表示制御部28は、サービスに参加している複数のユーザによって共有される仮想オブジェクトを、その共有領域内に表示する。サービスに参加しているユーザは、共有領域内の仮想オブジェクトを閲覧等することができる。また、ユーザが、仮想オブジェクトを指定して表示の指示を与えると、表示制御部28は、その指定された仮想オブジェクトを共有領域内に表示する。なお、ユーザは、ジェスチャや音声やユーザの端末装置の操作等によって共有領域を選択する。
また、共有領域の候補が複数あり、現実空間にて重複する場合、表示制御部28は、重複した候補を予め定められた時間間隔で切り替えて表示してもよい。この点について、図7及び図8を参照して説明する。図8には、三次元空間(例えば現実空間又は仮想空間)に存在するユーザA,Bが示されている。ここでは現実空間に存在するユーザA,Bが示されている。図8に示されている領域40は、図7に示されている領域38とは異なる領域であって、ユーザA,Bによって過去に利用された共有領域である。つまり、領域38,40の両方が、ユーザA,Bによって過去に利用されている。この場合、表示制御部28は、ARグラス10の表示装置10a及びARグラス12の表示装置12aのそれぞれの画面上で、領域38,40を予め定められた時間間隔で切り替えて現実空間に重畳して仮想的に表示する。例えば、表示制御部28は、領域38を表示し、予め定められた時間が経過すると、領域38を表示せずに領域40を表示する。そして、表示制御部28は、領域40を表示してから予め定められた時間が経過すると、領域40を表示せずに領域38を表示する。以降、表示制御部28は、この処理を繰り返す。また、領域38,40が現実空間にて重複する場合(例えば、領域38,40が部分的に重なる場合)、表示制御部28は、領域38,40を予め定められた時間間隔で切り替えて表示してもよい。MR技術が利用される場合も同様である。AR技術が利用される場合、仮想空間上に共有領域の候補が表示される。
以下、交差領域を算出する例について説明する。
図9には、現実空間に存在するユーザA,Bが示されている。例えば、表示制御部28は、交差領域の算出を指示するためのボタン42を、ARグラス10の表示装置10a及びARグラス12の表示装置12aのそれぞれの画面上で、現実空間に重畳して仮想的に表示する。ユーザA又はユーザBが、符号44が指し示すように、ジェスチャや音声や自身の端末装置の操作等によってボタン42を押すと、情報処理装置14のモードは交差領域算出モードに移行し、情報処理装置14は、交差領域を算出する機能を実行する。
交差領域算出モードにおいては、算出部26は、ARグラス10に設けられている各種のセンサによる測定の結果に基づいて、現実空間におけるユーザAの向き及び姿勢を推定し、その推定の結果に基づいて、現実空間におけるユーザAの視野を推定する。表示制御部28は、ARグラス10の表示装置10aの表示画面上で、その推定された視野を現実空間に重畳して仮想的に表示する。例えば、表示制御部28は、その視野を囲む線を表示してもよいし、その視野を半透明にして表示してもよい。図10には、ユーザAの推定された視野46が示されている。ここでは一例として、ユーザAの視野46を囲む線が表示されている。視野46は、例えば四角錐の形状を有する。この形状は一例に過ぎず、図11に示されている視野48のように、円錐の形状を有してもよい。また、視野の形状及び大きさは、予め定められてもよいし、ユーザの操作によって変更されてもよい。算出部26は、ユーザBの視野も推定し、表示制御部28は、ARグラス12の表示装置12aの表示画面上で、その推定された視野を現実空間に重畳して仮想的に表示する。MR技術が利用される場合も同様である。VR技術が利用される場合、仮想空間上に視野が表示される。
算出部26は、現実空間においてユーザAの視野とユーザBの視野とが交差する交差領域を算出する。表示制御部28は、その算出された交差領域を共有領域の候補として、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示する。MR技術が利用される場合も同様である。VR技術が利用される場合、仮想空間に交差領域が表示される。
交差領域が算出された場合に、交差領域算出モードが自動的に終了してもよいし、共有領域の候補の中から実際に利用される共有領域が選択された場合に、交差領域算出モードが終了してもよいし、その共有領域が選択されてサービス(例えば会議)の利用が開始した時点から予め定められた時間が経過した後に、交差領域算出モードが終了してもよい。その時間が経過するまでは、交差領域が算出されて、算出された交差領域が共有領域の候補として表示されてもよい。
算出部26によって、予め定められた閾値以上の大きさ(例えば体積や表面積等)を有する交差領域が算出された場合に、表示制御部28は、その交差領域を共有領域の候補として表示してもよい。
算出部26は、予め定められた時間以上にわたってユーザAの視野とユーザBの視野とが交差して形成された領域を、交差領域として算出して、その時間未満にわたってユーザAの視野とユーザBの視野とが交差して形成された領域を、交差領域として算出しなくてもよい。
以下、交差領域が形成されない場合の処理について説明する。
図12には、三次元空間(例えば現実空間又は仮想空間)に存在するユーザA,Bが示されている。ここでは、現実空間に存在するユーザA,Bが示されている。視野50はユーザAの視野であり、視野52はユーザBの視野である。図12に示す例では、視野50,52は交差しておらず、交差領域が形成されていない。この場合、表示制御部28は、交差領域を形成するためにユーザA,Bが視線を向けるべきガイド等の情報を現実空間に仮想的に表示する。
図13には、ガイド54が示されている。ガイド54は、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示される。例えば、表示制御部28は、ユーザAの視野50の位置とユーザBの視野52の位置とに基づいて、視野50,52の移動が最少となる位置を算出し、その算出された位置にガイド54を仮想的に表示する。視野50,52の移動が最少となる位置は、例えば、視野50の移動量と視野52の移動量との総和が最少となる位置である。視野50,52の移動が最少となる位置は、視野50と視野52との間の位置(例えば中間の位置)であってもよい。別の例として、ガイド54は、ユーザAの位置とユーザBの位置との間の位置(例えば中間の位置)に表示されてもよい。更に別の例として、ガイド54は、ユーザAの位置とユーザBの位置との間の位置(例えば中間の位置)、かつ、視野50,52の移動が最少となる位置に表示されてもよい。また、表示制御部28は、「ガイド54に視線を合わせてください」といったメッセージを、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示してもよい。
ここで、図14及び図15を参照して、ガイドが表示される位置の一例について詳しく説明する。図14には、ユーザA,Bの上方(つまりZ軸の方向)から見た図である。図15は、ユーザA,BのX軸又はY軸の方向から見た図である。
図14には、軌跡56,58が示されている。軌跡56は、ユーザAが向きを変えることで形成され得る、ユーザAの視線の軌跡である。軌跡58は、ユーザBが向きを変えることで形成され得る、ユーザBの視線の軌跡である。軌跡56,58は、X軸とY軸とを含む平面内(つまりZ軸に直交する平面内)に形成される。算出部26は、現実空間におけるユーザAの位置に基づいて軌跡56を算出し、現実空間におけるユーザBの位置に基づいて軌跡58を算出する。また、算出部26は、ユーザA,Bのそれぞれの位置に基づいて、ユーザA,Bのそれぞれからの距離が等しい位置を算出する。線60は、ユーザA,Bのそれぞれからの距離が等しい位置を示す線である。
図15に示されている線62は、ユーザAの目の高さとユーザBの目の高さとの平均の高さを示す線である。算出部26は、例えば、ARグラス10の高さをユーザAの目の高さと推定し、ARグラス12の高さをユーザBの目の高さと推定し、これらの目の高さの平均の高さを算出する。その高さが、線62によって示されている。
例えば、算出部26は、線60,62上の位置であり、かつ、ユーザAの視野50とユーザBの視野52との移動が最少となる位置を算出する。つまり、算出部26は、ユーザA,Bのそれぞれからの距離が等しく、ユーザA,Bの目の高さの平均の高さにあり、かつ、視野50,52の移動が最少となる位置を算出する。表示制御部28は、その位置にガイド54を表示する。
なお、算出部26は、交差領域の大きさ(例えば体積や表面積等)が最大となる位置を算出し、表示制御部28は、その位置にガイド54を表示してもよい。
MR技術が利用される場合も、AR技術が利用される場合と同様に、ガイド54が、現実空間に仮想的に表示される。VR技術が利用される場合、仮想空間にガイドが表示される。
図16には、別の共有領域の候補が示されている。領域64は、現実空間におけるユーザA,Bのそれぞれの位置から予め定められた距離の範囲内(例えば1m以内)に存在する領域である。算出部26は、現実空間におけるユーザA,Bのそれぞれの位置に基づいて領域64を算出する。領域64は、共有領域の候補となり得る領域であり、表示制御部28は、領域64を共有領域の候補として、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示する。MR技術が利用される場合も同様である。AR技術が利用される場合、領域64は仮想空間に表示される。また、表示制御部28は、領域64が共有領域の候補として表示される理由を示す情報を表示してもよい。例えば、表示制御部28は、領域64はユーザA,Bのそれぞれの位置から予め定められた範囲内に存在する領域であることを示すメッセージ等を表示する。
別の例として、表示制御部28は、複数のユーザのそれぞれの位置から予め定められた距離の範囲内に、当該複数のユーザのそれぞれの視野が交差する交差領域が形成されている場合、その交差領域を共有領域の候補として表示してもよい。例えば、現実空間におけるユーザA,Bのそれぞれの位置から予め定められた距離の範囲内に、ユーザAの視野とユーザBの視野とが交差する交差領域が形成されている場合、表示制御部28は、その交差領域を共有領域の候補として、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示する。MR技術が利用される場合も同様である。VR技術が利用される場合、交差領域が仮想領域に表示される。
また、図16に示すように、表示制御部28は、過去に共有領域として利用された領域66、及び、ユーザA,Bの交差領域である領域68を、領域64と共に、共有領域の候補として、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示してもよい。
ユーザによって、表示される共有領域の候補の条件が指定されたり、ユーザの指示に従って、共有領域の候補が表示されたりしてもよい。以下、図17及び図18を参照して、これらの処理について説明する。図17及び図18には、三次元空間(例えば現実空間又は仮想空間)に存在するユーザA,Bが示されている。ここでは、現実空間に存在するユーザA,Bが示されている。
図17に示すように、表示制御部28は、共有領域の絞り込みの条件を設定するか否かをユーザが指示するための画像70を、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示する。画像70には、「はい」ボタンと「いいえ」ボタンが表示されている。ユーザA、Bのいずれかが、「いいえ」ボタンを押すと、表示制御部28は、共有領域候補リストに登録されている全ての候補を、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示する。MR技術が利用される場合も同様である。VR技術が利用される場合、仮想空間に画像70が表示される。
ユーザA,Bのいずれかが、符号72が指し示すように、「はい」ボタンを押すと、図18に示すように、表示制御部28は、ユーザが絞り込みの条件を設定するための設定欄74を、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示する。図18には、絞り込みの条件として、「過去に利用された共有領域」という条件と、「ユーザからの特定の距離の範囲:1m」という条件が、設定欄74に表示されている。符号76が指し示すように、ユーザA,Bのいずれかが絞り込み条件を指定すると、表示制御部28は、その指定された絞り込み条件に該当する共有領域の候補を、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に仮想的に重畳して表示する。MR技術が利用される場合も同様である。VR技術が利用される場合、仮想空間に設定欄74が表示される。
例えば、「過去に利用された共有領域」という条件が指定された場合、表示制御部28は、ユーザA,Bによって過去に利用された共有領域を、共有領域の候補として表示する。また、「ユーザからの特定の距離の範囲:1m」という条件が指定された場合、表示制御部28は、ユーザA,Bのそれぞれの位置から1m以内の範囲内に存在する共有領域の候補を表示する。また、設定欄74に表示されている絞り込み条件が指定されない場合、表示制御部28は、交差領域を共有領域の候補として表示してもよい。例えば、設定欄74が表示された時点から予め定められた時間が経過すると、表示制御部28は、交差領域を共有領域の候補として表示する。
共有領域の候補の中から実際に利用される共有領域がユーザによって選択されると、選択部30は、ユーザによって選択された共有領域の候補を、サービス(例えば会議)に参加している各ユーザによって共有される共有領域として設定する。サービスに参加している各ユーザは、共有領域内の仮想オブジェクトを閲覧等することができる。
図19及び図20を参照して、具体例を挙げて、実際に利用される共有領域を選択する操作について説明する。図19には、三次元空間(例えば現実空間又は仮想空間)に存在するユーザA,Bと共有領域の候補とが示されており、図20には、三次元空間に存在するユーザA,Bと共有領域とが示されている。ここでは、現実空間に存在するユーザA,Bが示されている。
図19に示されている領域64,66,68は、共有領域の候補である。符号78が指し示すように、ユーザA,Bのいずれかが、ジェスチャや音声や端末装置の操作等によって、領域68を実際に利用される共有領域として選択した場合、選択部30は、その選択された領域68を、ユーザA,Bによって共有される共有領域として設定する。これにより、共有領域である領域68内の仮想オブジェクトが、ユーザA,Bによって共有される。つまり、表示装置10a及び表示装置12aのそれぞれの表示画面上で、領域68内の仮想オブジェクトが現実空間に重畳して仮想的に表示される。ユーザA,Bは、ジェスチャや音声や端末装置の操作等によって、当該仮想オブジェクトを閲覧や編集等を行うことができる。
また、共有領域の形状、及び、共有領域の候補の形状は、ユーザの操作によって変更されてもよい。例えば、表示制御部28は、ジェスチャや音声や端末装置の操作等に従って、変更の対象となる共有領域や候補の形状を変更する。
表示制御部28は、共有領域に表示される仮想オブジェクトに応じて、共有領域の大きさを変えてもよい。図20に示す例では、表示制御部28は、領域68に表示される仮想オブジェクトに応じて、領域68の大きさを変えてもよい。例えば、表示制御部28は、仮想オブジェクトである文書のページ数が多いほど、領域68を大きくする。また、表示制御部28は、仮想オブジェクトである画像の枚数が多いほど、領域68を大きくする。また、表示制御部28は、仮想オブジェクトの表示サイズに応じて、領域68の大きさを変えてもよい。例えば、表示制御部28は、仮想オブジェクトの表示サイズが大きいほど、領域68を大きくする。表示制御部28は、仮想オブジェクトに応じた大きさを有する共有領域が形成されるようにガイドを表示してもよいし、そのような共有領域が形成される位置にユーザを移動させるガイドを表示してもよい。
複数のユーザによって共有される共有領域が設定された後に、当該複数のユーザの一部のユーザによって共有される領域である個別共有領域が設定されてもよい。個別共有領域は、当該一部のユーザのみによって共有される領域であり、当該一部のユーザ以外のユーザによっては共有されない。例えば、表示制御部28は、情報処理システムが提供するサービス(例えば会議)に参加している各ユーザを表す画像を、各ユーザのARグラスの表示装置の表示画面上で、現実空間に重畳して仮想的に表示する。ユーザを表す画像は、当該ユーザの写真や、当該ユーザを模式的に表す画像(例えば、アイコンやアバター等)等である。
図21には、ユーザを表す画像が示されている。図21は、現実空間に重畳して仮想的に表示される画像を示す図である。ここでは、ユーザA,B,Cが、情報処理システムにログインして、情報処理システムが提供するサービス(例えば会議)に参加しているものとする。画像80は、ユーザAを模式的に表す画像であり、画像82は、ユーザBを模式的に表す画像であり、画像84は、ユーザCを模式的に表す画像である。画像80,82,84は、ユーザA,B,CのそれぞれのARグラスの表示装置の表示画面上で、現実空間に重畳して仮想的に表示される。MR技術が利用される場合も同様である。VR技術が利用される場合、仮想空間に各ユーザの画像が表示される。
例えば、サービスに参加しているユーザによって、ユーザを表す画像が指定されると、情報処理システムのモードは、個別共有領域を設定するモードである個別共有領域設定モードに移行する。個別共有領域設定モードでは、画像を指定したユーザと、その指定された画像が表すユーザと、によって共有される個別共有領域を設定する機能が実行される。例えば、図6に示されているフローチャートに従った処理が実行されることで、個別共有領域の候補が決定される。表示制御部28は、画像を指定したユーザのARグラスの表示装置の表示画面上と、指定されたユーザのARグラスの表示装置の表示画面上とに、その個別共有領域の候補を現実空間に重畳して仮想的に表示する。
例えば、ユーザBによって、符号86が指し示すように、ユーザAの画像80が指定されたものとする。ジェスチャや音声やユーザBの端末装置の操作等によって、画像80が指定される。この場合、情報処理装置14は、図6に示されているフローチャートに従った処理を実行することで、画像80を指定したユーザBと、指定されたユーザAと、によって共有される個別共有領域の候補を決定する。表示制御部28は、その個別共有領域の候補を、表示装置10a及び表示装置12aのそれぞれの表示画面上で、現実空間に重畳して仮想的に表示する。
個別共有領域の候補の中から実際に使用される個別共有領域が、ユーザA,Bのいずれかによって選択されると、その選択された個別共有領域が、ユーザA,Bによって共有される。この個別共有領域は、ユーザA,Bのみによって共有され、ユーザCには共有されない。したがって、この個別共有領域内の仮想オブジェクトは、ユーザA,Bのみによって閲覧等に供され、ユーザCは、この個別共有領域内の仮想オブジェクトを閲覧等することができない。
また、表示制御部28は、共有領域内の仮想オブジェクトを、個別共有領域を共有するユーザの操作に従って、当該個別共有領域内に表示してもよい。図22を参照して、この処理について説明する。図22には、現実空間に存在するユーザA,Bと共有領域とが示されている。ここでは、領域66,68が、ユーザA,B,Cによって共有される共有領域であり、領域64が、ユーザA,Bによって共有される個別共有領域であるものとする。つまり、ユーザA,Bは、個別共有領域である領域64内の仮想オブジェクトを閲覧等することができるが、ユーザCは、領域64内の仮想オブジェクトを閲覧等することができない。また、ユーザA,B,Cは、領域66,68内の仮想オブジェクトを閲覧等することができる。
例えば、符号88が指し示すように、ユーザAが、ジェスチャや音声やユーザAの端末装置の操作等によって、共有領域である領域68内に表示されている仮想オブジェクトαを、個別共有領域である領域64に移動させると、表示制御部28は、仮想オブジェクトαを領域64内に表示する。表示制御部28は、移動させられた仮想オブジェクトαを、移動元の領域68内に表示しなくてもよいし、領域68内に表示してもよい。これにより、移動先の領域64においては、仮想オブジェクトαは、ユーザA,Bのみによって共有され、ユーザCによっては共有されない。また、領域64に表示されている仮想オブジェクトを、個別共有領域を共有しているユーザの操作に応じて、共有領域である領域68内に表示するようにしてもよい。なお、共有領域である領域68内に表示されている仮想オブジェクトαを、ユーザが移動させようとした際に、情報処理システムのモードが個別共有領域の設定モードに移行し、当該仮想オブジェクトαを個別に共有したいユーザを選択し、個別共有領域を設定するようにしてもよい。
上述した実施形態では、AR技術又はMR技術が利用されることで、現実空間上に共有領域や候補が仮想的に表示される。別の例として、VR技術が利用されることで、仮想空間上に共有領域や候補が表示されてもよい。仮想空間は、現実空間に対比される三次元の仮想的な空間である。例えば、現実空間上の座標系と仮想空間上の座標系とが、1対1で対応している。
例えば、VR技術が採用された、メガネ型の端末装置であるVRグラスや、VR技術が採用されたHMD等が用いられる。VRグラスやHMDがユーザに装着され、VRグラスやHMDの表示画面に、仮想空間に存在する共有領域や仮想オブジェクトが表示される。
VR技術が利用される場合も、上述した実施形態と同様に、共有領域の候補が決定される。
ここでは、ユーザA,Bが、情報処理システムにログインし、情報処理システムが提供するサービス(例えば会議)に参加しているものとする。
まず、プロセッサ24は、仮想空間上におけるユーザA,Bのそれぞれの位置を設定する。例えば、仮想空間上におけるユーザAの初期位置が予め定められており、プロセッサ24は、ユーザAが情報処理システムにログインした時には、その初期位置をユーザAの位置として設定する。ユーザBについても同様である。別の例として、ユーザAが、ジェスチャや音声やユーザAの端末装置の操作等によって、仮想空間上におけるユーザAの位置を指定してもよい。この場合、プロセッサ24は、ユーザAによって指定された位置をユーザAの位置として設定する。ユーザBについても同様である。更に別の例として、プロセッサ24は、現実空間に存在するユーザAの位置に基づいて、仮想空間上におけるユーザAの位置を設定してもよい。例えば、現実空間の座標系と仮想空間の座標系とが1対1に対応しており、プロセッサ24は、現実空間に存在するユーザAの位置を、仮想空間上におけるユーザAの位置として設定する。ユーザBについても同様である。
仮想空間上におけるユーザA,Bのそれぞれの位置が設定されると、表示制御部28は、共有領域の候補を仮想空間上に表示する。例えば、上述した実施形態と同様に、ユーザA,Bによって過去に利用された共有領域が、共有領域の候補として表示される。
また、算出部26は、仮想空間上におけるユーザAの視野とユーザBの視野とが交差する交差領域を算出し、表示制御部28は、その交差領域を共有領域の候補として仮想空間上に表示してもよい。仮想空間上におけるユーザAの視野の向きは、ユーザAが装着しているVRグラスやHMDの向きに対応しており、算出部26は、そのVRグラスやHMDの向きに基づいて、仮想空間上におけるユーザAの視野の向きを算出する。ユーザBの視野についても同様である。また、上述した実施形態と同様に、表示制御部28は、仮想空間上にて交差領域が形成されるようにガイドを仮想空間上に表示してもよい。この場合、表示制御部28は、仮想空間上においてユーザA,Bのそれぞれの視野の移動が最少となる位置にガイドを表示してもよい。
また、AR技術やMR技術が利用される場合と同様に、表示制御部28は、仮想空間上におけるユーザA,Bのそれぞれの位置から予め定められた距離の範囲内に交差領域が形成されている場合、当該交差領域を共有領域の候補として仮想空間上に表示してもよい。
また、AR技術やMR技術が利用される場合と同様に、仮想空間上に、サービスに参加している複数のユーザの中の一部のユーザによって共有される個別共有領域が設定されてもよい。
その他、AR技術やMR技術が利用される場合と同様に、仮想空間上にて共有領域や候補の形状が変更されたり、共有領域間にて仮想オブジェクトが移動させられたりしてもよい。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
10,12 ARグラス、14 情報処理装置、16 サーバ。

Claims (7)

  1. プロセッサを有し、
    前記プロセッサは、
    複数のユーザが存在している三次元空間にて、前記複数のユーザの視野が交差する領域である交差領域を、前記複数のユーザによって共有される領域である共有領域として設定
    前記交差領域が形成されない場合、前記交差領域を形成するために前記複数のユーザが視線を向けるべきガイドを、三次元空間において、前記複数のユーザの視野の移動が最少の位置に表示する、
    情報処理装置。
  2. 前記プロセッサは、更に、
    前記複数のユーザのそれぞれの位置から予め定められた距離以内に前記交差領域が形成されている場合、前記交差領域を前記共有領域の候補として三次元空間に表示する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記プロセッサは、更に、
    三次元空間にて前記複数のユーザによって過去に共有された領域を、前記共有領域の候補として三次元空間上に表示する、
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 前記プロセッサは、更に、
    三次元空間にて前記複数のユーザの一部のユーザによって共有される領域である個別共有領域を設定する、
    ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置。
  5. 前記プロセッサは、更に、
    三次元空間上にて前記共有領域に表示される仮想オブジェクトを、前記個別共有領域を共有するユーザの操作に従って、前記個別共有領域に表示する、
    ことを特徴とする請求項に記載の情報処理装置。
  6. 前記プロセッサは、更に、
    前記共有領域に表示される仮想オブジェクトに応じて、前記共有領域の大きさを変える、
    ことを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置。
  7. コンピュータに、
    複数のユーザが存在している三次元空間にて、前記複数のユーザの視野が交差する領域である交差領域を、前記複数のユーザによって共有される領域である共有領域として設定させ
    前記交差領域が形成されない場合、前記交差領域を形成するために前記複数のユーザが視線を向けるべきガイドを、三次元空間において、前記複数のユーザの視野の移動が最少の位置に表示させる、
    プログラム。
JP2020041123A 2020-03-10 2020-03-10 情報処理装置及びプログラム Active JP7424121B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020041123A JP7424121B2 (ja) 2020-03-10 2020-03-10 情報処理装置及びプログラム
US16/944,134 US11295536B2 (en) 2020-03-10 2020-07-30 Information processing apparatus and non-transitory computer readable medium
CN202010914096.8A CN113379927A (zh) 2020-03-10 2020-09-03 信息处理装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020041123A JP7424121B2 (ja) 2020-03-10 2020-03-10 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021144325A JP2021144325A (ja) 2021-09-24
JP7424121B2 true JP7424121B2 (ja) 2024-01-30

Family

ID=77568970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020041123A Active JP7424121B2 (ja) 2020-03-10 2020-03-10 情報処理装置及びプログラム

Country Status (3)

Country Link
US (1) US11295536B2 (ja)
JP (1) JP7424121B2 (ja)
CN (1) CN113379927A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027909B (zh) * 2023-03-23 2023-06-16 北京虹宇科技有限公司 一种三维空间中可定制内容的多人共享方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049996A (ja) 2003-07-30 2005-02-24 Canon Inc 画像表示方法及び装置
JP2011070511A (ja) 2009-09-28 2011-04-07 Sony Corp 端末装置、サーバ装置、表示制御方法、及びプログラム
WO2016031358A1 (ja) 2014-08-27 2016-03-03 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2016045623A (ja) 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
WO2019155876A1 (ja) 2018-02-06 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法、および画像提供システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5776201B2 (ja) 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
CN102509348B (zh) * 2011-09-26 2014-06-25 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects
US9398408B2 (en) * 2014-03-28 2016-07-19 Intel Corporation Gaze-directed content delivery
JP6455038B2 (ja) * 2014-09-16 2019-01-23 コニカミノルタ株式会社 Ar装置、画像共有システム、画像共有方法、コンピュータプログラム、およびサーバ
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
JP6632322B2 (ja) 2015-10-28 2020-01-22 キヤノン株式会社 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049996A (ja) 2003-07-30 2005-02-24 Canon Inc 画像表示方法及び装置
JP2011070511A (ja) 2009-09-28 2011-04-07 Sony Corp 端末装置、サーバ装置、表示制御方法、及びプログラム
JP2016045623A (ja) 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
WO2016031358A1 (ja) 2014-08-27 2016-03-03 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2019155876A1 (ja) 2018-02-06 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法、および画像提供システム

Also Published As

Publication number Publication date
US20210287452A1 (en) 2021-09-16
JP2021144325A (ja) 2021-09-24
US11295536B2 (en) 2022-04-05
CN113379927A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
JP5776201B2 (ja) 情報処理装置、情報共有方法、プログラム及び端末装置
US20220283632A1 (en) Iinformation processing apparatus, image generation method, and computer program
CN113366415B (zh) 具有多个接合模式的人工现实系统
US11119568B2 (en) Suspend mode feature for artificial reality systems
US20180321798A1 (en) Information processing apparatus and operation reception method
CN109416580A (zh) 对三维空间中的对象的选择
JP6203369B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6883140B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP2017084100A (ja) 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム
KR101687309B1 (ko) Hmd가 구비된 단말의 정보 제공 서비스 방법 및 장치
JP2014203175A (ja) 情報処理装置、情報処理方法及びプログラム。
JP2017207898A (ja) 視野情報収集方法および当該視野情報収集方法をコンピュータに実行させるためのプログラム
JP7424121B2 (ja) 情報処理装置及びプログラム
JP6726016B2 (ja) 情報処理装置、情報処理方法
KR102420166B1 (ko) 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템
KR20220021886A (ko) 가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 vr 시스템
JP7226836B2 (ja) 表示制御装置、プレゼンテーションシステム、表示制御方法、及びプログラム
JP2018097847A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
KR20220049907A (ko) 위치 기반 아바타 메신저 서비스 제공 방법 및 장치
KR20210085929A (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
JP6744271B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
US20240135650A1 (en) Electronic device and method for displaying modification of virtual object and method thereof
JP2016224809A (ja) 情報処理装置、情報処理方法
JP6983980B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R150 Certificate of patent or registration of utility model

Ref document number: 7424121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150