JP7414139B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7414139B2
JP7414139B2 JP2022531176A JP2022531176A JP7414139B2 JP 7414139 B2 JP7414139 B2 JP 7414139B2 JP 2022531176 A JP2022531176 A JP 2022531176A JP 2022531176 A JP2022531176 A JP 2022531176A JP 7414139 B2 JP7414139 B2 JP 7414139B2
Authority
JP
Japan
Prior art keywords
user
agent
information processing
information
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022531176A
Other languages
English (en)
Other versions
JPWO2021255864A1 (ja
Inventor
涼平 西條
昌洋 渡辺
妙 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021255864A1 publication Critical patent/JPWO2021255864A1/ja
Application granted granted Critical
Publication of JP7414139B2 publication Critical patent/JP7414139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明の一態様は、例えばユーザを支援するエージェントを配置する情報処理装置、情報処理方法およびプログラムに関する。
近年、仮想空間などにおいてユーザを支援するためのエージェントを配置するシステムが提供されている。たとえば、そのようなシステムは、ユーザが目視する画面にエージェントを表示する。システムは、エージェントの動作などによってユーザへ所定の支援を提供する。
田中貴紘ほか,オンラインながらコミュニケーションのための円滑な会話開始支援エージェント,第24回ファジィシステムシンポジウム,DT2-3,pp. 586-589, 2008
エージェントは、ユーザから認識されやすく、かつ、ユーザが注視したいものを視ることを阻害しない位置に配置されることが望ましい。
そこで、ユーザの視界の中において適切な位置にエージェントを配置する技術を提供する。
この発明の一態様では、情報処理装置は、ユーザの位置を示すユーザ位置情報を入力する入力装置とデータを送受信するインターフェースと、プロセッサとを備え、プロセッサにより、前記ユーザ位置情報に基づいて評価対象位置ごとに前記ユーザの位置と前記評価対象位置との距離に基づく評価値を算出し、前記評価値に基づいて前記ユーザを支援するエージェントを配置する仮想空間又は実空間における位置を決定し、決定した仮想空間又は実空間における前記位置に前記エージェントを配置するようにしたものである
実施形態によれば、エージェントシステムは、ユーザから認識されやすく、かつ、ユーザが注視したいものをみることを阻害しない位置にエージェントを配置することができる。
図1は、第1の実施形態に係るエージェントシステムの構成例を示す図である。 図2は、第1の実施形態に係るエージェントシステムの構成例を示すブロック図である。 図3は、第1の実施形態に係るプロセッサの機能ブロック図である。 図4は、第1の実施形態に係るエージェントシステムの動作例を示す図である。 図5は、第1の実施形態に係るエージェントシステムの動作例を示す図である。 図6は、第1の実施形態に係るエージェントシステムの動作例を示す図である。 図7は、第1の実施形態に係るエージェントシステムの動作例を示す図である。 図8は、第1の実施形態に係るエージェントシステムの動作例を示す図である。 図9は、第1の実施形態に係るエージェントシステムの動作例を示す図である。 図10は、第1の実施形態に係るエージェントシステムの動作例を示すシーケンス図である。 図11は、第2の実施形態に係るエージェントシステムの構成例を示すブロック図である。 図12は、第2の実施形態に係るプロセッサの機能ブロック図である。 図13は、第2の実施形態に係るエージェントシステムの動作例を示すシーケンス図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。
実施形態に係るエージェントシステムは、VR(Virtual Reality)、AR(Augmented Reality)又はMR(Mixed Reality)などの技術を用いて仮想空間にエージェントを配置する。エージェントシステムは、エージェントを通じて支援対象者であるユーザに対して支援を行う。ここでは、エージェントシステムは、エージェントの向きを変えることで、他のユーザがコミュニケーションを開始したい意図を有することをユーザに提示する。なお、エージェントシステムが行う支援の内容は、特定の構成に限定されるものではない。
図1は、実施形態に係るエージェントシステム100の構成例を示す。図1が示すように、エージェントシステム100は、ヘッドセット1及び情報処理装置3などから構成される。ヘッドセット1及び情報処理装置3は、互いに通信可能に接続する。
ヘッドセット1は、ゴーグル型のヘッドセットである。ヘッドセット1は、ユーザの頭部に脱着可能な構造である。ヘッドセット1は、情報処理装置3からの制御に従ってユーザに画像を表示する。また、ヘッドセット1は、ユーザの頭部の位置、角度及び加速度などを測定する。
なお、ヘッドセット1は、メガネ型のヘッドセットであってもよい。
情報処理装置3は、仮想空間を設定する。情報処理装置3は、仮想空間において所定の位置に存在するユーザのアバタが目視する画像を生成してヘッドセット1に表示する。
図2は、エージェントシステム100の構成例を示すブロック図である。図2が示すように、ヘッドセット1は、表示装置11及び入力装置12を備える。表示装置11及び入力装置12は、情報処理装置3に接続する。
表示装置11は、情報処理装置3からの制御に従ってユーザに画像を表示する。ここでは、表示装置11は、ユーザの頭部に装着されるヘッドマウントディスプレイである。また、表示装置11は、ユーザの左右の目に異なる画像を表示して立体視を実現するものであってもよい。
たとえば、表示装置11は、有機EL(Electro Luminescence)ディスプレイからなる表示パネルを備え、ユーザの視野範囲に対応する表示領域を有する。
入力装置12は、ユーザの姿勢を示す姿勢情報及びユーザの位置を示すユーザ位置情報を情報処理装置3に入力する。姿勢情報及びユーザ位置情報は、情報処理装置3が仮想空間においてユーザのアバタの視界を特定するために用いられる。ここでは、入力装置12は、ユーザの姿勢としてヘッドセット1を装着したユーザの頭部の動作などを示す姿勢情報を情報処理装置3に入力する。たとえば、入力装置12は、ヘッドセット1の角度及び、ヘッドセット1に掛かる加速度などを測定するセンサから構成される。入力装置12は、姿勢情報としてセンサからのセンサ信号を情報処理装置3に入力する。なお、入力装置12は、姿勢情報としてコントローラからの操作信号を情報処理装置3に入力するものであってもよい。
また、ユーザ位置情報は、仮想空間におけるユーザの位置を示す。入力装置12は、センサを通じてユーザ位置情報を取得してもよい。また、入力装置12は、コントローラを通じてユーザ位置情報を取得してもよい。また、ユーザ位置情報は、ユーザの移動量及び移動方向を示すものであってもよい。
また、図2が示すように、情報処理装置3は、プロセッサ31、メモリ32、入出力インターフェース33及び通信部34などを備える。
プロセッサ31と、メモリ32、入出力インターフェース33及び通信部34とは、データバスなどを介して互いに接続する。
プロセッサ31は、情報処理装置3全体の動作を制御する機能を有する。プロセッサ31は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ31は、内部メモリ又はメモリ32などが予め記憶するプログラムを実行することにより種々の処理を実現する。
たとえば、プロセッサ31は、CPUなどから構成される。また、プロセッサ31は、ASIC(Application Specific Integrated Circuit)などから構成されるものであってもよい。また、プロセッサ31は、FPGA(Field Programmable Gate Array)などから構成されるものであってもよい。
メモリ32は、種々のデータを格納する。たとえば、メモリ32は、ROM、RAM及びNVMとして機能する。
たとえば、メモリ32は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、情報処理装置3の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、情報処理装置3で実現する機能をサポートするプログラムなどである。
また、メモリ32は、プロセッサ31の処理中のデータなどを一時的に格納する。また、メモリ32は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
入出力インターフェース33は、ヘッドセット1と無線又は有線でデータを送受信するためのインターフェースである。即ち、入出力インターフェース33は、ヘッドセット1の表示装置11及び入力装置12と通信する。
たとえば、入出力インターフェース33は、USB(Universal Serial Bus)接続又はBluetooth(登録商標)接続などをサポートするインターフェースである。
また、入出力インターフェース33は、表示装置11とデータを送受信するインターフェースと、入力装置12とデータを送受信するインターフェースとから構成されてもよい。
通信部34は、外部装置に接続するインターフェースである。たとえば、通信部34は、外部のネットワークを通じて外部装置に接続する。たとえば、通信部34は、有線又は無線のLAN(Local Area Network)接続をサポートするインターフェースである。
たとえば、情報処理装置3は、デスクトップPC又はノートPCなどのコンピュータである。
なお、エージェントシステム100は、図1及び図2が示すような構成の他に必要に応じた構成を具備したり、情報処理装置3から特定の構成が除外されたりしてもよい。
また、ヘッドセット1と情報処理装置3とは、一体的に形成されるものであってもよい。また、ヘッドセット1及び情報処理装置3は、それぞれ複数のデバイスから構成されるものであってもよい。
次に、情報処理装置3が実現する機能について説明する。情報処理装置3が実現する機能は、プロセッサ31が内部メモリ又はメモリ32などに格納されるプログラムを実行することで実現される。
図3は、プロセッサ31が実現する機能を示す。図3が示すように、プロセッサ31は、動作制御部311、位置計算部312及び仮想空間制御部313などを実現する。
仮想空間制御部313は、仮想空間を設定する。仮想空間制御部313は、仮想空間の大きさ及び形状を制御する。また、仮想空間制御部313は、仮想空間においてユーザのアバタ、エージェント、又は、その他のオブジェクトを配置する。なお、仮想空間制御部313は、通信部34を通じて通信する外部装置からの制御に従ってオブジェクトを配置するものであってもよい。
また、仮想空間制御部313は、仮想空間におけるユーザ(ユーザのアバタ)の視界(ユーザの視点から見える画像)を生成する。仮想空間制御部313は、入力装置12からの姿勢情報などに基づいて、ユーザの視線を示すベクトルを生成する。仮想空間制御部313は、当該ベクトル及びユーザ位置情報などに基づいて、表示装置11にユーザの視界の画像を表示させる。
また、動作制御部311は、仮想空間においてエージェントの動作を制御する。ここでは、動作制御部311は、エージェントにユーザを支援する動作を行わせる。
図4は、仮想空間においてエージェントの動作を示す。図4が示す例では、仮想空間において、アバタ201、エージェント202及び発言者203が配置されている。
アバタ201は、エージェントシステム100のユーザが操作するアバタである。仮想空間制御部313は、アバタ201の視界を表示装置11に表示させる。
発言者203は、仮想空間に配置されるオブジェクトの1つである。発言者203は、アバタ201とコミュニケーションを行う。発言者203は、プログラムによって動作するオブジェクトであってもよいし、他のユーザが操作するアバタであってもよい。
エージェント202は、アバタ201(即ち、ユーザ)を支援するエージェントである。エージェント202は、仮想空間に配置されるオブジェクトの1つである。
エージェント202は、自身の向きによって、発言者203がアバタ201に対してコミュニケーションを開始したい意図を有していることをアバタ201に伝達する。ここでは、動作制御部311は、エージェント202が現在向いている方向を示すベクトルと、エージェント202と発言者203とを結ぶベクトルとがなす角度ρを算出する。角度ρを算出すると、動作制御部311は、エージェント202の向きを角度ρ変化させる。即ち、動作制御部311は、エージェント202を発言者203に向くように回転させる。
位置計算部312は、仮想空間においてエージェント202の位置を決定する。
図5は、仮想空間制御部313が設定した仮想空間200を示す。仮想空間200の横幅は、Xであり、高さ(奥行き)は、Yである。図5では、さらにオブジェクト204乃至206が配置されている。
位置計算部312は、エージェント202を配置可能なエージェント配置領域210を設定する。即ち、位置計算部312は、エージェント配置領域内の何れかの位置をエージェント202の位置として決定する。
エージェント配置領域210は、アバタ201を下端の中心とするM×Nの格子状に区切られた領域である。i及びjは、アバタ201を中心とする相対座標系においてエージェント配置領域210の格子点の座標を示す添え字である。iは、x座標を示し、jは、y座標を示す。
位置計算部312は、格子点(評価対象位置)の評価値Vi,jに基づいてエージェント202の位置を決定する。ここでは、位置計算部312は、評価値Vi,jが最大となる格子点をエージェントの位置として決定する。また、位置計算部312は、評価値Vi,jが最大となる格子点が複数個存在する場合には、複数の格子点から1つを選択する。たとえば、位置計算部312は、仮想空間200の端からより離れた格子点を選択してもよい。また、位置計算部312は、左右又は上下のいずれの格子点を優先して選択するかをユーザから設定されてもよい。
評価値Vi,jは、以下の式によって算出される。
Figure 0007414139000001
αi,jは、格子点(i,j)と仮想空間200の左端との距離である。また、βi,jは、格子点(i,j)と仮想空間200の下端との距離である。即ち、Vi,jは、仮想空間200外では0となる。
位置計算部312は、以下の通りαi,j及びβi,jを算出する。
まず、位置計算部312は、以下の式に従って格子点(i、j)を仮想空間全体を表す座標系(世界座標系)における座標(I,J)に変換する。
Figure 0007414139000002
Iは、世界座標系におけるx座標を示し、Jは、世界座標系におけるy座標を示す。xは、アバタ201の世界座標系でのx座標を示す。yは、アバタ201の世界座標系でのy座標を示す。φは、世界座標系上での相対座標系の回転角を示す。
位置計算部312は、座標Iと仮想空間200の左端のx座標とに基づいてαi,jを算出する。位置計算部312は、座標Jと仮想空間200の下端のy座標とに基づいてβi,jを算出する。
次に、li,j、θi,j及びbi,jについて説明する。
図6は、li,j、θi,j及びbi,jを説明するための図である。図6が示すように、li,jは、格子点(i,j)とアバタ201との距離を示す。ここでは、アバタ201の座標は、格子点(M/2,1)である。即ち、li,jは、格子点(i,j)と格子点(M/2,1)との距離である。
θi,jは、アバタ201の視線方向を示すベクトルと、アバタ201と格子点(i,j)とを結ぶベクトルとがなす角度である。ここでは、アバタ201の視線方向は、y軸方向(上方向)である。
i,jは、格子点(i,j)から所定の半径rの範囲におけるオブジェクトの密度である。
また、fは、li,jに基づく評価値を算出する関数である。fは、θi,jに基づく評価値を算出する関数である。fは、bi,jに基づく評価値を算出する関数である。
また、W、W及びWは、それぞれf、f及びfの重み係数である。
次に、fについて説明する。
図7は、fについて説明するための図である。
は、li,jの下限dと上限Dとの中心の値を入力すると最大となる2次関数である。なお、下限dは、アバタ201の視界内における格子点のli,jの下限であってもよい。また、上限Dは、アバタ201の視界内における格子点のli,jの上限であってもよい。
即ち、fは、以下の式である。
Figure 0007414139000003
なお、fは、下限dと上限Dとの中心の値を入力すると最大となる正規分布の関数であってもよい。fの構成は、特定の構成に限定されるものではない。
次に、fについて説明する。
図8は、fについて説明するための図である。
は、φ’とφとの中心の値を入力すると最大となる2次関数である。
図8が示すように、φ’は、ユーザの視線を示すベクトルから中心視野(有効視野)の端までの角度である。また、φは、ユーザの視線を示すベクトルから視野の端までの角度である。
即ち、fは、以下の式である。
Figure 0007414139000004
なお、fは、φ’とφとの中心の値を入力すると最大となる正規分布の関数であってもよい。
また、fは、θi,jがφに近づくのに比例して上昇する関数であってもよい。
の構成は、特定の構成に限定されるものではない。
次に、fについて説明する。
図9は、fについて説明するための図である。
は、格子点(i,j)から半径rの範囲にあるオブジェクトの密度bi,jに反比例する関数である。
3は、以下の式である。
Figure 0007414139000005
i,jは、格子点(i,j)から半径rの範囲にあるオブジェクトの個数である。図9が示す例では、ai,jは、1である。
なお、fは、オブジェクトの密度bi,jに比例して減少する関数であってもよい。
の構成は、特定の構成に限定されるものではない。
位置計算部312は、決定した位置を示すエージェント位置情報を仮想空間制御部313に出力する。
次に、エージェントシステム100の動作例について説明する。
図10は、エージェントシステム100の動作例について説明するためのシーケンス図である。
ここでは、発言者は、アバタ201とコミュニケーションを開始する意図を有するものとする。
まず、仮想空間制御部313は、発言者の位置を示す発言者位置情報を動作制御部311に出力する(S11)。
動作制御部311は、仮想空間制御部313からの発言者位置情報に基づいてエージェント202の向きを変更する(S12)。エージェント202の向きを変更すると、動作制御部311は、表示装置11にエージェント202の向きが変更された画像を表示させる制御を行う(S13)。
表示装置11は、動作制御部311からの制御に従ってエージェント202の表示を更新する(S14)。
ここで、入力装置12は、ユーザの姿勢情報及びユーザ位置情報を取得する(S15)。姿勢情報及びユーザ位置情報を取得すると、入力装置12は、取得した姿勢情報及びユーザ位置情報を情報処理装置3に入力する(S16)。
入力装置12が姿勢情報及びユーザ位置情報を入力すると、仮想空間制御部313は、ユーザの視線を示すベクトル並びにユーザの位置などを示す視線情報、仮想空間200内に設置されているオブジェクト並びオブジェクトの位置などを示すオブジェクト情報及び相対座標系における格子点を示す格子点情報などを位置計算部312に出力する(S17)。
位置計算部312は、仮想空間制御部313からの情報に基づいてエージェント202の位置を決定する(S18)。エージェント202の位置を決定すると、位置計算部312は、エージェント202の位置を示すエージェント位置情報を仮想空間制御部313に出力する(S19)。
仮想空間制御部313は、位置計算部312からのエージェント位置情報が示す位置にエージェント202の位置を変更する(S20)。エージェント202の位置を変更すると、仮想空間制御部313は、表示装置11にエージェント202の位置が変更された画像を表示させる制御を行う(S21)。
表示装置11は、動作制御部311からの制御に従ってエージェント202の表示を更新する(S22)。
なお、エージェントシステム100は、S11又はS15に戻ってもよい。
また、仮想空間制御部313は、動作制御部311からの情報に基づいてS13を実行してもよい。
以上のように構成されたエージェントシステムは、仮想空間においてユーザのアバタを支援するエージェントを配置する。エージェントシステムは、格子点の評価値に基づいて、ユーザが注視する領域を避けつつ、かつ、ユーザに視認されやすい位置にエージェントを配置する。
その結果、エージェントシステムは、ユーザの視界にエージェントを配置することでユーザによるエージェントの探索の手間を削減することができる。また、エージェントシステムは、ユーザが注視する領域を避けてエージェントを配置することで、ユーザの活動を阻害することなくユーザを支援することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
第2の実施形態に係るエージェントシステムは、実空間においてユーザを支援するエージェントを配置する点で第1の実施形態に係るそれと異なる。従って、その他の点においては、同一の符号を付して詳細な説明を省略する。
第2の実施形態に係るエージェントは、ロボットなどである。
図11は、第2の実施形態に係るエージェントシステム100’の構成例を示すブロック図である。図11が示すように、エージェントシステム100’は、情報処理装置3、動作装置41及び入力装置42などを備える。動作装置41及び入力装置42は、情報処理装置3に接続する。
動作装置41は、実空間に配置されているエージェントの動作を制御する。動作装置41は、情報処理装置3からの制御に従って、エージェントを移動させる。また、動作装置41は、情報処理装置3からの制御に従って、エージェントの姿勢又は向きなどを変更する。
入力装置42は、ユーザの位置及び姿勢などを検出する。たとえば、入力装置42は、ユーザの姿勢として頭部の動きなどを検出する。入力装置42は、ユーザの姿勢を示す姿勢情報及びユーザの位置を示すユーザ位置情報を情報処理装置3に入力する。
また、入力装置42は、ユーザの操作などの入力を受け付けるものであってもよい。
なお、エージェントシステム100’は、図11が示すような構成の他に必要に応じた構成を具備したり、情報処理装置3から特定の構成が除外されたりしてもよい。
次に、情報処理装置3が実現する機能について説明する。情報処理装置3が実現する機能は、プロセッサ31が内部メモリ又はメモリ32などに格納されるプログラムを実行することで実現される。
図12は、プロセッサ31が実現する機能を示す。図12が示すように、プロセッサ31は、動作制御部411、位置計算部412、空間情報管理部413及び環境情報取得部414などを実現する。
空間情報管理部413は、エージェントを動作させる所定の実空間内の情報を管理する。空間情報管理部413は、空間の大きさや空間内のオブジェクトの配置などの情報を有する。また、空間情報管理部413は、発言者の位置を管理する。
環境情報取得部414は、エージェントが存在する周囲の情報を取得する。また、環境情報取得部414は、入力装置からの姿勢情報及びユーザ位置情報を取得する。また、環境情報取得部414は、入力装置から、発言者が発言しようとする意図を取得する。
動作制御部411は、動作装置41を通じてエージェントの動作を制御する。ここでは、動作制御部411は、動作装置41を通じてエージェントにユーザを支援する動作を行わせる。動作制御部411がエージェントに行わせる支援は、第1の実施形態のそれと同様であるため説明を省略する。
位置計算部412は、実空間においてエージェントの位置を決定する。位置計算部412の動作は、位置計算部312と同様であるため説明を省略する。
次に、エージェントシステム100’の動作例について説明する。
図13は、エージェントシステム100’の動作例について説明するためのシーケンス図である。
ここでは、発言者は、ユーザとコミュニケーションを開始する意図を有するものとする。
まず、空間情報管理部413は、発言者の位置を示す発言者位置情報を動作制御部411に出力する(S31)。
動作制御部411は、空間情報管理部413からの発言者位置情報に基づいてエージェントを回転させる角度ρを算出する(S32)。角度ρを算出すると、動作制御部411は、動作装置41にエージェントを角度ρ回転させる制御を行う(S33)。
動作装置41は、動作制御部411からの制御に従ってエージェントを回転させる(S34)。
ここで、入力装置42は、ユーザの姿勢情報及びユーザ位置情報を取得する(S35)。姿勢情報及びユーザ位置情報を取得すると、入力装置42は、取得した姿勢情報及びユーザ位置情報を情報処理装置3に入力する(S36)。
入力装置42が姿勢情報及びユーザ位置情報を入力すると、空間情報管理部413は、ユーザの視線のベクトル並びにユーザの位置などを示す視線情報、空間内に設置されているオブジェクト並びオブジェクトの位置などを示すオブジェクト情報及び相対座標系における格子点を示す格子点情報などを位置計算部412に出力する(S37)。
位置計算部412は、空間情報管理部413からの情報に基づいてエージェントの位置を決定する(S38)。エージェントの位置を決定すると、位置計算部412は、エージェントの位置を示すエージェント位置情報を動作制御部411に出力する(S39)。
動作制御部411は、動作装置41に、位置計算部312からのエージェント位置情報が示す位置にエージェントを移動させる制御を行う(S40)。
動作装置41は、動作制御部411からの制御に従ってエージェントを移動させる(S41)。
なお、エージェントシステム100’は、S31又はS35に戻ってもよい。
以上のように構成されたエージェントシステムは、実空間において第1の実施形態のエージェントシステムと同様に、ユーザが注視する領域を避けつつ、かつ、ユーザに視認されやすい位置にエージェントを配置することができる。
なお、この発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。例えば、情報処理装置の種類や構成、表示デバイスの種類やその構成、情報提示位置の決定処理の手順と内容、提示情報の種類やその生成方法等については、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
また、実施形態は可能な限り適宜選択したり組み合わせて実施してもよい。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
1…ヘッドセット
3…情報処理装置
11…表示装置
12…入力装置
31…プロセッサ
32…メモリ
33…入出力インターフェース
34…通信部
41…動作装置
42…入力装置
100…エージェントシステム
100’…エージェントシステム
200…仮想空間
201…アバタ
202…エージェント
203…発言者
204…オブジェクト
205…オブジェクト
206…オブジェクト
210…エージェント配置領域
311…動作制御部
312…位置計算部
313…仮想空間制御部
411…動作制御部
412…位置計算部
413…空間情報管理部
414…環境情報取得部

Claims (7)

  1. ユーザの位置を示すユーザ位置情報を入力する入力装置とデータを送受信するインターフェースと、
    プロセッサと
    を備え、
    前記プロセッサは、
    前記ユーザ位置情報に基づいて評価対象位置ごとに前記ユーザの位置と前記評価対象位置との距離に基づく評価値を算出し、
    前記評価値に基づいて前記ユーザを支援するエージェントを配置する仮想空間又は実空間における位置を決定し、
    決定した仮想空間又は実空間における前記位置に前記エージェントを配置する
    情報処理装置。
  2. 前記評価値は、前記距離の上限と下限との中心の値で最大となる関数に基づく、
    請求項に記載の情報処理装置。
  3. 前記入力装置は、前記ユーザの姿勢を示す姿勢情報を入力し、
    前記プロセッサは、前記姿勢情報に基づいて前記ユーザの視線を示すベクトルを算出し、
    前記評価値は、前記ユーザの位置と前記評価対象位置とを結ぶベクトルと、前記ユーザの視線を示す前記ベクトルとのなす角度に基づく、
    請求項1又は2に記載の情報処理装置。
  4. 前記評価値は、前記ユーザの中心視野の端の角度と前記ユーザの視野の端の角度との中心の値で最大となる関数に基づく、
    請求項に記載の情報処理装置。
  5. 前記評価値は、前記評価対象位置から所定の距離にあるオブジェクトの個数に基づく、
    請求項1乃至の何れか1項に記載の情報処理装置。
  6. プロセッサによって実行される情報処理方法であって、
    ユーザの位置を示すユーザ位置情報を取得し、
    前記ユーザ位置情報に基づいて評価対象位置ごとに前記ユーザの位置と前記評価対象位置との距離に基づく評価値を算出し、
    前記評価値に基づいて前記ユーザを支援するエージェントを配置する仮想空間又は実空間における位置を決定し、
    決定した仮想空間又は実空間における前記位置に前記エージェントを配置する、
    情報処理方法。
  7. コンピュータを請求項1乃至のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
JP2022531176A 2020-06-17 2020-06-17 情報処理装置、情報処理方法及びプログラム Active JP7414139B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/023792 WO2021255864A1 (ja) 2020-06-17 2020-06-17 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021255864A1 JPWO2021255864A1 (ja) 2021-12-23
JP7414139B2 true JP7414139B2 (ja) 2024-01-16

Family

ID=79267672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022531176A Active JP7414139B2 (ja) 2020-06-17 2020-06-17 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20230237751A1 (ja)
JP (1) JP7414139B2 (ja)
WO (1) WO2021255864A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020514848A (ja) 2016-11-11 2020-05-21 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 拡張現実ソフトウェアアプリケーションのサポート

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
CN110869900B (zh) * 2017-07-13 2024-01-19 索尼公司 信息处理装置、信息处理方法及程序

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020514848A (ja) 2016-11-11 2020-05-21 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 拡張現実ソフトウェアアプリケーションのサポート

Also Published As

Publication number Publication date
WO2021255864A1 (ja) 2021-12-23
US20230237751A1 (en) 2023-07-27
JPWO2021255864A1 (ja) 2021-12-23

Similar Documents

Publication Publication Date Title
EP3396511B1 (en) Information processing device and operation reception method
US10241582B2 (en) Information processing device, information processing method, and program for graphical user interface
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
US10664950B2 (en) Information processing method and system for executing the information processing method
US11231845B2 (en) Display adaptation method and apparatus for application, and storage medium
US20180348969A1 (en) Information processing apparatus and operation reception method
JP2022535316A (ja) スライドメニューを有する人工現実システム
JP5914739B1 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
JP2022509634A (ja) 仮想環境における仮想アイテムの観察方法、装置およびコンピュータプログラム
JP6110893B2 (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
JP2017068689A (ja) 視野誘導方法、視野誘導プログラム、及び視野誘導装置
JP2022526512A (ja) インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
CN108027987A (zh) 信息处理方法、用于使计算机实施该信息处理方法的程序、实施该信息处理方法的信息处理装置及信息处理系统
JP6121496B2 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6070676B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP7414139B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20200241633A1 (en) Display device and display device control method
JP2018195255A (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
US11960660B2 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
US11703682B2 (en) Apparatus configured to display shared information on plurality of display apparatuses and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231211

R150 Certificate of patent or registration of utility model

Ref document number: 7414139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150