JP7414139B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7414139B2 JP7414139B2 JP2022531176A JP2022531176A JP7414139B2 JP 7414139 B2 JP7414139 B2 JP 7414139B2 JP 2022531176 A JP2022531176 A JP 2022531176A JP 2022531176 A JP2022531176 A JP 2022531176A JP 7414139 B2 JP7414139 B2 JP 7414139B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- agent
- information processing
- information
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000003795 chemical substances by application Substances 0.000 claims description 124
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Description
そこで、ユーザの視界の中において適切な位置にエージェントを配置する技術を提供する。
(第1の実施形態)
まず、第1の実施形態について説明する。
実施形態に係るエージェントシステムは、VR(Virtual Reality)、AR(Augmented Reality)又はMR(Mixed Reality)などの技術を用いて仮想空間にエージェントを配置する。エージェントシステムは、エージェントを通じて支援対象者であるユーザに対して支援を行う。ここでは、エージェントシステムは、エージェントの向きを変えることで、他のユーザがコミュニケーションを開始したい意図を有することをユーザに提示する。なお、エージェントシステムが行う支援の内容は、特定の構成に限定されるものではない。
なお、ヘッドセット1は、メガネ型のヘッドセットであってもよい。
図2は、エージェントシステム100の構成例を示すブロック図である。図2が示すように、ヘッドセット1は、表示装置11及び入力装置12を備える。表示装置11及び入力装置12は、情報処理装置3に接続する。
プロセッサ31は、情報処理装置3全体の動作を制御する機能を有する。プロセッサ31は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ31は、内部メモリ又はメモリ32などが予め記憶するプログラムを実行することにより種々の処理を実現する。
たとえば、メモリ32は、制御プログラム及び制御データなどを記憶する。制御プログラム及び制御データは、情報処理装置3の仕様に応じて予め組み込まれる。たとえば、制御プログラムは、情報処理装置3で実現する機能をサポートするプログラムなどである。
また、ヘッドセット1と情報処理装置3とは、一体的に形成されるものであってもよい。また、ヘッドセット1及び情報処理装置3は、それぞれ複数のデバイスから構成されるものであってもよい。
図5は、仮想空間制御部313が設定した仮想空間200を示す。仮想空間200の横幅は、Xであり、高さ(奥行き)は、Yである。図5では、さらにオブジェクト204乃至206が配置されている。
図6は、li,j、θi,j及びbi,jを説明するための図である。図6が示すように、li,jは、格子点(i,j)とアバタ201との距離を示す。ここでは、アバタ201の座標は、格子点(M/2,1)である。即ち、li,jは、格子点(i,j)と格子点(M/2,1)との距離である。
図7は、f1について説明するための図である。
f1は、li,jの下限dと上限Dとの中心の値を入力すると最大となる2次関数である。なお、下限dは、アバタ201の視界内における格子点のli,jの下限であってもよい。また、上限Dは、アバタ201の視界内における格子点のli,jの上限であってもよい。
f2は、φ’とφとの中心の値を入力すると最大となる2次関数である。
また、f2は、θi,jがφに近づくのに比例して上昇する関数であってもよい。
f2の構成は、特定の構成に限定されるものではない。
図9は、f3について説明するための図である。
f3は、格子点(i,j)から半径rの範囲にあるオブジェクトの密度bi,jに反比例する関数である。
なお、f3は、オブジェクトの密度bi,jに比例して減少する関数であってもよい。
f3の構成は、特定の構成に限定されるものではない。
図10は、エージェントシステム100の動作例について説明するためのシーケンス図である。
入力装置12が姿勢情報及びユーザ位置情報を入力すると、仮想空間制御部313は、ユーザの視線を示すベクトル並びにユーザの位置などを示す視線情報、仮想空間200内に設置されているオブジェクト並びオブジェクトの位置などを示すオブジェクト情報及び相対座標系における格子点を示す格子点情報などを位置計算部312に出力する(S17)。
(第2の実施形態)
次に、第2の実施形態について説明する。
第2の実施形態に係るエージェントシステムは、実空間においてユーザを支援するエージェントを配置する点で第1の実施形態に係るそれと異なる。従って、その他の点においては、同一の符号を付して詳細な説明を省略する。
第2の実施形態に係るエージェントは、ロボットなどである。
また、入力装置42は、ユーザの操作などの入力を受け付けるものであってもよい。
図13は、エージェントシステム100’の動作例について説明するためのシーケンス図である。
入力装置42が姿勢情報及びユーザ位置情報を入力すると、空間情報管理部413は、ユーザの視線のベクトル並びにユーザの位置などを示す視線情報、空間内に設置されているオブジェクト並びオブジェクトの位置などを示すオブジェクト情報及び相対座標系における格子点を示す格子点情報などを位置計算部412に出力する(S37)。
3…情報処理装置
11…表示装置
12…入力装置
31…プロセッサ
32…メモリ
33…入出力インターフェース
34…通信部
41…動作装置
42…入力装置
100…エージェントシステム
100’…エージェントシステム
200…仮想空間
201…アバタ
202…エージェント
203…発言者
204…オブジェクト
205…オブジェクト
206…オブジェクト
210…エージェント配置領域
311…動作制御部
312…位置計算部
313…仮想空間制御部
411…動作制御部
412…位置計算部
413…空間情報管理部
414…環境情報取得部
Claims (7)
- ユーザの位置を示すユーザ位置情報を入力する入力装置とデータを送受信するインターフェースと、
プロセッサと
を備え、
前記プロセッサは、
前記ユーザ位置情報に基づいて、評価対象位置ごとに前記ユーザの位置と前記評価対象位置との距離に基づく評価値を算出し、
前記評価値に基づいて、前記ユーザを支援するエージェントを配置する仮想空間又は実空間における位置を決定し、
決定した仮想空間又は実空間における前記位置に前記エージェントを配置する
情報処理装置。 - 前記評価値は、前記距離の上限と下限との中心の値で最大となる関数に基づく、
請求項1に記載の情報処理装置。 - 前記入力装置は、前記ユーザの姿勢を示す姿勢情報を入力し、
前記プロセッサは、前記姿勢情報に基づいて前記ユーザの視線を示すベクトルを算出し、
前記評価値は、前記ユーザの位置と前記評価対象位置とを結ぶベクトルと、前記ユーザの視線を示す前記ベクトルとのなす角度に基づく、
請求項1又は2に記載の情報処理装置。 - 前記評価値は、前記ユーザの中心視野の端の角度と前記ユーザの視野の端の角度との中心の値で最大となる関数に基づく、
請求項3に記載の情報処理装置。 - 前記評価値は、前記評価対象位置から所定の距離にあるオブジェクトの個数に基づく、
請求項1乃至4の何れか1項に記載の情報処理装置。 - プロセッサによって実行される情報処理方法であって、
ユーザの位置を示すユーザ位置情報を取得し、
前記ユーザ位置情報に基づいて、評価対象位置ごとに前記ユーザの位置と前記評価対象位置との距離に基づく評価値を算出し、
前記評価値に基づいて、前記ユーザを支援するエージェントを配置する仮想空間又は実空間における位置を決定し、
決定した仮想空間又は実空間における前記位置に前記エージェントを配置する、
情報処理方法。 - コンピュータを請求項1乃至5のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/023792 WO2021255864A1 (ja) | 2020-06-17 | 2020-06-17 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021255864A1 JPWO2021255864A1 (ja) | 2021-12-23 |
JP7414139B2 true JP7414139B2 (ja) | 2024-01-16 |
Family
ID=79267672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022531176A Active JP7414139B2 (ja) | 2020-06-17 | 2020-06-17 | 情報処理装置、情報処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230237751A1 (ja) |
JP (1) | JP7414139B2 (ja) |
WO (1) | WO2021255864A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020514848A (ja) | 2016-11-11 | 2020-05-21 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 拡張現実ソフトウェアアプリケーションのサポート |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140168261A1 (en) * | 2012-12-13 | 2014-06-19 | Jeffrey N. Margolis | Direct interaction system mixed reality environments |
CN110869900B (zh) * | 2017-07-13 | 2024-01-19 | 索尼公司 | 信息处理装置、信息处理方法及程序 |
-
2020
- 2020-06-17 JP JP2022531176A patent/JP7414139B2/ja active Active
- 2020-06-17 US US18/010,975 patent/US20230237751A1/en active Pending
- 2020-06-17 WO PCT/JP2020/023792 patent/WO2021255864A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020514848A (ja) | 2016-11-11 | 2020-05-21 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 拡張現実ソフトウェアアプリケーションのサポート |
Also Published As
Publication number | Publication date |
---|---|
WO2021255864A1 (ja) | 2021-12-23 |
US20230237751A1 (en) | 2023-07-27 |
JPWO2021255864A1 (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3396511B1 (en) | Information processing device and operation reception method | |
US10241582B2 (en) | Information processing device, information processing method, and program for graphical user interface | |
CN109564472B (zh) | 用于选取与虚拟对象的交互方法的方法、介质和系统 | |
US10664950B2 (en) | Information processing method and system for executing the information processing method | |
US11231845B2 (en) | Display adaptation method and apparatus for application, and storage medium | |
US20180348969A1 (en) | Information processing apparatus and operation reception method | |
JP2022535316A (ja) | スライドメニューを有する人工現実システム | |
JP5914739B1 (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
US11430192B2 (en) | Placement and manipulation of objects in augmented reality environment | |
JP2022509634A (ja) | 仮想環境における仮想アイテムの観察方法、装置およびコンピュータプログラム | |
JP6110893B2 (ja) | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 | |
JP2017068689A (ja) | 視野誘導方法、視野誘導プログラム、及び視野誘導装置 | |
JP2022526512A (ja) | インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体 | |
JP2017187952A (ja) | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
CN108027987A (zh) | 信息处理方法、用于使计算机实施该信息处理方法的程序、实施该信息处理方法的信息处理装置及信息处理系统 | |
JP6121496B2 (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
JP6070676B2 (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP6140871B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP7414139B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20200241633A1 (en) | Display device and display device control method | |
JP2018195255A (ja) | 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置 | |
JP6535699B2 (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
US11960660B2 (en) | Terminal device, virtual object manipulation method, and virtual object manipulation program | |
US11703682B2 (en) | Apparatus configured to display shared information on plurality of display apparatuses and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221025 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20230208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7414139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |