JP6980150B1 - 3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システム - Google Patents

3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システム Download PDF

Info

Publication number
JP6980150B1
JP6980150B1 JP2021514437A JP2021514437A JP6980150B1 JP 6980150 B1 JP6980150 B1 JP 6980150B1 JP 2021514437 A JP2021514437 A JP 2021514437A JP 2021514437 A JP2021514437 A JP 2021514437A JP 6980150 B1 JP6980150 B1 JP 6980150B1
Authority
JP
Japan
Prior art keywords
language
virtual reality
dimensional virtual
reality space
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021514437A
Other languages
English (en)
Other versions
JPWO2022097249A1 (ja
Inventor
順一 五石
Original Assignee
株式会社メタリアル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メタリアル filed Critical 株式会社メタリアル
Application granted granted Critical
Publication of JP6980150B1 publication Critical patent/JP6980150B1/ja
Publication of JPWO2022097249A1 publication Critical patent/JPWO2022097249A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、前記3次元仮想現実空間内におけるアバターの発言と、前記3次元仮想現実空間内の文字と、を翻訳する翻訳手段と、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕と、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕と、を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。

Description

本発明は、3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システムに関する。
母国語以外の言語を読んだり聞いたりするのは容易なことではない。このことは現実世界においても、3次元仮想現実空間においても変わるところはない。なお、特許文献1は2次元仮想現実空間に関する開示があるに過ぎない。
特開2001−230801号公報
本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、言語の壁を超えたコミュニケーションを容易にする3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システムを提供することである。
本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、前記3次元仮想現実空間内におけるアバターの発言と、前記3次元仮想現実空間内の文字と、を翻訳する翻訳手段と、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕と、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕と、を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。
本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、前記3次元仮想現実空間内におけるアバターの発言を翻訳する翻訳手段と、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。
本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、前記3次元仮想現実空間内の文字を翻訳する翻訳手段と、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、仮想現実空間提供サーバが提供される。
前記出力データ生成手段は、前記第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記第1言語での第3アバターからの発言を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成してもよい。
前記複数のアバターのそれぞれは、対応するユーザが用いるコントローラに対する操作に応じて前記3次元仮想現実空間内を移動可能であり、前記出力データ生成手段は、前記第1アバターと前記第2アバターとの前記3次元仮想現実空間内での距離が所定値以下である場合には、前記第1字幕を含む前記3次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成するが、前記第1アバターと前記第2アバターとの前記3次元仮想現実空間内での距離が所定値を超える場合には、前記第1字幕を含まない前記3次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成してもよい。
前記出力データ生成手段は、前記第1字幕を前記第2アバターに関連付けて表示させるための前記表示データを生成してもよい。
前記出力データ生成手段は、前記第1字幕を前記第2アバターの胸元に表示させるための前記表示データを生成してもよい。
前記出力データ生成手段は、前記第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記3次元仮想現実空間における、前記第1言語での文字を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成してもよい。
前記翻訳手段は、前記3次元仮想現実空間内で用いられる資料における文字を翻訳してもよい。
前記翻訳手段は、前記複数のアバターのいずれかのアバターに対応するいずれかのユーザが用いるコントローラに対する操作に応じて、前記いずれかのアバターが前記3次元仮想現実空間内に書いた文字を翻訳してもよい。
前記第2字幕の大きさは、前記第1アバターと、前記翻訳された文字と、の前記3次元仮想現実空間における距離に依存してもよい。
前記出力データ生成手段は、前記翻訳された文字と関連付けて前記第2字幕を表示させるための前記表示データを生成してもよい。
前記出力データ生成手段は、前記翻訳された文字を視認できるよう前記第2字幕を表示させるための前記表示データを生成してもよい。
前記出力データ生成手段は、前記翻訳された文字に重ねて前記第2字幕を表示させるための前記表示データを生成してもよい。
前記出力データ生成手段は、前記第1アバターに対応するユーザの設定に応じて、前記翻訳された文字を視認できるよう前記第2字幕を表示させるための前記表示データ、または、前記翻訳された文字に重ねて前記第2字幕を表示させるための前記表示データを生成してもよい。
各ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることができ、前記第1時点の設定を受け付ける設定手段を備えてもよい。
前記設定手段は、前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付けてもよい。
前記第1言語は、前記第1ユーザの母国語であってもよい。
本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成ステップと、前記3次元仮想現実空間内におけるアバターの発言を翻訳する翻訳ステップと、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳ステップにて前記第1言語に翻訳して得られた第1字幕を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、を備える、仮想現実空間提供方法が提供される。
本発明の一態様によれば、複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成ステップと、前記3次元仮想現実空間内の文字を翻訳する翻訳ステップと、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳ステップにて前記第1言語に翻訳して得られた第2字幕を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、を備える、仮想現実空間提供方法が提供される。
本発明の一態様によれば、コンピュータを、複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、前記3次元仮想現実空間内におけるアバターの発言を翻訳する翻訳手段と、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、として機能させる、仮想現実空間提供プログラムが提供される。
本発明の一態様によれば、コンピュータを、複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、前記3次元仮想現実空間内の文字を翻訳する翻訳手段と、第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置に、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、として機能させる、仮想現実空間提供プログラムが提供される。
本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置であって、ディスプレイと、前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での第2アバターからの発言を翻訳手段が前記第1言語に翻訳して得られた第1字幕と、前記第1言語とは異なる第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕と、を含む、複数のアバターが活動する3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える3次元仮想現実空間表示制御装置が提供される。
本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置であって、ディスプレイと、前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での第2アバターからの発言を翻訳手段が前記第1言語に翻訳して得られた第1字幕を含む、複数のアバターが活動する3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える3次元仮想現実空間表示制御装置が提供される。
本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置であって、ディスプレイと、前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での文字を翻訳手段が前記第1言語に翻訳して得られた第2字幕を含む、複数のアバターが活動する3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える3次元仮想現実空間表示制御装置が提供される。
前記出力制御手段は、前記第1言語での第3アバターからの発言を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させてもよい。
前記第1アバターを前記3次元仮想現実空間内で移動させるためのコントローラを備え、前記出力制御手段は、前記第1アバターと前記第2アバターとの前記3次元仮想現実空間内での距離が所定値以下である場合には、前記第1字幕を含む前記3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させるが、前記第1アバターと前記第2アバターとの前記3次元仮想現実空間内での距離が所定値を超える場合には、前記第1字幕を含まない前記3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させてもよい。
前記出力制御手段は、前記第1字幕を前記第2アバターに関連付けて表示させてもよい。
前記出力制御手段は、前記第1字幕を前記第2アバターの胸元に表示させてもよい。
前記出力制御手段は、前記3次元仮想現実空間における、前記第1言語での文字を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させてもよい。
前記翻訳される文字は、前記3次元仮想現実空間内で用いられる資料における文字であってもよい。
前記翻訳される文字は、前記複数のアバターのいずれかのアバターに対応するいずれかのユーザが用いるコントローラに対する操作に応じて、前記いずれかのアバターが前記3次元仮想現実空間内に書いた文字であってもよい。
前記第2字幕の大きさは、前記第1アバターと、前記翻訳された文字と、の前記3次元仮想現実空間における距離に依存してもよい。
前記出力制御手段は、前記翻訳された文字と関連付けて前記第2字幕を表示させてもよい。
前記出力制御手段は、前記翻訳された文字を視認できるよう前記第2字幕を表示させてもよい。
前記出力制御手段は、前記翻訳された文字に重ねて前記第2字幕を表示させてもよい。
前記出力制御手段は、前記ユーザの設定に応じて、前記翻訳された文字を視認できるよう前記第2字幕を表示させる、または、前記翻訳された文字に重ねて前記第2字幕を表示させてもよい。
ユーザは、第1時点から第2時点までの期間に限って、前記第1アバターを前記3次元仮想現実空間で活動させることができ、前記設定手段は、前記第1時点を設定してもよい。
前記設定手段は、前記第1時点を設定する際に、前記第1言語を設定してもよい。
前記第1言語は、前記ユーザの母国語であってもよい。
3次元仮想現実空間表示制御装置は、メガネ型ウェアラブル装置であってもよい。
本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置おける3次元仮想現実空間表示制御方法であって、前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定ステップと、前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での第2アバターからの発言を翻訳ステップが前記第1言語に翻訳して得られた第1字幕を含む、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、を備える3次元仮想現実空間表示制御方法が提供される。
本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置おける3次元仮想現実空間表示制御方法であって、前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定ステップと、前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での文字を翻訳ステップが前記第1言語に翻訳して得られた第2字幕を含む、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、を備える3次元仮想現実空間表示制御方法が提供される。
本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置を、前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での第2アバターからの発言を翻訳手段が前記第1言語に翻訳して得られた第1字幕を含む、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、として機能させる3次元仮想現実空間表示制御プログラムが提供される。
本発明の一態様によれば、ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置を、前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での文字を翻訳手段が前記第1言語に翻訳して得られた第2字幕を含む、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、として機能させる3次元仮想現実空間表示制御プログラム。
本発明の一態様によれば、上記3次元仮想現実空間提供サーバと、上記3次元仮想現実空間表示制御装置と、を備える3次元仮想現実空間提供システムが提供される。
一実施形態に係るVR空間提供システムの概略構成を示すブロック図。 記憶部22に記憶される情報の一例を示す図。 VR空間生成部24が生成するVR空間の一例を模式的に示す図。 日本語が関連付けられたアバターA01に対応するユーザU01のユーザデバイス1に表示されるVR空間を模式的に示す図。 英語が関連付けられたアバターA03に対応するユーザU03のユーザデバイス1に表示されるVR空間を模式的に示す図。 アバターA03に関連付けられた言語が日本語である場合に、ユーザU03のユーザデバイス1に表示されるVR空間を模式的に示す図。 ロシア語が関連付けられたアバターA04に対応するユーザU04のユーザデバイス1に表示されるVR空間を模式的に示す図。 VR空間生成部24が生成するVR空間の別の例を模式的に示す図。 日本語が関連付けられたアバターA01に対応するユーザU01のユーザデバイス1に表示されるVR空間を模式的に示す図。 図6Aの変形例であるVR空間を模式的に示す図。 英語が関連付けられたアバターA02に対応するユーザU02のユーザデバイス1に表示されるVR空間を模式的に示す図。
以下、図面を用いて実施形態を説明する。本実施形態は、複数のユーザのそれぞれに対応する複数のアバターが仮想現実(Virtual Reality、以下「VR」という)空間内で活動するものである。VR空間内で複数の言語が使用され得るが、これを適切に翻訳することで、言語の壁を軽減する。なお、本実施形態では、3次元的に拡がる3次元VR空間を想定しており、特に断らない限り、単にVR空間といった場合には3次元VR空間を指すものとする。
図1は、一実施形態に係るVR空間提供システムの概略構成を示すブロック図である。このVR空間提供システムは、ユーザが用いるVR空間表示制御装置(以下、単に「ユーザデバイス1」という)と、VR空間提供サーバ(以下、単に「サーバ2」という)とを備えている。図1には1つのユーザデバイス1のみを描いているが、実際にはVR空間提供システムは2以上のユーザデバイス1を含み得る。
ユーザデバイス1は、ユーザに対応するアバターをVR空間内で活動させたり、VR空間の様子を見たり聞いたりするために用いられる。ユーザデバイス1は、ゴーグル、スマートグラス(眼鏡型ウェアラブル装置)、レンズといったVR機器であり、通信部11と、ディスプレイ12と、スピーカ13と、コントローラ14と、マイク15とを有する。
通信部11は、サーバ2に種々のデータや情報を送信したり、サーバ2から種々のデータや情報を受信したりする。サーバ2との通信手段に特に制限はない。
ディスプレイ12はVR空間を表示する。より具体的には、ディスプレイ12は、VR空間における他のアバターの活動や、VR空間で用いられる各種ドキュメントなどを表示する。ディスプレイ12は立体表示可能であるのが望ましい。ユーザデバイス1がスマートグラス等である場合、ディスプレイ12は右眼用ディスプレイおよび左眼用ディスプレイを含む。
後述するように、本実施形態のディスプレイ12は、他のアバターによる発言がユーザの母国語とは異なる場合、この発言をユーザの母国語に翻訳して得られる字幕を表示する。また、ディスプレイ12は、VR空間における文字がユーザの母国語とは異なる場合、この文字をユーザの母国語に翻訳して得られる字幕を表示する。ディスプレイ12に表示するために必要な表示データは、通信部11を介してサーバ2から受信される。
スピーカ13はVR空間における音声(例えば、他のアバターの発言)を再生する。スピーカ13で再生するために必要な音声データは、通信部11を介してサーバ2から受信される。
コントローラ14はユーザに対応するアバターをVR空間内で活動させるために用いられる。例えば、ユーザによるコントローラ14に対する所定動作に応じて、アバターはVR空間内を移動できる。また、ユーザによるコントローラ14に対する所定動作に応じて、VR空間内で所望の資料(電子ファイル)を開くことができる。さらに、ユーザによるコントローラ14に対する操作に応じて、VR空間内で文字を書くことができる。コントローラ14に対するユーザの操作を示す情報は、通信部11からサーバ2に送信される。
マイク15はユーザに対応するアバターにVR空間内で発言させるために用いられる。すなわち、マイク15が拾ったユーザの音声がユーザに対応するアバターの発言としてVR空間内で再生される。マイク15が拾ったユーザの音声を示す情報は、通信部11からサーバ2に送信される。
また、ユーザデバイス1は設定部16および出力制御部17を有する。これらの機能の一部または全部は、ハードウェアで構成されてもよいし、ユーザデバイス1のプロセッサが所定のプログラムを実行することによって実現されてもよい。
本実施形態におけるVR空間は、貸会議室や貸しオフィスなど、特定の期間に限って使用可能であってよい。なお、ここでの「使用」とは、ユーザがVR空間内でアバターを活動させることを意味する。設定部16はVR空間を使用するための予約行う。設定部16は、VR空間の予約のために必要な予約情報を、コントローラ14あるいはマイク15を用いたユーザ操作を介して受け付ける。そして、設定部16は予約情報をサーバ2に送信することで、VR空間を予約する。
ここで、予約情報は、VR空間の使用開始時点および使用終了時点、ユーザを特定する情報(ユーザID)を示す情報を含み得る。ユーザIDは、自身を特定するユーザIDのみでもよいし、VR空間を使用する他ユーザのユーザIDを含んでいてもよい。なお、予約情報は、VR空間の使用終了時点に代えて、VR空間の使用期間を示す情報を含んでいてもよい。
そして、本実施形態においては、予約情報はユーザの母国語を示す情報を含んでいてもよい。他ユーザを特定するユーザIDも設定する場合、予約情報はユーザのそれぞれについて母国語を示す情報を含んでいてもよい。これにより、VR空間の使用開始時点を設定する際に、母国語を設定することとなり、これによってアバターと母国語(あるいはユーザと母国語)とが関連付けられる。なお、本実施形態では、ユーザの母国語を設定することとするが、必ずしも母国語でなく、得意な言語や練習したい言語など、母国語以外であっても任意の言語を設定できる。
出力制御部17は、ディスプレイ12にVR空間の少なくとも一部を表示させる制御や、スピーカ13からVR空間における音声などを再生させる制御を行う。より具体的には、出力制御部17は、VR空間を表示させるために必要な表示データを通信部11を介してサーバ2から受信し、この表示データに基づいて表示制御を行う。また、出力制御部17は、VR空間における音声を再生させるために必要な音声データをサーバ2から受信し、この音声データに基づいて再生制御を行う。
一方、サーバ2は、通信部21と、記憶部22とを有する。通信部21は、サーバ2に種々のデータや情報を送信したり、サーバ2から種々のデータや情報を受信したりする。サーバ2との通信手段に特に制限はない。記憶部22は種々のデータや情報を記憶する。
また、サーバ2は、制御部23と、VR空間生成部24と、翻訳部25と、出力データ生成部26とを有する。これらの機能の一部または全部は、ハードウェアで構成されてもよいし、サーバ2のプロセッサが所定のプログラムを実行することによって実現されてもよい。
制御部23はユーザデバイス1からの予約情報に基づいてVR空間の予約を行う。これにより、予約情報に含まれるユーザIDで特定されるユーザが自身に対応するアバターをVR空間内で活動させることができるようになる。また、制御部23は、アバターと、ユーザの母国語との関連付けを行い、この関連付けを示す情報を記憶部22に記憶する。
図2は、記憶部22に記憶される情報の一例を示す図である。本例では、ユーザIDがU01〜U04で特定されるユーザ(以下、単に「ユーザU01」等という)がVR空間を使用可能であり、そのそれぞれのアバターはA01〜A04で特定される。ユーザU01〜U04の母国語は、それぞれ日本語、英語、英語およびロシア語である。すなわち、アバターA01〜A04には、それぞれ日本語、英語、英語およびロシア語が関連付けられている。アバターA01〜A04には、対応するユーザU01〜U04の母国語がそれぞれ関連付けられているとも言える。
以下では、このようなアバターと言語との関連付けがなされているとして、例示的な説明を行う。
図1に戻り、VR空間生成部24は複数のユーザにそれぞれ対応するアバターが活動するVR空間を生成する。また、VR空間生成部24は、ユーザデバイス1のコントローラ14に対するユーザ操作や、マイク15が拾った音声を通信部21を介して受信し、VR空間に反映させる。
例えば、あるユーザがアバターを移動させるための操作をコントローラ14に対して行った場合、VR空間生成部24はその操作に応じて当該ユーザに対応するアバターをVR空間内で移動させる。すなわち、アバターは、対応するユーザが用いるコントローラ14に対する操作に応じて、VR空間内を移動可能である。
また、あるユーザがマイク15に対して発話した場合、VR空間生成部24はその発話に応じて当該ユーザに対応するアバターをVR空間内で発言させる。すなわち、アバターは、対応するユーザが用いるマイク15に対する発話によって、VR空間内で発言可能である。
翻訳部25はVR空間内におけるアバターの発言の翻訳を行う。例えば、図2では、母国語として日本語、英語およびロシア語が設定されている。そこで、翻訳部25は、アバターA01による日本語での発言を、英語およびロシア語に翻訳する。また、翻訳部25は、アバターA02,A03による英語での発言を、日本語およびロシア語に翻訳する。さらに、翻訳部25は、アバターA04によるロシア語の発言を、日本語および英語に翻訳する。
なお、翻訳部25は、日本語が関連付けられたアバターA01からの発言は日本語であるとみなして翻訳を行ってもよい。あるいは、アバターA01が日本語以外の言語で発言する可能性も考慮し、翻訳部25は言語を自動検出して翻訳を行ってもよい。翻訳結果は発言したアバターと関連付けて記憶部22に記憶されてよい。
また、翻訳部25はVR空間内における文字の翻訳を行う。翻訳対象の文字はVR空間内で用いられる資料(例えばいずれかのユーザによるコントローラ14に対するユーザ操作によって開かれた電子ファイル)における文字を含み得る。また、翻訳対象の文字は、いずれかのユーザによるコントローラ14に対するユーザ操作によって、対応するアバターがVR空間内で書いた文字を含み得る。
例えば、翻訳部25は日本語で書かれた文字を英語およびロシア語に翻訳する。また、翻訳部25は英語で書かれた文字を日本語およびロシア語に翻訳する。さらに、翻訳部25はロシア語で書かれた文字を日本語および英語に翻訳する。翻訳結果はVR空間における文字の位置と関連付けて記憶部22に記憶されてよい。
出力データ生成部26はユーザデバイス1のディスプレイ12にVR空間を表示させるための表示データを生成し、通信部21からユーザデバイス1に送信する。ユーザデバイス1に表示されるのは、各ユーザに対応するアバターの視点(説明を省略したが、ユーザデバイス1によって取得される)でVR空間を見たVR空間であるから、生成される表示データはユーザによって異なり得る。
本実施形態では、翻訳部25による翻訳結果を利用し、ユーザの母国語に応じたVR空間を表示するための表示データが生成される。
例えば、図2におけるユーザU01の母国語は日本語である。そのため、ユーザU01のユーザデバイス1には、VR空間における英語やロシア語によるアバターの発言を日本語に翻訳して得られた字幕を含む。ただし、ユーザU01のユーザデバイス1には、VR空間における日本語による発言に対応する字幕を含む必要はない。
また、母国語が日本語であるユーザU01のユーザデバイス1には、VR空間における英語やロシア語で書かれた文字を日本語に翻訳して得られた字幕を含む。ここで、ユーザU01のユーザデバイス1には、VR空間における日本語で書かれた文字に対応する字幕を含む必要はない。
さらに、出力データ生成部26はユーザデバイス1のスピーカ13からVR空間内の音声を再生するための音声データを生成し、通信部21からユーザデバイス1に送信する。ユーザデバイス1で再生される音声は、主としてVR空間内における他ユーザに対応するアバターの発言である。VR空間におけるユーザに対応するアバターと他のアバターとの距離が小さいほど、当該他のアバターの発言が大きく再生されるよう、音声データが生成される。また、VR空間において一定距離以上離れたアバターの発言は再生されない。
なお、サーバ2は1台の装置から構成されてもよいし、2以上の装置から構成されてもよい。
以下、ユーザデバイス1のディスプレイ12に表示されるVR空間の具体例を述べる。
図3は、VR空間生成部24が生成するVR空間の一例を模式的に示す図である。同図では、ユーザU01〜U04にそれぞれ対応するアバターA01〜A04がVR空間に配置されている。ただし、アバターA01〜A03は互いに近接した位置にいるが、アバターA04はアバターA01〜A03とは離れた位置にいる。また、図2に示すように、アバターA01〜A04には、それぞれ日本語、英語、英語およびロシア語が関連付けられているものとする。
ここで、アバターA02に対応するユーザU02がユーザデバイス1のマイク15に向かって英語で「Good morning」と発話し、これによってアバターA02がVR空間内で「Good morning」と発言したとする。このとき、アバターA01,A03およびA04に対応するユーザU01,U03,U04の各ユーザデバイス1には以下に述べるようなVR空間が表示される。
図4Aは、日本語が関連付けられたアバターA01に対応するユーザU01のユーザデバイス1に表示されるVR空間を模式的に示す図である。具体的には、出力データ生成部26は、図4Aに示すようなVR空間を表示させるための表示データを生成し、ユーザU01のユーザデバイス1にこれを送信する。そして、この表示データに基づいて、ユーザデバイス1の出力制御部17が図4Aに示すVR空間を表示させる(後述する図4Bおよび図4Cも同様)。
図示のように、母国語を日本語とするユーザU01のユーザデバイス1には、アバターA02の英語での発言を日本語に翻訳して得られた「おはよう」なる字幕C1を含むVR空間が表示される。この字幕は発言者であるアバターA02に関連付けて表示されるのが望ましく、例えばアバターA02の胸元に字幕が表示される。
図4Bは、英語が関連付けられたアバターA03に対応するユーザU03のユーザデバイス1に表示されるVR空間を模式的に示す図である。図示のように、英語を母国語とするユーザU03のユーザデバイス1には、アバターA02の英語での発言を他言語に翻訳して得られた字幕を含まないVR空間が表示される。
なお、仮にアバターA03に関連付けられた言語が日本語である場合、図4Cに示すように、日本語「おはよう」の字幕C1がアバターA02に関連付けて表示されることとなる。このように、アバターA03に関連付けられる言語によって、ユーザU03にとっての見え方が異なる。
図4Dは、ロシア語が関連付けられたアバターA04に対応するユーザU04のユーザデバイス1に表示されるVR空間を模式的に示す図である。アバターA04にはロシア語が関連付けられているが、ユーザU04のユーザデバイス1には、アバターA02の英語での発言をロシア語など他言語に翻訳して得られた字幕を含まないVR空間が表示される。その理由は、図3に示すように、VR空間において、アバターA04はアバターA02から離れた位置にいるからである。
このように、互いに異なる言語が関連付けられたアバターどうしのVR空間内での距離が所定値以下である場合には、相手の発言を翻訳して得られる字幕が表示される。一方、互いに異なる言語が関連付けられたアバターどうしのVR空間内での距離が所定値を超える場合には、相手の発言を翻訳して得られる字幕が表示されない。離れた位置にいるアバターの発言は聞こえないためである。
図5は、VR空間生成部24が生成するVR空間の別の例を模式的に示す図である。同図では、ユーザU01,U02にそれぞれ対応するアバターA01,A02と、仮想的なホワイトボードWがVR空間に配置されている。そして、ホワイトボードWには英語で「It's raining」と書かれている。また、図2に示すように、アバターA01,A02には、それぞれ日本語および英語が関連付けられているものとする。
図6Aは、日本語が関連付けられたアバターA01に対応するユーザU01のユーザデバイス1に表示されるVR空間を模式的に示す図である。図示のように、日本語を母国語とするユーザU01のユーザデバイス1には、英語で書かれた文字「It's raining」を日本語に翻訳して得られた「雨が降っている」なる字幕C2を含むVR空間が表示される。
この字幕は英語で書かれた文字に関連付けて表示されるのが望ましい。例えば、図5Aでは、英語の文字「It's raining」を視認できるよう、その近傍に日本語の字幕C2が表示される。あるいは、図6Bに示すように、英語の文字「It's raining」に重ねて日本語の字幕C2が表示されてもよい。この場合、英語の文字が視認できなくてもよい。また、図6Aのように表示するか、図6Bのように表示するか、をユーザU01が予め設定できてもよい。
さらに、字幕の大きさは、VR空間におけるアバターA01と文字との距離に応じたものであってもよい。具体的には、VR空間において、アバターA01と近い文字ほど、その文字を翻訳して得られる字幕を大きく表示してもよい。
図6Cは、英語が関連付けられたアバターA02に対応するユーザU02のユーザデバイス1に表示されるVR空間を模式的に示す図である。図示のように、英語を母国語とするユーザU02のユーザデバイス1には、英語で書かれた文字「It's raining」を他言語に翻訳して得られた字幕を含まないVR空間が表示される。
このように、本実施形態では、VR空間において、母国語とは異なる言語での発言を母国語に翻訳して字幕を表示する。また、VR空間において、母国語とは異なる言語で書かれた文字を母国語に翻訳して字幕で表示する。そのため、VR空間において言語を超えたコミュニケーションが容易となる。
なお、アバターと言語とを関連付けるタイミングは予約時に限らず、任意である。例えば、アバターがVR空間で活動している時に、関連付けられている言語を変更できてもよい。
上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。
1 3次元VR空間表示制御装置(ユーザデバイス)
11 通信部
12 ディスプレイ
13 スピーカ
14 コントローラ
15 マイク
16 設定部
17 出力制御部
2 3次元VR空間提供サーバ
21 通信部
22 記憶部
23 制御部
24 VR空間生成部
25 翻訳部
26 出力データ生成部


Claims (21)

  1. 複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、
    前記複数のアバターのそれぞれは、
    対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、
    対応するユーザによって設定された言語が関連付けられている、
    3次元仮想現実空間生成手段と、
    前記3次元仮想現実空間内における前記複数のアバターの発言を翻訳する翻訳手段と、
    第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での第3アバターからの発言に基づく字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、
    各ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることが可能であり、前記第1時点の設定を受け付ける設定手段と、を備え
    前記設定手段は、前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、3次元仮想現実空間提供サーバ。
  2. 前記複数のアバターは、
    前記第1言語が関連付けられた、前記第1ユーザに対応する前記第1アバターと、
    前記第2言語が関連付けられた、第2ユーザに対応する前記第2アバターと、
    前記第1言語が関連付けられた、第3ユーザに対応する前記第3アバターと、
    を含み、
    前記翻訳手段は、
    前記第1言語での前記第1アバターの発言を前記第2言語に翻訳し、
    前記第2言語での前記第2アバターの発言を前記第1言語に翻訳し、
    前記第1言語での前記第3アバターの発言を前記第2言語に翻訳し、
    前記出力データ生成手段は、
    前記第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕を含むが、前記翻訳手段によって前記第2言語に翻訳された前記第1言語での前記第3アバターからの発言に基づく字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成し、
    前記第2ユーザが用いる3次元仮想現実空間表示制御装置用に、前記第1言語での第1アバターおよび前記第3アバターからの発言を前記翻訳手段が前記第2言語に翻訳して得られた第1字幕を含む、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成し、
    前記第3ユーザが用いる3次元仮想現実空間表示制御装置用に、前記第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕を含むが、前記翻訳手段によって前記第2言語に翻訳された前記第1言語での前記第1アバターからの発言に基づく字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する、請求項1に記載の3次元仮想現実空間提供サーバ。
  3. 複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、
    前記3次元仮想現実空間内の文字を翻訳する翻訳手段と、
    第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での文字に基づく字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、を備える、3次元仮想現実空間提供サーバ。
  4. 前記複数のアバターは、
    前記第1言語が関連付けられた、前記第1ユーザに対応する前記第1アバターと、
    前記第2言語が関連付けられた、第2ユーザに対応する第2アバターと、
    を含み、
    前記翻訳手段は、
    前記3次元仮想現実空間内の前記第1言語での文字を前記第2言語に翻訳し、
    前記3次元仮想現実空間内の前記第2言語での文字を前記第1言語に翻訳し、
    前記出力データ生成手段は、
    前記第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記3次元仮想現実空間における、前記第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕を含むが、前記翻訳手段によって前記第2言語に翻訳された前記第1言語での文字に基づく字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成し、
    前記第2ユーザが用いる3次元仮想現実空間表示制御装置用に、前記3次元仮想現実空間における、前記第1言語での文字を前記翻訳手段が前記第2言語に翻訳して得られた第2字幕を含むが、前記翻訳手段によって前記第1言語に翻訳された前記第2言語での文字に基づく字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する、請求項3に記載の3次元仮想現実空間提供サーバ。
  5. 前記翻訳手段は、前記3次元仮想現実空間内で用いられる資料における文字を翻訳する、請求項3または4に記載の3次元仮想現実空間提供サーバ。
  6. 前記資料は、電子ファイルである、請求項5に記載の3次元仮想現実空間提供サーバ。
  7. 前記第2字幕の大きさは、前記第1アバターと、前記翻訳された文字と、の前記3次元仮想現実空間における距離に依存する、請求項3乃至6のいずれかに記載の3次元仮想現実空間提供サーバ。
  8. 各ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることができ、
    前記第1時点の設定を受け付ける設定手段を備える請求項乃至7のいずれかに記載の3次元仮想現実空間提供サーバ。
  9. 前記設定手段は、前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、請求項8に記載の3次元仮想現実空間提供サーバ。
  10. 前記翻訳手段は、前記3次元仮想現実空間内の文字を翻訳し、
    前記出力データ生成手段は、前記第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記3次元仮想現実空間における、前記第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕を含むが、前記第1言語での文字を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための前記表示データを生成する、請求項1に記載の3次元仮想現実空間提供サーバ。
  11. 複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成ステップであって、
    前記複数のアバターのそれぞれは、
    対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、
    対応するユーザによって設定された言語が関連付けられている、
    3次元仮想現実空間生成ステップと、
    前記3次元仮想現実空間内における前記複数のアバターの発言を翻訳する翻訳ステップと、
    第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳ステップにて前記第1言語に翻訳して得られた第1字幕を含むが、前記第1言語での第3アバターからの発言を前記翻訳ステップにて他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、
    各ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることが可能であり、前記第1時点の設定を受け付ける設定ステップと、を備え
    前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、3次元仮想現実空間提供方法。
  12. 複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成ステップであって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成ステップと、
    前記3次元仮想現実空間内の文字を翻訳する翻訳ステップと、
    第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳ステップにて前記第1言語に翻訳して得られた第2字幕を含むが、前記第1言語での文字を前記翻訳ステップにて他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成ステップと、を備える、3次元仮想現実空間提供方法。
  13. コンピュータを、
    複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、
    前記複数のアバターのそれぞれは、
    対応するユーザが用いるマイクに対する発話によって前記3次元仮想現実空間内で発言可能であり、
    対応するユーザによって設定された言語が関連付けられている、
    3次元仮想現実空間生成手段と、
    前記3次元仮想現実空間内における前記複数のアバターの発言を翻訳する翻訳手段と、
    第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記第1言語とは異なる第2言語での第2アバターからの発言を前記翻訳手段が前記第1言語に翻訳して得られた第1字幕を含むが、前記第1言語での第3アバターからの発言を前記翻訳手段が他言語に翻訳して得られた字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、
    各ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることが可能であり、前記第1時点の設定を受け付ける設定手段と、として機能させ、
    前記設定手段は、前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける、3次元仮想現実空間提供プログラム。
  14. コンピュータを、
    複数のユーザにそれぞれ対応する複数のアバターが活動する3次元仮想現実空間を生成する3次元仮想現実空間生成手段であって、前記複数のアバターのそれぞれは、対応するユーザによって設定された言語が関連付けられている、3次元仮想現実空間生成手段と、
    前記3次元仮想現実空間内の文字を翻訳する翻訳手段と、
    第1言語が関連付けられた第1アバターに対応する第1ユーザが用いる3次元仮想現実空間表示制御装置用に、前記3次元仮想現実空間における、前記第1言語とは異なる第2言語での文字を前記翻訳手段が前記第1言語に翻訳して得られた第2字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での第3アバターからの発言に基づく字幕を含まない、前記3次元仮想現実空間の少なくとも一部を表示させるための表示データを生成する出力データ生成手段と、として機能させる、3次元仮想現実空間提供プログラム。
  15. ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置であって、
    ディスプレイと、
    前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、
    前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での第2アバターからの発言を翻訳手段が前記第1言語に翻訳して得られた第1字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での第3アバターからの発言に基づく字幕を含まない、複数のアバターが活動する3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、
    前記ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることが可能であり、前記第1時点の設定を受け付ける設定手段と、を備え
    前記設定手段は、前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける3次元仮想現実空間表示制御装置。
  16. ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置であって、
    ディスプレイと、
    前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、
    前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での文字を翻訳手段が前記第1言語に翻訳して得られた第2字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での文字に基づく字幕を含まない、複数のアバターが活動する3次元仮想現実空間の少なくとも一部を前記ディスプレイに表示させる出力制御手段と、を備える3次元仮想現実空間表示制御装置。
  17. ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置おける3次元仮想現実空間表示制御方法であって、
    前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定ステップと、
    前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での第2アバターからの発言を翻訳手段が前記第1言語に翻訳して得られた第1字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での第3アバターからの発言に基づく字幕を含まない、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、
    前記ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることが可能であり、前記第1時点の設定を受け付ける設定ステップと、を備え、
    前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける3次元仮想現実空間表示制御方法。
  18. ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置おける3次元仮想現実空間表示制御方法であって、
    前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定ステップと、
    前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での文字を翻訳手段が前記第1言語に翻訳して得られた第2字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での文字に基づく字幕を含まない、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御ステップと、を備える3次元仮想現実空間表示制御方法。
  19. ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置を、
    前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、
    前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での第2アバターからの発言を翻訳手段が前記第1言語に翻訳して得られた第1字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での第3アバターからの発言に基づく字幕を含まない、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、
    前記ユーザは、第1時点から第2時点までの期間に限って、アバターを前記3次元仮想現実空間で活動させることが可能であり、前記第1時点の設定を受け付ける設定手段と、として機能させ、
    前記設定手段は、前記第1時点の設定を受け付ける際に、アバターと、言語と、を関連付けるための情報を受け付ける3次元仮想現実空間表示制御プログラム。
  20. ユーザが用い、前記ユーザに対応する第1アバターを3次元仮想現実空間内で活動させるための3次元仮想現実空間表示制御装置を、
    前記ユーザの操作に応じて、前記第1アバターに関連付けられる第1言語を設定する設定手段と、
    前記3次元仮想現実空間内における、前記第1言語とは異なる第2言語での文字を翻訳手段が前記第1言語に翻訳して得られた第2字幕を含むが、前記翻訳手段によって他言語に翻訳された前記第1言語での文字に基づく字幕を含まない、複数のアバターが活動する3次元仮想現実空間の少なくとも一部をディスプレイに表示させる出力制御手段と、として機能させる3次元仮想現実空間表示制御プログラム。
  21. 請求項1乃至10のいずれかに記載の3次元仮想現実空間提供サーバと、
    請求項15または16に記載の3次元仮想現実空間表示制御装置と、を備える3次元仮想現実空間提供システム。
JP2021514437A 2020-11-06 2020-11-06 3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システム Active JP6980150B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041459 WO2022097249A1 (ja) 2020-11-06 2020-11-06 3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システム

Publications (2)

Publication Number Publication Date
JP6980150B1 true JP6980150B1 (ja) 2021-12-15
JPWO2022097249A1 JPWO2022097249A1 (ja) 2022-05-12

Family

ID=78870836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021514437A Active JP6980150B1 (ja) 2020-11-06 2020-11-06 3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システム

Country Status (2)

Country Link
JP (1) JP6980150B1 (ja)
WO (1) WO2022097249A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490061B1 (ko) 2022-01-17 2023-02-24 주식회사 허브153 메타버스 기반의 무역 플랫폼 서비스 제공 장치, 시스템, 방법 및 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895919A (ja) * 1994-09-27 1996-04-12 Sony Corp サイバースペースシステム
JP2001325202A (ja) * 2000-05-12 2001-11-22 Sega Corp 仮想空間の会話方法及びそのシステム
US20130293577A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Intelligent translations in personal see through display
US8806354B1 (en) * 2008-12-26 2014-08-12 Avaya Inc. Method and apparatus for implementing an electronic white board
JP2015060579A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
JP2018191186A (ja) * 2017-05-09 2018-11-29 ソニー株式会社 クライアント装置、クライアント装置の処理方法、サーバおよびサーバの処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895919A (ja) * 1994-09-27 1996-04-12 Sony Corp サイバースペースシステム
JP2001325202A (ja) * 2000-05-12 2001-11-22 Sega Corp 仮想空間の会話方法及びそのシステム
US8806354B1 (en) * 2008-12-26 2014-08-12 Avaya Inc. Method and apparatus for implementing an electronic white board
US20130293577A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Intelligent translations in personal see through display
JP2015060579A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
JP2018191186A (ja) * 2017-05-09 2018-11-29 ソニー株式会社 クライアント装置、クライアント装置の処理方法、サーバおよびサーバの処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490061B1 (ko) 2022-01-17 2023-02-24 주식회사 허브153 메타버스 기반의 무역 플랫폼 서비스 제공 장치, 시스템, 방법 및 프로그램

Also Published As

Publication number Publication date
JPWO2022097249A1 (ja) 2022-05-12
WO2022097249A1 (ja) 2022-05-12

Similar Documents

Publication Publication Date Title
JP7100092B2 (ja) ワードフロー注釈
US9949056B2 (en) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
US20230020542A1 (en) Systems, Methods, and Graphical User Interfaces for Using Spatialized Audio During Communication Sessions
WO2001045088A1 (en) Electronic translator for assisting communications
KR20210065198A (ko) Ar에서의 자연어 번역
EP3776171A1 (en) Non-disruptive nui command
CN111273775A (zh) 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
JP6980150B1 (ja) 3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間表示制御装置、3次元仮想現実空間表示制御方法、3次元仮想現実空間表示制御プログラムおよび3次元仮想現実空間提供システム
US20220261147A1 (en) Grammar Dependent Tactile Pattern Invocation
KR20220109373A (ko) 발화 영상 제공 방법
US20240046914A1 (en) Assisted speech
KR102346668B1 (ko) 회의 통역 장치
US20230196943A1 (en) Narrative text and vocal computer game user interface
CN112764549B (zh) 翻译方法、装置、介质和近眼显示设备
WO2019142420A1 (ja) 情報処理装置および情報処理方法
WO2022107197A1 (ja) 3次元仮想現実空間提供サーバ、3次元仮想現実空間提供方法、3次元仮想現実空間提供プログラム、3次元仮想現実空間再生制御装置、3次元仮想現実空間再生制御方法、3次元仮想現実空間再生制御プログラム、および、3次元仮想現実空間提供システム
WO2022113189A1 (ja) 音声翻訳処理装置
KR102546532B1 (ko) 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102111990B1 (ko) 웨어러블 장치를 이용한 컨텐츠 제어 방법, 장치 및 시스템
JP2005189846A (ja) 音声制御スクリーンシステム
US20230168859A1 (en) Method and device for voice input using head control device
WO2020240795A1 (ja) 表示情報生成装置、表示情報生成方法及び表示情報生成プログラム
KR20220053863A (ko) 사용자 데이터텍스트에 기반하여 영상을 생성하는 방법 및 그를 위한 전자 장치 및 텍스트에 기반하여 영상을 생성하는 방법
CN115622993A (zh) 远程交互方法、交互系统、计算机设备以及存储介质
CN117980872A (zh) 显示程序、显示方法以及显示系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210315

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211116

R150 Certificate of patent or registration of utility model

Ref document number: 6980150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150