JPWO2018135304A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2018135304A1 JPWO2018135304A1 JP2018563264A JP2018563264A JPWO2018135304A1 JP WO2018135304 A1 JPWO2018135304 A1 JP WO2018135304A1 JP 2018563264 A JP2018563264 A JP 2018563264A JP 2018563264 A JP2018563264 A JP 2018563264A JP WO2018135304 A1 JPWO2018135304 A1 JP WO2018135304A1
- Authority
- JP
- Japan
- Prior art keywords
- player
- information
- utterance
- utterance range
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 102
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 105
- 230000005540 biological transmission Effects 0.000 claims description 81
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 38
- 238000004458 analytical method Methods 0.000 description 73
- 238000000034 method Methods 0.000 description 59
- 230000008451 emotion Effects 0.000 description 41
- 238000003058 natural language processing Methods 0.000 description 39
- 230000006399 behavior Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 11
- 208000019901 Anxiety disease Diseases 0.000 description 8
- 206010011469 Crying Diseases 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 8
- 230000036506 anxiety Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
- A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1081—Input via voice recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
- A63F2300/572—Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本開示の技術を適用した、情報処理装置とクラウドサーバ群とからなる情報処理システムの構成例について説明する。
次に、図2を参照して、画像出力部の表示例ついて説明する。
また、画像P1には、図3で示されるように、VRコンテキスト情報をフィードバックするVRコンテキスト情報フィードバック表示欄101、入力状況(音声データ)をフィードバックする入力状況フィードバック表示欄102、および視線を示すマーク103が設けられている。
次に、図4を参照して、自らの発話の音声の高低に基づいた発話範囲の表示例1について説明する。
次に、図5を参照して、他のプレイヤの発話に基づいた発話範囲の表示例2について説明する。
次に、図6を参照して、自らの発話の音声の話速に基づいた発話範囲の表示例3について説明する。
次に、図7を参照して、VRコンテキスト情報に基づいた発話範囲の表示例4について説明する。
次に、図8を参照して、行動情報および姿勢情報に基づいた発話範囲の表示例5について説明する。
次に、図9を参照して、ユーザHの視線情報に基づいた発話範囲の表示例6について説明する。
次に、図10を参照して、他のプレイヤの視線情報に基づいた発話範囲の表示例7について説明する。ここでは、図9を参照して説明した処理により、仲間のプレイヤからユーザHに、アイコンタクトが自らに向けられていることを認識させるように発話範囲を表示し、送られているアイコンタクトに応じて視線を送るとアイコンタクトが成立する例である。例えば、図9の画像、発話範囲制御部31aは、通信部35を制御して、視線が向けられているプレイヤを制御するユーザにより装着されている他の情報処理装置11から、視線情報を含むコンテキスト情報が送信される。
次に、図11を参照して、上述の処理により発話範囲が確定した状況に応じて情報の伝達を制御する例1について説明する。
発話範囲内のプレイヤに対して、発話した音声データが音声認識されてテキストデータに変換された後、さらに、自然言語処理された音声認識結果であるテキストデータを、例えば、3次元のテキストからなる、例えば、図12のテキストプレート191で表現する場合、伝える相手に対して正対するように表示する必要がある。
図13の状態J1で示されるように、VR内にプレイヤH1乃至H3が存在し、プレイヤH2が「あの敵を倒そう」と発話し、発話範囲内にプレイヤH1,H3が含まれている場合、伝達制御部31bは、発話した音声が音声認識された認識結果を、状態J2で示されるように、テキストプレートT11として、点線の矢印で示されるように、プレイヤH2からプレイヤH3に対して正対しながら移動するように表示させる。次に、伝達制御部31bは、状態J3で示されるように、テキストプレートT11を、プレイヤH3からプレイヤH1に対して正対しながら移動させるように表示する。
図14の状態J11で示されるように、VR内にプレイヤH1乃至H3が存在し、プレイヤH2が「あの敵を倒そう」と発話し、発話範囲にプレイヤH3のみが含まれている場合、伝達制御部31bは、発話された音声が認識された認識結果を、状態J12で示されるように、プレイヤH1に対しては目隠しが設けられたテキストプレートT21として、点線の矢印で示されるように移動するように表示させる。このとき、認識結果となるテキストプレートT21は、プレイヤH2より、プレイヤH3に対して視聴可能な状態で、かつ、プレイヤH1からは視聴できない状態で、プレイヤH1に対して移動する。
図15の状態J31で示されるように、VR内にプレイヤH1乃至H5が存在し、プレイヤH2が「あの敵を倒そう」と発話し、発話範囲にプレイヤH3,H5のみが含まれている場合、伝達制御部31bは、発話された音声が認識された認識結果を、状態J32で示されるように視認できるプレイヤH3,H5を、全体を囲んた、プレイヤH3’,H5’として表現し、認識結果であるテキストプレートT31が引き出し線で結びつけられるように表示する。このような表示により、プレイヤH2が発話した内容が、プレイヤH3,H5に対して認識可能な状態で、かつ、プレイヤH1,H4からは認識できない状態であることを、プレイヤH2が認識することができる。
発話範囲制御部31aは、発話範囲が設定されてから所定の期間が経過した後、発話範囲を解除する。
次に、図17を参照して、上述の処理により発話範囲が確定した状況に応じて情報の伝達を制御する例2について説明する。
次に、図18のフローチャートを参照して、制御部の制御処理について説明する。
次に、図19のフローチャートを参照して、コンテキスト情報収集処理について説明する。
次に、図20のフローチャートを参照して、発話範囲決定処理について説明する。
次に、図21のフローチャートを参照して、伝達制御処理について説明する。ここで、伝達制御処理は、発話範囲が決定していることが前提となる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
<1> コンテキスト情報に基づいて、プレイヤが発話するとき、発話した内容を認識可能な他のプレイヤが存在する範囲を発話範囲として決定する発話範囲決定部を含む
情報処理装置。
<2> 前記発話範囲は、前記プレイヤが発話した音声データに基づいた情報を認識可能な他のプレイヤが存在する範囲である
<1>に記載の情報処理装置。
<3> 前記コンテキスト情報は、前記プレイヤの音声データ、行動情報、姿勢情報、視線情報、および周辺コンテキスト情報を含む
<1>または<2>に記載の情報処理装置。
<4> 前記コンテキスト情報のうち、前記プレイヤの発話を音声データとして取得する音声データ取得部をさらに含み、
前記発話範囲決定部は、前記音声データに基づいて、前記発話範囲を決定する
<3>に記載の情報処理装置。
<5> 前記発話範囲決定部は、前記音声データの高低に基づいて、前記発話範囲を決定する
<4>に記載の情報処理装置。
<6> 前記発話範囲決定部は、前記音声データの話速に基づいて、前記発話範囲を決定する
<4>に記載の情報処理装置。
<7> 前記コンテキスト情報のうち、前記行動情報、および前記姿勢情報を取得する行動情報姿勢情報取得部をさらに含み、
前記発話範囲決定部は、前記行動情報、および前記姿勢情報に基づいて、前記発話範囲を決定する
<3>に記載の情報処理装置。
<8> 前記コンテキスト情報のうち、前記視線情報を取得する視線情報取得部をさらに含み、
前記発話範囲決定部は、前記視線情報に基づいて、前記発話範囲を決定する
<3>に記載の情報処理装置。
<9> 前記コンテキスト情報のうち、前記周辺コンテキスト情報を取得する周辺コンテキスト情報取得部をさらに含み、
前記発話範囲決定部は、前記周辺コンテキスト情報に基づいて、前記発話範囲を決定する
<3>に記載の情報処理装置。
<10> 前記周辺コンテキスト情報は、VR(Virtual Reality)コンテキスト情報を含む
<9>に記載の情報処理装置。
<11> 前記コンテキスト情報のうち、前記視線情報を取得する視線情報取得部と、
前記VRコンテキスト情報に基づいて、VR空間を表示する表示部とをさらに含み、
前記発話範囲決定部が、前記視線情報に基づいて、前記プレイヤの視線が前記VR空間内における所定のプレイヤの存在する位置に所定時間停滞するとき、前記表示部は、前記所定のプレイヤを表示する位置上に、前記視線が停滞する時間を表す視線停滞マークを表示する
<10>に記載の情報処理装置。
<12> 前記発話範囲決定部は、前記視線情報に基づいて、前記プレイヤの視線が、前記表示部により表示される、前記VR空間内における他のプレイヤの存在する位置に所定時間より長時間停滞するとき、前記他のプレイヤを発話範囲として決定し、
前記表示部は、前記他のプレイヤを表示する位置上に、前記視線により発話範囲に決定したことを示すマークを表示する
<11>に記載の情報処理装置。
<13> 前記発話範囲決定部が、前記VR空間における、前記他のプレイヤの前記視線情報に基づいて、前記プレイヤを前記他のプレイヤの視線により前記発話範囲内に決定したとき、
前記表示部は、前記他のプレイヤを表示する位置上に被視線停滞マークを表示する
<12>に記載の情報処理装置。
<14> 前記発話範囲決定部は、前記VR空間における、前記プレイヤの前記視線情報に基づいて、前記被視線停滞マークを視認したことが確認できた場合、前記他のプレイヤを前記発話範囲に決定し、
前記表示部は、前記他のプレイヤを表示する位置上に、アイコンタクトが成立したことを表すマークを表示する
<13>に記載の情報処理装置。
<15> 前記VRコンテキスト情報に基づいて、VR空間を表示する表示部と、
前記コンテキスト情報のうち、前記プレイヤの発話を音声データとして取得する音声データ取得部と、
前記音声データ取得部により取得された前記音声データに基づいて、前記発話範囲に含まれるどのプレイヤに対して伝達するかを制御する伝達制御部をさらに含み、
前記伝達制御部は、前記音声データの音声認識結果をテキストとして前記表示部に表示し、前記発話範囲に複数の前記プレイヤが存在する場合、前記複数のプレイヤのそれぞれに対して順次テキストを順番に移動させて表示する
<10>に記載の情報処理装置。
<16> 前記伝達制御部は、前記発話範囲内のプレイヤに対しては視認可能であって、かつ、前記発話範囲外のプレイヤには視認不能なテキストを前記表示部に表示する
<15>に記載の情報処理装置。
<17> 前記発話範囲は、前記プレイヤに対して、画像、警告音声、警告振動、および警告合成音のいずれか、または、その組み合わせにより提示される
<1>乃至<16>のいずれかに記載の情報処理装置。
<18> コンテキスト情報に基づいて、プレイヤが発話するとき、発話した内容を認識可能な他のプレイヤが存在する範囲を発話範囲として決定する
ステップを含む情報処理方法。
<19> コンテキスト情報に基づいて、プレイヤが発話するとき、発話した内容を認識可能な他のプレイヤが存在する範囲を発話範囲として決定する発話範囲決定部
としてコンピュータを機能させるプログラム。
Claims (19)
- コンテキスト情報に基づいて、プレイヤが発話するとき、発話した内容を認識可能な他のプレイヤが存在する範囲を発話範囲として決定する発話範囲決定部を含む
情報処理装置。 - 前記発話範囲は、前記プレイヤが発話した音声データに基づいた情報を認識可能な他のプレイヤが存在する範囲である
請求項1に記載の情報処理装置。 - 前記コンテキスト情報は、前記プレイヤの音声データ、行動情報、姿勢情報、視線情報、および周辺コンテキスト情報を含む
請求項1に記載の情報処理装置。 - 前記コンテキスト情報のうち、前記プレイヤの発話を音声データとして取得する音声データ取得部をさらに含み、
前記発話範囲決定部は、前記音声データに基づいて、前記発話範囲を決定する
請求項3に記載の情報処理装置。 - 前記発話範囲決定部は、前記音声データの高低に基づいて、前記発話範囲を決定する
請求項4に記載の情報処理装置。 - 前記発話範囲決定部は、前記音声データの話速に基づいて、前記発話範囲を決定する
請求項4に記載の情報処理装置。 - 前記コンテキスト情報のうち、前記行動情報、および前記姿勢情報を取得する行動情報姿勢情報取得部をさらに含み、
前記発話範囲決定部は、前記行動情報、および前記姿勢情報に基づいて、前記発話範囲を決定する
請求項3に記載の情報処理装置。 - 前記コンテキスト情報のうち、前記視線情報を取得する視線情報取得部をさらに含み、
前記発話範囲決定部は、前記視線情報に基づいて、前記発話範囲を決定する
請求項3に記載の情報処理装置。 - 前記コンテキスト情報のうち、前記周辺コンテキスト情報を取得する周辺コンテキスト情報取得部をさらに含み、
前記発話範囲決定部は、前記周辺コンテキスト情報に基づいて、前記発話範囲を決定する
請求項3に記載の情報処理装置。 - 前記周辺コンテキスト情報は、VR(Virtual Reality)コンテキスト情報を含む
請求項9に記載の情報処理装置。 - 前記コンテキスト情報のうち、前記視線情報を取得する視線情報取得部と、
前記VRコンテキスト情報に基づいて、VR空間を表示する表示部とをさらに含み、
前記発話範囲決定部が、前記視線情報に基づいて、前記プレイヤの視線が前記VR空間内における所定のプレイヤの存在する位置に所定時間停滞するとき、前記表示部は、前記所定のプレイヤを表示する位置上に、前記視線が停滞する時間を表す視線停滞マークを表示する
請求項10に記載の情報処理装置。 - 前記発話範囲決定部は、前記視線情報に基づいて、前記プレイヤの視線が、前記表示部により表示される、前記VR空間内における他のプレイヤの存在する位置に所定時間より長時間停滞するとき、前記他のプレイヤを発話範囲として決定し、
前記表示部は、前記他のプレイヤを表示する位置上に、前記視線により発話範囲に決定したことを示すマークを表示する
請求項11に記載の情報処理装置。 - 前記発話範囲決定部が、前記VR空間における、前記他のプレイヤの前記視線情報に基づいて、前記プレイヤを前記他のプレイヤの視線により前記発話範囲内に決定したとき、
前記表示部は、前記他のプレイヤを表示する位置上に被視線停滞マークを表示する
請求項12に記載の情報処理装置。 - 前記発話範囲決定部は、前記VR空間における、前記プレイヤの前記視線情報に基づいて、前記被視線停滞マークを視認したことが確認できた場合、前記他のプレイヤを前記発話範囲に決定し、
前記表示部は、前記他のプレイヤを表示する位置上に、アイコンタクトが成立したことを表すマークを表示する
請求項13に記載の情報処理装置。 - 前記VRコンテキスト情報に基づいて、VR空間を表示する表示部と、
前記コンテキスト情報のうち、前記プレイヤの発話を音声データとして取得する音声データ取得部と、
前記音声データ取得部により取得された前記音声データに基づいて、前記発話範囲に含まれるどのプレイヤに対して伝達するかを制御する伝達制御部をさらに含み、
前記伝達制御部は、前記音声データの音声認識結果をテキストとして前記表示部に表示し、前記発話範囲に複数の前記プレイヤが存在する場合、前記複数のプレイヤのそれぞれに対して順次テキストを順番に移動させて表示する
請求項10に記載の情報処理装置。 - 前記伝達制御部は、前記発話範囲内のプレイヤに対しては視認可能であって、かつ、前記発話範囲外のプレイヤには視認不能なテキストを前記表示部に表示する
請求項15に記載の情報処理装置。 - 前記発話範囲は、前記プレイヤに対して、画像、警告音声、警告振動、および警告合成音のいずれか、または、その組み合わせにより提示される
請求項1に記載の情報処理装置。 - コンテキスト情報に基づいて、プレイヤが発話するとき、発話した内容を認識可能な他のプレイヤが存在する範囲を発話範囲として決定する
ステップを含む情報処理方法。 - コンテキスト情報に基づいて、プレイヤが発話するとき、発話した内容を認識可能な他のプレイヤが存在する範囲を発話範囲として決定する発話範囲決定部
としてコンピュータを機能させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017006897 | 2017-01-18 | ||
JP2017006897 | 2017-01-18 | ||
PCT/JP2018/000016 WO2018135304A1 (ja) | 2017-01-18 | 2018-01-04 | 情報処理装置、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018135304A1 true JPWO2018135304A1 (ja) | 2019-11-21 |
JP7124715B2 JP7124715B2 (ja) | 2022-08-24 |
Family
ID=62909296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563264A Active JP7124715B2 (ja) | 2017-01-18 | 2018-01-04 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11311803B2 (ja) |
EP (1) | EP3572947A4 (ja) |
JP (1) | JP7124715B2 (ja) |
CN (1) | CN110178125B (ja) |
WO (1) | WO2018135304A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7399623B2 (ja) * | 2019-03-25 | 2023-12-18 | 株式会社バンダイナムコエンターテインメント | ゲームシステム、プログラム及びゲーム装置 |
CN114253386A (zh) * | 2020-09-11 | 2022-03-29 | 成都木帆科技有限公司 | 一种基于感知的通信系统 |
CN112764856A (zh) * | 2021-01-20 | 2021-05-07 | 温州医科大学慈溪生物医药研究院 | 一种学术成果富媒体展示系统及其应用方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0923275A (ja) * | 1995-07-05 | 1997-01-21 | Nippon Telegr & Teleph Corp <Ntt> | 仮想空間共有方法およびこの方法を実施する装置 |
JP2005322125A (ja) * | 2004-05-11 | 2005-11-17 | Sony Corp | 情報処理システム、情報処理方法、プログラム |
JP2008259880A (ja) * | 2008-07-17 | 2008-10-30 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
JP2010262523A (ja) * | 2009-05-08 | 2010-11-18 | Nintendo Co Ltd | ネットワークシステム,情報処理装置および情報処理プログラム |
JP2011518366A (ja) * | 2008-03-18 | 2011-06-23 | アバイア インク. | コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み |
JP2015053061A (ja) * | 2008-01-17 | 2015-03-19 | ヴィヴォックス インコーポレイテッド | アバタ別にレンダリングされる環境を用いる仮想現実システムにおいてリアルタイムのアバタ別のストリーミングデータを提供するスケーラブルな技法 |
WO2016002445A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2016187063A (ja) * | 2015-03-27 | 2016-10-27 | ブラザー工業株式会社 | 情報処理装置及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5736982A (en) * | 1994-08-03 | 1998-04-07 | Nippon Telegraph And Telephone Corporation | Virtual space apparatus with avatars and speech |
US8210927B2 (en) * | 2001-08-03 | 2012-07-03 | Igt | Player tracking communication mechanisms in a gaming machine |
US7491123B2 (en) * | 2004-07-29 | 2009-02-17 | Nintendo Co., Ltd. | Video game voice chat with amplitude-based virtual ranging |
US9384469B2 (en) * | 2008-09-22 | 2016-07-05 | International Business Machines Corporation | Modifying environmental chat distance based on avatar population density in an area of a virtual world |
TWI599861B (zh) * | 2010-04-01 | 2017-09-21 | 喜瑞爾工業公司 | 在全像系統中編碼包括透明物體三維場景之方法及裝置 |
JPWO2016136468A1 (ja) * | 2015-02-23 | 2017-11-30 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法 |
JP6598522B2 (ja) * | 2015-06-12 | 2019-10-30 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
CN105879390A (zh) * | 2016-04-26 | 2016-08-24 | 乐视控股(北京)有限公司 | 虚拟现实游戏处理方法及设备 |
-
2018
- 2018-01-04 WO PCT/JP2018/000016 patent/WO2018135304A1/ja unknown
- 2018-01-04 JP JP2018563264A patent/JP7124715B2/ja active Active
- 2018-01-04 CN CN201880006672.XA patent/CN110178125B/zh active Active
- 2018-01-04 US US16/471,882 patent/US11311803B2/en active Active
- 2018-01-04 EP EP18742309.0A patent/EP3572947A4/en not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0923275A (ja) * | 1995-07-05 | 1997-01-21 | Nippon Telegr & Teleph Corp <Ntt> | 仮想空間共有方法およびこの方法を実施する装置 |
JP2005322125A (ja) * | 2004-05-11 | 2005-11-17 | Sony Corp | 情報処理システム、情報処理方法、プログラム |
JP2015053061A (ja) * | 2008-01-17 | 2015-03-19 | ヴィヴォックス インコーポレイテッド | アバタ別にレンダリングされる環境を用いる仮想現実システムにおいてリアルタイムのアバタ別のストリーミングデータを提供するスケーラブルな技法 |
JP2011518366A (ja) * | 2008-03-18 | 2011-06-23 | アバイア インク. | コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み |
JP2008259880A (ja) * | 2008-07-17 | 2008-10-30 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
JP2010262523A (ja) * | 2009-05-08 | 2010-11-18 | Nintendo Co Ltd | ネットワークシステム,情報処理装置および情報処理プログラム |
WO2016002445A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2016187063A (ja) * | 2015-03-27 | 2016-10-27 | ブラザー工業株式会社 | 情報処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11311803B2 (en) | 2022-04-26 |
WO2018135304A1 (ja) | 2018-07-26 |
CN110178125A (zh) | 2019-08-27 |
CN110178125B (zh) | 2023-05-02 |
US20200122033A1 (en) | 2020-04-23 |
JP7124715B2 (ja) | 2022-08-24 |
EP3572947A1 (en) | 2019-11-27 |
EP3572947A4 (en) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7100092B2 (ja) | ワードフロー注釈 | |
US11222632B2 (en) | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs | |
US10438393B2 (en) | Virtual reality presentation of body postures of avatars | |
US11468894B2 (en) | System and method for personalizing dialogue based on user's appearances | |
US9949056B2 (en) | Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene | |
US10325396B2 (en) | Virtual reality presentation of eye movement and eye contact | |
US20180077095A1 (en) | Augmentation of Communications with Emotional Data | |
US20180032304A1 (en) | Methods and devices for identifying object in virtual reality communication, and virtual reality equipment | |
WO2019206186A1 (zh) | 唇语识别方法及其装置、增强现实设备以及存储介质 | |
WO2017165035A1 (en) | Gaze-based sound selection | |
CN111583355B (zh) | 面部形象生成方法、装置、电子设备及可读存储介质 | |
WO2018135304A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2011027475A1 (ja) | テレビ会議装置 | |
US20230367960A1 (en) | Summarization based on timing data | |
JP2007142957A (ja) | 遠隔対話方法及び装置 | |
JPWO2018135057A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2018149625A (ja) | コミュニケーションロボット、プログラム及びシステム | |
CN110291768B (zh) | 信息处理装置、信息处理方法和信息处理系统 | |
JP2011118632A (ja) | 発話の予備動作検出及び伝達方法及び装置及びプログラム | |
US11826648B2 (en) | Information processing apparatus, information processing method, and recording medium on which a program is written | |
JP7286303B2 (ja) | 会議支援システム及び会議用ロボット | |
WO2023058393A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11935557B2 (en) | Techniques for detecting and processing domain-specific terminology | |
WO2023058451A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112153461B (zh) | 用于定位发声物的方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7124715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |