JP6877341B2 - 情報処理装置、表示装置、情報処理方法及びプログラム - Google Patents

情報処理装置、表示装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6877341B2
JP6877341B2 JP2017527116A JP2017527116A JP6877341B2 JP 6877341 B2 JP6877341 B2 JP 6877341B2 JP 2017527116 A JP2017527116 A JP 2017527116A JP 2017527116 A JP2017527116 A JP 2017527116A JP 6877341 B2 JP6877341 B2 JP 6877341B2
Authority
JP
Japan
Prior art keywords
user
feedback
information
state
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017527116A
Other languages
English (en)
Other versions
JPWO2017006640A1 (ja
Inventor
博允 内山
博允 内山
鈴木　英之
英之 鈴木
史彦 田沼
史彦 田沼
良雄 宮崎
良雄 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Sony Group Corp
Original Assignee
Sony Interactive Entertainment Inc
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Corp, Sony Group Corp filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2017006640A1 publication Critical patent/JPWO2017006640A1/ja
Application granted granted Critical
Publication of JP6877341B2 publication Critical patent/JP6877341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、情報処理装置、表示装置、情報処理方法及びプログラムに関する。
仮想現実（Virtual Reality；ＶＲ）や拡張現実（Augmented Reality；ＡＲ）の技術の発展により、ユーザは、仮想的なオブジェクトを含む情報が提供される世界において、現実世界と錯覚するような深い没入感を得ることが可能となってきた。一方で、深い没入感により、ユーザが仮想現実や拡張現実の世界と現実世界との判別ができなくなる可能性もある。そこで、例えば特許文献１には、ユーザが仮想現実と現実との境界に錯誤を生じた場合に、ユーザが体験した仮想現実の世界を明示的に再度提示することで、仮想現実の世界を認識させることが開示されている。
特開２０１４−１８７５５９号公報
しかし、上記特許文献１は、ユーザが仮想現実の世界を体験している際に仮想現実と現実との境界を認識させるものではない。このため、例えば仮想現実の世界を体験しているユーザの行動や発言等から、早急に仮想現実と現実との境界をユーザに認識させたい場合には対応することができなかった。
そこで、本開示では、仮想現実や拡張現実の世界を体験しているユーザの状態に応じて、適切に仮想現実や拡張現実の世界と現実世界とを認識させることが可能な、新規かつ改良された情報処理装置、表示装置、情報処理方法及びプログラムを提案する。
本開示によれば、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置が提供される。
また、本開示によれば、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて決定された、ユーザに対するフィードバックに関する情報に基づいて、ユーザに対して視覚的にフィードバックするための視覚フィードバック情報を生成するフィードバック処理部と、視覚フィードバック情報を表示する表示部と、を備える、表示装置が提供される。
さらに、本開示によれば、プロセッサにより、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定することを含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置として機能させるプログラムが提供される。
以上説明したように本開示によれば、仮想現実や拡張現実の世界を体験しているユーザの状態に応じて、適切に仮想現実や拡張現実の世界と現実世界とを認識させることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略構成を示す説明図である。 同実施形態に係る情報処理システムの機能構成を示す機能ブロック図である。 ユースケースＡにおける情報処理装置の処理を示すフローチャートである。 Pre-configureの場合におけるメジャメントタイミングの設定を示すフローチャートである。 Configurableの場合におけるメジャメントタイミングの設定を示すフローチャートである。 ユースケースＢにおける学習型判定の処理を示すフローチャートである。 ユースケースＢにおけるフィードバック処理を示すフローチャートである。 ユースケースＣにおけるフィードバック処理を示すフローチャートであり、ユーザからフィードバック完了報告が行われる場合を示す。 ユースケースＣにおけるフィードバック処理を示すフローチャートであり、第三者からフィードバック完了報告が行われる場合を示す。 ユースケースＤにおけるフィードバック処理を示すフローチャートである。 ポリゴン数の違いによる表示変化を示す説明図である。 ポリゴンモデルのＬＯＤ制御におけるカメラからの距離とモデルとの対応表である。 ポリゴンモデルのＬＯＤ制御を行う機能部の機能ブロック図である。 同実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概要
２．情報処理システムの構成
２．１．状態通知装置
２．２．サーバ
２．３．フィードバック装置
３．ユースケース
３．１．ユースケースＡ（能動的なアクションを受けてユーザ本人にフィードバックを行う）
３．２．ユースケースＢ（受動的なアクションを用いてユーザをモニタリングし、ユーザ本人にフィードバックを行う）
３．３．ユースケースＣ（ユーザ以外の第三者が能動的なアクションを行い、ユーザ本人にフィードバックを行う）
３．４．ユースケースＤ（受動的なアクションを用いて、ユーザをモニタリングし、第三者にフィードバックを行う）
４．表示変更によるフィードバック例
５．ハードウェア構成例
＜１．概要＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システム１の概略構成について説明する。なお、図１は、本実施形態に係る情報処理システム１の概略構成を示す説明図である。
情報処理システム１は、仮想現実や拡張現実の世界のように仮想的なオブジェクトを含む情報が提供される世界（以下、「仮想世界」と称する。）を体験しているユーザに対し、ユーザ状態に応じて仮想世界と現実世界とを区別させるシステムである。情報処理システム１では、図１に示すように、仮想世界を体験しているユーザの状態を検出し、ユーザの状態から仮想世界と現実世界とを区別させるフィードバックの必要性をサーバにて判断し、ユーザへのフィードバックを行う。
例えば、仮想世界を体験しているユーザＰＡを考える。このとき、ユーザＰＡの身体状態や心理状態の測定やモニタリングが行われている。モニタリングは、例えば、ユーザＰＡの保持するスマートフォン１００Ａやリストバンド型活動量計１００Ｂのデバイス等を用いたり、監視カメラ等の環境設置型デバイスを用いたりして行われる。モニタリングにより取得された情報（以下、「モニタリング情報」ともいう。）は、所定のタイミングでサーバ２００に送信される。また、ユーザＰＡ自身や第三者ＰＢが能動的にユーザＰＡへのフィードバックをサーバ２００へ要求することも可能である。
モニタリング情報を受けたサーバ２００は、モニタリング情報に基づいて、ユーザＰＡのユーザ状態を判定し、ユーザＰＡへのフィードバックが必要か否かを判定する。ユーザＰＡへのフィードバックが必要と判定すると、サーバ２００はユーザＰＡの保持するデバイスに対して振動を発生させたり音声を出力させたりし、ユーザＰＡへのフィードバックを行う。あるいは、サーバ２００は、ユーザＰＡにアクション可能な第三者ＰＢの保持するスマートフォン３００Ａや音声プレーヤー３００Ｂ等のデバイスに対して振動を発生させたり音声を出力させたりし、第三者ＰＢからユーザＰＡへフィードバックしてもよい。また、ユーザＰＡ自身や第三者ＰＢからフィードバックの要請を受けた場合にも、サーバ２００はユーザＰＡへのフィードバックが必要と判定し、同様の処理を行ってもよい。
このように、本実施形態に係る情報処理システム１では、仮想世界を体験しているユーザに対して、仮想世界と現実世界とを区別させることが必要なときやユーザが知りたいと思ったときにフィードバックが行われるようにすることができる。これにより、仮想世界を体験しているユーザが仮想世界に没頭しすぎて現実で実行してよいことと仮想世界で実行してよいこととの区別がつかなくなることを防止することができ、ユーザの安全を確保することができる。以下、本実施形態に係る情報処理システム１の構成とその機能について、詳細に説明していく。
＜２．情報処理システムの構成＞
図２に基づいて、本実施形態に係る情報処理システム１の機能構成を説明する。なお、図２は、本実施形態に係る情報処理システム１の機能構成を示す機能ブロック図である。本実施形態に係る情報処理システム１は、図２に示すように、状態通知装置１００と、サーバ２００と、フィードバック装置３００とからなる。なお、図２では、情報処理システム１の処理の流れと関連付けて説明するため、各機能部を３つのデバイスに分けて示している。したがって、本開示における情報処理システム１の構成はかかる例に限定されず、例えば、状態通知装置１００とフィードバック装置３００とは同一デバイスであってもよい。
［２．１．状態通知装置］
（ａ）機能
状態通知装置１００は、仮想世界を体験しているユーザのモニタリング情報や、ユーザ自身あるいは第三者からのフィードバック要求情報を、サーバ２００へ送信する。状態通知装置１００がサーバ２００への通知を行うアクションは、「受動的なアクション」と「能動的なアクション」とに分類される。
（受動的なアクション）
「受動的なアクション」は、ユーザ状態を特定するために用いられる情報の計測やモニタリングを、情報処理システム１を構成する各種デバイスにて行い、サーバ２００へ送信することが挙げられる。モニタリングは主に生体状態や心理状態を対象とする。すなわち、状態通知装置１００は、仮想世界を体験しているユーザの身体状態や心理状態の測定やモニタリングを実施し、サーバ２００に対してユーザへのフィードバックの実施を判定させるための情報を取得する。
状態通知装置１００によるモニタリングとは、ユーザの身体状態や心理状態を計測することを意味する。モニタリングは、連続的なモニタリングと離散的なモニタリングに分類できる。離散的なモニタリングにおいては、ある一定の間隔でユーザの身体状態や心理状態の測定が行われる。測定の頻度や間隔については、当該システム１において予め設定してもよく、システム１内の特定のパラメータ等に準じて設定されるようにしてもよい。
計測やモニタリングされる項目としては、例えば、眼(視点、瞳孔、網膜)、三半規管、心拍数、血圧、発汗、脳波、位置情報、声色、発言内容等がある。発言内容については、例えば、ゲームをしているユーザが他のプレイヤーに対して意思・状態確認等の問い掛けをしているか等の情報が取得される。
状態通知装置１００は、計測やモニタリングを効率的に実施するために、予めモニタリング条件を設定しておくPre-configurationだけでなく、適応的にConfigurationを変更できるConfigurableなモニタリングを実施してもよい。すなわち、Pre-configureされた計測やモニタリングは、予めサーバにて設定された、ユーザを計測、モニタリングする測定タイミングに基づいて行われる。測定タイミングは、例えば、Ｄｕｒａｔｉｏｎ／Ｐｅｒｉｏｄ／Ｏｆｆｓｅｔの値を用いて規定してもよい。
一方、Configurableな計測やモニタリングは、サーバ側で、ユーザを計測、モニタリングする測定タイミングを、当該システム１の機能状況に応じて動的に設定してもよい。システム１の機能状況としては、例えば、計測・モニタリングしている項目の状況、ネットワーク状況、通信品質、輻輳状況、バッテリー状況等のデバイス状況等がある。状態通知装置１００は、このようなシステム１の機能状況を、例えば測定タイミングを規定するＤｕｒａｔｉｏｎ／Ｐｅｒｉｏｄ／Ｏｆｆｓｅｔの値に反映することで、Configurableな計測やモニタリングを行うことができる。
（能動的なアクション）
「能動的なアクション」は、例えば、仮想世界を体験しているユーザ自身または第三者から、ユーザに対して仮想世界と現実世界とを区別させるフィードバックの要求を行うことが挙げられる。
ユーザ自身がフィードバックを要求する状況としては、例えば、体験している世界が現実世界であるか仮想世界であるか判別できなくなり、体験している世界がどちらの世界であるかを知りたいと思った場合等がある。ユーザ自身によるフィードバック要求は、例えば、サーバ２００へフィードバック要求を送信するボタンを押下することにより行うようにしてもよい。このボタンは、現実世界に存在する物理的なボタンであってもよく、仮想世界に仮想オブジェクトとして存在するボタンであってもよい。
また、例えば、ユーザが所定のキーワードを発言したときに、サーバ２００へフィードバック要求を送信するようにしてもよい。このとき、状態通知装置１００は、ユーザの発言を音声認識し、キーワードを検出する。当該キーワードは、例えば、ユーザ自身が予め設定してもよく、当該システム１において予め設定されてもよい。具体的には、「現状認識要求」といったキーワードを設定してもよい。さらに、ユーザが所定のジェスチャを行ったときに、サーバ２００へフィードバック要求を送信するようにしてもよい。
一方、第三者がフィードバック要求をする状況としては、例えば、ユーザ自身は気付いていないが、意識が朦朧としている等、ユーザ自身で仮想世界と現実世界とを区別できなくなっていると思われる場合等がある。すなわち、第三者は、仮想世界と現実世界とを区別できなくなったユーザを助けるために、サーバ２００へユーザに対するフィードバックを要求することが可能である。ここで、第三者は、現実世界または仮想世界において、ユーザに対するアクションを実行可能な人物である。例えば、ユーザが仮想世界で提供されるゲームを行っている場合、当該ユーザに対するフィードバックを要求する第三者は、現実世界においてユーザの周囲にいる人であってもよく、仮想世界においてプレイヤーであるユーザに仮想的に接している人であってもよい。
第三者によるフィードバック要求は、例えば、ゲームのコントローラ等のデバイスを用いてボタン押下やコマンド入力を行ったり、所定のジェスチャをしたり、第三者が保持するスマートフォン等の通信装置からフィードバック要求情報を送信することで行ってもよい。
（ｂ）装置構成例
このような状態通知装置１００は、例えば図２に示すように、各種センサ１１０と、送信処理部１２０と、入力部１３０と、通信部１４０とから構成してもよい。具体的には、状態通知装置１００は、例えばユーザが保持するスマートフォン、リストバンド型活動量計やアイウェア端末等のウェアラブル端末等であってもよい。あるいは、監視カメラ等の環境設置型デバイスであってもよい。
各種センサ１１０は、ユーザ状態を特定するために用いられる情報の計測やモニタリングを行う機能部である。各種センサ１１０は、例えば、加速度センサや角速度センサ、気圧センサ、心拍センサ等の、生体情報を取得するためのセンサや、ＧＰＳ、マイクロフォン、撮像素子等である。各種センサ１１０は、所定の測定タイミングでユーザ状態を取得し、送信処理部１２０へ出力する。
送信処理部１２０は、各種センサ１１０により取得されたユーザ状態を特定するための情報を、通信部１４０を介してサーバ２００へ送信する処理を行う。送信処理部１２０は、各種センサ１１０により取得された情報を、所定のタイミングでサーバ２００へ送信するようにする。
入力部１３０は、ユーザが操作入力を行うための機能部である。本実施形態では、特に、ユーザがフィードバック要求を行う際に利用される。入力部１３０は、例えば、ボタンやキーボード、レバー、スイッチ、タッチセンサ等の操作入力部や、音声を取得するマイクロフォン、画像を取得する撮像素子等の情報取得部により構成される。入力部１３０が取得した情報は、ユーザのフィードバック要求に対応し、通信部１４０を介してサーバ２００へ送信される。通信部１４０は、サーバ２００と情報の送受信を可能にするための機能部である。
なお、図２に示す状態通知装置１００は、受動的なアクションを検出するための各種センサ１１０及び送信処理部１２０と、能動的なアクションを検出するための入力部１３０とが同一装置に設けられているが、本開示はかかる例に限定されない。例えば、各種センサ１１０及び送信処理部１２０と入力部１３０とを異なる装置に設けて、複数の状態通知装置１００からサーバ２００に対して情報が送信されるようにしてもよい。
［２．２．サーバ］
（ａ）機能
（フィードバックの要否判定）
サーバ２００は、状態通知装置１００から受信した情報に基づいて、ユーザに対してフィードバックを行うか否かを判定する。ユーザへのフィードバックの要否判定は、例えば、測定値が所定の閾値を超えたか否かにより判定する瞬時型判定であってもよく、状態通知装置１００にて取得された各種データを用いて学習することでフィードバックの要否を判定する学習型判定であってもよい。
瞬時型判定は、状態通知装置１００から送信される能動的なアクション及び受動的なアクションの両方に適用可能である。なお、受動的なアクションを判定する場合、瞬時的な判断が必ずしも適切ではないケースもある。例えば、ユーザが仮想世界で提供されるゲームを行っているときにユーザの緊張状態を計測する場合、サーバ２００は、ユーザがゲームの内容に応じて一時的にユーザが緊張状態になっているのか否かを適切に判定する必要がある。瞬時型判定ではこのような判定は難しいため、統計的な緊張状態の判定には学習型判定を利用するのがよい。
一方、学習型判定は、蓄積された受動的なアクションにより取得された各種センサ１１０の測定結果を学習し、学習結果からフィードバックの要否を決定する判定基準を設定する。そして、サーバ２００は、学習結果から設定された判定基準に基づいて、現在のユーザ状態が、フィードバックが必要な状態であるか否かを判定する。なお、学習型判定の詳細については、後述する。
（フィードバック手段）
サーバ２００にてユーザへのフィードバックを行うことが決定されると、どのようにフィードバックを行うかを決定する。フィードバックのパターンは、大別すると、ユーザ本人に直接行う場合と、第三者に通知して、通知を受けた第三者からユーザへフィードバックする場合とがある。サーバ２００からフィードバックや通知を受ける手段は１つ以上あり、複数の手段を組み合わせて用いてもよい。
まず、ユーザ本人に直接フィードバックを行う場合には、ユーザが保持、装着しているデバイスや、ユーザが体験している仮想世界を介して行うことができる。
例えば、スマートフォンやウェアラブル端末等のデバイスにより、ユーザにフィードバックしてもよい。フィードバックは、例えば、デバイスの電源をオフにしたり、スピーカから現実世界と仮想世界とを区別させるための音声を出力したり、デバイスを振動させたりしてもよい。また、ユーザに対して、痛み、かゆみ、眼圧、匂い等のように知覚を刺激する情報を提示したり、麻酔薬や睡眠薬等のユーザの動きを抑制する薬類を利用したりすることで、フィードバックしてもよい。さらに、仮想オブジェクトを非表示にしたり、仮想世界の表示をカメラのシースルー画像に切り替えて現実世界のみをユーザに提示したりして、フィードバックしてもよい。
どのようにフィードバックするかは、フィードバックを行うデバイスが備える機能に応じてサーバ２００にて決定してもよく、サーバ２００はフィードバックの実行指示のみを送信し、当該指示を受けたデバイス側で決定してもよい。
また、ユーザが仮想世界で提供されるゲームを行っている等、ユーザが体験している仮想世界を介して行う場合には、視覚や聴覚等によりフィードバックを行ってもよい。例えば、仮想世界であることを示すテキストや特定の物体を仮想オブジェクトとして表示させたり、仮想世界であることを音声により通知したりしてもよい。また、仮想世界を構成する仮想オブジェクトのポリゴン数が高く、現実世界のものとの区別がつきにくい場合には、仮想オブジェクトのポリゴン数を少なくして表示を変更させることで、現実世界と仮想世界とを区別できるようにしてもよい。あるいは、仮想世界の仮想オブジェクトに枠を付けて表示させることによっても、ユーザに現実世界と仮想世界とを区別させることが可能である。また、仮想世界として提供されるコンテンツのストーリーを変化させることで、ユーザに現実世界と仮想世界とを区別させてもよい。
一方、ユーザ以外の第三者からユーザに対してフィードバックを行う場合には、第三者の保持、装着しているデバイスに対してユーザへのフィードバック指示が送信された後、第三者がユーザに接触することで、ユーザへのフィードバックが行われる。ここで、第三者としては、例えば、ユーザの保護者、家族等の近親者や友人、現実世界においてユーザの周囲にいる人々、ゲーム運営会社、保険会社等の法人、警察、救急等の公的機関、仮想世界において仮想的にユーザに接しているプレイヤー等が想定される。
例えば、ユーザの保護者、家族等の近親者や友人へフィードバック指示を行う場合には、サーバ２００は、ユーザが事前に登録したデバイスに対して、フィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度等が含まれる。あるいは、ユーザ本人が装着しているデバイスに周囲の人が視認できるディスプレイ等の通知部が設けられている場合には、当該通知部に、周囲の人に対してフィードバックを要求するテキストや画像等を表示させてもよい。ユーザの保護者、家族等の近親者や友人が、ユーザが装着するデバイスが、フィードバックを要求する通知を行っていることに気付くことで、ユーザに対してフィードバックを行うことができる。
また、例えば、現実世界においてユーザの周囲にいる人々へフィードバック指示を行う場合には、サーバ２００は、ユーザの位置情報に基づいてユーザの周囲にいる人を特定し、特定した人が保持しているデバイスに対してフィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。また、この場合にも、ユーザ本人が装着しているデバイスに周囲の人が視認できるディスプレイ等の通知部が設けられている場合には、当該通知部に、周囲の人に対してフィードバックを要求するテキストや画像等を表示させてもよい。
さらに、例えば、ゲーム運営会社、保険会社等の法人に対してフィードバック指示を行う場合には、サーバ２００は、これらの法人のサーバを経由してフィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。また、サーバ２００は、仮想世界を介してユーザにフィードバックすることを要求し、仮想世界に、現実世界と仮想世界とを区別させるためのテキストや音声、物体を表示させたり、仮想世界として提供されるコンテンツの設定やストーリーを変更させたりしてもよい。
また、例えば、警察、救急等の公的機関へフィードバック指示を行う場合にも、サーバ２００は、これらの公的機関のサーバを経由してフィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。
さらに、例えば、仮想世界において仮想的にユーザに接しているプレイヤーへフィードバック指示を行う場合には、サーバ２００は、例えば仮想世界を介してユーザにフィードバックさせるように指示する。これを受けたプレイヤーは、仮想世界でユーザに接し、テキストや音声、表示変更等により、ユーザに対してフィードバックを行う。また、プレイヤーは、現実世界を通してユーザへフィードバックしてもよい。例えば、警告内容を表す音声をユーザの装着物から出力させたり、ユーザが体験している仮想世界の仮想オブジェクトの表示を変更させたりして、ユーザへフィードバックする。このとき、例えば、仮想オブジェクトのポリゴン数を少なくする処理を行ったり、仮想オブジェクトに枠を付けて表示させたりすることで、対応する現実世界のオブジェクトと明確に違いが判るようにしてもよい。
（ｂ）装置構成例
このようなサーバ２００は、例えば図２に示すように、通信部２１０と、状態判定部２２０と、フィードバック決定部２３０と、設定記憶部２４０とからなる。
通信部２１０は、状態通知装置１００や後述するフィードバック装置３００との情報の送受信を行う。通信部２１０は、状態通知装置１００から受信した情報を状態判定部２２０へ出力し、フィードバック決定部２３０から入力された情報をフィードバック装置３００へ送信する。
状態判定部２２０は、状態通知装置１００から受信した情報に基づいて、ユーザへのフィードバックが必要か否かを判定するためのユーザ状態を判定する。状態判定部２２０は、例えば、受動的なアクションとして状態通知装置１００が取得した各種センサ１１０の測定結果に基づいて、学習によりユーザ状態を判定する学習型判定あるいは所定の測定値が閾値を超えたか否かによりユーザ状態を判定する瞬時型判定を行う。また、状態判定部２２０は、状態通知装置１００からユーザ自身または第三者からのフィードバック要求情報を受信したか否かにより、ユーザへのフィードバックの要否を瞬時に判定してもよい。
状態判定部２２０の判定方法は、情報処理システム１の構成により、状態通知装置１００から受信する情報に応じて設定される。したがって、状態判定部２２０は、必ずしも瞬時型判定と学習型判定との機能を両方備える必要はなく、少なくともいずれか１つの判定方法により、ユーザへのフィードバックの要否判定が可能に構成されていればよい。状態判定部２２０によりユーザへのフィードバックが必要と判定されると、フィードバック決定部２３０にその旨が通知される。
フィードバック決定部２３０は、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定する。フィードバック決定部２３０は、ユーザへのフィードバックを行うことが決定されると、どのようにフィードバックを行うかを決定する。フィードバックのパターンは、大別すると、ユーザ本人に直接行う場合と、第三者に通知して、通知を受けた第三者からユーザへフィードバックする場合とがある。サーバ２００からフィードバックや通知を受ける手段は１つ以上あり、複数の手段を組み合わせて用いてもよい。どのようにフィードバックするかは、フィードバックを行うデバイスが備える機能に応じてフィードバック決定部２３０にて決定してもよい。あるいは、フィードバック決定部２３０はフィードバックの実行指示のみを送信し、当該指示を受けたデバイス（後述するフィードバック装置３００）側で決定してもよい。
フィードバック決定部２３０は、通信部２１０を介して、ユーザまたは第三者のデバイス（フィードバック装置３００）等へ、フィードバックを行うために必要なフィードバック情報を送信する。
設定記憶部２４０は、サーバ２００にて行われるユーザへのフィードバック要否判定時に利用する閾値情報や、ユーザへのフィードバックを行う際にユーザ本人あるいは第三者に送信されるフィードバックに関する情報を保持する。状態判定部２２０及びフィードバック決定部２３０は、設定記憶部２４０を参照し、それぞれの処理を実行する。
［２．３．フィードバック装置］
（ａ）機能
フィードバック装置３００は、サーバ２００から受信したフィードバックに関する情報に基づいて、ユーザに対して直接フィードバックを行ったり、第三者からユーザへフィードバックするように行動させたりする。フィードバック装置３００は、ユーザ本人へ直接フィードバックが行われる場合には、状態通知装置１００と同一デバイスであってもよい。また、第三者に対してユーザへのフィードバックを指示する場合には、フィードバック装置３００は、例えば、第三者が保持、装着するデバイスであったり、法人のサーバであったりする。
（ｂ）装置構成例
フィードバック装置３００は、例えば図２に示すように、通信部３１０と、フィードバック処理部３２０と、出力部３３０とからなる。
通信部３１０は、サーバ２００との情報の送受信を行う。通信部３１０は、サーバ２００から受信したフィードバックに関する情報をフィードバック処理部３２０へ出力する。
フィードバック処理部３２０は、フィードバックに関する情報を受信した当該フィードバック装置３００から、ユーザあるいは第三者に対してフィードバックするための情報処理を行う。フィードバックは、現実世界において行ってもよく、仮想世界において行ってもよい。
例えば、フィードバック処理部３２０は、仮想世界を体験しているユーザに直接フィードバックを行う場合には、現実世界において、デバイスの電源をオフにしたり、スピーカから音声を出力したり、デバイスを振動させたりする処理を行う。また、フィードバック処理部３２０は、ユーザの知覚を刺激する情報を提示したり、麻酔薬や睡眠薬等のユーザの動きを抑制する薬類をユーザに与えたりする処理を行ってもよい。さらに、フィードバック処理部３２０は、仮想オブジェクトを非表示にしたり、仮想世界の表示をカメラのシースルー画像に切り替えて現実世界のみをユーザに提示したりする処理を行ってもよい。フィードバック処理部３２０の処理の結果を受けて、出力部３３０からユーザに対するフィードバックが出力される。
また、フィードバック処理部３２０は、仮想世界を介してユーザにフィードバックする場合には、仮想世界でユーザに接し、テキストや音声、表示変更等により、ユーザに対してフィードバックを行う処理を行う。このとき、フィードバック処理部３２０は、例えば、仮想オブジェクトのポリゴン数を少なくする処理を行ったり、仮想オブジェクトに枠を付けて表示させたりすることで、対応する現実世界のオブジェクトと明確に違いが判るようにしてもよい。
一方、第三者に対してユーザへのフィードバックを指示する場合、フィードバック処理部３２０は、サーバ２００から受信したフィードバックに関する情報に基づいて、ユーザを特定するための情報と緊急度を第三者に通知する処理を行う。フィードバックに関する情報には、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度が含まれる。また、フィードバックに関する情報には、第三者がユーザを知らない人である場合には、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。
なお、第三者にユーザへのフィードバックを行わせる場合、ユーザ本人が装着しているデバイスに周囲の人が視認できる通知部が設けられている場合には、当該通知部に、周囲の人に対してフィードバックを要求するテキストや画像等を表示されることもある。この場合、周囲の人が、ユーザが装着するデバイスからフィードバックを要求する通知がされていることを早期に気付かせるため、第三者に対して周囲への注意を促すアラームや振動等を提示するようにしてもよい。
出力部３３０は、フィードバック処理部３２０による処理結果に基づいて、情報の出力を行う。出力部３３０は、例えばディスプレイやスピーカ、ランプ等である。ユーザ本人へフィードバックが直接行われる場合には、出力部３３０からの出力情報がユーザへのフィードバックとなる。また、第三者に対してユーザへのフィードバックを指示した場合には、出力部３３０から通知された情報に基づいて、第三者はユーザを特定し、フィードバックを行う。
＜３．ユースケース＞
以下、本実施形態に係る情報処理システム１の構成例を示す。以下では代表的な構成例を示しており、本開示は、かかる構成例に限定されず、状態通知装置１００、サーバ２００、フィードバック装置３００それぞれが実現できる機能を組み合わせて情報処理システムを構築することが可能である。これにより、本実施形態に係る情報処理システム１では、仮想世界に浸る没入感と現実感のバランスを取りつつ、本当に必要な時やユーザが知りたいときに現実世界と仮想世界とを区別させることが可能となり、仮想世界に没入しすぎている状態のユーザを危険から守るサービスを提供することを可能とする。
［３．１．ユースケースＡ（能動的なアクションを受けてユーザ本人にフィードバックを行う）］
まず、図３に基づいて、ユーザ自身が能動的に仮想世界と現実世界とを判別するためのフィードバック要求（以下、本ユースケースでは「判別要求トリガ」と称する。）を行った場合に、サーバ２００が判別要求トリガを瞬時に判定し、ユーザ本人に警告等のフィードバックを行うユースケースについて説明する。なお、図３は、本ユースケースにおける情報処理システム１の処理を示すフローチャートである。図３において「ユーザ」の処理は、状態通知装置１００及びフィードバック装置３００の処理を示している。
本ユースケースでは、ユーザが、仮想現実型・拡張現実型等のゲームやネットワークサービスなどに没頭している際に、仮想世界と現実世界との区別がつかなくなってしまった状況を想定する。
まず、状態通知装置１００の入力部１３０は、ユーザからの判別要求トリガの入力を常に待ち受けている状態にある。ユーザからの判別要求トリガとしては、例えば下記のようなインタラクションを想定する。
・物理インタフェースを介した操作入力：
物理コントローラに割り当てられた現実世界の物理的なボタンや、仮想世界におけるユーザインタフェース等の仮想オブジェクトであるボタンの押下
・音声入力・音声認識によりユーザの発したキーワードの検出：
予めユーザが登録したキーワードや、システム上で予め設定されたキーワードを検出
・ユーザのジェスチャの取得：
予めユーザが登録したジェスチャパターンや、システム上で予め設定されたジェスチャパターンを検出
状態通知装置１００の入力部１３０は、情報の入力を受けると（Ｓ１００）、通信部１４０を介して当該情報入力データとしてサーバ２００へ送信する（Ｓ１１０）。入力データを受信したサーバ２００は（Ｓ１２０）、状態判定部２２０により、その入力データが予め設定されている判別要求トリガデータと一致するか否かの瞬時型判定を行う（Ｓ１３０）。
なお、判別要求トリガデータは複数のパターンがあってもよく、各パターンにはそれぞれ様々なレベルのフィードバック情報が割り当てられていてもよい。この場合、入力データが一致する判別要求トリガデータに応じて、ユーザへのフィードバック内容が相違するようにしてもよい。また、本ユースケースでは能動的なアクションのみに基づき、フィードバックの実施を判定する例を説明しているが、本開示はかかる例に限定されず、能動的なアクションと受動的なアクションとを組み合わせて判定してもよい。例えば、能動的なアクションが行われたときに受動的なアクションとして計測した心拍数情報も取得する。そして、能動的なアクション行われたときに心拍数が所定値以上である場合と心拍数が所定値未満である場合とでフィードバック方法を変えるようにしてもよい。
図３の説明に戻り、サーバ２００は、ユーザから仮想世界と現実世界との判別要求があったと判断した場合、フィードバック決定部２３０によりユーザへのフィードバック内容を示すフィードバック情報を生成し（Ｓ１４０）、フィードバックを行う（Ｓ１５０）。ユーザへのフィードバックとしては、例えば、下記のような内容が想定される。
・付加情報型フィードバック：
仮想世界の仮想オブジェクトに枠を付ける等、ユーザ自身が仮想世界と現実世界とを判別するための付加情報を与える
・情報削減型フィードバック：
仮想世界の仮想オブジェクト表示を消去し、現実世界の画面のみに切り替える
・強制終了型フィードバック：
強制的に仮想世界のコンテンツ（ゲーム・アプリケーション）をシャットダウンさせる
このように、フィードバック方法は様々に設定することができるが、付加情報型フィードバック、情報削減型フィードバック、強制終了型フィードバックの順に、ユーザに対してより強いフィードバックが行われる。どのフィードバック方法を用いるかは、例えばフードバックの緊急度に応じて決定してもよい。緊急度が高いほど、より強いフィードバックを行うことで、仮想世界に没頭するユーザの安全を確実に確保することができる。一方で、フィードバックの緊急度が高くない場合には、仮想世界を楽しんでいるユーザの状態を妨げないように、例えば付加情報型フィードバックによって仮想世界を楽しみながらユーザに自然と認識してもらうようにするようにしてもよい。フィードバックの緊急度は、例えば状態通知装置１００の各種センサ１１０にて測定される、ユーザの心拍数や血圧等に基づき判断してもよい、
サーバ２００からフィードバック装置３００へフィードバックが行われた後、図３に示すように、ユーザにフィードバックを認識したことを表すフィードバック完了通知をサーバ２００へ送信してもよい（Ｓ１６０）。フィードバック完了通知は、状態通知装置１００の入力部１３０から、判別要求トリガと同様に入力してもよい。フィードバック完了通知は、例えば、フィードバック結果をリセットする、等の完了通知処理要求を含んでもよい。これにより、今回の処理を通してユーザが仮想世界と現実世界とを判別できた場合に、ユーザが再度仮想世界に戻り、拡張現実・仮想現実空間を楽しむことができるようにすることができる。サーバ２００は、その要求内容に応じてフィードバック完了動作を行う（Ｓ１７０）。
［３．２．ユースケースＢ（受動的なアクションを用いてユーザをモニタリングし、ユーザ本人にフィードバックを行う）］
次に、図４〜図７に基づいて、ユーザの状態の定期的にモニタリングし、サーバ２００による学習型判定に基づいて、ユーザ本人にフィードバックを行うユースケースについて説明する。なお、図４は、Pre-configureの場合におけるメジャメントタイミングの設定を示すフローチャートである。図５は、Configurableの場合におけるメジャメントタイミングの設定を示すフローチャートである。図６は、本ユースケースにおける学習型判定の処理を示すフローチャートである。図７は、本ユースケースにおけるフィードバック処理を示すフローチャートである。図６及び図７において、「ユーザ」の処理は、状態通知装置１００及びフィードバック装置３００の処理を示している。
本ユースケースでは、ユーザが仮想世界への没入型のゲームをプレイしている際に、例えば仮想世界と現実世界との区別がつかなくなっている状態等、ユーザが危険な状態になっている状況を想定する。なお、本ユースケースとしては、ゲーム以外であってもよく、例えばＩｏＴ（Internet of Things）やＭ２Ｍ等のユースケースも想定されうる。
まず、ユーザの状態の測定を行うために、情報処理システム１においてユーザ状態の測定タイミングの設定が行われる。本ユースケースでは、この測定タイミングを「メジャメントタイミング」と呼ぶ。一般的にメジャメントタイミングは、以下のトレードオフがある。
・短い間隔に設定するほど、ユーザの状態をより正確に測定できるが、デバイスにおけるメジャメント時間は増加し、ＣＰＵ／メモリ消費や、電力消費が増大する。
・長い間隔に設定するほど、メジャメント時間は減り、デバイスの負担は減るが、ユーザの状態測定精度は低下する。
このため、メジャメントタイミングを適切に設定する必要がある。そこで、メジャメントタイミングをPre-configureしたり、Configurableに設定可能にしたりしてもよい。例えば、Pre-configureの場合では、図４に示すように、システムにおいて事前にパラメータを設定しておく（Ｓ２０１）。パラメータは、例えば、どの程度の周期でどの期間測定を行うか（Period/Duration/Offset）といったものがある。システムスペシフィックに設定を行うことで、シグナリングオーバーヘッドの低減が可能となる。
一方、Configurableなケースでは、システムにおいて、デバイス（状態通知装置１００）でのメジャメントタイミングが動的または準静的に設定される。メジャメントタイミングを具体的に決定するためのパラメータとしては、例えば、デバイスのバッテリー状況が挙げられる。例えば図５に示すように、システム１にて初期設定が実施された後（Ｓ２１１）、バッテリー容量を表すバッテリー情報がデバイスからサーバ２００に提供される（Ｓ２１３）。サーバ２００は、受信したバッテリー情報に基づき、デバイスのバッテリー容量が閾値以下であるか否か判定し（Ｓ２１５）、バッテリー容量が閾値以下であり、少ないことを認識すると、メジャメントタイミングの周期及び期間を減らす（Ｓ２１７）。これにより、デバイスのバッテリー消費を抑えることが可能になる。その他、Configurableなケースでは、通信状況や、測定対象(心拍を測定するのか、血圧を測定するのか等)に応じて適応的にメジャメントタイミングを変更するとこが可能である。
メジャメントタイミング設定後、デバイス（状態通知装置１００）は確定されたタイミングで測定を行う。ここでの測定対象は、例えば、心拍数や血圧などが挙げられる。デバイスは測定した結果を随時サーバ２００へ通知する。
デバイスからデータを受信したサーバ２００は、本ユースケースでは学習型判定によりユーザ状態を判定する。図６に示すように、デバイスからデータを受信したサーバ２００は（Ｓ２２１）、受信したデータを蓄積し、状態判定部２２０により、当該データを統計的な情報へと変換する（Ｓ２２２）。例えば、状態判定部２２０は、受信したデータを、平均値、分散値等の統計的な情報に変換する。そして、状態判定部２２０は、統計的な情報に基づき、ユーザの「通常状態」を設定する（Ｓ２２３）。「通常状態」は、例えば、「ある規定された時間、平均値から±ｘ以下である」等と設定してもよい。
次いで、状態判定部２２０は、「異常状態」の判定基準を設定する（Ｓ２２４）。「異常状態」の判定基準は、予め設定されたものでもよく、動的に設定されたものでもよい。例えば、「異常状態」は、「ある一定期間に、ある一定以上の変化があった」状態等と設定してもよい。
その後、サーバ２００がデバイスからデータを受信し（Ｓ２２５）、ユーザ状態を上記判定基準に基づき判定したとき、ユーザが「異常状態」にあると判定したとする（Ｓ２２６）。このとき、サーバ２００は、デバイスへフィードバックを行う。ここで、仮に、ステップＳ２２６では「異常状態」と判定されたが、実際は、ユーザ状態は「異常状態」ではなかったとする。この場合、デバイスは、サーバ２００に対してフィードバックを行うことができる（Ｓ２２７）。デバイスからユーザ状態判定の誤りのフィードバックを受けたサーバ２００は、このフィードバック情報に応じて、適応的に判定基準の設定を変更することができる（Ｓ２２８）。このように、サーバ２００は、統計的なデータ変換を用いて、ユーザの「通常状態」を認識し、ユーザからのユーザ状態判定についてのフィードバック情報に基づいて判定基準を学習していく。
このような情報処理システム１では、図７に示すように、サーバ２００がデバイスからデータを受信し（Ｓ２３１）、ユーザ状態を上記判定基準に基づき判定する。その結果、ユーザが「異常状態」と判定すると（Ｓ２３２）、サーバ２００は、ユーザに対してフィードバックを行う（Ｓ２３３）。ユーザへのフィードバックは、例えば、ユーザが使用しているデバイスを通じて音を鳴らしたり振動させたりすることが考えられる。フィードバック後、ユーザはサーバ２００に対してフィードバック完了通知を実施する（Ｓ２３４）。
［３．３．ユースケースＣ（ユーザ以外の第三者が能動的なアクションを行い、ユーザ本人にフィードバックを行う）］
次に、図８及び図９に基づいて、仮想世界を体験しているユーザ以外の第三者がユーザのメジャメントを要求し、サーバ２００によりユーザ状態を判定して、ユーザ本人にフィードバックを行うユースケースについて説明する。なお、図８は、本ユースケースにおけるフィードバック処理を示すフローチャートであり、ユーザからフィードバック完了報告が行われる場合を示す。図９は、本ユースケースにおけるフィードバック処理を示すフローチャートであり、第三者からフィードバック完了報告が行われる場合を示す。図８及び図９において、「ユーザ」及び「第三者」の処理は、状態通知装置１００及びフィードバック装置３００の処理を示している。
本ユースケースでは、ユーザが仮想世界への没入型のゲームをプレイしている際に、第三者がユーザの行動の異常を検知し、サーバ２００へ通報を行う状況を想定する。第三者から通報を受けたサーバ２００は、対象のユーザのモニタリングを開始し、異常があればユーザ本人または第三者へフィードバックを行う。
（ユーザからフィードバック完了報告を行う場合）
まず、図８に示すように、本ユースケースでは、第三者は、仮想世界を体験しているユーザの行動の異常を感じ、ユーザ状態の確認が必要と判断したとき、ユーザの状態を目視等により確認する（Ｓ３０１）。ここでの「通常状態」であるか否かの判断は、例えば以下の「異常状態」の判定基準に基づいて行ってもよい。
・同じゲーム内でプレイしている他のプレイヤーからゲームキャラクタを通じて話しかけた時、一定時間返答がない、あるいは、明らかに会話に違和感がある
・現実世界におけるプレイヤーの行動が明らかに常識を逸する
そして、ユーザの状態が「通常状態」ではないと判断した場合、第三者はサーバ２００にメジャメントリクエストを通知する（Ｓ３０２、Ｎｏ）。
第三者からリクエストを受け取ったサーバ２００は、ユーザのメジャメントを実施する（Ｓ３０３）。本ユースケースにおけるメジャメントの対象としては、例えば血圧や心拍等が考えられる。サーバ２００から指示を受けたユーザのデバイスは、メジャメントを実施し、測定値をサーバ２００へレポートする（Ｓ３０４）。
そして、サーバ２００は、ユーザのデバイスからレポートされた値が、閾値を超えているかどうかの判断を行い（Ｓ３０５）、レポートされた値が閾値を超えている場合には、ユーザ本人に対してフィードバックを行う（Ｓ３０６、Ｓ３０７）。ユーザへのフィードバックは、例えばユーザに提供されている仮想世界のコンテンツを消去したり、ユーザに提示する映像を仮想オブジェクトが提示されるコンテンツ画面からシースルー画面にして現実世界に切り替えたりする方法が挙げられる。また、例えば、セーフティボタン等のように、外部から強制的に仮想世界の提供を停止させる機能を起動させ、強制的に仮想世界のゲームをシャットダウンさせる方法なども考えられる。フィードバックを実施後、ユーザのデバイスは、フィードバックの完了レポートをサーバ２００に返信する（Ｓ３０８）。
（第三者からフィードバック完了報告を行う場合）
次に、図９に基づいて、第三者からフィードバック完了報告を行う場合について説明する。図９のステップＳ３１１〜Ｓ３１５までの処理は、図８のステップＳ３０１〜Ｓ３０５と同一である。図９に示すように、第三者は、仮想世界を体験しているユーザの行動の異常を感じ、ユーザ状態の確認が必要と判断したとき、ユーザの状態を確認する（Ｓ３１１）。そして、ユーザの状態が「通常状態」ではないと判断した場合、第三者はサーバ２００にメジャメントリクエストを通知する（Ｓ３１２、Ｎｏ）。
第三者からリクエストを受け取ったサーバ２００は、ユーザのメジャメントを実施する（Ｓ３１３）。サーバ２００から指示を受けたユーザのデバイスは、メジャメントを実施し、測定値をサーバ２００へレポートする（Ｓ３１４）。そして、サーバ２００は、ユーザのデバイスからレポートされた値が閾値を超えているかどうかの判断を行う（Ｓ３１５）。
ステップＳ３１５にてレポートされた値が閾値を超えている場合には、サーバ２００は、ユーザ本人に対してフィードバックを行うとともに（Ｓ３１７）、第三者に対してユーザへフィードバックを行った旨を通知する（Ｓ３１８）。フィードバックの実施の通知を受けた第三者は、ユーザの状態を再び確認し、フィードバックの完了レポートをサーバ２００に返信する（Ｓ３１９）。
［３．４．ユースケースＤ（受動的なアクションを用いて、ユーザをモニタリングし、第三者にフィードバックを行う）］
次に、図１０に基づいて、仮想世界を体験しているユーザの状態を定期的にモニタリングし、サーバ２００による学習型判定の結果、ユーザ状態の異常が確認された場合、第三者にフィードバックを行うユースケースについて説明する。なお、図１０は、本ユースケースにおけるフィードバック処理を示すフローチャートである。なお、図１０において、「ユーザ」及び「第三者」の処理は、それぞれ状態通知装置１００及びフィードバック装置３００での処理を示している。
（概要）
本ユースケースでは、ユーザが仮想世界への没入型のゲームをプレイしている際に、ユーザの意識が朦朧としてしまい、自身では判断が行えないような状況に陥っている状況を想定する。このような状況においては、ユーザ本人にフィードバックを行っても改善が見込めないため、第三者を通じてユーザに警告するようにする。なお、本ユースケースでは、ユーザの状態を行うために行うメジャメントや、サーバ２００での学習型判定処理はユースケースＢと同様のため詳細な説明を割愛し、第三者へのフィードバック処理について主として説明する。
図１０に示すように、ユーザの状態が定期的に測定され、測定データがサーバへ送信されているとする（Ｓ４０１）。ここで、サーバ２００が受信したデータについて学習型判定し、ユーザの状態が「異常状態」であると判定したとする（Ｓ４０２）。このとき、ユーザは、ユーザにフィードバック可能なユーザを特定する（Ｓ４０３）。ここでの第三者は、例えば現実世界においてユーザの周囲にいる人々が挙げられる。第三者の特定は、ユーザの位置情報に基づき行われる。
ユーザ周辺にいる第三者が特定されると、サーバ２００は、ユーザへのフィードバックを依頼するフィードバック情報を生成し、第三者のデバイスに送信する（Ｓ４０４）。第三者へのフィードバック情報には、例えば、フィードバック対象のユーザに警告を依頼する依頼情報と、ユーザの詳細情報とが含まれる。ここで、ユーザの詳細情報には、例えば、ユーザへの警告情報、ユーザの位置情報、緊急度、ユーザプロファイル情報等が含まれる。警告情報とは、ユーザに行うフィードバック内容であり、例えば、ユーザの意識をはっきりさせるといった内容である。ユーザ位置情報は、ユーザの詳細位置を特定するために使用される。緊急度は、ユーザが現在どのような状況にあり、どの程度の緊急度でフィードバックを行う必要があるかを示す。ユーザプロファイル情報は、ユーザに関するプロファイルの情報であり、ユーザの性別や顔情報、過去のフィードバック歴、持病等の情報を含んでいる。
第三者は、これらの詳細情報に基づいて、ターゲットのユーザを発見し（Ｓ４０５）、フィードバックを行う（Ｓ４０６）。フィードバック完了後、ユーザもしくは第三者より、サーバ２００に対してフィードバック完了通知が行われる（Ｓ４０７、Ｓ４０８）。
＜４．表示変更によるフィードバック例＞
本実施形態に係る情報処理システム１においては、ユーザ本人にフィードバックを行う際、ユーザが体感している仮想世界の提供を完全に停止させることなく、ユーザに仮想世界と現実世界とを区別させることができる。すなわち、ユーザの仮想世界への没入感を妨げないように、ユーザに仮想世界と現実世界とを区別させる。
以下、かかる処理の一例として、図１１〜図１３に基づいて、仮想世界の仮想オブジェクトの表示の精細度を変化させることで、ユーザにフィードバックを行う場合について説明する。なお、図１１は、ポリゴン数の違いによる表示変化を示す説明図である。図１２は、ポリゴンモデルのＬＯＤ制御におけるカメラからの距離とモデルとの対応表である。図１３は、ポリゴンモデルのＬＯＤ制御を行う機能部の機能ブロック図である。
通常、ユーザに仮想世界に没入してもらうためにゲームは高性能なＧＰＵ、ＣＰＵを用いて高精細な３次元グラフィックスを描画している。高精細であることによってより現実世界に近い感覚をユーザにもたらしているが、逆に意図的に精細さを減らすことによってユーザに仮想世界であることを認知させることが可能である。例えば図１１に示すように、右側のポリゴン数の多いモデルと比較して、左側のポリゴン数の少ないモデルでは、現実世界に存在するオブジェクトから離れるものとなるため、仮想世界である感覚を強く出すことができる。
このように３次元グラフィクスにおいてより現実的、写実的な表現をするための手段として、より高精細なポリゴンモデル、テクスチャが描画に用いられている。しかしゲーム世界中のすべてのポリゴンモデルとテクスチャを一度に高精細にするとＧＰＵやメモリバンドへの負荷が増大する。このため通常ゲームにおいては同じモデルに対してポリゴンの数の多いモデル（多ポリゴンモデル）と少ないモデル（少ポリゴンモデル）を多段階に用意し、ＬＯＤ（Level Of Detail）と呼ばれる値を用いて描画に用いるポリゴンモデルを切り替えることによって負荷を下げている。通常は描画のカメラ位置に近いモデルは多ポリゴンモデル、遠いモデルは少ポリゴンモデルを描画するようにカメラの距離とＬＯＤの値を連動させる。テクスチャについても同様の手法が取られている。
ここで、意図的に精細さを落とすには、距離とＬＯＤとの値を連動させるための閾値を変更すればよい。図１２に、ポリゴンモデルのＬＯＤ制御におけるカメラからの距離とモデルとの対応表を例示する。ｄ１、ｄ２、ｄ３はカメラからの距離を示し、この順に値が大きくなるものとする（ｄ１＜ｄ２＜ｄ３）。ｍ１、ｍ２、ｍ３はポリゴンモデルのインデックスを示しており、それぞれポリゴン数が異なるモデルであるとする。ここで、ポリゴン数はｍ１、ｍ２、ｍ３の順に小さくなるものとする（ｍ１＞ｍ２＞ｍ３）。
図１２に示すように、通常時においては、より近い距離ｄ１のときに最もポリゴン数の多いｍ１モデルを用い、より遠い距離ｄ３以上のときにポリゴン数が最も少ないｍ３モデルを用いている。一方、ユーザへのフィードバックを行う警告時には、どの距離に置いても最もポリゴン数の少ないｍ３モデルを用いるようにする。これにより、仮想世界で提供される仮想オブジェクトは、ポリゴン数の少ない、すなわち、精細度の低いモデルが提示されるようになる。
表示変更処理は、例えば図２のフィードバック装置３００のフィードバック処理部３２０にて行われる。その詳細を図１３に示す。表示変更処理を行う機能部は、図１３に示すように、制御部３２１と、描画制御部３２３と、ＬＯＤ制御データ記憶部３２５と、３次元モデルデータ記憶部３２７とからなる。
制御部３２１は、通信部３１０より、サーバ２００から受信したフィードバックに関する情報に基づいて、ユーザへのフィードバック処理を行う。表示変更によるフィードバックを行う場合、制御部３２１は、描画制御部３２３に対して表示変更の指示を行う。
描画制御部３２３は、制御部３２１からの表示変更の指示に基づいて、仮想オブジェクトの表示を変更する。描画制御部３２３は、ＬＯＤ制御データ記憶部３２５に記憶された図１２に示したＬＯＤ対応表を参照し、警告時の設定に基づいて、描画に用いる３次元モデルデータを選択する。３次元モデルデータは、３次元モデルデータ記憶部３２７に記憶されている。３次元モデルデータ記憶部３２７は、ポリゴンモデル、テクスチャなどの３次元描画に必要なデータを３次元モデルデータとして記憶している。描画制御部３２３により変更された仮想オブジェクトは、出力部３３０を介して、ヘッドマウントディスプレイ等のユーザが利用している映像表示機器へ出力される。
以上の処理を、同様にテクスチャについても適用することで更に精細さを落とすことが可能である。すなわち、高ポリゴンモデルを高解像度のテクスチャ、低ポリゴンモデルを低解像度のテクスチャと置き換えることで、上記と同様の処理にてテクスチャのＬＯＤ制御を変更することが可能である。
＜５．ハードウェア構成例＞
最後に、上記実施形態に係る状態通知装置１００、サーバ２００、フィードバック装置３００のハードウェア構成例について説明する。これらの機器は同様に構成することができるため、以下では、サーバ２００を例として説明する。図１４は、上実施形態に係るサーバ２００のハードウェア構成を示すハードウェア構成図である。
本実施形態に係るサーバ２００は、上述したように、コンピュータ等の処理装置により実現することができる。サーバ２００は、図１４に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、サーバ２００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
ストレージ装置９０８は、サーバ２００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
ドライブ９０９は、記憶媒体用リーダライタであり、サーバ２００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置。
（２）
前記フィードバック決定部は、前記ユーザが体験している前記世界の連続性を保持可能なフィードバックを決定する、前記（１）に記載の情報処理装置。
（３）
前記フィードバック決定部は、前記ユーザ状態に基づいて、予め設定されたフィードバック候補から前記ユーザに対するフィードバックを決定する、前記（１）または（２）に記載の情報処理装置。
（４）
前記フィードバック決定部は、前記ユーザへのフィードバックの緊急度に基づいて、予め設定されたフィードバック候補から前記ユーザに対するフィードバックを決定する、前記（３）に記載の情報処理装置。
（５）
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザから取得されるモニタリング情報に基づいて、ユーザへのフィードバックの要否を学習し、前記ユーザ状態を判定する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザから取得されるモニタリング情報の値が所定の閾値を超えたか否かに基づいて、前記ユーザ状態を判定する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記モニタリング情報は、ユーザの生体情報または心理情報のうち少なくともいずれか１つである、前記（５）または（６）に記載の情報処理装置。
（８）
前記状態判定部は、前記モニタリング情報を提供するデバイスのデバイス状態に基づいて、前記モニタリング情報の測定タイミング及び測定対象を決定する、前記（５）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザまたは第三者から入力されるフィードバック要求情報に基づいて、前記ユーザ状態を判定する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記フィードバック決定部は、決定したフィードバックに関する情報を、前記ユーザまたは当該ユーザに対するアクションを実行可能な第三者に通知可能なデバイスに送信する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記フィードバックに関する情報は、前記ユーザの位置情報、プロファイル情報、またはフードバックを行う緊急度のうち、少なくともいずれか１つを含む、前記（１０）に記載の情報処理装置。
（１２）
少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて決定された、前記ユーザに対するフィードバックに関する情報に基づいて、前記ユーザに対して視覚的にフィードバックするための視覚フィードバック情報を生成するフィードバック処理部と、
前記視覚フィードバック情報を表示する表示部と、
を備える、表示装置。
（１３）
前記フィードバック処理部は、前記ユーザへの警告情報を前記視覚フィードバック情報として生成する、前記（１２）に記載の表示装置。
（１４）
前記フィードバック処理部は、前記仮想オブジェクトの精細度を低下させたオブジェクトを前記視覚フィードバック情報として生成する、前記（１２）または（１３）に記載の表示装置。
（１５）
プロセッサにより、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定することを含む、情報処理方法。
（１６）
コンピュータを、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置として機能させるプログラム。
１ 情報処理システム
１００ 状態通知装置
１１０ 各種センサ
１２０ 送信処理部
１３０ 入力部
１４０ 通信部
２００ サーバ
２１０ 通信部
２２０ 状態判定部
２３０ フィードバック決定部
２４０ 設定記憶部
３００ フィードバック装置
３１０ 通信部
３２０ フィードバック処理部
３２１ 制御部
３２３ 描画制御部
３２５ 制御データ記憶部
３２７ 次元モデルデータ記憶部

Claims (15)

  1. 少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザの生体情報に基づいて判定されるユーザ状態に基づいて、前記ユーザに仮想世界と現実世界とを区別させるフィードバックを決定するフィードバック決定部と、
    前記ユーザ状態を判定する状態判定部と、
    を備え、
    前記状態判定部は、前記ユーザまたは第三者から入力されるフィードバック要求情報に基づいて、前記ユーザ状態を判定する、情報処理装置。
  2. 少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザの生体情報に基づいて判定されるユーザ状態に基づいて、前記ユーザに仮想世界と現実世界とを区別させるフィードバックを決定するフィードバック決定部を備え、
    前記フィードバック決定部は、決定した前記フィードバックに関する情報を、前記ユーザまたは当該ユーザに対するアクションを実行可能な第三者に通知可能なデバイスに送信する、情報処理装置。
  3. 前記フィードバック決定部は、前記ユーザが体験している前記世界を介して行う前記フィードバックを決定する、請求項１又は２に記載の情報処理装置。
  4. 前記フィードバック決定部は、前記ユーザ状態に基づいて、予め設定されたフィードバック候補から前記ユーザに対する前記フィードバックを決定する、請求項１又は２に記載の情報処理装置。
  5. 前記フィードバック決定部は、前記ユーザへのフィードバックの緊急度に基づいて、予め設定されたフィードバック候補から前記ユーザに対する前記フィードバックを決定する、請求項４に記載の情報処理装置。
  6. 前記状態判定部は、前記ユーザから取得されるモニタリング情報に基づいて、前記ユーザへの前記フィードバックの要否を学習し、前記ユーザ状態を判定する、請求項１に記載の情報処理装置。
  7. 前記ユーザ状態を判定する状態判定部を備え、
    前記状態判定部は、前記ユーザから取得されるモニタリング情報に基づいて、前記ユーザへの前記フィードバックの要否を学習し、前記ユーザ状態を判定する、請求項２に記載の情報処理装置。
  8. 前記状態判定部は、前記ユーザから取得されるモニタリング情報の値が所定の閾値を超えたか否かに基づいて、前記ユーザ状態を判定する、請求項１に記載の情報処理装置。
  9. 前記ユーザ状態を判定する状態判定部を備え、
    前記状態判定部は、前記ユーザから取得されるモニタリング情報の値が所定の閾値を超えたか否かに基づいて、前記ユーザ状態を判定する、請求項２に記載の情報処理装置。
  10. 前記状態判定部は、前記モニタリング情報を提供するデバイスのデバイス状態に基づいて、前記モニタリング情報の測定タイミング及び測定対象を決定する、請求項６又は７に記載の情報処理装置。
  11. 前記フィードバックに関する情報は、前記ユーザの位置情報、プロファイル情報、または前記フィードバックを行う緊急度のうち、少なくともいずれか１つを含む、請求項２に記載の情報処理装置。
  12. プロセッサにより、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザの生体情報に基づいて判定されるユーザ状態に基づいて、前記ユーザに仮想世界と現実世界とを区別させるフィードバックを決定することと、
    前記ユーザ状態を判定することと、
    を含む、情報処理方法であって、
    前記ユーザ状態を判定することでは、前記ユーザまたは第三者から入力されるフィードバック要求情報に基づいて、前記ユーザ状態を判定する、情報処理方法。
  13. プロセッサにより、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザの生体情報に基づいて判定されるユーザ状態に基づいて、前記ユーザに仮想世界と現実世界とを区別させるフィードバックを決定することを含む、情報処理方法であって、
    前記フィードバックを決定することでは、決定した前記フィードバックに関する情報を、前記ユーザ又は当該ユーザに対するアクションを実行可能な第三者に通知可能なデバイスに送信する、情報処理方法。
  14. コンピュータを、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザの生体情報に基づいて判定されるユーザ状態に基づいて、前記ユーザに仮想世界と現実世界とを区別させるフィードバックを決定するフィードバック決定部と、前記ユーザ状態を判定する状態判定部と、を備える、情報処理装置として機能させるプログラムであって、
    前記状態判定部は、前記ユーザまたは第三者から入力されるフィードバック要求情報に基づいて、前記ユーザ状態を判定する、プログラム。
  15. コンピュータを、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザの生体情報に基づいて判定されるユーザ状態に基づいて、前記ユーザに仮想世界と現実世界とを区別させるフィードバックを決定するフィードバック決定部を備える、情報処理装置として機能させるプログラムであって、
    前記フィードバック決定部は、決定した前記フィードバックに関する情報を、前記ユーザまたは当該ユーザに対するアクションを実行可能な第三者に通知可能なデバイスに送信する、プログラム。
JP2017527116A 2015-07-08 2016-05-25 情報処理装置、表示装置、情報処理方法及びプログラム Active JP6877341B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015136932 2015-07-08
JP2015136932 2015-07-08
PCT/JP2016/065385 WO2017006640A1 (ja) 2015-07-08 2016-05-25 情報処理装置、表示装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017006640A1 JPWO2017006640A1 (ja) 2018-06-07
JP6877341B2 true JP6877341B2 (ja) 2021-05-26

Family

ID=57686168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017527116A Active JP6877341B2 (ja) 2015-07-08 2016-05-25 情報処理装置、表示装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20180173309A1 (ja)
EP (1) EP3321773B1 (ja)
JP (1) JP6877341B2 (ja)
CN (1) CN107735747B (ja)
WO (1) WO2017006640A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11307968B2 (en) 2018-05-24 2022-04-19 The Calany Holding S. À R.L. System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
KR102275520B1 (ko) 2018-05-24 2021-07-12 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 현실 세계를 대표하는 실시간 3d 가상 세계 내에서 실시간 3d 가상 객체의 양방향 실시간 대화형 오퍼레이션
CN108919954B (zh) * 2018-06-29 2021-03-23 蓝色智库（北京）科技发展有限公司 一种动态变化场景虚实物体碰撞交互方法
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质
CN112714899A (zh) * 2018-10-03 2021-04-27 麦克赛尔株式会社 头戴式显示器和头戴式显示系统
CN109766040B (zh) 2018-12-29 2022-03-25 联想(北京)有限公司 一种控制方法及控制装置
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
CN111973979A (zh) 2019-05-23 2020-11-24 明日基金知识产权控股有限公司 经由持久性虚拟世界系统对现实世界进行实况管理
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
CN112100284A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 通过虚拟孪生现实与现实世界物品及对应数据库交互
US11103794B2 (en) * 2019-10-18 2021-08-31 Sony Interactive Entertainment Inc. Post-launch crowd-sourced game qa via tool enhanced spectator system
US11544907B2 (en) 2020-04-30 2023-01-03 Tanner Fred Systems and methods for augmented-or virtual reality-based decision-making simulation
US11804018B2 (en) * 2021-09-02 2023-10-31 International Business Machines Corporation Management of devices in a smart environment
WO2023189558A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理システムおよび情報処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Ｖｒ酔い低減方法
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
CN201299884Y (zh) * 2008-10-09 2009-09-02 上海惠诚咨询有限公司 智能心理身心反馈训练装置
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
US8831278B2 (en) * 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US20140071163A1 (en) * 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US20140274564A1 (en) * 2013-03-15 2014-09-18 Eric A. Greenbaum Devices, systems and methods for interaction in a virtual environment
JP6104664B2 (ja) * 2013-03-26 2017-03-29 株式会社松風 歯科用金属色遮蔽材セットならびに歯科用金属色遮蔽膜およびその製造方法
WO2014156389A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、提示状態制御方法及びプログラム
CN105683812B (zh) * 2013-08-30 2018-07-03 英特尔公司 用于头戴式显示器的恶心和发病检测、预测和缓解
CN105094310B (zh) * 2014-05-09 2019-08-16 梦工厂动画公司 虚拟现实驾乘系统中减少晕车的方法和系统
JP6245477B2 (ja) * 2014-09-18 2017-12-13 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Also Published As

Publication number Publication date
WO2017006640A1 (ja) 2017-01-12
CN107735747B (zh) 2022-02-01
EP3321773A4 (en) 2019-05-01
EP3321773A1 (en) 2018-05-16
JPWO2017006640A1 (ja) 2018-06-07
CN107735747A (zh) 2018-02-23
EP3321773B1 (en) 2022-12-14
US20180173309A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
JP6877341B2 (ja) 情報処理装置、表示装置、情報処理方法及びプログラム
CN110874129B (zh) 显示系统
US10249169B2 (en) Somatosensory type notification alerts
US11698674B2 (en) Multimodal inputs for computer-generated reality
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
CN107735776B (zh) 信息处理设备、信息处理方法和程序
US20210081047A1 (en) Head-Mounted Display With Haptic Output
US10990171B2 (en) Audio indicators of user attention in AR/VR environment
CN115413334A (zh) 用于扩展现实系统的多设备连续性
WO2020070839A1 (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
Teruel et al. Exploiting awareness for the development of collaborative rehabilitation systems
WO2023188904A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6925490B1 (ja) 情報端末、情報端末制御プログラム及び情報端末制御方法
US20240139462A1 (en) Methods for cybersickness mitigation in virtual reality experiences
US20240139463A1 (en) Methods for cybersickness mitigation in virtual reality experiences
US20240149158A1 (en) Apparatus, systems and methods for interactive session notification
US20240164672A1 (en) Stress detection
CN117120958A (zh) 压力检测
KR20240031204A (ko) 가상현실을 이용한 관계사고 개선 시스템
KR20230092730A (ko) 이명 치료 장치 및 그 동작 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210427

R150 Certificate of patent or registration of utility model

Ref document number: 6877341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150