WO2017002473A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- WO2017002473A1 WO2017002473A1 PCT/JP2016/064641 JP2016064641W WO2017002473A1 WO 2017002473 A1 WO2017002473 A1 WO 2017002473A1 JP 2016064641 W JP2016064641 W JP 2016064641W WO 2017002473 A1 WO2017002473 A1 WO 2017002473A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- state
- information processing
- processing apparatus
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Definitions
- the present disclosure relates to an information processing apparatus, an information processing method, and a program.
- an acquisition unit that acquires a recognition result indicating at least one of a user's action or state recognized by a recognition unit using detection results of one or more sensors, and the recognition result
- the notification information that conveys information related to the action or state of the specific user to an object different from the user is related to the action or state of the specific user.
- an information processing apparatus including a control unit that controls a reflection degree that reflects information in accordance with the target.
- a recognition result indicating at least one of a user's action or state recognized by the recognition unit using a detection result by one or a plurality of sensors is acquired; and the recognition result
- the notification information that conveys information related to the action or state of the specific user to a target different from the user is included in the action or state of the specific user.
- An information processing method is provided that includes controlling the degree of reflection, which is the degree of reflecting information related to the information, according to the target.
- a computer that can acquire a recognition result by a recognition unit that recognizes at least one of a user's operation or state using detection results of one or more sensors, An acquisition function for acquiring a recognition result indicating at least one of the user's action or state, and the recognition result of the specific user when it is determined that the recognition result indicates the action or state of the specific user.
- a control function for controlling the degree of reflection according to the target to reflect the information regarding the operation or state of the specific user in the notification information that conveys information about the operation or the state to a target different from the user.
- a program for realizing the above is provided.
- a recognition result indicating at least one of a user's action or state recognized by the recognition unit using the detection results of one or a plurality of sensors is acquired, and the recognition result is determined by a specific user.
- the information related to the action or state of the specific user is reflected in the notification information that conveys information about the action or state of the particular user to a target different from the user. A certain degree of reflection is controlled according to the object.
- FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
- Information processing system 1.1.1. Overall structure of information processing system 1.1.2. Platform configuration 1.2. Information processing apparatus 1.3. Information processing method 1.4. 1. About modification About hardware configuration
- FIG. 1 is an explanatory diagram schematically illustrating the information processing system according to the first embodiment of the present disclosure.
- 2A and 2B are explanatory diagrams schematically illustrating an example of functions of the information processing system according to the present embodiment.
- FIG. 3 is a block diagram illustrating an example of the configuration of a platform that cooperates with the information processing apparatus according to the present embodiment.
- the information processing system 1 includes an information processing apparatus 10 connected to each other by a known network 3 such as the Internet, and a plurality of platforms 20A, 20B.
- a known network 3 such as the Internet
- platforms 20A, 20B the plurality of platforms may be collectively referred to as “platform 20”.
- the information processing apparatus 10 is an apparatus that mediates bidirectional transmission and reception of information between users regarding information shared by a plurality of users via each platform 20.
- the information processing apparatus 10 creates a virtual space on the network 3 by executing a predetermined application such as an online game, and a plurality of users can receive information via the virtual space. May be shared.
- the information processing apparatus 10 executes an application that allows video data related to a space visually recognized by a certain user to be shared with other users in a remote place, A plurality of users may share information via the network 3.
- the platform 20 possessed by each user is a computer provided with hardware and software for sharing information via each application executed in the information processing apparatus 10.
- Each user can share information with other users via the information processing apparatus 10 by performing a user operation using physical motion or the like on the platform 20.
- FIG. 1 illustrates a case where two platforms 20 are connected to the information processing apparatus 10 via the network 3, the number of platforms 20 connected to the information processing apparatus 10 is illustrated. It is needless to say that the number of platforms 20 is not limited to two, and three or more platforms 20 may be connected to the information processing apparatus 10.
- FIG. 2A shows that the information processing apparatus 10 executes a user immersive application such as a so-called online game to construct a virtual space such as a game setting world on the network 3, and through this virtual space, the user 1 schematically shows a system in a case where information is shared between users.
- the information processing apparatus 10 constructs a virtual space on the network 3 by executing a predetermined application.
- each platform 20 accesses a virtual space constructed on the network 3 by executing a predetermined application that can be connected to an application executed by the information processing apparatus 10, and passes through the virtual space. To share information between users.
- a user who owns each platform 20 performs a user operation using body movements or the like via various sensors 21 or a head mounted display 23 connected to the platform 20 by wire or wirelessly.
- the body movement performed by the user is detected by various sensors 21, and information representing sensor detection results relating to the user's movement, state, and the like is output to the information processing apparatus 10.
- the platform 20 acquires information related to sensor detection results not only from the various sensors 21 directly connected to the platform 20 but also from various peripheral sensors from which the platform 20 can acquire information via the network 3 or the like. It is possible.
- Examples of detection results related to the user's actions and states detected by the various sensors 21 include user actions such as the user's physical actions, the user's facial expressions, and the user's biological information such as the sweating state and the pulse. It includes not only detection results relating to the state but also detection results relating to the environment surrounding the user, such as the odor, sound, vibration, etc. existing around the user and the user.
- the information processing apparatus 10 recognizes information representing a sensor detection result related to a user's operation or state, which is output from the platform 20, and stores the recognition result of the information in the constructed virtual space. To reflect. As a result, other users can share the physical movements performed by the users and the phenomena in the virtual space caused by the movements.
- the mounting state of the various sensors 21 and the head-mounted display 23 is not particularly limited, and the various sensors 21 and the head-mounted display 23 may exist individually, or the various sensors 21 are incorporated.
- the head mounted display 23 may exist.
- the device on which the user performs an input operation is not limited to the various sensors 21, the head mounted display 23, and the like, and various wearable devices can be used as the input device.
- various sensors 21 are not particularly limited.
- various cameras including a distance measuring camera and an infrared camera, motion sensors such as an acceleration sensor and a gyro sensor, an illuminance sensor, and an atmospheric pressure sensor.
- motion sensors such as an acceleration sensor and a gyro sensor
- an illuminance sensor such as an atmospheric pressure sensor.
- atmospheric pressure sensor examples thereof include an odor sensor, an acoustic sensor such as a microphone, a vibration sensor, a biological sensor capable of detecting various biological information including sweating and a pulse.
- FIG. 2B schematically shows a system in which the information processing apparatus 10 executes an application for sharing video data between users, and information is shared between users via this application.
- the information processing apparatus 10 records imaging data regarding a space viewed by the user transmitted from a certain platform 20 and mediates mutual communication between the platforms 20.
- each platform 20 executes a predetermined application to share video data or operate the video data alone via the information processing apparatus 10.
- each platform 20 visually recognizes the space where the user exists while wearing various sensors 21 connected to the platform 20 by wire or wirelessly, and thus the video data related to the space and the space. Is generated, and information indicating the sensor detection result regarding the space that the user is viewing is output to the information processing apparatus 10. As a result, other users can share various types of information related to the space visually recognized by a certain user.
- FIG. 3 is a block diagram illustrating an example of the configuration of a platform that cooperates with the information processing apparatus according to the present embodiment.
- the platform 20 includes an overall control unit 201, a sensor output acquisition unit 203, a communication control unit 205, an output control unit 207, and a storage unit 209. Prepare for.
- the overall control unit 201 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
- the overall control unit 201 is a processing unit that comprehensively controls various functions and operations executed on the platform 20.
- the overall control unit 201 can cause the platform 20 to realize a function corresponding to an application by executing various applications stored in, for example, a storage unit 209 described later. At this time, the overall control unit 201 executes various applications on the platform 20 while appropriately referring to setting data stored in the storage unit 209 or the like.
- the overall control unit 201 acquires user operation information based on body movement and the like acquired by the sensor output acquisition unit 203 described later, controls the execution of the application according to the user operation, and outputs the acquired sensor output. Information about the result is output to the information processing apparatus 10 via the communication control unit 205 described later. In addition, the overall control unit 201 reflects the output from the information processing apparatus 10 acquired via the communication control unit 205 in the execution of the application, and sends the execution result of the application to the user via the output control unit 207 described later. Output to.
- the sensor output acquisition unit 203 is realized by, for example, a CPU, a ROM, a RAM, an input device, a communication device, and the like.
- the sensor output acquisition unit 203 acquires sensor output data relating to at least one of the user's actions or states detected by the various sensors 21 as described above. Data of sensor outputs from the various sensors 21 acquired by the sensor output acquisition unit 203 is output to the overall control unit 201 and used for control of various applications executed by the overall control unit 201.
- the sensor output data is output to the information processing apparatus 10 via the overall control unit 201 and the communication control unit 205.
- the communication control unit 205 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
- the communication control unit 205 is a processing unit that controls communication between the platform 20 and the information processing apparatus 10 via the network 3. Through this communication control unit 205, the overall control unit 201 outputs various data and information such as sensor output data and setting data by the user of the application to the information processing apparatus 10, and from the information processing apparatus 10. Various data and information can be acquired.
- the output control unit 207 is realized by, for example, a CPU, a ROM, a RAM, an output device, a communication device, and the like.
- the output control unit 207 is a processing unit that performs control for outputting various data and information output from the overall control unit 201 to an output device capable of transmitting sense information to the user. Examples of such an output device include various sensors 21 connected to the platform 20, a head mounted display 23, various displays 25, and other output devices 27 such as a speaker and a tactile display. . Thereby, the execution result of the application executed by the overall control unit 201 is provided to the user.
- the storage unit 209 is realized by, for example, a RAM or a storage device provided in the platform 20 according to the present embodiment.
- the storage unit 209 appropriately records various parameters, the progress of processing, or various databases and programs that need to be saved when the platform 20 according to the present embodiment performs some processing.
- the In particular, the storage unit 209 stores entity data related to an application for cooperation with an application executed by the information processing apparatus 10, setting data by a user in the application, and the like.
- the storage unit 209 in which such various types of information are stored is such that the overall control unit 201, the sensor output acquisition unit 203, the communication control unit 205, the output control unit 207, and the like freely perform data read / write processing. Is possible.
- each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
- the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
- a computer program for realizing each function of the platform according to the present embodiment as described above can be created and installed in a personal computer or the like.
- a computer-readable recording medium storing such a computer program can be provided.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
- the above computer program may be distributed via a network, for example, without using a recording medium.
- the information processing system 1 has been briefly described above with reference to FIGS. 1 to 3.
- FIG. 4 is a block diagram illustrating an example of the configuration of the information processing apparatus according to the present embodiment.
- 5A and 5B are explanatory diagrams illustrating an example of inappropriate information focused on by the information processing apparatus according to the present embodiment.
- FIG. 6 is an explanatory diagram illustrating a method for recognizing inappropriate information focused on by the information processing apparatus according to the present embodiment.
- FIG. 7 is a block diagram illustrating an example of a configuration of a control unit included in the information processing apparatus according to the present embodiment.
- FIG. 8 illustrates an example of a configuration of a reflection content determination unit included in the information processing apparatus according to the present embodiment.
- FIG. 9 is an explanatory diagram for explaining determination processing in the reflection content determination unit according to the present embodiment.
- 10A to 10D are explanatory diagrams for explaining an example of information correction processing in the information correction unit provided in the information processing apparatus according to the present embodiment.
- FIG. 11 is an explanatory diagram for explaining another example of the reflection content determination process in the information processing apparatus according to the present embodiment.
- 12A and 12B are explanatory diagrams schematically showing an example of a display screen in the information processing system according to the present embodiment.
- the information processing apparatus 10 executes various applications such as various game applications such as an online game and the above-described video sharing application, so that various types of information are exchanged between users operating the platform 20.
- various applications such as various game applications such as an online game and the above-described video sharing application, so that various types of information are exchanged between users operating the platform 20.
- the user performs an input operation on the platform 20 by physical movement or the like, but the user consciously or unconsciously specifies an action that gives discomfort to other users, or the individual user. Doing so may cause dangerous actions. Therefore, the information processing apparatus 10 according to the present embodiment considers the above-described operations that may cause discomfort to other users, dangerous operations, and the like as inappropriate operations. It automatically recognizes whether or not a physical motion corresponding to an inappropriate motion has been performed.
- the information processing apparatus 10 according to the present embodiment performs appropriate correction on information corresponding to the inappropriate operation. , And share the corrected information with other users.
- the information processing apparatus 10 As illustrated in FIG. 4, the information processing apparatus 10 according to the present embodiment that realizes the above functions mainly includes a recognition unit 101, a control unit 103, a communication control unit 105, and a storage unit 107. Prepare for.
- the recognition unit 101 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the recognizing unit 101 recognizes at least one of the user's operation or state using detection results of one or more sensors that detect at least one of the user's operation or state.
- the detection result of the sensor relating to at least one of the user's operation or state used for such recognition processing is transmitted from the platform 20 and acquired via the communication control unit 105 described later.
- the recognition unit 101 uses the sensor detection result transmitted from the platform 20 relating to at least one of the user's operation or state, and the sensor detection result and the user's The user's operation and state are recognized from the detection result of the sensor with reference to a database related to the association with the operation or the state.
- the recognizing unit 101 also determines whether or not the inappropriate operation described above has been performed by the user through the above-described recognition processing.
- an inappropriate operation and the like will be described more specifically with reference to FIGS. 5A and 5B.
- the improper operation that the recognition unit 101 focuses on as shown in FIG. 5A and FIG. 5B, the user's physical operation, the user's facial expression, the visual operation, the tactile operation, etc. It can be broadly classified into user's biological information, user's personal information, etc., such as actions related to olfaction.
- inappropriate actions associated with the user's physical actions include user's habits, actions unrelated to the application, unpleasant physiological phenomena, physiological phenomena that are not particularly unpleasant, , Insulting action, annoying action, etc.
- a habit is information that generally does not want to be known to others, and corresponds to information that others do not want to see too much.
- a characteristic characteristic of an individual there is a possibility that the individual is specified. Such disappearance is not particularly limited, and examples thereof include an operation of shaking a bottle, shaking a body, touching a specific part of the body, and the like.
- an operation unrelated to the application is performed by a user during information sharing, there may be a person who feels uncomfortable among others sharing the information.
- Such an operation not related to the application is not particularly limited, and examples thereof include an operation of touching a device not related to the application such as a smartphone or eating a candy.
- An unpleasant physiological phenomenon should be treated as an inappropriate action because some people feel uncomfortable.
- Such an unpleasant physiological phenomenon is not particularly limited, and examples thereof include physiological phenomena such as burping and farting.
- physiological phenomena such as burping and farting.
- Physiological phenomena such as hiccups and yawns are not unpleasant physiological phenomena, but they are worrisome when others perform such operations.
- physiological events as hiccups and yawns are operations that should be hidden from others if possible.
- actions represented by hand signs such as raising the middle finger and actions such as making money with the other party are avoided as actions that insult the other party.
- an operation such as attaching to the other party in the virtual space or simply repeating the same operation is an annoying operation. Such an operation is generally an operation that others feel unpleasant.
- inappropriate actions related to the user's facial expression include a user's crying face, a boring face, an angry face, and the like.
- Crying faces may not be seen by others, so it is preferable to treat them as inappropriate.
- others feel unpleasant, and when someone gets angry, they become unpleasant. Therefore, it is preferable to handle such a boring face or an angry face as an inappropriate motion.
- FIG. 5B As an inappropriate motion related to vision, as shown in FIG. 5B, for example, there is a motion such as turning a line of sight toward a specific target, a movement of the line of sight, and the like.
- the action of directing the line of sight toward a specific target may be able to estimate the user's interest and interest. For example, in an online game or the like, such an action is performed on other characters, and the direction of the line of sight May be uncomfortable for other users if it is recognized by others. Also, the fluctuation of the line of sight is not preferable because there is a possibility that an individual may be specified.
- mastication sounds can be cited as inappropriate movements related to hearing. It is conceivable that a mastication sound is detected when a user eats while sharing information via an application. However, since mastication sounds are generally unpleasant sounds, such sounds are preferably handled as inappropriate movements.
- an odor such as a body odor / perfume scent, a scent of a house / a dish, etc. If such an odor is shared with others, there may be a person who feels uncomfortable with such an odor among other users. Therefore, such an odor is preferably handled as an inappropriate operation.
- FIG. 5B As an inappropriate operation related to biometric information, as shown in FIG. 5B, there are a user's sweating state, a pulse, and the like. For example, if the user's sweating state is reproduced in an online game or the like, it is possible to add more reality to the virtual space, but there may be a person who feels uncomfortable among others. Also, even if a user's pulse is shared, it seems that few people feel uncomfortable, but analyzing the pulse may identify the user's disease or age This is not preferable. Therefore, it is preferable that such biological information is handled as an inappropriate operation or the like.
- Inappropriate operations related to personal information include information on the user's living environment, the user's name, etc., as shown in FIG. 5B. For example, if noise or the like around the user's residence has been detected, the user's residence may be specified.
- the user's residence may be specified.
- when sharing information with other users via an application for example, when a user's housekeeper calls the user's name or an object with the user's name appears in it For example, the user's name may be transmitted to others. Therefore, it is preferable that such information is also handled as an inappropriate operation.
- FIGS. 5A and 5B are merely an example, and can be handled as inappropriate operations other than the operations shown in FIGS. 5A and 5B.
- the recognition unit 101 can use a recognition method as shown in FIG. 6 in order to recognize an inappropriate operation or the like as shown in FIGS. 5A and 5B.
- the recognition unit 101 can use the detection result of the camera as the recognition method A. That is, the recognizing unit 101 uses the detection result obtained by tracking the user's movement, and determines whether or not “fake” or “operation not related to the application” has occurred depending on whether or not the target object has entered the target area. It is possible to recognize.
- the recognition unit 101 can use the detection result of a motion sensor such as an acceleration sensor or a gyro sensor as the recognition method B. That is, the recognition unit 101 can determine the user's movement based on the detection results of these motion sensors. In addition, the recognition unit 101 can learn a user's movement by a so-called machine learning process using a detection result of a motion sensor, and can predict and estimate a target action.
- the details of the motion determination process and the machine learning process are not particularly limited, and a known technique can be used.
- the recognition unit 101 can, for example, “fake”, “operation not related to the application”, “unpleasant physiological phenomenon”, “particularly unpleasant physiological phenomenon”, “insulting action”, “ It is possible to recognize whether or not “nuisance action” or the like has occurred.
- the recognition unit 101 can also use the detection result of the camera as the recognition method C. That is, the recognizing unit 101 can match a captured image obtained by capturing a user's motion with an image such as inappropriate behavior, and perform recognition according to the matching similarity. Such a matching process is not particularly limited, and a known matching process can be used. Through such a recognition process, the recognition unit 101 can, for example, “fake”, “operation unrelated to the application”, “humiliation operation”, “crying face”, “boring face”, “angry face”. It is possible to recognize whether or not an operation corresponding to “name” or the like has been performed.
- the recognition unit 101 can recognize the operation to be performed, information to be generated, and the like using the detection result from the environmental sensor existing around the platform 20 as the recognition method D. For example, based on the detection result of the illuminance sensor of the kitchen in the user's residence, it recognizes that the operation of cooking will be performed from now on, and further recognizes a series of operations and states such as generation of an odor accompanying cooking it can. In addition, with such a recognition method, the recognition unit 101 can recognize whether or not an operation corresponding to “information on living environment” or the like has been performed, for example.
- the recognition unit 101 can use the detection result of the odor sensor as the recognition method E. In other words, the recognizing unit 101 can analyze the generated odor using the detection result of the odor sensor and detect whether or not a specific odor has occurred. By such recognition processing, the recognition unit 101 can recognize whether or not an operation corresponding to, for example, “body odor / perfume fragrance”, “house odor / food odor”, or the like has occurred. It becomes.
- the recognition unit 101 can use the detection result of the motion sensor or the camera as the recognition method F and perform recognition based on whether or not the feature amount of the image of the acceleration sensor or the camera repeats a predetermined value. With such a recognition process, the recognition unit 101 can recognize whether or not an operation corresponding to the “nuisance operation” or the like has occurred, for example.
- the recognition unit 101 can perform a recognition process using the detection result of the microphone as the recognition method G. That is, the recognizing unit 101 learns or sets the wavelength and spectrum of a specific unpleasant sound in advance, and compares the sound input as the microphone detection result with the learning / recognition content, thereby obtaining the sound. Recognition processing can be performed. Accordingly, the recognition unit 101 can recognize whether or not an operation corresponding to “mastication sound”, “information on living environment”, “name”, and the like has occurred.
- the recognition unit 101 can perform a recognition process using the detection result of the vibration sensor as the recognition method H. That is, the recognizing unit 101 sets a threshold value related to the maximum amplitude of the wavelength, the average amplitude value within a predetermined time, and the like in advance, and the threshold in which the maximum amplitude and average amplitude value of the wavelength calculated from the detection result of the vibration sensor are set It is possible to perform recognition processing related to tactile sensation based on whether or not. Thereby, the recognition unit 101 can recognize whether or not an operation corresponding to “a vibration exceeding a predetermined intensity or a continuous vibration” or the like has occurred.
- the recognition unit 101 can perform recognition processing using the detection result of the biosensor as the recognition methods I and J. That is, the recognizing unit 101 specifies the amount of sweat from the detection result from the biological sensor (particularly, the sweat sensor), and whether or not an operation corresponding to “sweat” has occurred based on whether or not a predetermined threshold is exceeded. Can be recognized. The recognizing unit 101 analyzes the feature amount from the detection result from the biological sensor (particularly, the pulse wave sensor), and determines whether the “pulse” is based on whether a predetermined feature amount such as age or disease is included. It is possible to recognize whether or not a corresponding operation has occurred.
- the recognition unit 101 can perform a recognition process using the detection result of the camera as the recognition method K. That is, the recognizing unit 101 can determine the direction of the line of sight by estimating the position of the line of sight from the detection result of the camera (ie, the captured image) by a known method. Here, the position of the line of sight can be estimated by a known machine learning process. By performing such recognition processing, for example, the recognition unit 101 can recognize whether or not an operation or the like corresponding to “turn a line of sight toward a specific target”, “gaze fluctuation”, or the like has occurred. Become.
- the recognition unit 101 can perform various recognition processes by appropriately combining some of the recognition methods A to K as shown in FIG. Further, the recognizing unit 101 can recognize various operations, situations, and the like using a known recognition method other than the recognition methods A to K shown in FIG.
- the control unit 103 displays information on the obtained recognition result. Output to.
- control unit 103 included in the information processing apparatus 10 according to the present embodiment will be described in detail.
- the control unit 103 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the control unit 103 comprehensively controls functions and operations of the information processing apparatus 10 according to the present embodiment.
- the recognition unit 101 detects an operation or state of a specific user
- the control unit 103 performs an operation on a target that is different from a user who focuses on information on the detected operation or state of the specific user.
- the degree of reflection which is the degree to which information related to the operation or state of the specific user is reflected in the notification information transmitted in accordance with the target, is controlled.
- control unit 103 corrects the content of the recognized user operation or state according to the recognition result by the recognition unit 101, and notifies the corrected user operation or state information to the notification information. To reflect. That is, the control unit 103 (a) suppresses the content of information related to the user's action or state, (b) replaces the content of information related to the user's action or state with other content, or (c) the user.
- the correction in any one of (a) to (d), in which a part of the content of the information related to the operation or the state of the user is concealed or (d) the entire content of the information related to the user's operation or the state is concealed. You may choose.
- control unit 103 that performs such processing includes a reflection content determination unit 121, an information correction unit 123, and an application execution unit 125.
- the reflection content determination unit 121 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the reflection content determination unit 121 refers to the information related to the recognition result output from the recognition unit 101 to confirm what kind of physical movement or the like has been performed by the user of the platform 20 that is focused on. It is a processing unit that determines how much information corresponding to the body motion or the like is reflected on a subject other than the user of interest according to the broken body motion or the like.
- a target other than the target user for example, another user who uses an application that provides a virtual space shared by a plurality of users, the virtual space itself, or the first user
- Other users who use an application that provides a video sharing function for sharing the image of the space being viewed with the second user can be cited.
- the reflection content determination unit 121 refers to the information related to the recognition result output from the recognition unit 101, and pays attention when an inappropriate operation or the like as illustrated in FIGS. 5A and 5B is not performed. It is determined that the information may be reflected without correction on the target other than the user. Then, the reflection content determination unit 121 outputs the information related to the recognition result output from the recognition unit 101 to the application execution unit 125 described later as it is, and reflects it in the execution of the application.
- the reflection content determination unit 121 refers to the information related to the recognition result output from the recognition unit 101, and performs an inappropriate operation or the like as illustrated in FIGS. 5A and 5B. It is determined how much information is to be reflected to a target other than the user of interest, according to the inappropriate operation.
- the reflection content determination unit 121 includes information indicating the degree of reflection in the notification information notified to a target other than the target user, and information regarding the recognition result output from the recognition unit 101. Then, the information is output to the information correcting unit 123 described later, and information including an inappropriate operation is appropriately corrected.
- the reflection content determination unit 121 that performs such processing includes, for example, an information type determination unit 131, a relationship determination unit 133, and a reflection content determination unit 135 as illustrated in FIG. Yes.
- the information type determination unit 131 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the information type determination unit 131 refers to the recognition result output from the recognition unit 101 and first determines whether or not an inappropriate operation or the like as illustrated in FIGS. 5A and 5B has been performed. When it is determined that an inappropriate operation or the like has not been performed, the information type determination unit 131 notifies the reflection content determination unit 135 described later to that effect.
- the information type determination unit 131 determines the type of information indicating the performed inappropriate operation or the like. That is, the information type discriminating unit 131 refers to the information indicating the recognition result regarding the improper operation performed, and determines which of the following four categories the improper operation belongs to. to decide.
- the information type determination unit 131 refers to the information related to the recognition result, and first determines whether information regarding an inappropriate operation or the like is included (determination 1).
- the information type determination unit 131 determines that the information may be transmitted to another person without correcting the information regarding the recognition result. (Process 1).
- the information type determination unit 131 may not be an inappropriate operation or the like if the level of information related to the inappropriate operation or the like is subsequently suppressed. Judgment is made (decision 2).
- “suppressing the degree” means, for example, reducing the expression level when an inappropriate action related to the expression is performed (for example, an extremely angry expression as shown in FIG. 10A, When an inappropriate motion or the like is corrected to a slightly angry facial expression, for example, as a vector quantity, this means an operation of reducing the vector size while keeping the vector direction unchanged.
- the information type determination unit 131 determines that the recognition result of interest is information classified into the above (1), and suppresses the degree. Then, it is determined that the information should be transmitted to another person (processing 2).
- the information type determination unit 131 can replace information indicating an inappropriate action or the like. It is determined whether or not (decision 3).
- “replace” means, for example, that the expression itself is changed when an inappropriate action related to the expression is performed (for example, a very angry expression as shown in FIG. 10B is laughed). This means an operation that changes the vector direction itself when an inappropriate motion or the like is considered as a vector quantity.
- the information type determination unit 131 determines that the recognition result of interest is information classified into (2) above, and after replacing the information, Is determined to be transmitted (process 3).
- the information type determination unit 131 hides only information representing the inappropriate operation or the like. It is determined whether or not it is possible (decision 4). For example, as shown in FIG. 10C, consider a case where a hand sign corresponding to “insulting action” is performed as a physical action. At this time, even if the mosaic is applied only to the part corresponding to the hand sign, or the part corresponding to the hand sign is deleted, the information about the user's operation etc. is established as a whole The information type discriminating unit 131 determines that the recognition result of interest is information classified into the above (3), and conceals the information of the corresponding part and transmits it to the other party. Determine (Process 4).
- the information type determination unit 131 determines whether only an inappropriate motion or the like cannot be concealed, such as a gesture using the whole body or a case where the motion is fast and only a part cannot be concealed.
- the recognition result of interest is determined to be the information classified into (4) above, and for example, as shown in FIG. It is determined that it is sufficient to conceal all of the information, such as or not, and send it to the other person (Process 5).
- the information type determination unit 131 objectively determines an operation or the like included in the recognition result, and determines what type of information the operation or the like corresponding to the recognition result is.
- the information type determination unit 131 outputs the obtained determination result to the reflection content determination unit 135.
- the relationship determination unit 133 is realized by a CPU, a ROM, a RAM, and the like, for example.
- the relationship determination unit 133 is a processing unit that determines what kind of relationship there is between the focused user and an object different from the focused user.
- the reflection content determination unit 135 determines the information types (1) to (4) determined by the information type determination unit 131. To the extent that inappropriate operation or the like does not exist, the reflection content of the information related to inappropriate operation or the like is determined based on preset setting information. However, if there is a specific relationship between the focused user and a target different from the focused user, the reflection content determining unit 135 is exceptionally ineffective. It is preferable to mitigate the reflection of information regarding appropriate operations and the like to others.
- the relationship determination unit 133 refers to user information related to the user and setting information related to the application stored in the storage unit 107 and the like, and information related to the execution status of the application obtained from the application execution unit 125 described later. The relationship between the focused user and the target different from the focused user is determined.
- the storage unit 107 and the like hold various types of user information including application execution statuses and the like regarding all users of the application (for example, an application sharing a virtual space such as an online game). .
- application setting information that is, basic application setting information for all users
- application setting information at the application execution level in the information processing apparatus 10 or the platform 20, or each user has set uniquely. It is assumed that all setting information related to the application, such as application setting information, is held. In this setting information, for example, an inappropriate operation as shown in FIG. 5A or FIG. It is assumed that a static condition setting is described such as how much the reflection of the information is accepted when the user performs an inappropriate operation or the like.
- the relationship determination unit 133 refers to the user information of all users that should reflect the user action or the like to which attention is paid.
- the relationship between characters acting on behalf of the user in the application that is, in a virtual space called a game). That is, the character A in the virtual space corresponding to the user A and the character B in the virtual space corresponding to the user B are active together in the virtual space for a predetermined time or more, and are intimate characters. It can be determined that the relationship between the user A corresponding to the character A and the user B corresponding to the character B is intimate.
- the relationship determination unit 133 can determine that the degree of information suppression between the user A and the user B is relaxed with respect to the degree of information amount suppression.
- the degree of reflection that is statically determined in advance based on “setting information”, such as the degree of reflection of inappropriate actions related to the facial expression of the user is a dynamic condition of the relationship between characters. Based on the exception, it is handled exceptionally to the extent that it is tolerable.
- the relationship determination unit 133 refers to the user information as described above. For example, the relationship between the users, such as whether or not the user A has set the user B as “friend”, age, sex, application It is also possible to determine the relationship between users by paying attention to various attributes such as the total execution time. In this case, the relationship determination unit 133 relaxes the degree of suppression of the information amount as the relationship or attribute as described above is closer, and increases the suppression of the information amount as the relationship or attribute is farther away. be able to. Also in this case, the reflection degree statically determined in advance based on the “setting information” is exceptionally processed based on a dynamic condition of the relationship between users.
- the determination process of the relationship between characters / users as described above is performed independently for all users who should reflect the user's attention and the like.
- the relationship determination unit 133 may determine the relationship between the user of interest and the application itself.
- the application executed in the information processing apparatus 10 is a game such as an online game
- various events occur in a virtual space called a game.
- the relationship determination unit 133 may determine that the degree of reflection of an inappropriate action or the like is exceptionally processed so that the atmosphere of the event is not destroyed by the user action. In this way, for example, when a sad event occurs in a virtual space called a game, the degree of information reflection is controlled so that even if the user performs a playful action that breaks the atmosphere of the place, the action is not reflected It becomes possible to do.
- the relationship determination unit 133 outputs the determination result of the relationship between the focused user and the target different from the focused user to the reflection content determination unit 135 described later. To do.
- the reflection content determination unit 135 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the reflection content determination unit 135 uses the determination result by the information type determination unit 131 and the determination result by the relationship determination unit 133 to change the operation or state of the focused user from the focused user. Determine the details of how much to reflect on the target.
- the reflection content determination unit 135 does not perform an inappropriate operation or the like, and may reflect the target user's operation or state without being suppressed. If it can be determined automatically, the fact is output to the application execution unit 125.
- the reflection content determining unit 135 determines that an inappropriate operation or the like is being performed, the type of information regarding the inappropriate operation or the like, and various relationships as described above, Determine the degree of information reflection.
- the reflection content determination unit 135 basically reflects information on improper operations to others based on setting information set in advance to the extent that improper operations do not exist. Determine the content. That is, the reflection content determination unit 135 reflects the reflection content based on the relationship between the parties to whom information is exchanged according to the setting information of the user on the information transmission side and the setting information of the user on the information reception side ( That is, the degree of correction of information) is determined. In addition, the reflection content determination unit 135 is not only for parties to whom information is exchanged, but also for user setting information that simply shares information in a broad sense, such as a third party other than the parties in the game, for example. Further, the reflection contents may be determined secondarily based on the above.
- the reflection content determination unit 135 may exceptionally determine the reflection content (degree of information correction) according to the dynamic relationship between the user and the target, or the information transmission side Reflection based on both the user's setting information and the user's setting information on the information receiving side, the relationship between the parties to whom the information is exchanged and the dynamic relationship between the user and the target
- the content degree of information correction
- the reflection content determination unit 135 determines the reflection content of the information in this manner, the reflection content determination unit 135 outputs the determined content to the information correction unit 123.
- the reflection content determination unit 121 determines the reflection content based only on the content of the recognition result by the recognition unit 101.
- the reflection content may be determined based on the location (area) where the sensor detection result used for the processing is obtained. That is, the reflection content determination unit 121 does not reflect the recognition result corresponding to the corresponding sensor detection result when the sensor detection result used in the recognition process by the recognition unit 101 is not obtained at a predetermined location. It may be processed. For example, as schematically illustrated in FIG. 11, consider a case where a virtual boundary line is set in advance based on the positional relationship with the platform 20. At this time, the reflection content determination unit 121 performs processing such as using only the recognition result obtained from the sensor detection result detected at a predetermined position in the installation space of the platform 20 for determination of the reflection content. Is also possible.
- the information correction unit 123 included in the control unit 103 according to the present embodiment will be described.
- the information correction part 123 is implement
- the correction process performed by the information correction unit 123 is performed by (a) suppressing the degree of the content of information related to the user's action or state, and (b) changing the content of information related to the user's action or state.
- 4 types of processing (c) conceal part of the content of information related to the user's action or state, and (d) conceal all content of information related to the user's action or state. It can be divided roughly.
- the information correction unit 123 suppresses the degree of information content, for example, it suppresses the degree of facial expression, reduces the amount of sweat, and prevents the character corresponding to the user from sticking for a long time.
- a correction method such as applying a filter to a specific band of a waveform signal corresponding to vibration or the like is adopted.
- the information correcting unit 123 When replacing information, for example, the information correcting unit 123 replaces an unpleasant motion with another motion, replaces the motion with a template and normalizes the information, and converts the sound or vibration into another sound or vibration.
- a correction method such as replacing or superimposing noise, replacing an image representing a facial expression or the like is adopted.
- the information correction unit 123 When concealing part of the information, for example, the information correction unit 123 applies a mosaic to a specific action or expression, deletes only a specific sound or vibration, or deletes a specific feature amount from pulse information. A correction method such as, etc. is adopted.
- the information correcting unit 123 When concealing all the information, for example, the information correcting unit 123 deletes the player or stops updating when a specific action is detected, or deletes all sounds for a certain period when a specific sound is detected. A correction method such as deleting all vibrations when a specific vibration is detected is adopted.
- the correction process performed by the information correction unit 123 is not limited to the four types (a) to (d) described above, and is not appropriate by appropriately combining any of the four types of correction processes. It is possible to correct information regarding the operation and the like.
- the information correction unit 123 performs the correction process as described above in consideration of the culture of the user with whom information is shared.
- information related to inappropriate operations, etc., information used for replacement, etc. in the storage unit 107, etc. differ due to differences in countries, cultures, etc. This can be implemented by creating a database or the like indicating whether or not there is a meaning in advance and further referring to the database or the like.
- the recognized information may be different from the information to be corrected, such as "After recognizing a specific action, correct information related to other actions related to the specific action".
- the information correction unit 123 exceptionally records a correction process when the recognized information is different from the information to be corrected for a specific operation as described above in a database or the like, and performs more detailed information correction. Processing may be executed.
- the information correcting unit 123 hides the information regardless of the determination result. Also good.
- the information correction unit 123 performs the correction process as described above, and then outputs the corrected information to the application execution unit 125.
- the application execution unit 125 is realized by, for example, a CPU, a ROM, a RAM, and the like.
- the application execution unit 125 is a processing unit that executes an application realized as a function of the information processing apparatus 10 according to the present embodiment. Further, the application execution unit 125 responds to a user input using information output from the reflection content determination unit 121 and the information correction unit 123 when a user input is made by a physical motion or the like from a certain user. Reflect the information in the application. Thereafter, the application execution unit 125 transmits information regarding the execution state of the application after the information reflection to each platform 20 as notification information via the communication control unit 105 described later. Thereby, the user of the platform 20 connected to the information processing apparatus 10 can grasp the notification information obtained from the application executed on the information processing apparatus 10 at any time.
- the application execution unit 125 performs correction when the information correction unit 123 according to the present embodiment corrects information reflected in the application due to physical movement performed by a certain user. You may make it notify a user to the effect.
- the specific method of such notification is not particularly limited.
- the application execution unit 125 displays an object such as an icon indicating that correction has been made on the display screen of the platform 20. You may do it.
- FIGS. 12A and 12B An example of such an object is shown in FIGS. 12A and 12B, taking as an example the case where an online game is executed as an application.
- a reflection degree presenting object which is an object representing the degree of information reflection
- This reflection degree presentation object is an object using an arrow and indicates how much information is suppressed between a user who is viewing the display screen and another user.
- a right-pointing arrow represents a reflection degree of information transmitted from another user to itself
- a left-pointing arrow represents a reflection degree of information transmitted from itself to another user. Represents.
- This object is set so that the size of the corresponding arrow becomes shorter as the information being transmitted and received is suppressed. By displaying such an object, the user can easily determine whether or not the information is suppressed by the information processing apparatus 10.
- the reflection degree presenting object as shown in FIG. 12A may be displayed not only on the user information display area of the display screen but also at a position such as on the head of the character graphic as shown in FIG. 12B, for example. Needless to say, good things.
- control unit 103 The configuration of the control unit 103 according to the present embodiment has been described in detail above.
- the case where the information processing apparatus 10 is executing a game application such as an online game has been described in detail as a specific example.
- the information correction processing as described above is performed as follows.
- the present invention can be similarly applied to an application that provides a video sharing function for sharing a video of a space visually recognized by the first user with the second user.
- inappropriate information is included in the video corresponding to the space visually recognized by the user A, and that an inappropriate motion is included in the head or line of sight of the user A.
- inappropriate information is included in the video, as in the case of the game application, it is inappropriate by performing mosaic processing on the inappropriate information or deleting the corresponding information.
- Information can be deleted.
- inappropriate information is included in the transmitted information. Also in this case, as in the case of the game application, it is possible to conceal an inappropriate operation by replacing information or suppressing the degree.
- the user B indirectly transmits the operation to the user A by using a gesture input device. Even in this case, there is a possibility that an unintended movement of the user B is transmitted to the user A. Even in this case, it is possible to perform the same information correction processing as in the case of the game application. For example, the movement of user B is monitored using a camera, a motion sensor, etc., and information that is transmitted from the gesture input device is intentionally suppressed when an inappropriate operation occurs. It is possible to prevent appropriate information from being transmitted to the user A.
- the communication control unit 105 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
- the communication control unit 105 is a processing unit that controls communication between the information processing apparatus 10 and the platform 20 via the network 3. Through this communication control unit 105, the recognition unit 101 and the control unit 103 acquire various data and information such as sensor output data and setting data by the user of the application from each platform 20, and On the other hand, it is possible to transmit various types of information representing the execution status of the application including the notification information as described above.
- the storage unit 107 is realized by, for example, a RAM or a storage device included in the information processing apparatus 10 according to the present embodiment.
- various parameters, intermediate progress of processing, and various databases and programs that need to be saved when the information processing apparatus 10 according to the present embodiment performs some processing are appropriately stored.
- the storage unit 107 records entity data related to the application executed by the information processing apparatus 10, setting data by all users in the application, user information related to all users using the application, and the like. Has been.
- the storage unit 107 in which such various types of information are stored can be freely read / written by the recognition unit 101, the control unit 103, the communication control unit 105, and the like.
- each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
- the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
- a computer program for realizing each function of the information processing apparatus according to the present embodiment as described above can be produced and installed in a personal computer or the like.
- a computer-readable recording medium storing such a computer program can be provided.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
- the above computer program may be distributed via a network, for example, without using a recording medium.
- FIG. 13 is a flowchart illustrating an example of the flow of the information processing method according to the present embodiment.
- the communication control unit 105 acquires information related to the detection result of the sensor related to the user's operation / state transmitted from each platform 20 (step S101). Thereafter, the communication control unit 105 outputs information regarding the acquired sensor detection result regarding the user's operation / state to the recognition unit 101 and the control unit 103.
- the recognition unit 101 of the information processing apparatus 10 recognizes the user's operation and state from the acquired sensor detection result using the recognition method as described above (step S103).
- the recognition unit 101 outputs the obtained recognition result to the control unit 103 when the recognition result regarding the user's operation or state is obtained from the sensor detection result.
- the control unit 103 of the information processing apparatus 10 refers to the recognition result of the recognition unit 101 and performs the process as described above to determine the degree of reflection of the information related to the user's operation and state in the notification information ( Step S105). Thereafter, based on the obtained determination result, the control unit 103 determines whether or not information (inappropriate information) related to an inappropriate operation exists in the information related to the user's operation or state obtained. Confirm (step S107).
- step S111 If the inappropriate information is not included in the information related to the user's operation and state, the control unit 103 executes the operation of the following step S111. On the other hand, if the information related to the user's operation and state includes inappropriate information, the control unit 103 performs the process described above according to the target information sharing target. The information is corrected (step S109). Thereafter, the control unit 103 executes the operation of step S111 using the obtained corrected information.
- the control unit 103 pays attention.
- Information on the operation and state of the user is output as notification information and shared with other users (step S111).
- FIGS. 14A to 15D are explanatory views schematically showing modifications of the platform according to the present embodiment.
- 15A to 15D are explanatory diagrams illustrating an example of the flow of the information processing method according to the present modification.
- the case where the above recognition processing and information correction processing are performed mainly by the information processing apparatus 10 has been described in detail.
- at least one of the recognition unit 101 or the control unit 103 of the information processing apparatus 10 illustrated in FIG. 4 is realized by being distributed to a plurality of computers.
- Recognition processing and information correction processing may be realized.
- at least one of the recognition unit 101 or the control unit 103 of the information processing apparatus 10 illustrated in FIG. 4 is realized by being distributed between the information processing apparatus 10 and each platform 20 and is performed by the information processing apparatus 10. At least a part of the processing and the information correction processing may be performed on the platform 20.
- the example illustrated in FIG. 14A schematically illustrates a case where the functions of the recognition unit 101 among the processing units included in the information processing apparatus 10 illustrated in FIG. Yes.
- the recognition unit 221 having the same function and the same configuration as the recognition unit 101 of the information processing apparatus 10 according to the present embodiment is realized as one function of the overall control unit 201 of the platform 20.
- the communication control unit 105 included in the information processing apparatus 10 functions as an acquisition unit that acquires information indicating a recognition result by the recognition unit 221 of the platform 20, for example.
- the functions of the control unit 103 are The case where it is implemented in a distributed manner on the platform 20 is schematically shown.
- the information reflection control unit 223 having the same function and the same configuration as the control unit 103 of the information processing apparatus 10 according to the present embodiment is realized as one function of the overall control unit 201 of the platform 20.
- the communication control unit 205 included in the platform 20 functions as an acquisition unit that acquires information indicating a recognition result by the recognition unit 101 of the information processing apparatus 10, for example.
- the functions of the recognition unit 101 and the control unit 103 among the processing units included in the information processing apparatus 10 illustrated in FIG. This is shown schematically.
- the recognition unit 221 having the same function and the same configuration as the recognition unit 101 of the information processing apparatus 10 according to the present embodiment, and the same as the control unit 103 of the information processing apparatus 10 according to the present embodiment.
- the information reflection control unit 223 having the same configuration and the same configuration is realized as one function of the overall control unit 201 of the platform 20.
- FIG. 15A when describing the flow of processing when the information processing apparatus 10 performs processing mainly by focusing on the cooperation status between the information processing apparatus 10 and each platform 20, It becomes like FIG. 15A.
- the number of platforms 20 that cooperate with the information processing apparatus 10 is two for convenience.
- each platform 20 (platform A and platform B) has setting information (users) set by each user. Level setting information) is transmitted to the information processing apparatus 10 in advance (step S201). Further, in the information processing apparatus 10, setting information regarding all users acquired from each platform 20 is recorded in the storage unit 107 or the like (step S203).
- step S205 the user A who has the platform A transmits certain information using physical movements. Then, this information is transmitted to the information processing apparatus 10, and the information processing apparatus 10 is based on the determination criteria at the application level held in the storage unit 107 and all the setting information among the related users. Then, information recognition processing and correction processing as necessary are performed (step S207). Thereafter, the information processing apparatus 10 provides the corrected information as notification information to the platform B possessed by the user B (step S209).
- the information is displayed on the display screen using the notification information provided from the information processing apparatus 10 (step S211). Thereby, information is shared between user A and user B.
- FIG. 15B shows a case where processing is distributed between the information processing apparatus 10 and each platform 20.
- the user A who owns the platform A transmits certain information using physical motion or the like (step S221).
- the platform A recognizes and corrects the transmitted information based on the setting as the platform A (that is, setting information at the platform level) recorded in the platform A (step S223).
- the platform A performs recognition / correction at a level specialized for the user A based on the user setting (step S225).
- the platform A transmits information that has undergone the two-stage recognition / correction to the information processing apparatus 10.
- the information processing apparatus 10 When the information processing apparatus 10 acquires information from the platform A, the information processing apparatus 10 recognizes and corrects the acquired information again based on the application level determination criteria and setting information held in the storage unit 107 and the like (step S227). ) And provided as notification information to the platform B.
- the platform B Upon receiving the notification information, the platform B performs recognition and correction at a level specialized for the user B based on the user setting (step S229). Thereafter, the platform B displays the information on the display screen using the corrected information (step S231). Thereby, information is shared between user A and user B.
- FIG. 15B shows a case where information is recognized and corrected mainly by the platform A that is the sender of the information.
- each platform and the information processing apparatus 10 performs the recognition / correction process a plurality of times, and therefore there is a possibility that information sharing may be delayed depending on the state of the resource.
- step S241 the user A who owns the platform A transmits certain information using physical movements.
- the platform A recognizes the transmitted information based on the setting as the platform A (that is, the setting information at the platform level) recorded in the platform A (step S243). Thereafter, the platform A performs recognition at a level specialized for the user A based on the user setting (step S245). Thereafter, the platform A transmits information that has undergone two-stage recognition to the information processing apparatus 10.
- the information processing apparatus 10 When the information processing apparatus 10 acquires information from the platform A, the information processing apparatus 10 recognizes the acquired information again based on the application level determination criteria and setting information stored in the storage unit 107 or the like (step S247). Provide to platform B.
- the platform B receiving the information performs recognition at a level specialized for the user B based on the user setting (step S249). Thereafter, the platform B corrects the information based on all the recognition results in the platform A, the information processing apparatus 10, and the platform B (step S251). Thereafter, the platform B displays the information on the display screen using the corrected information (step S253). Thereby, information is shared between user A and user B.
- the example shown in FIG. 15C shows a case where information is corrected mainly by the platform B, which is the information receiver.
- the correction process is performed collectively on the platform that is the receiver of the information, so that useless parts of the entire system can be reduced.
- the load is concentrated on the platform that receives the information.
- the example illustrated in FIG. 15D illustrates a case where the information recognition process is distributed to each platform 20 and the correction process is performed by the information processing apparatus 10.
- the user A who owns the platform A transmits certain information using physical motion or the like (step S261).
- the platform A recognizes the transmitted information based on the setting as the platform A (that is, setting information at the platform level) recorded in the platform A (step S263). Thereafter, the platform A performs recognition at a level specialized for the user A based on the user setting (step S265). Thereafter, the platform A transmits information that has undergone two-stage recognition to the information processing apparatus 10.
- the information processing apparatus 10 When the information processing apparatus 10 acquires information from the platform A, the information processing apparatus 10 recognizes the acquired information again based on the application level determination criteria and setting information held in the storage unit 107 or the like (step S267). Provide to platform B.
- the platform B receiving the information performs recognition at a level specialized for the user B based on the user setting (step S269), and transmits the obtained recognition result to the information processing apparatus 10.
- the information processing apparatus 10 When the information processing apparatus 10 obtains the recognition result by the platform B, the information processing apparatus 10 corrects the information based on all the recognition results in the platform A, the information processing apparatus 10 and the platform B (step S271). B is provided as notification information.
- the platform B displays the information on the display screen using the notification information provided from the information processing apparatus 10 (step S273). Thereby, information is shared between user A and user B.
- FIG. 16 is a block diagram for describing a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
- the information processing apparatus 10 mainly includes a CPU 901, a ROM 903, and a RAM 905.
- the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
- a host bus 907 mainly includes a CPU 901, a ROM 903, and a RAM 905.
- the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
- the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
- the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
- the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
- the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
- PCI Peripheral Component Interconnect / Interface
- the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, remote control means (so-called remote controller) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 10. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. The user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 915.
- the output device 917 is a device that can notify the user of the acquired information visually or audibly.
- Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
- the output device 917 outputs results obtained by various processes performed by the information processing apparatus 10.
- the display device displays results obtained by various processes performed by the information processing device 10 as text or images.
- the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
- the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
- the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
- the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
- the drive 921 is a reader / writer for the recording medium, and is built in or externally attached to the information processing apparatus 10.
- the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
- the drive 921 can also write a record to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory that is mounted.
- the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray medium, or the like.
- the removable recording medium 927 may be a CompactFlash (registered trademark) (CompactFlash: CF), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
- CompactFlash registered trademark
- SD memory card Secure Digital memory card
- the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
- Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
- As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, and the like.
- the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
- the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
- the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
- the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
- the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
- each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
- the hardware configuration capable of realizing the function of the platform 20 according to the embodiment of the present disclosure is the same as the hardware configuration capable of realizing the function of the information processing apparatus 10, and thus detailed description thereof will be given below. Omitted.
- An acquisition unit that acquires a recognition result indicating at least one of a user's action or state, which is recognized by the recognition unit using detection results of one or more sensors;
- notification information that conveys information related to the action or state of the specific user to a target different from the user is included in the notification information of the specific user.
- An information processing apparatus comprising: (2) The control unit corrects the content of the recognized information on the user's operation or state according to the recognition result by the recognition unit, and reflects the corrected information on the user's operation or state in the notification information.
- the information processing apparatus according to (1).
- the control unit suppresses the content of the information on the user's operation or state, or replaces the content of the information on the user's operation or state with other content,
- the information processing apparatus changes the degree of correction according to a dynamic relationship between the user and the target.
- the control unit is configured to set the reflection level in the reflection-side setting information in the user who transmits information related to the user's operation or status and the reflection level in the user who receives information related to the user's operation or status.
- the information processing apparatus according to any one of (1) to (3), wherein the degree of correction is changed according to information.
- the control unit includes a dynamic relationship between a user on a side that transmits information on the operation or state of the user, and a user on a side that receives information on the operation or state of the user, and the operation of the user.
- the information processing apparatus according to any one of (1) to (3), wherein the degree of correction is changed.
- the said control part is the display which the said 1st user and the said 2nd user refer to the object showing the said reflection degree of the information regarding the said user's operation
- the information processing apparatus according to any one of (1) to (6), which is displayed on a screen.
- the specific user action or state is at least one of a user's physical action, a user's facial expression, biometric information about the user, a scent or sound existing around the user or the user, and vibrations.
- the information processing apparatus according to any one of (7).
- the sensor is at least one of a camera, a motion sensor, an atmospheric pressure sensor, an odor sensor, a vibration sensor, a microphone, an illuminance sensor, and a biological sensor.
- the target is another user who uses an application that provides a virtual space shared among a plurality of users.
- the target is another user who uses an application that provides a video sharing function for sharing a video of a space visually recognized by the first user with the second user.
- (1) to (9) The information processing apparatus according to any one of the above.
- (12) The information processing apparatus according to any one of (1) to (11), wherein at least one of the recognition unit and the control unit is realized by being distributed to a plurality of computers.
- (13) Obtaining a recognition result indicating at least one of a user's action or state recognized by the recognition unit using detection results of one or a plurality of sensors; When it is determined that the recognition result indicates an action or state of a specific user, notification information that conveys information related to the action or state of the specific user to a target different from the user is included in the notification information of the specific user.
- a computer capable of acquiring a recognition result by a recognition unit that recognizes at least one of a user's action or state using detection results of one or more sensors, An acquisition function for acquiring a recognition result that is recognized by the recognition unit and indicates at least one of a user's action or state; When it is determined that the recognition result indicates an action or state of a specific user, notification information that conveys information related to the action or state of the specific user to a target different from the user is included in the notification information of the specific user.
- a control function for controlling the degree of reflection according to the target which is the degree of reflecting information about the operation or the state
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Environmental Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】身体動作等を行うことで生成される情報を他者と共有する場合に、不適切な身体動作等によって生成された情報が他者に伝達されることを抑制することが可能な、情報処理装置、情報処理方法及びプログラムを提案すること。 【解決手段】本開示に係る情報処理装置は、1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得部と、前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御部と、を備える。
Description
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、情報処理技術の発達に伴い、バーチャルリアリティ(Virtual Reality:VR)技術、特に、ヘッドマウントディスプレイ(Head Mounted Display:HMD)技術の進歩が目覚ましい。HMD技術を例えばゲームに応用し、HMDをユーザの頭に装着することで、ユーザは、没入感のあるゲームを体験することが可能となる。このようなゲームでは、通常のゲームパットではなく、身体動作をゲーム操作に用いることで、より没入感のある体験を可能としている(例えば、以下の特許文献1を参照。)。
しかしながら、これらのVR技術を用いると、あるユーザが視認している映像を遠隔地の他のユーザと共有する映像共有システムや、オンラインゲーム等では、身体動作がそのまま他のユーザに伝達されてしまう。そのため、ユーザが、他のユーザが不快に思う可能性のある動作等を思わず実施してしまった場合に、このような動作が他のユーザに伝達されてしまう可能性がある。
そのため、身体動作等を行うことで生成される情報を他者と共有する場合に、不適切な身体動作等によって生成された情報が他者に伝達されることを抑制可能な技術が求められる。
そこで、本開示では、身体動作等を行うことで生成される情報を他者と共有する場合に、不適切な身体動作等によって生成された情報が他者に伝達されることを抑制することが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得部と、前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御部と、を備える情報処理装置が提供される。
また、本開示によれば、1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得することと、前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御することと、を含む情報処理方法が提供される。
また、本開示によれば、1又は複数のセンサによる検出結果を利用して、ユーザの動作又は状態の少なくとも何れか一方を認識する認識部による認識結果を取得可能なコンピュータに、前記認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得機能と、前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御機能と、を実現させるためのプログラムが提供される。
本開示によれば、1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果が取得され、認識結果が特定のユーザの動作又は状態を示すと判断される場合に、特定のユーザの動作又は状態に関する情報をユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いが、対象に応じて制御される。
以上説明したように本開示によれば、身体動作等を行うことで生成される情報を他者と共有する場合に、不適切な身体動作等によって生成された情報が他者に伝達されることを抑制することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.情報処理システムについて
1.1.1.情報処理システムの全体構造について
1.1.2.プラットフォームの構成について
1.2.情報処理装置について
1.3.情報処理方法について
1.4.変形例について
2.ハードウェア構成について
1.第1の実施形態
1.1.情報処理システムについて
1.1.1.情報処理システムの全体構造について
1.1.2.プラットフォームの構成について
1.2.情報処理装置について
1.3.情報処理方法について
1.4.変形例について
2.ハードウェア構成について
(第1の実施形態)
<情報処理システムについて>
まず、図1~図3を参照しながら、本開示の第1の実施形態に係る情報処理システムの構成について、簡単に説明する。
図1は、本開示の第1の実施形態に係る情報処理システムを模式的に示した説明図である。図2A及び図2Bは、本実施形態に係る情報処理システムの機能の一例を模式的に説明した説明図である。図3は、本実施形態に係る情報処理装置と連携するプラットフォームの構成の一例を示したブロック図である。
<情報処理システムについて>
まず、図1~図3を参照しながら、本開示の第1の実施形態に係る情報処理システムの構成について、簡単に説明する。
図1は、本開示の第1の実施形態に係る情報処理システムを模式的に示した説明図である。図2A及び図2Bは、本実施形態に係る情報処理システムの機能の一例を模式的に説明した説明図である。図3は、本実施形態に係る情報処理装置と連携するプラットフォームの構成の一例を示したブロック図である。
[情報処理システムの全体構造について]
本実施形態に係る情報処理システム1は、図1に模式的に示したように、インターネット等の公知のネットワーク3により互いに接続された情報処理装置10と、複数のプラットフォーム20A,20B・・・(以下、複数のプラットフォームを、「プラットフォーム20」と総称することがある。)と、から構成されている。
本実施形態に係る情報処理システム1は、図1に模式的に示したように、インターネット等の公知のネットワーク3により互いに接続された情報処理装置10と、複数のプラットフォーム20A,20B・・・(以下、複数のプラットフォームを、「プラットフォーム20」と総称することがある。)と、から構成されている。
本実施形態に係る情報処理装置10は、各プラットフォーム20を介して複数のユーザが共有している情報について、ユーザ間での双方向の情報の送受信を仲介する装置である。この情報処理装置10は、以下で詳述するように、例えばオンラインゲーム等の所定のアプリケーションを実行することで、ネットワーク3上に仮想空間を創出し、この仮想空間を介して複数のユーザが情報を共有してもよい。また、この情報処理装置10は、以下で詳述するように、あるユーザが視認している空間に関する映像データを、遠隔地に存在している他のユーザに共有させるアプリケーションを実行することで、ネットワーク3を介して、複数のユーザが情報を共有してもよい。
この情報処理装置10の詳細な構成や機能については、以下で改めて説明する。
各ユーザが所持しているプラットフォーム20は、情報処理装置10において実施される各アプリケーションを介して情報を共有するためのハードウェアやソフトウェアを備えたコンピュータである。各ユーザは、このプラットフォーム20に対して身体動作等を利用したユーザ操作を行うことで、情報処理装置10を介して他のユーザとの間で情報を共有することが可能である。
なお、図1では、情報処理装置10に対して、ネットワーク3を介して2台のプラットフォーム20が接続している場合を図示しているが、情報処理装置10に接続しているプラットフォーム20の台数は2台に限定されるものではなく、情報処理装置10に3台以上のより多くのプラットフォーム20が接続されていてもよいことは言うまでもない。
続いて、図2A及び図2Bを参照しながら、ユーザ間での情報の共有方法の具体例について、簡単に説明する。
図2Aは、情報処理装置10が、いわゆるオンラインゲーム等のユーザ没入型のアプリケーションを実行することで、ネットワーク3上にゲームの設定世界等の仮想空間を構築し、この仮想空間を介して、ユーザ間で情報が共有される場合のシステムを模式的に示したものである。この場合、情報処理装置10は、所定のアプリケーションを実行することで、ネットワーク3上に仮想空間を構築する。また、各プラットフォーム20は、情報処理装置10が実行しているアプリケーションに接続が可能な所定のアプリケーションを実行することで、ネットワーク3上に構築されている仮想空間にアクセスし、かかる仮想空間を介してユーザ間で情報を共有する。
各プラットフォーム20を所持しているユーザは、プラットフォーム20に有線又は無線により接続された各種センサ21やヘッドマウントディスプレイ23等を介して、身体動作等を利用したユーザ操作を実施する。ユーザが実施した身体動作等は、各種センサ21によって検出され、ユーザの動作や状態等に関するセンサ検出結果を表わす情報が、情報処理装置10へと出力される。また、プラットフォーム20は、プラットフォーム20に直接接続されている各種センサ21のみならず、プラットフォーム20がネットワーク3等を介して情報を取得可能な周囲の各種センサから、センサの検出結果に関する情報を取得することが可能である。
各種センサ21が検出するユーザの動作や状態に関する検出結果の一例としては、例えば、ユーザの身体的な動作や、ユーザの表情や、発汗状態や脈等のユーザの生体情報といった、ユーザの動作や状態に関する検出結果のみならず、ユーザやユーザの周囲に存在するにおいや、音や、振動などといった、ユーザを取り巻く環境に関する検出結果をも含むものとする。
本実施形態に係る情報処理装置10は、プラットフォーム20から出力された、ユーザの動作や状態等に関するセンサ検出結果を表わす情報を認識して、かかる情報の認識結果を、構築している仮想空間に反映させる。これにより、他のユーザは、ユーザの実施した身体動作や、それに伴って生じた仮想空間における現象を、共有することが可能となる。
ここで、各種センサ21やヘッドマウントディスプレイ23の実装状態については、特に限定されるものではなく、各種センサ21やヘッドマウントディスプレイ23が個別に存在していてもよいし、各種センサ21が組み込まれたヘッドマウントディスプレイ23が存在していてもよい。また、ユーザが入力操作を行うデバイスは、各種センサ21やヘッドマウントディスプレイ23等に限定されるものではなく、各種のウェアラブルデバイスを入力デバイスとして用いることが可能である。
また、各種センサ21の具体的な例は特に限定されるものではないが、例えば、測距カメラや赤外線カメラ等も含む各種カメラ、加速度センサやジャイロセンサのようなモーションセンサ、照度センサ、気圧センサ、においセンサ、マイクなどの音響センサ、振動センサ、発汗や脈拍等を含む各種の生体情報を検出可能な生体センサ等を挙げることができる。
図2Bは、情報処理装置10が、ユーザ間で映像データの共有を行うアプリケーションを実行し、このアプリケーションを介して、ユーザ間で情報が共有される場合のシステムを模式的に示したものである。この場合、情報処理装置10は、所定のアプリケーションを実行することで、あるプラットフォーム20から送信される、ユーザの視認している空間に関する撮像データを記録するとともに、プラットフォーム20間の相互通信を仲介する。また、各プラットフォーム20は、所定のアプリケーションを実行することで、情報処理装置10を介して映像データの共有や、映像データの単独での操作を行う。
各プラットフォーム20を所持しているユーザは、プラットフォーム20に有線又は無線により接続された各種センサ21を装着しながら、ユーザの存在している空間を視認することで、空間に関する映像データや、かかる空間に関する他のセンサ検出データを生成し、ユーザが視認中の空間に関するセンサ検出結果を表わす情報が、情報処理装置10へと出力される。これにより、他のユーザは、あるユーザが視認している空間に関する各種の情報を共有することが可能となる。
以上、図1~図2Bを参照しながら、本実施形態に係る情報処理システム1の全体構成について、簡単に説明した。
[プラットフォームの構成について]
次に、図3を参照しながら、本実施形態に係る情報処理システム1を構成するプラットフォーム20の構成の一例を、簡単に説明する。図3は、本実施形態に係る情報処理装置と連携するプラットフォームの構成の一例を示したブロック図である。
次に、図3を参照しながら、本実施形態に係る情報処理システム1を構成するプラットフォーム20の構成の一例を、簡単に説明する。図3は、本実施形態に係る情報処理装置と連携するプラットフォームの構成の一例を示したブロック図である。
本実施形態に係るプラットフォーム20は、例えば図3に示したように、統括制御部201と、センサ出力取得部203と、通信制御部205と、出力制御部207と、記憶部209と、を主に備える。
統括制御部201は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により実現される。統括制御部201は、プラットフォーム20で実行される各種の機能や動作を統括的に制御する処理部である。統括制御部201は、例えば後述する記憶部209等に格納されている各種のアプリケーションを実行することで、プラットフォーム20にアプリケーションに対応する機能を実現させることができる。この際、統括制御部201は、記憶部209等に格納されている設定データ等を適宜参照しながら、プラットフォーム20において各種のアプリケーションを実行していく。
この統括制御部201は、後述するセンサ出力取得部203が取得した、身体動作等によるユーザ操作の情報を取得して、かかるユーザ操作に応じてアプリケーションの実行を制御するとともに、取得したセンサの出力結果に関する情報を、後述する通信制御部205を介して情報処理装置10に出力する。また、統括制御部201は、通信制御部205を介して取得した情報処理装置10からの出力を、アプリケーションの実行に反映させるとともに、後述する出力制御部207を介して、アプリケーションの実行結果をユーザに出力する。
センサ出力取得部203は、例えば、CPU、ROM、RAM、入力装置、通信装置等により実現される。センサ出力取得部203は、上記のような各種センサ21が検出した、ユーザの動作又は状態の少なくとも何れか一方に関するセンサ出力のデータを取得する。センサ出力取得部203が取得した各種センサ21からのセンサ出力のデータは、統括制御部201に出力されて、統括制御部201が実行している各種アプリケーションの制御に用いられる。また、このセンサ出力のデータは、統括制御部201及び通信制御部205を介して、情報処理装置10へと出力される。
通信制御部205は、例えば、CPU、ROM、RAM、通信装置等により実現される。通信制御部205は、ネットワーク3を介したプラットフォーム20と情報処理装置10との間の通信を制御する処理部である。この通信制御部205を介して、統括制御部201は、センサ出力のデータや、アプリケーションのユーザによる設定データ等といった各種のデータや情報を、情報処理装置10に出力するとともに、情報処理装置10から各種のデータや情報を取得することが可能となる。
出力制御部207は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。出力制御部207は、統括制御部201から出力された各種のデータや情報を、ユーザに対して五感情報を伝達することが可能な出力装置に出力するための制御を行う処理部である。このような出力装置としては、例えば、プラットフォーム20に接続された各種センサ21等や、ヘッドマウントディスプレイ23や、各種のディスプレイ25や、スピーカ、触覚ディスプレイ等のようなその他の出力装置27等がある。これにより、統括制御部201によって実行されるアプリケーションの実行結果が、ユーザに提供される。
記憶部209は、例えば本実施形態に係るプラットフォーム20が備えるRAMやストレージ装置等により実現される。記憶部209には、本実施形態に係るプラットフォーム20が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。特に、この記憶部209には、情報処理装置10が実行するアプリケーションと連携を図るためのアプリケーションに関する実体データや、かかるアプリケーションでのユーザによる設定データ等が記録されている。このような各種の情報が格納されている記憶部209は、統括制御部201、センサ出力取得部203、通信制御部205、出力制御部207等が、データのリード/ライト処理を自由に行うことが可能である。
以上、本実施形態に係るプラットフォーム20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係るプラットフォームの各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、図1~図3を参照しながら、本実施形態に係る情報処理システム1について、簡単に説明した。
<情報処理装置について>
次に、図4~図12Bを参照しながら、本実施形態に係る情報処理装置について、詳細に説明する。
図4は、本実施形態に係る情報処理装置の構成の一例を示したブロック図である。図5A及び図5Bは、本実施形態に係る情報処理装置で着目する不適切な情報の一例を示した説明図である。図6は、本実施形態に係る情報処理装置で着目する不適切な情報の認識手法を示した説明図である。図7は、本実施形態に係る情報処理装置が備える制御部の構成の一例を示したブロック図であり、図8は、本実施形態に係る情報処理装置が備える反映内容判断部の構成の一例を示したブロック図である。図9は、本実施形態に係る反映内容判断部における判断処理を説明するための説明図である。図10A~図10Dは、本実施形態に係る情報処理装置が備える情報修正部における情報修正処理の一例を説明するための説明図である。図11は、本実施形態に係る情報処理装置における反映内容判断処理の他の一例を説明するための説明図である。図12A及び図12Bは、本実施形態に係る情報処理システムにおける表示画面の一例を模式的に示した説明図である。
次に、図4~図12Bを参照しながら、本実施形態に係る情報処理装置について、詳細に説明する。
図4は、本実施形態に係る情報処理装置の構成の一例を示したブロック図である。図5A及び図5Bは、本実施形態に係る情報処理装置で着目する不適切な情報の一例を示した説明図である。図6は、本実施形態に係る情報処理装置で着目する不適切な情報の認識手法を示した説明図である。図7は、本実施形態に係る情報処理装置が備える制御部の構成の一例を示したブロック図であり、図8は、本実施形態に係る情報処理装置が備える反映内容判断部の構成の一例を示したブロック図である。図9は、本実施形態に係る反映内容判断部における判断処理を説明するための説明図である。図10A~図10Dは、本実施形態に係る情報処理装置が備える情報修正部における情報修正処理の一例を説明するための説明図である。図11は、本実施形態に係る情報処理装置における反映内容判断処理の他の一例を説明するための説明図である。図12A及び図12Bは、本実施形態に係る情報処理システムにおける表示画面の一例を模式的に示した説明図である。
本実施形態に係る情報処理装置10は、例えばオンラインゲーム等の各種ゲームアプリケーションや、前述の映像共有アプリケーション等といった各種のアプリケーションを実行することで、プラットフォーム20を操作しているユーザ間で各種の情報を共有させる装置である。ユーザは、プラットフォーム20に対し、身体動作等により入力操作を行うが、ユーザは、意識的に、又は、無意識に、他のユーザに対して不快感を与えるような動作や、ユーザ個人が特定されてしまうような危険な動作を行ってしまう可能性がある。そこで、本実施形態に係る情報処理装置10は、上記のような、他のユーザに対して不快感を与えかねないような動作や危険な動作をまとめて不適切な動作等と考え、ユーザが不適切な動作に対応する身体動作を行ったか否かを自動的に認識する。また、本実施形態に係る情報処理装置10は、上記のような不適切な動作がユーザによって実施された場合には、不適切な動作に対応する情報に対して適切な修正を施したうえで、他のユーザと修正後の情報を共有させる。
上記のような機能を実現する本実施形態に係る情報処理装置10は、図4に示したように、認識部101と、制御部103と、通信制御部105と、記憶部107と、を主に備える。
本実施形態に係る認識部101は、例えば、CPU、ROM、RAM等により実現される。認識部101は、ユーザの動作又は状態の少なくとも何れか一方を検出する1又は複数のセンサによる検出結果を利用して、ユーザの動作又は状態の少なくとも何れか一方を認識する。このような認識処理に用いられるユーザの動作又は状態の少なくとも何れか一方に関するセンサの検出結果は、プラットフォーム20から送信され、後述する通信制御部105を介して取得したものである。
認識部101は、プラットフォーム20から送信された、ユーザの動作又は状態の少なくとも何れかに関するセンサの検出結果を利用し、後述する記憶部107等に予め記録されている、センサの検出結果とユーザの動作又は状態との対応付けに関するデータベース等を参照して、センサの検出結果から、ユーザの動作や状態を認識する。
ここで、本実施形態に係る認識部101は、上記のような認識処理によって、先だって説明した不適切な動作等がユーザによって行われたか否かについても判断する。以下では、図5A及び図5Bを参照しながら、不適切な動作等について、より具体的に説明する。
認識部101が着目する不適切な動作等は、図5A及び図5Bに示したように、ユーザの身体的な動作、ユーザの表情、視覚に関する動作等、触覚に関する動作等、聴覚に関する動作等、嗅覚に関する動作等、ユーザの生体情報、ユーザの個人情報・・・等に大別できる。
ユーザの身体的な動作に伴う不適切な動作等としては、図5Aに示したように、ユーザのくせや、アプリケーションに関係のない動作や、不快な生理現象や、特に不快ではない生理現象や、侮辱する動作や、迷惑動作等がある。
くせは、一般的に他者に知られたくない情報であり、他者からしても、あまり見たくない情報に該当する。また、ある個人に特徴的なくせの場合には、個人を特定されてしまう可能性がある。このようなくせとしては、特に限定されるものではないが、例えば、びんぼうゆすりや、体の揺れや、体の特定の部位を触る、等といった動作を挙げることができる。
アプリケーションに関係のない動作が、あるユーザによって情報共有中に行われると、情報を共有している他者の中には、不快に思う人が存在する可能性がある。このようなアプリケーションに関係のない動作としても、特に限定されるものではないが、例えば、スマートフォン等のアプリケーションに関係のない機器を触る、お菓子を食べる、等といった動作を挙げることができる。
不快な生理現象は、不快に思う人がいるという理由から、不適切な動作等として取り扱われるべきものである。このような不快な生理現象としては、特に限定されるものではないが、例えば、げっぷや、おなら等といった生理現象を挙げることができる。また、しゃっくりや、あくび等といった生理現象は、不快な生理現象ではないものの、他者がこのような動作を行うと、気になってしまうものである。また、このようなしゃっくりや、あくびといった生理現象は、出来れば他者に隠したい動作である。
また、中指を立てる等といったハンドサインに代表される動作や、相手のモノマネをする等といった行為は、相手を侮辱する動作として忌避されるものである。また、例えば仮想空間において相手に付きまとったり、同じ動作をひたすら繰り返したりする等といった動作は、迷惑な動作である。このような動作は、一般的に他人が不愉快に思う動作である。
一方、ユーザの表情に関する不適切な動作等としては、図5Aに示したように、例えば、ユーザの泣き顔や、退屈そうな顔や、怒っている顔等がある。
泣き顔は、他者に見られたくないことがあるため、不適切な動作として取り扱うことが好ましい。また、情報共有中に退屈そうな顔をされると、他者は不愉快に思うものであり、他者から怒られると不愉快になるものである。従って、このような退屈そうな顔や怒っている顔も、不適切な動作として取り扱うことが好ましい。
視覚に関する不適切な動作等としては、図5Bに示したように、例えば、特定対象へ視線を向けるといった動作や、視線の揺れ等といったものがある。特定対象へ視線を向けるという動作は、ユーザの興味や関心を推定できてしまうことがあり、例えば、オンラインゲーム等において、他のキャラクター等に対してこのような動作を行ってしまい、視線の方向が他者に把握されてしまうと、他のユーザが不快に思うことが生じうる。また、視線の揺れについても、個人を特定される可能性があるため、好ましくない。
触覚に関する不適切な動作等としては、図5Bに示したように、所定強度を超える振動や、連続的な振動を伴う動作がある。所定強度を超える振動や連続的な振動を他者と共有してしまうと、他者は、このような振動を不快に思う可能性がある。そのため、このような動作は、不適切な動作等として取り扱われることが好ましい。
聴覚に関する不適切な動作等として、例えば咀嚼音を挙げることができる。あるユーザがアプリケーションを介して情報を共有している最中に食事を行って、咀嚼音が検出されてしまうことが考えられる。しかしながら、咀嚼音は、一般的に不愉快に思う音であるため、このような音は、不適切な動作等として取り扱われることが好ましい。
嗅覚に関する不適切な動作等としては、図5Bに示したように、体臭/香水の香りといったにおいや、家のにおい/料理のにおい等といったにおいを挙げることができる。このようなにおいが他者と共有されてしまうと、他のユーザの中には、このようなにおいを不快に思う人が存在する可能性がある。従って、このようなにおいは、不適切な動作等として取り扱われることが好ましい。
生体情報に関する不適切な動作等としては、図5Bに示したように、ユーザの発汗状態や、脈等がある。例えばオンラインゲーム等において、ユーザの発汗状態まで再現されたとすると、仮想空間に更なるリアリティを付加することが可能となるが、他者の中には不快に思う人が存在する可能性がある。また、あるユーザの脈が共有されたとしても、不快に思う人は少ないと思われるが、脈を解析することで、ユーザの患っている病気が特定されたり、年齢が特定されたりする可能性があるため、好ましくない。従って、このような生体情報は、不適切な動作等として取り扱われることが好ましい。
なお、近年の技術の発達により、触覚や嗅覚を伝送する技術や、生体情報を伝送する技術についても、著しい進歩が認められるため、本実施形態では、上記のような触覚・嗅覚・生体情報に関しても、不適切な動作等として着目している。
個人情報に関する不適切な動作等としては、図5Bに示したように、ユーザの住環境に関する情報や、ユーザの名前等がある。例えば、ユーザの住居の周囲での騒音等が検出されてしまった場合には、ユーザの住居が特定されてしまう可能性がある。また、アプリケーションを介して他のユーザと情報を共有している最中に、例えばユーザの家人がユーザの名前を呼んでしまったり、ユーザの名前が記載された物体が写り込んでしまったりした場合などには、ユーザの名前が他者に伝達されてしまう可能性もある。そこで、このような情報についても、不適切な動作等として取り扱われることが好ましい。
また、図5A及び図5Bに示したものは、あくまでも一例であって、図5A及び図5Bに示した動作等以外にも、不適切な動作等として取り扱うことが可能である。
本実施形態に係る認識部101は、図5A及び図5Bに示したような不適切な動作等を認識するために、図6に示したような認識手法を用いることが可能である。
例えば、認識部101は、認識手法Aとして、カメラの検出結果を利用することが可能である。すなわち、認識部101は、ユーザの動きをトラッキングした検出結果を利用し、対象領域内に対象物体が入ったか否かにより、「くせ」や「アプリケーションに関係のない動作」が生じたか否かを認識することが可能である。
認識部101は、認識手法Bとして、加速度センサやジャイロセンサ等のモーションセンサの検出結果を利用することが可能である。すなわち、認識部101は、これらモーションセンサの検出結果により、ユーザの動きを判定することが可能である。また、認識部101は、モーションセンサの検出結果を利用して、いわゆる機械学習処理によりユーザの動きを学習し、対象動作を予測して推定することが可能である。なお、動き判定処理や機械学習処理の詳細については、特に限定されるものではなく、公知の技術を利用することが可能である。このような認識処理により、認識部101は、例えば、「くせ」、「アプリケーションに関係のない動作」、「不快な生理現象」、「特に不快ではない生理現象」、「侮辱する動作」、「迷惑動作」等が生じたか否かを認識することが可能である。
認識部101はまた、認識手法Cとして、カメラの検出結果を利用することが可能である。すなわち、認識部101は、ユーザの動きを撮像した撮像画像と、不適切な行動等の画像と、をマッチングし、マッチングの類似度に応じて、認識を行うことが可能である。このようなマッチング処理については、特に限定されるものではなく、公知のマッチング処理を利用することが可能である。このような認識処理により、認識部101は、例えば、「くせ」、「アプリケーションに関係のない動作」、「侮辱する動作」、「泣き顔」、「退屈そうな顔」、「怒っている顔」、「名前」等に対応する動作等が行われたか否かを認識することが可能である。
認識部101は、認識手法Dとして、プラットフォーム20の周囲に存在する環境センサからの検出結果を活用し、これから行われる動作や発生する情報等を認識することが可能である。例えば、ユーザの住居におけるキッチンの照度センサの検出結果に基づき、これから料理という動作が行われることを認識し、更に、料理に伴うにおいが発生する、等といった一連の動作や状態を認識することができる。また、このような認識手法により、認識部101は、例えば「住環境の情報」等に対応する動作等が行われたか否かを認識することが可能となる。
認識部101は、認識手法Eとして、においセンサの検出結果を利用することが可能である。すなわち、認識部101は、においセンサの検出結果を利用して、発生するにおいを分析し、特定のにおいが発生しているか否かを検知することができる。このような認識処理により、認識部101は、例えば、「体臭・香水の香り」や、「家の匂い・料理の匂い」等に対応する動作等が発生したか否かを認識することが可能となる。
認識部101は、認識手法Fとして、モーションセンサやカメラの検出結果を利用し、加速度センサやカメラの画像の特徴量が所定値を繰り返すか否かに基づき、認識を行うことが可能である。このような認識処理により、認識部101は、例えば、「迷惑動作」等に対応する動作等が発生したか否かを認識することが可能となる。
認識部101は、認識手法Gとして、マイクの検出結果を利用した認識処理を行うことが可能である。すなわち、認識部101は、特定の不快な音の波長やスペクトルを予め学習又は設定しておき、マイクの検出結果として入力された音と、これらの学習/認識内容とを比較することで、音に関する認識処理を行うことが可能となる。これにより、認識部101は、「咀嚼音」、「住環境の情報」、「名前」等に対応する動作等が発生したか否かを認識することが可能となる。
認識部101は、認識手法Hとして、振動センサの検出結果を利用した認識処理を行うことが可能である。すなわち、認識部101は、波長の最大振幅や所定時間内の平均振幅値等に関する閾値を予め設定した上で、振動センサの検出結果から算出した波長の最大振幅や平均振幅値が設定された閾値を超えるか否かに基づき、触覚に関する認識処理を行うことが可能となる。これにより、認識部101は、「所定強度を超える振動や連続的な振動」等に対応する動作等が発生したか否かを認識することが可能となる。
認識部101は、認識手法I及びJとして、生体センサの検出結果を利用した認識処理を行うことが可能である。すなわち、認識部101は、生体センサ(特に、発汗センサ)からの検出結果から発汗量を特定し、所定の閾値を超えるか否かに基づき、「発汗」に対応する動作等が発生したか否かを認識することが可能となる。また、認識部101は、生体センサ(特に、脈波センサ)からの検出結果から特徴量を解析し、年齢や病気等の所定の特徴量が含まれているか否かに基づき、「脈」に対応する動作等が発生したか否かを認識することが可能となる。
認識部101は、認識手法Kとして、カメラの検出結果を利用した認識処理を行うことが可能である。すなわち、認識部101は、カメラの検出結果(すなわち、撮像画像)から公知の方法により視線の位置を推定し、視線の方向を判定することが可能となる。ここで、視線の位置については、公知の機械学習処理により推定することが可能となる。このような認識処理を行うことで、認識部101は、例えば、「特定対象へ視線を向ける」、「視線の揺れ」等に対応する動作等が発生したか否かを認識することが可能となる。
また、認識部101は、図6に示したような認識手法A~Kのうちのいくつかを適宜組み合わせて、様々な認識処理を行うことが可能である。更に、認識部101は、図6に示したような認識手法A~K以外の公知の認識手法を利用して、様々な動作や状況等を認識することが可能である。
認識部101は、以上のような処理を行うことで、センサの検出結果に基づきプラットフォーム20を操作しているユーザの動作や状態等を認識すると、得られた認識結果に関する情報を、制御部103に出力する。
再び図4に戻って、本実施形態に係る情報処理装置10が備える制御部103について、詳細に説明する。
制御部103は、例えば、CPU、ROM、RAM等により実現される。制御部103は、本実施形態に係る情報処理装置10の機能や動作を統括的に制御する。また、制御部103は、認識部101により特定のユーザの動作又は状態が検出された場合に、検出された当該特定のユーザの動作又は状態に関する情報を着目しているユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、かかる対象に応じて制御する。
制御部103は、例えば、CPU、ROM、RAM等により実現される。制御部103は、本実施形態に係る情報処理装置10の機能や動作を統括的に制御する。また、制御部103は、認識部101により特定のユーザの動作又は状態が検出された場合に、検出された当該特定のユーザの動作又は状態に関する情報を着目しているユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、かかる対象に応じて制御する。
より詳細には、制御部103は、認識部101による認識結果に応じて、認識されたユーザの動作又は状態に関する情報の内容を修正し、修正後のユーザの動作又は状態に関する情報を、通知情報に反映させる。すなわち、制御部103は、(a)ユーザの動作又は状態に関する情報の内容を抑制するか、(b)ユーザの動作又は状態に関する情報の内容を他の内容へと置換するか、(c)ユーザの動作又は状態に関する情報の内容の一部を隠蔽するか、(d)ユーザの動作又は状態に関する情報の内容の全てを隠蔽するか、という、(a)~(d)の何れかの修正を選択してもよい。
このような処理を実施する制御部103は、例えば図7に模式的に示したように、反映内容判断部121と、情報修正部123と、アプリケーション実行部125と、を有する。
反映内容判断部121は、例えば、CPU、ROM、RAM等により実現される。反映内容判断部121は、認識部101から出力された認識結果に関する情報を参照して、着目しているプラットフォーム20のユーザによってどのような身体動作等が実施されたのかを確認し、ユーザによって行われた身体動作等に応じて、着目しているユーザ以外の対象に対して、どの程度身体動作等に対応する情報を反映させるかを判断する処理部である。
ここで、着目しているユーザ以外の対象としては、例えば、複数のユーザ間で共有される仮想空間を提供するアプリケーションを利用している、他のユーザや仮想空間そのものや、第1のユーザが視認している空間の映像を第2のユーザと共有する映像共有機能を提供するアプリケーションを利用している、他のユーザ等を挙げることができる。
反映内容判断部121は、認識部101から出力された認識結果に関する情報を参照し、図5A及び図5Bに示したような不適切な動作等が行われていない場合には、着目しているユーザ以外の対象に対して、情報を修正することなく反映しても良いと判断する。その上で、反映内容判断部121は、認識部101から出力された認識結果に関する情報を、そのまま後述するアプリケーション実行部125へと出力し、アプリケーションの実行に反映させる。
また、反映内容判断部121は、認識部101から出力された認識結果に関する情報を参照して、図5A及び図5Bに示したような不適切な動作等が行われている場合には、行われた不適切な動作等に応じて、着目しているユーザ以外の対象に対して情報をどの程度反映させるかを判断する。その上で、反映内容判断部121は、着目しているユーザ以外の対象に対して通知される通知情報への反映度合いを示す情報と、認識部101から出力された認識結果に関する情報と、を、後述する情報修正部123へと出力し、不適切な動作等を含む情報を、適切に修正させる。
このような処理を実施する反映内容判断部121は、例えば図8に一例を示したように、情報種別判別部131と、関係性判断部133と、反映内容決定部135と、を有している。
情報種別判別部131は、例えば、CPU、ROM、RAM等により実現される。情報種別判別部131は、認識部101から出力された認識結果を参照して、まず、図5A及び図5Bに示したような不適切な動作等が行われたか否かを判断する。不適切な動作等が行われていないと判断される場合、情報種別判別部131は、その旨を後述する反映内容決定部135へと通知する。
一方、不適切な動作等が行われたと判断された場合、情報種別判別部131は、行われた不適切な動作等を表わす情報の種別を判断する。すなわち、情報種別判別部131は、行われた不適切な動作等に関する認識結果を示した情報を参照し、かかる不適切な動作等が、以下の4つの区分のうち、どの区分に属するかを判断する。
(1)不適切な動作等の程度を抑えれば不適切な動作等ではなくなるもの
(2)不適切な動作等に対応する部分を適切な動作等に置換可能であるもの
(3)不適切な動作等に対応する部分のみを隠蔽可能であるもの
(4)不適切な動作等に対応する部分のみを隠蔽できないもの
(2)不適切な動作等に対応する部分を適切な動作等に置換可能であるもの
(3)不適切な動作等に対応する部分のみを隠蔽可能であるもの
(4)不適切な動作等に対応する部分のみを隠蔽できないもの
上記のような4つの区分への判断処理は、例えば図9に示したような流れで行われる。すなわち、情報種別判別部131は、認識結果に関する情報を参照して、まず、不適切な動作等に関する情報が含まれているかを判断する(判断1)。ここで、不適切な動作等に関する情報が含まれていないと判断される場合、情報種別判別部131は、認識結果に関する情報を修正せずに情報を他者へ送信すればよい旨を判断する(処理1)。
一方、不適切な動作等に関する情報が含まれている場合には、情報種別判別部131は、続いて、不適切な動作等に関する情報の程度を抑えれば、不適切な動作等ではなくなるか否かを判断する(判断2)。ここで、「程度を抑える」とは、例えば、表情に関する不適切な動作等が行われていた場合に表情の程度を弱める(例えば、図10Aに示したように、ものすごく怒っている表情を、少しだけ怒っている表情へと修正する)等、不適切な動作等を例えばベクトル量と考えたときに、ベクトルの方向はそのままにベクトルの大きさを小さくする操作を意味する。程度を抑えれば不適切な情報ではなくなると判断される場合、情報種別判別部131は、着目している認識結果は、上記(1)に区分される情報であると判断し、程度を抑えて情報を他者に送信すればよい旨を判断する(処理2)。
一方、例えば、「侮辱する動作」等のように程度を抑えても不適切な動作等ではなくならないと判断される場合、情報種別判別部131は、不適切な動作等を表わす情報が置換可能であるか否かを判断する(判断3)。ここで、「置換する」とは、例えば、表情に関する不適切な動作等が行われていた場合に表情そのものを変更する(例えば、図10Bに示したように、ものすごく怒っている表情を、笑っている表情に置き換える)等、不適切な動作等を例えばベクトル量と考えたときに、ベクトルの方向そのものを変更してしまう操作を意味する。置換可能な情報であると判断される場合、情報種別判別部131は、着目している認識結果は、上記(2)に区分される情報であると判断し、情報を置換してから他者に送信すればよい旨を判断する(処理3)。
一方、置換可能な情報が存在しない等で、不適切な動作等を置換することが不可能であると判断される場合、情報種別判別部131は、不適切な動作等を表わす情報のみを隠蔽可能であるか否かを判断する(判断4)。例えば、図10Cに示したように、「侮辱する動作」に対応するようなハンドサインが身体動作として行われた場合を考える。この際に、ハンドサインに対応する部分のみにモザイクをかけたり、ハンドサインに対応する部分を削除したりするなどしても、ユーザの動作等に関する情報の全体としては情報が成立する場合には、情報種別判別部131は、着目している認識結果は、上記(3)に区分される情報であると判断し、該当する部分の情報を隠蔽してから他者に送信すればよい旨を判断する(処理4)。
一方、例えば体全体を使ったジェスチャーや、動作が速く一部のみを隠蔽できない場合等のように、不適切な動作等のみを隠蔽できないと判断される場合には、情報種別判別部131は、着目している認識結果は、上記(4)に区分される情報であると判断し、例えば図10Dに示したように、不適切な動作等の表示を全て削除したり、表示の更新を止めたりするなどといった、情報の全てを隠蔽してから他者に送信すればよい旨を判断する(処理5)。
このように、情報種別判別部131は、認識結果に含まれる動作等を客観的に判断して、認識結果に対応する動作等に関する情報が、どのような種別の情報であるかを判別する。認識結果に対応する動作等に関する情報の判別結果が得られると、情報種別判別部131は、得られた判別結果を、反映内容決定部135に出力する。
再び図8に戻って、反映内容判断部121が有する関係性判断部133について説明する。
関係性判断部133は、例えば、CPU、ROM、RAM等により実現される。関係性判断部133は、着目しているユーザと、着目しているユーザとは異なる対象と、の間に、どのような関係性があるかを判断する処理部である。
関係性判断部133は、例えば、CPU、ROM、RAM等により実現される。関係性判断部133は、着目しているユーザと、着目しているユーザとは異なる対象と、の間に、どのような関係性があるかを判断する処理部である。
本実施形態に係る反映内容判断部121では、基本的には、情報種別判別部131によって決定された(1)~(4)の情報の区分に応じて、後述する反映内容決定部135により、不適切な動作等が存在しなくなる程度まで、予め設定された設定情報に基づき、不適切な動作等に関する情報の他者への反映内容が決定される。しかしながら、着目しているユーザと、着目しているユーザとは異なる対象と、の間に、ある特定の関係性が存在している場合には、反映内容決定部135は、例外的に、不適切な動作等に関する情報の他者への反映内容を緩和することが好ましい。
そこで、関係性判断部133は、記憶部107等に格納されているユーザに関するユーザ情報やアプリケーションに関する設定情報と、後述するアプリケーション実行部125から得られるアプリケーションの実行状況に関する情報と、を参照して、着目しているユーザと、着目しているユーザとは異なる対象と、の間の関係性を判断する。
ここで、記憶部107等には、アプリケーション(例えば、オンラインゲーム等の仮想空間を共有するアプリケーション)の全てのユーザに関する、アプリケーションの実行状況等も含む各種のユーザ情報が保持されているものとする。
また、記憶部107等には、情報処理装置10やプラットフォーム20でのアプリケーション実行レベルにおけるアプリケーションの設定情報(すなわち、全てのユーザに対する基本的なアプリケーションの設定情報)や、各ユーザが独自に設定したアプリケーションの設定情報等、アプリケーションに関する全ての設定情報が保持されているものとする。この設定情報には、例えば図5Aや図5Bに示したような不適切な動作等について、どのような動作をユーザ自身が行った場合にはどの程度まで他のユーザに反映させるか、他のユーザが不適切な動作等を行った場合に、どの程度までその情報の反映を受け付けるか、というような、静的な条件設定が記載されているものとする。
例えば、関係性判断部133は、情報処理装置10において実行されているアプリケーションがオンラインゲーム等のゲームである場合に、着目しているユーザ動作等を反映させるべき全てのユーザのユーザ情報を参照して、アプリケーション内(すなわち、ゲームという仮想空間内)におけるユーザの代理であるキャラクター間の関係性を判断することができる。すなわち、ユーザAに対応する仮想空間内のキャラクターAと、ユーザBに対応する仮想空間内のキャラクターBと、が所定時間以上、一緒に仮想空間内で活動しており、親密なキャラクター同士であると判断できる場合には、キャラクターAに対応するユーザAと、キャラクターBに対応するユーザBと、の関係性が親密であると判断することができる。この場合、関係性判断部133は、ユーザAとユーザBとの間の情報の反映度合いに関しては、情報量の抑制度合いを緩和するように判断することができる。これにより、例えば、ユーザの表情に関する不適切な動作の反映度合いなどのように、「設定情報」に基づき予め静的に決定されている反映度合いが、キャラクター間の関係性という動的な条件に基づき、親しいが故に許容される程度まで、例外的に処理される。
また、関係性判断部133は、上記のようなユーザ情報を参照し、例えば、ユーザAがユーザBを「友達」として設定しているか否かといったユーザ間の関係性や、年齢、性別、アプリケーションの総実行時間等といった各種属性に着目して、ユーザ間の関係性を判断することも可能である。この場合に、関係性判断部133は、上記のような関係性や属性が近いものほど、情報量の抑制度合いを緩和し、関係性や属性が遠いものほど、情報量の抑制を強めたりすることができる。この場合についても、「設定情報」に基づき予め静的に決定されている反映度合いが、ユーザ間の関係性という動的な条件に基づき、例外的に処理される。
なお、上記のようなキャラクター間/ユーザ間の関係性の判断処理は、着目しているユーザ動作等を反映させるべき全てのユーザに対して、それぞれ独立に実施されることが好ましい。
また、関係性判断部133は、着目しているユーザと、アプリケーションそのものとの関係性を判断してもよい。情報処理装置10において実行されているアプリケーションがオンラインゲーム等のゲームである場合、ゲームという仮想空間内では、様々なイベントが発生している。この場合に、関係性判断部133は、イベントの雰囲気がユーザ動作によって壊されないように、不適切な動作等の反映度合いを例外的に処理するように判断してもよい。これにより、例えばゲームという仮想空間内で悲しいイベントが発生している場合に、ユーザが場の雰囲気を壊すようなふざけた動作を行ったとしても動作が反映されないように、情報の反映度合いを制御することが可能となる。
関係性判断部133は、以上のようにして、着目しているユーザと、着目しているユーザとは異なる対象と、の間の関係性の判断結果を、後述する反映内容決定部135に出力する。
反映内容決定部135は、例えば、CPU、ROM、RAM等により実現される。反映内容決定部135は、情報種別判別部131による判断結果、及び、関係性判断部133による判断結果を利用して、着目しているユーザの動作又は状態を、着目しているユーザとは異なる対象にどの程度反映させるかの詳細を決定する。
より詳細には、反映内容決定部135は、不適切な動作等は行われておらず、着目しているユーザの動作又は状態を、抑制することなく対象に対して反映させればよいと総合的に判断できる場合には、その旨をアプリケーション実行部125に出力する。
また、反映内容決定部135は、不適切な動作等が行われていると判断する場合には、不適切な動作等に関する情報の種別や、上記のような様々な関係性を考慮して、情報の反映度合いを決定する。
この際に、反映内容決定部135は、基本的には、不適切な動作等が存在しなくなる程度まで、予め設定された設定情報に基づき、不適切な動作等に関する情報の他者への反映内容を決定する。すなわち、反映内容決定部135は、情報の送信側のユーザの設定情報と、情報の受信側のユーザの設定情報とに応じて、情報が授受される当事者同士の関係性に基づいて反映内容(すなわち、情報の修正の度合い)を決定する。また、反映内容決定部135は、情報が授受される当事者同士のみならず、例えばゲーム等における当事者同士以外の第3者等のような、単に情報を広い意味で共有するだけのユーザの設定情報に更に基づいて、二次的に反映内容を決定してもよい。
また、反映内容決定部135は、例外的に、ユーザと対象との間の動的な関係性に応じて、反映内容(情報の修正の度合い)を決定してもよいし、情報の送信側のユーザの設定情報と情報の受信側のユーザの設定情報という、情報が授受される当事者同士の関係性と、ユーザと対象との間の動的な関係性と、の双方に基づいて、反映内容(情報の修正の度合い)を決定してもよい。
反映内容決定部135は、このようにして情報の反映内容を決定すると、決定した内容を情報修正部123に出力する。
以上、図8~図10を参照しながら、反映内容判断部121の詳細な構成について説明した。
なお、上記の説明では、反映内容判断部121が、認識部101による認識結果の内容にのみ基づいて、反映内容を判断する場合について説明したが、反映内容判断部121は、認識部101による認識処理に用いられるセンサ検出結果が、どのような場所(エリア)で得られたかに基づいて、反映内容を判断してもよい。すなわち、反映内容判断部121は、認識部101による認識処理に用いられるセンサ検出結果が、所定の場所で得られたものでない場合に、該当するセンサ検出結果に対応する認識結果を反映させないように処理してもよい。例えば図11に模式的に示したように、プラットフォーム20との位置関係に基づき、仮想的な境界線が予め設定されている場合を考える。この際、反映内容判断部121は、プラットフォーム20の設置空間のうち所定の位置で検出されたセンサ検出結果から得られた認識結果のみを、反映内容の判断に利用する、等といった処理を行うことも可能である。
次に、再び図7に戻って、本実施形態に係る制御部103が備える情報修正部123について説明する。
情報修正部123は、例えば、CPU、ROM、RAM等により実現される。情報修正部123は、反映内容判断部121から出力された判断結果に基づいて、着目しているユーザによって実施された不適切な動作等に関する情報を修正する。
情報修正部123は、例えば、CPU、ROM、RAM等により実現される。情報修正部123は、反映内容判断部121から出力された判断結果に基づいて、着目しているユーザによって実施された不適切な動作等に関する情報を修正する。
情報修正部123によって実施される修正処理は、先だって説明したように、(a)ユーザの動作又は状態に関する情報の内容の程度を抑制する、(b)ユーザの動作又は状態に関する情報の内容を他の内容へと置換する、(c)ユーザの動作又は状態に関する情報の内容の一部を隠蔽する、(d)ユーザの動作又は状態に関する情報の内容の全てを隠蔽する、という4種類の処理に大別できる。
情報修正部123は、情報の内容の程度を抑制する場合、例えば、顔の表情の度合いを抑制する、汗の量を少なくする、ユーザに対応するキャラクターが長時間付きまとえないようにする、音や振動等に対応する波形信号の特定の帯域に対してフィルタを作用させる、等といった修正方法を採用する。
情報修正部123は、情報の置換を行う場合、例えば、不快な動作を他の動作に置換する、動作をテンプレート化して正規化された情報に置換する、音や振動を他の音や振動に置換したりノイズを重畳させたりする、表情等を表わす画像を置換する、等といった修正方法を採用する。
情報修正部123は、情報の一部を隠蔽する場合、例えば、特定の動作や表情に対してモザイクをかける、特定の音や振動のみを削除する、脈の情報から特定の特徴量を削除する、等といった修正方法を採用する。
情報修正部123は、情報の全てを隠蔽する場合、例えば、特定の動作が検知されたらそのプレイヤーを消去したり更新を止めたりする、特定の音が検知されたら一定期間すべての音を消去する、特定の振動が検知されたら全ての振動を消去する、等といった修正方法を採用する。
なお、情報修正部123によって実施される修正処理は、上記(a)~(d)の4種類に限定されるものではなく、上記4種類の修正処理の何れかを適宜組み合わせて、不適切な動作等に関する情報を修正することが可能である。
なお、国や文化が異なれば、情報に対する感じ方にも差が生じるものである。例えば、こぶしを握った状態で親指を立てる動作(「グッジョブ」等の意味で用いられるハンドサイン)は、アメリカ等では相手を褒める動作であるが、イランでは相手を侮辱する動作となる。従って、情報修正部123は、情報が共有されるユーザの文化等を踏まえたうえで、上記のような修正処理を行うことが好ましい。なお、このような文化等の違いを修正処理に反映させるためには、記憶部107等に、不適切な動作等に関する情報や置換に用いる情報等について、国や文化等の違いに起因する異なる意味が存在するか否かのデータベース等を予め作成しておき、かかるデータベース等を更に参照することで実施可能である。
情報の修正を行うに際しては、「特定の動作を認識したあとに、かかる特定の動作に関連する他の動作等に関する情報を修正する」といった、認識した情報と修正すべき情報とが異なる場合も考えうる。例えば、「電話をかける」という動作を認識した場合に、「電話をかける」という動作に関する情報を修正するのではなく、電話における通話内容(すなわち、音声情報)を修正(隠蔽)するということも考えられる。これにより、あるユーザが電話をかけているという動作は他のユーザに伝達されるため、相手が取り込み中であるという状態はユーザ間で共有することが可能となり、ユーザの利便性を向上させることができる。そこで、情報修正部123は、例えば上記のような特定の動作について、認識した情報と修正すべき情報とが異なる場合の修正処理を例外的にデータベース等に記録しておき、より細かな情報修正処理を実行してもよい。
また、例えば脈などの生体情報のように、はじめから個人情報が含まれる可能性が高いと判断可能なものについては、情報修正部123は、判断結果によらず、情報を隠蔽するようにしてもよい。
情報修正部123は、以上のような修正処理を実施した後、修正後の情報を、アプリケーション実行部125に出力する。
アプリケーション実行部125は、例えば、CPU、ROM、RAM等により実現される。アプリケーション実行部125は、本実施形態に係る情報処理装置10がその機能として実現しているアプリケーションを実行している処理部である。また、アプリケーション実行部125は、あるユーザから、身体動作等によるユーザ入力が行われた場合に、反映内容判断部121や情報修正部123から出力された情報を利用して、ユーザ入力に対応する情報をアプリケーションに反映させる。その後、アプリケーション実行部125は、情報反映後のアプリケーションの実行状態に関する情報を、後述する通信制御部105を介して、通知情報として各プラットフォーム20に送信させる。これにより、情報処理装置10に接続しているプラットフォーム20のユーザは、情報処理装置10で実行されているアプリケーションから得られる通知情報を、随時把握することが可能となる。
なお、アプリケーション実行部125は、本実施形態に係る情報修正部123により、あるユーザが実施した身体動作等に起因して、アプリケーションに反映される情報の修正が施された場合に、修正が行われた旨をユーザに通知するようにしてもよい。このような通知の具体的な方法は特に限定されるものではなく、例えば、アプリケーション実行部125は、修正が行われた旨を表わすようなアイコン等のオブジェクトを、プラットフォーム20の表示画面に表示させるようにしてもよい。
このようなオブジェクトの一例を、アプリケーションとしてオンラインゲームが実行されている場合を例に挙げて、図12A及び図12Bに示した。図12Aに示した例では、プラットフォーム20の表示画面に設けられるユーザ情報表示領域に対して、修正が行われた旨を表わすオブジェクトとして、情報の反映度合いを表わすオブジェクトである反映度提示オブジェクトが表示されている。この反映度提示オブジェクトは、矢印を用いたオブジェクトであり、表示画面を見ているユーザとは別のユーザとの間で、どの程度の情報の抑制がなされているかを示したものである。例えば、右向きの矢印は、他のユーザから自分自身へと送信されている情報の反映度合いを表しており、左向きの矢印は、自分自身から他のユーザへと送信されている情報の反映度合いを表している。このオブジェクトは、送受信されている情報が抑制されているほど、該当する矢印の大きさが短くなるように設定される。このようなオブジェクトを表示することで、ユーザは、情報処理装置10によって情報の抑制が行われたか否かを、容易に判定することが可能となる。
また、図12Aに示したような反映度提示オブジェクトは、表示画面のユーザ情報表示領域だけでなく、例えば図12Bに示したように、キャラクターのグラフィックの頭の上等の位置に表示しても良いことは、言うまでもない。
以上、本実施形態に係る制御部103の構成について、詳細に説明した。
なお、以上の説明では、情報処理装置10がオンラインゲーム等のゲームアプリケーションを実行している場合を具体例として挙げて、詳細な説明を行ったが、以上説明したような情報の修正処理は、第1のユーザが視認している空間の映像を第2のユーザと共有する映像共有機能を提供するアプリケーションについても同様に適用することが可能である。
なお、以上の説明では、情報処理装置10がオンラインゲーム等のゲームアプリケーションを実行している場合を具体例として挙げて、詳細な説明を行ったが、以上説明したような情報の修正処理は、第1のユーザが視認している空間の映像を第2のユーザと共有する映像共有機能を提供するアプリケーションについても同様に適用することが可能である。
上記のような映像共有アプリケーションでは、ヘッドマウントカメラ等のセンサを装着したユーザ(以下では、便宜的に、ユーザAとする。)が視認している空間の情報が、他のユーザ(以下では、便宜的に、ユーザBとする。)と共有されることとなる。
この場合に、ユーザAが視認している空間に対応する映像の中に不適切な情報が含まれる可能性や、ユーザAの頭部や視線に不適切な動作が含まれる可能性が考えられる。映像の中に不適切な情報が含まれる場合には、ゲームアプリケーションの場合と同様に、不適切な情報に対して、モザイク処理を行ったり、該当する情報を削除したりすることで、不適切な情報を削除することができる。また、ユーザがくしゃみなどの生理現象を行った場合や、不注意な視線の動きを行った場合には、伝達される情報に不適切な動作が含まれることとなる。この場合についても、ゲームアプリケーションの場合と同様に、情報を置換したり、程度を抑制したりすることで、不適切な動作を隠蔽することが可能である。
更に、上記のような映像共有アプリケーションにおいて、ユーザBは、ジェスチャーインプットデバイスを用いることで、ユーザAに対して動作を間接的に伝達することも考えられる。この場合においても、ユーザBの意図しない動きが、ユーザAへと伝達してしまう可能性がある。この場合においても、ゲームアプリケーションの場合と同様な情報の修正処理を行うことが可能である。例えば、カメラやモーションセンサ等を利用して、ユーザBの動きを監視しておき、不適切な動作が生じた場合に、ジェスチャーインプットデバイスから送信される情報を意図的に抑制することで、不適切な情報がユーザAへと伝達することを防止することができる。
以下では、再び図4に戻って、本実施形態に係る情報処理装置10が備える通信制御部105について説明する。
通信制御部105は、例えば、CPU、ROM、RAM、通信装置等により実現される。通信制御部105は、ネットワーク3を介した情報処理装置10とプラットフォーム20との間の通信を制御する処理部である。この通信制御部105を介して、認識部101や制御部103は、センサ出力のデータや、アプリケーションのユーザによる設定データ等といった各種のデータや情報を各プラットフォーム20から取得するとともに、各プラットフォーム20に対して、上記のような通知情報を含むアプリケーションの実行状況を表わす各種の情報を送信することが可能となる。
記憶部107は、例えば本実施形態に係る情報処理装置10が備えるRAMやストレージ装置等により実現される。記憶部107には、本実施形態に係る情報処理装置10が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。特に、この記憶部107には、情報処理装置10が実行するアプリケーションに関する実体データや、かかるアプリケーションでの全てのユーザによる設定データや、かかるアプリケーションを利用している全てのユーザに関するユーザ情報等が記録されている。このような各種の情報が格納されている記憶部107は、認識部101、制御部103、通信制御部105等が、データのリード/ライト処理を自由に行うことが可能である。
以上、本実施形態に係る情報処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<情報処理方法について>
次に、図13を参照しながら、本実施形態に係る情報処理方法の流れの一例について、簡単に説明する。図13は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
次に、図13を参照しながら、本実施形態に係る情報処理方法の流れの一例について、簡単に説明する。図13は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
本実施形態に係る情報処理装置10では、通信制御部105が、各プラットフォーム20から送信された、ユーザの動作/状態に関するセンサの検出結果に関する情報を取得する(ステップS101)。その後、通信制御部105は、取得したユーザの動作/状態に関するセンサの検出結果に関する情報を、認識部101及び制御部103に出力する。
情報処理装置10の認識部101は、取得されたセンサ検出結果から、上記説明したような認識手法を利用して、ユーザの動作や状態を認識する(ステップS103)。認識部101は、センサ検出結果からユーザの動作や状態に関する認識結果が得られると、得られた認識結果を制御部103に出力する。
情報処理装置10の制御部103は、認識部101による認識結果を参照して、上記説明したような処理を行うことで、ユーザの動作や状態に関する情報の通知情報への反映度合いを判断する(ステップS105)。その後、制御部103は、得られた判断結果に基づき、得られたユーザの動作や状態に関する情報の中に、不適切な動作等に関する情報(不適切な情報)が存在しているか否かを確認する(ステップS107)。
ユーザの動作や状態に関する情報の中に不適切な情報が含まれていない場合には、制御部103は、以下のステップS111の動作を実行する。一方、ユーザの動作や状態に関する情報の中に不適切な情報が含まれている場合には、制御部103は、上記説明したような処理を行って、着目している情報の共有対象に応じて情報を修正する(ステップS109)。その後、制御部103は、得られた修正後の情報を利用して、ステップS111の動作を実行する。
ユーザの動作や状態に関する情報の中に不適切な情報が含まれていない場合、又は、ユーザの動作や状態に関する情報に含まれる不適切な情報を修正した後に、制御部103は、着目しているユーザの動作や状態に関する情報を通知情報として出力して、他のユーザと共有させる(ステップS111)。
このような処理を行うことで、本実施形態に係る情報処理方法では、身体動作等を行うことで生成される情報を他者と共有する場合に、不適切な身体動作等によって生成された情報が他者に伝達されることを抑制することが可能となる。
<変形例について>
次に、本実施形態に係る情報処理装置及び情報処理方法のいくつかの変形例について、図14A~図15Dを参照しながら簡単に説明する。図14A~図14Cは、本実施形態に係るプラットフォームの変形例を模式的に示した説明図である。図15A~図15Dは、本変形例に係る情報処理方法の流れの一例を示した説明図である。
次に、本実施形態に係る情報処理装置及び情報処理方法のいくつかの変形例について、図14A~図15Dを参照しながら簡単に説明する。図14A~図14Cは、本実施形態に係るプラットフォームの変形例を模式的に示した説明図である。図15A~図15Dは、本変形例に係る情報処理方法の流れの一例を示した説明図である。
以上の説明では、図1に示したような情報処理システム1において、主に情報処理装置10が中心となって、上記のような認識処理及び情報修正処理を行う場合について、詳細に説明した。しかしながら、図4に示した情報処理装置10の認識部101又は制御部103の少なくとも何れかは、複数のコンピュータに分散して実現され、これら複数のコンピュータが協働することで、上記のような認識処理及び情報修正処理を実現してもよい。特に、図4に示した情報処理装置10の認識部101又は制御部103の少なくとも何れかは、情報処理装置10と各プラットフォーム20とに分散して実現され、情報処理装置10で実施される認識処理や情報修正処理の少なくとも一部が、プラットフォーム20で実施されてもよい。
例えば図14Aに示した例では、図4に示した情報処理装置10が有する処理部のうち、認識部101の機能が、各プラットフォーム20に分散して実現されている場合を模式的に示している。この場合には、本実施形態に係る情報処理装置10の認識部101と同様の機能を有し同様の構成を有する認識部221が、プラットフォーム20の統括制御部201の一機能として実現されている。この際、情報処理装置10が有する通信制御部105は、例えば、プラットフォーム20の認識部221による認識結果を示す情報を取得する取得部として機能する。
また、図14Bに示した例では、図4に示した情報処理装置10が有する処理部のうち、制御部103の機能(特に、反映内容判断部121及び情報修正部123の機能)が、各プラットフォーム20に分散して実現されている場合を模式的に示している。この場合には、本実施形態に係る情報処理装置10の制御部103と同様の機能を有し同様の構成を有する情報反映制御部223が、プラットフォーム20の統括制御部201の一機能として実現されている。この際、プラットフォーム20が有する通信制御部205は、例えば、情報処理装置10の認識部101による認識結果を示す情報を取得する取得部として機能する。
更に、図14Cに示した例では、図4に示した情報処理装置10が有する処理部のうち、認識部101及び制御部103の機能が、各プラットフォーム20に分散して実現されている場合を模式的に示している。この場合には、本実施形態に係る情報処理装置10の認識部101と同様の機能を有し同様の構成を有する認識部221と、本実施形態に係る情報処理装置10の制御部103と同様の機能を有し同様の構成を有する情報反映制御部223とが、プラットフォーム20の統括制御部201の一機能として実現されている。
図14A~図14Cに示したように、情報処理装置10と各プラットフォーム20との間で処理を分散させることで、サーバとして機能する情報処理装置10の負荷を低減することが可能となる。
上記の実施形態において説明したような、情報処理装置10が中心となって処理を行う場合の処理の流れを、情報処理装置10と各プラットフォーム20との間の連携状況に着目して記載すると、図15Aのようになる。なお、以下の図15A~図15Dでは、便宜的に情報処理装置10と連携するプラットフォーム20の台数を2台としている。
図15Aに示したように、サーバとして機能する情報処理装置10が中心となって処理を行う場合には、各プラットフォーム20(プラットフォームA及びプラットフォームB)は、各ユーザによって設定された設定情報(ユーザレベルでの設定情報)を、予め情報処理装置10に送信しておく(ステップS201)。また、情報処理装置10では、各プラットフォーム20から取得した全てのユーザに関する設定情報を、記憶部107等に記録しておく(ステップS203)。
いま、便宜的にプラットフォームAを所持しているユーザAが、身体動作等を利用してある情報を発信したとする(ステップS205)。すると、この情報は、情報処理装置10へと送信され、情報処理装置10は、記憶部107等に保持されているアプリケーションレベルでの判断基準と、関係するユーザ間での全ての設定情報に基づき、情報の認識処理及び必要に応じた修正処理を実施する(ステップS207)。その後、情報処理装置10は、修正後の情報を、ユーザBが所持するプラットフォームBに通知情報として提供する(ステップS209)。
ユーザBが所持するプラットフォームBでは、情報処理装置10から提供された通知情報を利用して、かかる情報を表示画面に表示させる(ステップS211)。これにより、ユーザA-ユーザB間で情報が共有される。
図15Aに示したような場合には、よりスペックが高く設計される情報処理装置10において、ほぼ全ての処理を実施することが可能となるが、接続されるプラットフォーム20の数が多くなるほど、サーバとして機能する情報処理装置10に負荷が集中することとなる。
一方、図15Bでは、情報処理装置10及び各プラットフォーム20で処理が分散される場合を示している。この場合に、プラットフォームAを所持しているユーザAが、身体動作等を利用してある情報を発信したとする(ステップS221)。プラットフォームAは、プラットフォームAに記録されている、プラットフォームAとしての設定(すなわち、プラットフォームのレベルでの設定情報)に基づき、発信された情報の認識・修正を行う(ステップS223)。その後、プラットフォームAは、ユーザ設定に基づき、ユーザAに特化したレベルでの認識・修正を実施する(ステップS225)。その後、プラットフォームAは、2段階の認識・修正を経た情報を、情報処理装置10へ送信する。
情報処理装置10は、プラットフォームAから情報を取得すると、記憶部107等に保持されているアプリケーションレベルでの判断基準及び設定情報に基づいて、再度、取得した情報の認識・修正を行い(ステップS227)、プラットフォームBに通知情報として提供する。
通知情報の提供を受けたプラットフォームBでは、ユーザ設定に基づき、ユーザBに特化したレベルでの認識・修正を実施する(ステップS229)。その後、プラットフォームBは、修正後の情報を利用して、かかる情報を表示画面に表示させる(ステップS231)。これにより、ユーザA-ユーザB間で情報が共有される。
このように、図15Bに示した例では、情報の発信者であるプラットフォームAが主に中心となって、情報の認識・修正を行う場合を示している。しかしながら、このような場合には、各プラットフォーム及び情報処理装置10において、認識・修正処理が複数回行われるため、リソースの状態によっては情報の共有に遅延が生じる可能性がある。
一方、図15Cに示した例において、プラットフォームAを所持しているユーザAが、身体動作等を利用してある情報を発信したとする(ステップS241)。プラットフォームAは、プラットフォームAに記録されている、プラットフォームAとしての設定(すなわち、プラットフォームのレベルでの設定情報)に基づき、発信された情報の認識を行う(ステップS243)。その後、プラットフォームAは、ユーザ設定に基づき、ユーザAに特化したレベルでの認識を実施する(ステップS245)。その後、プラットフォームAは、2段階の認識を経た情報を、情報処理装置10へ送信する。
情報処理装置10は、プラットフォームAから情報を取得すると、記憶部107等に保持されているアプリケーションレベルでの判断基準及び設定情報に基づいて、再度、取得した情報の認識を行い(ステップS247)、プラットフォームBに提供する。
情報の提供を受けたプラットフォームBでは、ユーザ設定に基づき、ユーザBに特化したレベルでの認識を実施する(ステップS249)。その後、プラットフォームBは、プラットフォームA、情報処理装置10及びプラットフォームBにおける全ての認識結果を踏まえて、情報の修正を行う(ステップS251)。その後、プラットフォームBは、修正後の情報を利用して、かかる情報を表示画面に表示させる(ステップS253)。これにより、ユーザA-ユーザB間で情報が共有される。
このように、図15Cに示した例では、情報の受信者であるプラットフォームBが主に中心となって、情報の修正を行う場合を示している。このような場合には、修正処理が情報の受け手となるプラットフォームで一括して行われるため、システム全体として無駄な部分を減らすことができる。しかしながら、このような形態では、情報の受け手となるプラットフォームに負荷が集中してしまう。
一方、図15Dに示した例は、情報の認識処理は、各プラットフォーム20に分散しつつ、修正処理は情報処理装置10で実施する場合について図示したものである。この場合に、プラットフォームAを所持しているユーザAが、身体動作等を利用してある情報を発信したとする(ステップS261)。プラットフォームAは、プラットフォームAに記録されている、プラットフォームAとしての設定(すなわち、プラットフォームのレベルでの設定情報)に基づき、発信された情報の認識を行う(ステップS263)。その後、プラットフォームAは、ユーザ設定に基づき、ユーザAに特化したレベルでの認識を実施する(ステップS265)。その後、プラットフォームAは、2段階の認識を経た情報を、情報処理装置10へ送信する。
情報処理装置10は、プラットフォームAから情報を取得すると、記憶部107等に保持されているアプリケーションレベルでの判断基準及び設定情報に基づいて、再度、取得した情報の認識を行い(ステップS267)、プラットフォームBに提供する。
情報の提供を受けたプラットフォームBでは、ユーザ設定に基づき、ユーザBに特化したレベルでの認識を実施し(ステップS269)、得られた認識結果を情報処理装置10に送信する。
情報処理装置10は、プラットフォームBによる認識結果を取得すると、プラットフォームA、情報処理装置10及びプラットフォームBにおける全ての認識結果を踏まえて、情報の修正を行い(ステップS271)、修正後の情報をプラットフォームBに通知情報として提供する。
その後、プラットフォームBは、情報処理装置10から提供された通知情報を利用して、かかる情報を表示画面に表示させる(ステップS273)。これにより、ユーザA-ユーザB間で情報が共有される。
図15Dに示したような形態では、ユーザ個人の判定基準(すなわち、設定情報)を、外部の装置に提供しなくとも良いため、個人情報の流出に対する安全性が高まるとともに、情報の修正処理を、よりスペックが高く設計される情報処理装置10で実施することができる。しかしながら、情報の受け手となるプラットフォームでは、修正処理をサーバである情報処理装置10に依頼するため、情報の共有に遅延が生じる可能性がある。
以上、図14A~図15Dを参照しながら、本実施形態に係る情報処理装置及び情報処理方法の変形例について、簡単に説明した。
(ハードウェア構成について)
次に、図16を参照しながら、本開示の実施形態に係る情報処理装置10のハードウェア構成について、詳細に説明する。図16は、本開示の実施形態に係る情報処理装置10のハードウェア構成を説明するためのブロック図である。
次に、図16を参照しながら、本開示の実施形態に係る情報処理装置10のハードウェア構成について、詳細に説明する。図16は、本開示の実施形態に係る情報処理装置10のハードウェア構成を説明するためのブロック図である。
情報処理装置10は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置10は、更に、ホストバス907、ブリッジ909、外部バス911、インターフェース913、センサ914、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925を備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、この入力装置915を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、情報処理装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置10が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD-DVDメディア、Blu-rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS-232Cポート、光オーディオ端子、HDMI(High-Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置10は、外部接続機器929から直接各種データを取得したり、外部接続機器929に各種データを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、本開示の実施形態に係るプラットフォーム20の機能を実現可能なハードウェア構成は、上記情報処理装置10の機能を実現可能なハードウェア構成と同様の構成であるため、以下では詳細な説明は省略する。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得部と、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御部と、
を備える、情報処理装置。
(2)
前記制御部は、前記認識部による認識結果に応じて、認識された前記ユーザの動作又は状態に関する情報の内容を修正し、修正後の前記ユーザの動作又は状態に関する情報を、前記通知情報に反映させる、(1)に記載の情報処理装置。
(3)
前記制御部は、前記認識部による認識結果に応じて、前記ユーザの動作又は状態に関する情報の内容を抑制するか、前記ユーザの動作又は状態に関する情報の内容を他の内容へと置換するか、前記ユーザの動作又は状態に関する情報の内容の少なくとも一部を隠蔽するか、の何れかの修正を選択する、(1)又は(2)に記載の情報処理装置。
(4)
前記制御部は、前記ユーザと前記対象との間の動的な関係性に応じて、前記修正の度合いを変更する、(1)~(3)の何れか1つに記載の情報処理装置。
(5)
前記制御部は、前記ユーザの動作又は状態に関する情報を送信する側のユーザにおける、前記反映度合いの設定情報と、前記ユーザの動作又は状態に関する情報を受信する側のユーザにおける、前記反映度合いの設定情報と、に応じて、前記修正の度合いを変更する、(1)~(3)の何れか1つに記載の情報処理装置。
(6)
前記制御部は、前記ユーザの動作又は状態に関する情報を送信する側のユーザ、及び、前記ユーザの動作又は状態に関する情報を受信する側のユーザの間の動的な関係性と、前記ユーザの動作又は状態に関する情報を送信する側のユーザにおける、前記反映度合いの設定情報、及び、前記ユーザの動作又は状態に関する情報を受信する側のユーザにおける、前記反映度合いの設定情報と、の双方に応じて、前記修正の度合いを変更する、(1)~(3)の何れか1つに記載の情報処理装置。
(7)
前記制御部は、第1のユーザから第2のユーザへの前記ユーザの動作又は状態に関する情報の前記反映度合いを表わすオブジェクトを、前記第1のユーザ及び前記第2のユーザが参照している表示画面に表示させる、(1)~(6)の何れか1つに記載の情報処理装置。
(8)
前記特定のユーザの動作又は状態は、ユーザの身体的な動作、ユーザの表情、ユーザに関する生体情報、ユーザ又はユーザの周囲に存在するにおいもしくは音、振動の少なくとも何れかである、(1)~(7)の何れか1つに記載の情報処理装置。
(9)
前記センサは、カメラ、モーションセンサ、気圧センサ、においセンサ、振動センサ、マイク、照度センサ、生体センサの少なくとも何れかである、(1)~(8)の何れか1つに記載の情報処理装置。
(10)
前記対象は、複数のユーザ間で共有される仮想空間を提供するアプリケーションを利用している、他のユーザである、(1)~(9)の何れか1つに記載の情報処理装置。
(11)
前記対象は、第1のユーザが視認している空間の映像を第2のユーザと共有する映像共有機能を提供するアプリケーションを利用している、他のユーザである、(1)~(9)の何れか1つに記載の情報処理装置。
(12)
前記認識部、又は、前記制御部の少なくとも何れかは、複数のコンピュータに分散して実現される、(1)~(11)の何れか1つに記載の情報処理装置。
(13)
1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得することと、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御することと、
を含む、情報処理方法。
(14)
1又は複数のセンサによる検出結果を利用して、ユーザの動作又は状態の少なくとも何れか一方を認識する認識部による認識結果を取得可能なコンピュータに、
前記認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得機能と、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御機能と、
を実現させるためのプログラム。
(1)
1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得部と、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御部と、
を備える、情報処理装置。
(2)
前記制御部は、前記認識部による認識結果に応じて、認識された前記ユーザの動作又は状態に関する情報の内容を修正し、修正後の前記ユーザの動作又は状態に関する情報を、前記通知情報に反映させる、(1)に記載の情報処理装置。
(3)
前記制御部は、前記認識部による認識結果に応じて、前記ユーザの動作又は状態に関する情報の内容を抑制するか、前記ユーザの動作又は状態に関する情報の内容を他の内容へと置換するか、前記ユーザの動作又は状態に関する情報の内容の少なくとも一部を隠蔽するか、の何れかの修正を選択する、(1)又は(2)に記載の情報処理装置。
(4)
前記制御部は、前記ユーザと前記対象との間の動的な関係性に応じて、前記修正の度合いを変更する、(1)~(3)の何れか1つに記載の情報処理装置。
(5)
前記制御部は、前記ユーザの動作又は状態に関する情報を送信する側のユーザにおける、前記反映度合いの設定情報と、前記ユーザの動作又は状態に関する情報を受信する側のユーザにおける、前記反映度合いの設定情報と、に応じて、前記修正の度合いを変更する、(1)~(3)の何れか1つに記載の情報処理装置。
(6)
前記制御部は、前記ユーザの動作又は状態に関する情報を送信する側のユーザ、及び、前記ユーザの動作又は状態に関する情報を受信する側のユーザの間の動的な関係性と、前記ユーザの動作又は状態に関する情報を送信する側のユーザにおける、前記反映度合いの設定情報、及び、前記ユーザの動作又は状態に関する情報を受信する側のユーザにおける、前記反映度合いの設定情報と、の双方に応じて、前記修正の度合いを変更する、(1)~(3)の何れか1つに記載の情報処理装置。
(7)
前記制御部は、第1のユーザから第2のユーザへの前記ユーザの動作又は状態に関する情報の前記反映度合いを表わすオブジェクトを、前記第1のユーザ及び前記第2のユーザが参照している表示画面に表示させる、(1)~(6)の何れか1つに記載の情報処理装置。
(8)
前記特定のユーザの動作又は状態は、ユーザの身体的な動作、ユーザの表情、ユーザに関する生体情報、ユーザ又はユーザの周囲に存在するにおいもしくは音、振動の少なくとも何れかである、(1)~(7)の何れか1つに記載の情報処理装置。
(9)
前記センサは、カメラ、モーションセンサ、気圧センサ、においセンサ、振動センサ、マイク、照度センサ、生体センサの少なくとも何れかである、(1)~(8)の何れか1つに記載の情報処理装置。
(10)
前記対象は、複数のユーザ間で共有される仮想空間を提供するアプリケーションを利用している、他のユーザである、(1)~(9)の何れか1つに記載の情報処理装置。
(11)
前記対象は、第1のユーザが視認している空間の映像を第2のユーザと共有する映像共有機能を提供するアプリケーションを利用している、他のユーザである、(1)~(9)の何れか1つに記載の情報処理装置。
(12)
前記認識部、又は、前記制御部の少なくとも何れかは、複数のコンピュータに分散して実現される、(1)~(11)の何れか1つに記載の情報処理装置。
(13)
1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得することと、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御することと、
を含む、情報処理方法。
(14)
1又は複数のセンサによる検出結果を利用して、ユーザの動作又は状態の少なくとも何れか一方を認識する認識部による認識結果を取得可能なコンピュータに、
前記認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得機能と、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御機能と、
を実現させるためのプログラム。
1 情報処理システム
10 情報処理装置
20 プラットフォーム
101 認識部
103 制御部
105 通信制御部
107 記憶部
121 反映内容判断部
123 情報修正部
125 アプリケーション実行部
131 情報種別判別部
133 関係性判断部
135 反映内容決定部
201 統括制御部
203 センサ出力取得部
205 通信制御部
207 出力制御部
209 記憶部
221 認識部
223 情報反映制御部
10 情報処理装置
20 プラットフォーム
101 認識部
103 制御部
105 通信制御部
107 記憶部
121 反映内容判断部
123 情報修正部
125 アプリケーション実行部
131 情報種別判別部
133 関係性判断部
135 反映内容決定部
201 統括制御部
203 センサ出力取得部
205 通信制御部
207 出力制御部
209 記憶部
221 認識部
223 情報反映制御部
Claims (14)
- 1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得部と、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御部と、
を備える、情報処理装置。 - 前記制御部は、前記認識部による認識結果に応じて、認識された前記ユーザの動作又は状態に関する情報の内容を修正し、修正後の前記ユーザの動作又は状態に関する情報を、前記通知情報に反映させる、請求項1に記載の情報処理装置。
- 前記制御部は、前記認識部による認識結果に応じて、前記ユーザの動作又は状態に関する情報の内容を抑制するか、前記ユーザの動作又は状態に関する情報の内容を他の内容へと置換するか、前記ユーザの動作又は状態に関する情報の内容の少なくとも一部を隠蔽するか、の何れかの修正を選択する、請求項2に記載の情報処理装置。
- 前記制御部は、前記ユーザと前記対象との間の動的な関係性に応じて、前記修正の度合いを変更する、請求項2に記載の情報処理装置。
- 前記制御部は、前記ユーザの動作又は状態に関する情報を送信する側のユーザにおける、前記反映度合いの設定情報と、前記ユーザの動作又は状態に関する情報を受信する側のユーザにおける、前記反映度合いの設定情報と、に応じて、前記修正の度合いを変更する、請求項2に記載の情報処理装置。
- 前記制御部は、前記ユーザの動作又は状態に関する情報を送信する側のユーザ、及び、前記ユーザの動作又は状態に関する情報を受信する側のユーザの間の動的な関係性と、前記ユーザの動作又は状態に関する情報を送信する側のユーザにおける、前記反映度合いの設定情報、及び、前記ユーザの動作又は状態に関する情報を受信する側のユーザにおける、前記反映度合いの設定情報と、の双方に応じて、前記修正の度合いを変更する、請求項2に記載の情報処理装置。
- 前記制御部は、第1のユーザから第2のユーザへの前記ユーザの動作又は状態に関する情報の前記反映度合いを表わすオブジェクトを、前記第1のユーザ及び前記第2のユーザが参照している表示画面に表示させる、請求項1に記載の情報処理装置。
- 前記特定のユーザの動作又は状態は、ユーザの身体的な動作、ユーザの表情、ユーザに関する生体情報、ユーザ又はユーザの周囲に存在するにおいもしくは音、振動の少なくとも何れかである、請求項1に記載の情報処理装置。
- 前記センサは、カメラ、モーションセンサ、気圧センサ、においセンサ、振動センサ、マイク、照度センサ、生体センサの少なくとも何れかである、請求項1に記載の情報処理装置。
- 前記対象は、複数のユーザ間で共有される仮想空間を提供するアプリケーションを利用している、他のユーザである、請求項1に記載の情報処理装置。
- 前記対象は、第1のユーザが視認している空間の映像を第2のユーザと共有する映像共有機能を提供するアプリケーションを利用している、他のユーザである、請求項1に記載の情報処理装置。
- 前記認識部、又は、前記制御部の少なくとも何れかは、複数のコンピュータに分散して実現される、請求項1に記載の情報処理装置。
- 1又は複数のセンサによる検出結果を利用して認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得することと、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御することと、
を含む、情報処理方法。 - 1又は複数のセンサによる検出結果を利用して、ユーザの動作又は状態の少なくとも何れか一方を認識する認識部による認識結果を取得可能なコンピュータに、
前記認識部で認識される、ユーザの動作又は状態の少なくとも何れか一方を示す認識結果を取得する取得機能と、
前記認識結果が特定のユーザの動作又は状態を示すと判断される場合に、当該特定のユーザの動作又は状態に関する情報を前記ユーザとは異なる対象に対して伝える通知情報に、当該特定のユーザの動作又は状態に関する情報を反映させる程度である反映度合いを、当該対象に応じて制御する制御機能と、
を実現させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017526213A JP6702322B2 (ja) | 2015-06-30 | 2016-05-17 | 情報処理装置、情報処理方法及びプログラム |
CN201680036410.9A CN107735776B (zh) | 2015-06-30 | 2016-05-17 | 信息处理设备、信息处理方法和程序 |
US15/738,890 US10315111B2 (en) | 2015-06-30 | 2016-05-17 | Information processing device and information processing method |
US16/404,306 US10933321B2 (en) | 2015-06-30 | 2019-05-06 | Information processing device and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-131164 | 2015-06-30 | ||
JP2015131164 | 2015-06-30 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/738,890 A-371-Of-International US10315111B2 (en) | 2015-06-30 | 2016-05-17 | Information processing device and information processing method |
US16/404,306 Continuation US10933321B2 (en) | 2015-06-30 | 2019-05-06 | Information processing device and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017002473A1 true WO2017002473A1 (ja) | 2017-01-05 |
Family
ID=57608198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/064641 WO2017002473A1 (ja) | 2015-06-30 | 2016-05-17 | 情報処理装置、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US10315111B2 (ja) |
JP (2) | JP6702322B2 (ja) |
CN (1) | CN107735776B (ja) |
WO (1) | WO2017002473A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200489627Y1 (ko) * | 2019-06-11 | 2019-07-12 | 황영진 | 증강현실을 이용한 멀티플레이 교육 시스템 |
JP2020509468A (ja) * | 2017-02-13 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーション方法とシステム |
JP2020112895A (ja) * | 2019-01-08 | 2020-07-27 | ソフトバンク株式会社 | 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置 |
JP2021504778A (ja) * | 2017-11-27 | 2021-02-15 | ソニー・インタラクティブエンタテインメント エルエルシー | ソーシャルvr設定におけるシャドウバンニング |
JP2021057017A (ja) * | 2020-07-16 | 2021-04-08 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
WO2021065928A1 (ja) * | 2019-09-30 | 2021-04-08 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
JP2021521497A (ja) * | 2018-05-04 | 2021-08-26 | グーグル エルエルシーGoogle LLC | 検出された口運動および/または注視に基づく自動化アシスタントの適応 |
JP2022520386A (ja) * | 2019-02-13 | 2022-03-30 | スポーツ データ ラボズ,インコーポレイテッド | 生物学的データ追跡システムおよび方法 |
US11493992B2 (en) | 2018-05-04 | 2022-11-08 | Google Llc | Invoking automated assistant function(s) based on detected gesture and gaze |
US11688417B2 (en) | 2018-05-04 | 2023-06-27 | Google Llc | Hot-word free adaptation of automated assistant function(s) |
US12020704B2 (en) | 2022-01-19 | 2024-06-25 | Google Llc | Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102710460B1 (ko) | 2018-08-14 | 2024-09-27 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 전자 시스템 |
US11511199B2 (en) * | 2019-02-28 | 2022-11-29 | Vsn Vision Inc. | Systems and methods for creating and sharing virtual and augmented experiences |
WO2020176106A1 (en) * | 2019-02-28 | 2020-09-03 | Facebook Technologies, Llc | Methods and apparatus for unsupervised machine learning for classification of gestures and estimation of applied forces |
WO2020263672A1 (en) * | 2019-06-27 | 2020-12-30 | Raitonsa Dynamics Llc | Assisted expressions |
JP7275940B2 (ja) * | 2019-07-08 | 2023-05-18 | オムロン株式会社 | 制御プログラムおよび方法 |
US20210263582A1 (en) * | 2020-02-26 | 2021-08-26 | Mursion, Inc. | Systems and methods for automated control of human inhabited characters |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049510A (ja) * | 2005-08-11 | 2007-02-22 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2009077380A (ja) * | 2007-09-24 | 2009-04-09 | Fuji Xerox Co Ltd | 画像修正方法、画像修正システム、及び画像修正プログラム |
JP2012043284A (ja) * | 2010-08-20 | 2012-03-01 | Nippon Telegr & Teleph Corp <Ntt> | プレゼンス情報管理装置、プレゼンス情報管理方法及びプレゼンス情報管理プログラム |
JP2012054897A (ja) * | 2010-09-03 | 2012-03-15 | Sharp Corp | 会議システム、情報処理装置、及び情報処理方法 |
WO2014038323A1 (ja) * | 2012-09-06 | 2014-03-13 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2014115393A1 (ja) * | 2013-01-24 | 2014-07-31 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに画像表示システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0812706B2 (ja) * | 1993-03-25 | 1996-02-07 | 株式会社エイ・ティ・アール通信システム研究所 | 視線アニメーション表示装置 |
JPH08256316A (ja) * | 1995-03-17 | 1996-10-01 | Toshiba Corp | 通信会議システム |
ATE345646T1 (de) * | 2001-09-12 | 2006-12-15 | Opentv Inc | Verfahren und gerät für interaktives fernsehen mit unverbundener überwachung einer diskussionsforum |
JP4354313B2 (ja) | 2004-01-21 | 2009-10-28 | 株式会社野村総合研究所 | ユーザ間親密度測定システム及びユーザ間親密度測定プログラム |
US8600731B2 (en) * | 2009-02-04 | 2013-12-03 | Microsoft Corporation | Universal translator |
JP5208810B2 (ja) | 2009-02-27 | 2013-06-12 | 株式会社東芝 | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム |
JP2010239583A (ja) | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信端末装置、通信端末装置の通信制御方法、通信制御プログラム |
KR101482025B1 (ko) * | 2011-02-25 | 2015-01-13 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 증강 현실 프리젠테이션 |
JP2014021707A (ja) | 2012-07-18 | 2014-02-03 | Nikon Corp | 情報入出力装置、及び情報入出力方法 |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
-
2016
- 2016-05-17 US US15/738,890 patent/US10315111B2/en active Active
- 2016-05-17 WO PCT/JP2016/064641 patent/WO2017002473A1/ja active Application Filing
- 2016-05-17 JP JP2017526213A patent/JP6702322B2/ja active Active
- 2016-05-17 CN CN201680036410.9A patent/CN107735776B/zh active Active
-
2019
- 2019-05-06 US US16/404,306 patent/US10933321B2/en active Active
-
2020
- 2020-05-07 JP JP2020082215A patent/JP6992839B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049510A (ja) * | 2005-08-11 | 2007-02-22 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2009077380A (ja) * | 2007-09-24 | 2009-04-09 | Fuji Xerox Co Ltd | 画像修正方法、画像修正システム、及び画像修正プログラム |
JP2012043284A (ja) * | 2010-08-20 | 2012-03-01 | Nippon Telegr & Teleph Corp <Ntt> | プレゼンス情報管理装置、プレゼンス情報管理方法及びプレゼンス情報管理プログラム |
JP2012054897A (ja) * | 2010-09-03 | 2012-03-15 | Sharp Corp | 会議システム、情報処理装置、及び情報処理方法 |
WO2014038323A1 (ja) * | 2012-09-06 | 2014-03-13 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2014115393A1 (ja) * | 2013-01-24 | 2014-07-31 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに画像表示システム |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020509468A (ja) * | 2017-02-13 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーション方法とシステム |
JP7232765B2 (ja) | 2017-02-13 | 2023-03-03 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーション方法とシステム |
JP7008134B2 (ja) | 2017-11-27 | 2022-01-25 | ソニー・インタラクティブエンタテインメント エルエルシー | ソーシャルvr設定におけるシャドウバンニング |
JP2021504778A (ja) * | 2017-11-27 | 2021-02-15 | ソニー・インタラクティブエンタテインメント エルエルシー | ソーシャルvr設定におけるシャドウバンニング |
US11614794B2 (en) | 2018-05-04 | 2023-03-28 | Google Llc | Adapting automated assistant based on detected mouth movement and/or gaze |
US11493992B2 (en) | 2018-05-04 | 2022-11-08 | Google Llc | Invoking automated assistant function(s) based on detected gesture and gaze |
JP7471279B2 (ja) | 2018-05-04 | 2024-04-19 | グーグル エルエルシー | 検出された口運動および/または注視に基づく自動化アシスタントの適応 |
JP2021521497A (ja) * | 2018-05-04 | 2021-08-26 | グーグル エルエルシーGoogle LLC | 検出された口運動および/または注視に基づく自動化アシスタントの適応 |
US11688417B2 (en) | 2018-05-04 | 2023-06-27 | Google Llc | Hot-word free adaptation of automated assistant function(s) |
JP2020112895A (ja) * | 2019-01-08 | 2020-07-27 | ソフトバンク株式会社 | 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置 |
JP2022520386A (ja) * | 2019-02-13 | 2022-03-30 | スポーツ データ ラボズ,インコーポレイテッド | 生物学的データ追跡システムおよび方法 |
JP7542861B2 (ja) | 2019-02-13 | 2024-09-02 | スポーツ データ ラボズ,インコーポレイテッド | 生物学的データ追跡システムおよび方法 |
KR200489627Y1 (ko) * | 2019-06-11 | 2019-07-12 | 황영진 | 증강현실을 이용한 멀티플레이 교육 시스템 |
WO2021065928A1 (ja) * | 2019-09-30 | 2021-04-08 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
JP2021056884A (ja) * | 2019-09-30 | 2021-04-08 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
JP7291106B2 (ja) | 2020-07-16 | 2023-06-14 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
JP2021057017A (ja) * | 2020-07-16 | 2021-04-08 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
US12020704B2 (en) | 2022-01-19 | 2024-06-25 | Google Llc | Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant |
Also Published As
Publication number | Publication date |
---|---|
CN107735776B (zh) | 2021-07-13 |
CN107735776A (zh) | 2018-02-23 |
JPWO2017002473A1 (ja) | 2018-04-19 |
US20180185753A1 (en) | 2018-07-05 |
JP2020144901A (ja) | 2020-09-10 |
JP6702322B2 (ja) | 2020-06-03 |
US10933321B2 (en) | 2021-03-02 |
US10315111B2 (en) | 2019-06-11 |
JP6992839B2 (ja) | 2022-01-13 |
US20190255439A1 (en) | 2019-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6992839B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110874129B (zh) | 显示系统 | |
US11539876B2 (en) | User interfaces for altering visual media | |
KR102239604B1 (ko) | 응시 정보를 사용한 디바이스 제어 | |
US20210074072A1 (en) | Multimodal inputs for computer-generated reality | |
US20230020616A1 (en) | User interfaces for altering visual media | |
US10946280B2 (en) | In-game reactions to interruptions | |
US12007561B2 (en) | Methods and devices related to extended reality | |
WO2019087502A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6733662B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
US20220078506A1 (en) | User interfaces for managing audio for media items | |
US20230254448A1 (en) | Camera-less representation of users during communication sessions | |
Do et al. | Vice VRsa: Balancing Bystander's and VR user’s Privacy through Awareness Cues Inside and Outside VR | |
US11991263B2 (en) | Notification delivery in a virtual space based on a user being in a flow state | |
US12093603B2 (en) | Dynamically adjusting a personal boundary of an avatar in an XR environment | |
WO2023188904A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP4335531A1 (en) | Systems and methods of protecting personal space in multi-user virtual environment | |
WO2023095531A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7078036B2 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16817582 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017526213 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16817582 Country of ref document: EP Kind code of ref document: A1 |