WO2023243492A1 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

情報処理装置、情報処理方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2023243492A1
WO2023243492A1 PCT/JP2023/021038 JP2023021038W WO2023243492A1 WO 2023243492 A1 WO2023243492 A1 WO 2023243492A1 JP 2023021038 W JP2023021038 W JP 2023021038W WO 2023243492 A1 WO2023243492 A1 WO 2023243492A1
Authority
WO
WIPO (PCT)
Prior art keywords
degree
users
information processing
work
load
Prior art date
Application number
PCT/JP2023/021038
Other languages
English (en)
French (fr)
Inventor
遼 水山
崇紀 栗栖
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2023243492A1 publication Critical patent/WO2023243492A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a computer program.
  • Patent Document 1 discloses a technique aimed at estimating relationships between attributes that are meaningful to a person based on time-series data of attributes related to the person's body or activities.
  • the present disclosure has been made in view of the above points, and provides an information processing device and an information processing device that can make the task enjoyable by adjusting the difficulty level when multiple people are performing the same task.
  • the object of the present invention is to provide a method and a computer program.
  • an information processing device uses time-series biological information consisting of a plurality of physiological indicators of each of a plurality of users who are performing the same task to a synchronization degree calculation unit that calculates the degree of synchronization of time-series biometric information; an emotion sharing degree calculation unit that calculates the degree of emotional sharing between each of the users using the degree of synchronization calculated by the synchronization degree calculation unit; a load control unit that controls a change in the load of the work based on a performance degree regarding the degree of performance of each of the users with respect to the work and the emotion sharing degree of each of the users calculated by the emotion sharing degree calculation unit; Be prepared.
  • the load control unit may further control changes in the work load based on the relationship between the users.
  • the load control unit maintains the load of the work when the emotional sharing level is at least a predetermined threshold, and when the emotional sharing level is less than a predetermined threshold and the performance level is at least a predetermined threshold. may increase the work load, and reduce the work load when the emotion sharing degree is less than a predetermined threshold and the performance level is less than a predetermined threshold.
  • the load control unit may control changes in a load that is commonly set for the plurality of users.
  • the load control unit may control changes in loads individually set for each of the users.
  • the emotion sharing level calculation unit may calculate the emotional sharing level by multiplying each physiological index that constitutes the time-series biological information by a predetermined coefficient.
  • the coefficient may be determined using a trained model that estimates the degree of emotional sharing from the time-series biometric information.
  • the work may be at least one of sports, games, rehabilitation, and problem solving.
  • a processor extracts time-series biological information consisting of a plurality of physiological indicators of each of a plurality of users performing the same task. , calculate the degree of synchronization of time-series biological information between the users, calculate the degree of emotional sharing between each of the users using the calculated degree of synchronization, and calculate the degree of performance regarding the degree of performance of each of the users with respect to the work. , the change in the work load is controlled based on the calculated degree of emotional sharing of each user.
  • a computer program allows a computer to use time-series biological information consisting of a plurality of physiological indicators of each of a plurality of users who are performing the same task. calculating a degree of synchronization of time-series biological information between the users, calculating a degree of emotional sharing between each of the users using the calculated degree of synchronization, and determining a degree of performance regarding the degree of performance of each of the users with respect to the work; A process for controlling a change in the work load is executed based on the calculated emotional sharing degree of each user.
  • an information processing device an information processing method, and a computer program that can make the work enjoyable by adjusting the load of the work when a plurality of people are performing the same work. Can be done.
  • FIG. 1 is a diagram showing a schematic configuration of an information processing system according to an embodiment of the disclosed technology.
  • FIG. 2 is a block diagram showing the hardware configuration of an information processing device.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of an information processing device.
  • FIG. 3 is a diagram illustrating an example of information regarding work performance. This is a graph illustrating the degree of synchronization between people who are doing the same work at the same time. It is a figure which shows the example of the calculation method of a degree of synchronization. 3 is a flowchart showing the flow of information processing by the information processing device.
  • FIG. 1 is a diagram showing a schematic configuration of an information processing system according to this embodiment.
  • the information processing system shown in FIG. 1 includes an information processing device 10, a sensor 20, an operation input device 30, and an output device 40.
  • the information processing device 10 is a device that adjusts the load of a task when multiple people are performing the same task at the same time, using the degree of emotional sharing between the humans and the content of the performance of the task.
  • the information processing device 10 calculates the degree of emotional sharing between humans using the degree of synchronization of biometric information of each human being acquired from the sensor 20.
  • the information processing device 10 also acquires the details of the work performance from the operation input device 30.
  • work refers to something that can be done by multiple people at the same time, such as sports, games, rehabilitation, and problem solving
  • work load refers to things that can be done at the same time by multiple people, such as sports, games, rehabilitation, problem solving, etc.
  • work performance refers to everything related to the degree of performance of the work concerned, and includes indicators such as the number of successes, success rate, and proximity to target standards, and these indicators are examples of the performance level of the present invention. be.
  • work performance may be collectively indicated using an index called ability demonstration level.
  • the task load is the speed of the ball hit by the robot, the direction of rotation, or the position where the ball bounces on the table tennis table
  • the task performance is the number of successful returns. , the number of consecutive successful returns, the success rate of returning balls, the error in distance from the target position, the average or dispersion of the error, the number of consecutive rallies, etc.
  • the work load is the weight of the pedals, etc.
  • the work performance is the running speed, the distance traveled, etc.
  • the work load is the location and amount of enemies that appear, the range of bullets fired by the player, etc.
  • the work performance is the number of defeated enemies, the target of the bullets, etc. The average rate, the number of times you were attacked by the enemy, etc.
  • the sensor 20 acquires biological information of the person performing the work.
  • Physiological indicators of biological information include facial expressions, blink frequency, blink timing, body temperature, heart rate, heart rate variability, pulse rate, pulse rate variability, breathing rate, blood pressure, galvanic skin response (sweating), pupil diameter, brain waves, muscle These include electricity, stress hormone concentration in saliva, etc.
  • the operation input device 30 is a device through which a person performing a task inputs an operation for the task.
  • the operation input device 30 is a stereo camera that captures images of the racket used by the table tennis player and the table tennis table.
  • the operation input device 30 is a bicycle ergometer.
  • the operation input device 30 is a controller.
  • the output device 40 is a device that reflects the work load adjusted by the information processing device 10. For example, when the task is table tennis against a robot, the output device 40 adjusts the speed of the ball hit by the robot or the position at which the ball bounces on the table tennis table based on the load. For example, when the work is rehabilitation using a bicycle ergometer, the output device 40 adjusts the weight of the pedals of the bicycle ergometer. For example, when the task is a shooting game, the output device 40 adjusts the appearance position and appearance amount of enemies, the range hit by bullets fired by the player, etc.
  • FIG. 2 is a block diagram showing the hardware configuration of the information processing device 10.
  • the information processing device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, a display unit 16, and a communication unit. interface (I/F) 17.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage 14 an input unit 15, a display unit 16, and a communication unit. interface (I/F) 17.
  • I/F interface
  • the CPU 11 is a central processing unit that executes various programs and controls various parts. That is, the CPU 11 reads a program from the ROM 12 or the storage 14 and executes the program using the RAM 13 as a work area. The CPU 11 controls each of the above components and performs various arithmetic operations according to programs recorded in the ROM 12 or the storage 14. In this embodiment, the ROM 12 or the storage 14 stores an information processing program that adjusts the work load.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores programs or data as a work area.
  • the storage 14 is constituted by a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a flash memory, and stores various programs including an operating system and various data.
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used to perform various inputs.
  • the display unit 16 is, for example, a liquid crystal display, and displays various information.
  • the display section 16 may adopt a touch panel method and function as the input section 15.
  • the communication interface 17 is an interface for communicating with other devices such as the sensor 20, the operation input device 30, and the output device 40, and supports, for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark). is used.
  • Ethernet registered trademark
  • FDDI FDDI
  • Wi-Fi Wi-Fi
  • the information processing device 10 When executing the above information processing program, the information processing device 10 uses the above hardware resources to realize various functions. The functional configuration realized by the information processing device 10 will be described.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the information processing device 10.
  • FIG. 3 also shows an example of the functional configuration of the sensor 20 and the operation input device 30.
  • the information processing device 10 has a biological information storage section 101, a performance storage section 102, a synchronization degree calculation section 103, an emotion sharing degree calculation section 104, a load control section 105, and a load storage section 106 as functional configurations. has.
  • Each functional configuration is realized by the CPU 11 reading out and executing an information processing program stored in the ROM 12 or the storage 14.
  • the biological information storage section 101, the performance storage section 102, and the load storage section 106 may be provided in the storage 14.
  • the biological information storage unit 101 stores time-series biological information of the person performing the work, acquired by the biological information acquisition unit 21 of the sensor 20, for each person performing the work.
  • Time-series biological information of a person performing work is data expressed as time-series data.
  • Biological information of the person performing the work includes, for example, facial expressions, number of blinks, blink timing, body temperature, heart rate, heart rate variability, pulse rate, pulse rate variability, breathing rate, blood pressure, electrodermal response (sweating), and pupils. These include diameter, electroencephalogram, electromyography, salivary stress hormone concentration, etc.
  • the performance storage unit 102 stores information regarding work performance acquired by the performance acquisition unit 31 of the operation input device 30.
  • FIG. 4 is a diagram showing an example of information related to work performance stored in the performance storage unit 102.
  • FIG. 4 shows a graph in which the horizontal axis represents time and the vertical axis represents the degree of performance of work.
  • the graph shown in FIG. 4 exemplifies the success rate of work as a degree of ability performance, and it is possible to understand from the information how much it exceeds or falls short of a certain target standard.
  • the synchronization degree calculation unit 103 calculates the degree of synchronization of the person performing the work using the biological information of the person performing the work stored in the biological information storage unit 101.
  • the degree of synchronization is an index that indicates how synchronously the biometric information of multiple people performing work changes.
  • FIG. 5 is a graph illustrating the degree of synchronization between people who are doing the same work at the same time.
  • the horizontal axis is time
  • the vertical axis is a graph of physiological reaction strength based on biological information acquired by the biological information acquisition unit 21 of the sensor 20.
  • the graph in FIG. 5 shows changes over time in the physiological reaction strength of two people who are simultaneously performing the same task.
  • a section where the two waveforms are similar is considered to be a section where the degree of synchronization of changes in physiological reaction strength is high.
  • a section in which the two waveforms are not similar is considered to be a section in which the degree of synchronization of changes in physiological reaction strength is low.
  • FIG. 6 is a diagram illustrating an example of a method for calculating the degree of synchronization.
  • Figure 6 shows the synchronization calculation methods: Pearson correlation (correlation), Multilevel Model (regression), Signal Matching (area difference between signals), CRQA (similarity of states), DTW (distance between waveforms), Cross correlation (correlation taking into account time delay), instantaneous derivative matching (difference in differential values), directional movement (degree of agreement in the direction of change), and weighted coherence (frequency analysis) are shown.
  • the synchronization calculation unit 103 uses at least one of the synchronization calculation methods shown in FIG. 6 to calculate the synchronization of people who are performing the same work at the same time.
  • the method of calculating the degree of synchronization is not limited to the method shown in FIG.
  • the synchronization degree calculation unit 103 calculates the synchronization degree for each biometric information. Therefore, even if biometric information has a high degree of synchronization in a certain period, it may have a low degree of synchronization in another period.
  • the degree of shared emotion calculation unit 104 calculates the degree of shared emotion between people who are simultaneously performing the same task. Specifically, the emotion sharing degree calculation unit 104 calculates the normalized emotion sharing degree by multiplying the degree of synchronization calculated by the synchronization degree calculation unit 103 by a predetermined coefficient for each biological information. The coefficient is multiplied for each physiological index, and is an element that can change depending on the work being performed. For example, the coefficients may be adjusted such that the heart rate coefficient is increased for one task, but the heart rate coefficient is decreased for another task.
  • the coefficients used by the emotion sharing level calculation unit 104 to calculate the emotional sharing level may be coefficients determined using a trained model that estimates the emotional sharing level from biological information.
  • the load control unit 105 controls the work load using the emotion sharing degree calculated by the emotion sharing degree calculation unit 104 and the information regarding the performance of the work stored in the performance storage unit 102. Specifically, when the degree of emotional sharing is greater than or equal to a predetermined threshold, the load control unit 105 determines that the person performing the task is enjoying the current task, and maintains the current load. In addition, if the degree of emotional sharing is less than a predetermined threshold and the task performance is also less than a predetermined threshold, the load control unit 105 determines that the person performing the task is not enjoying the current task because the task is difficult. It is determined that this is the case, and control is performed to reduce the load.
  • the load control unit 105 determines that the person performing the task is not enjoying the current task because the task is easy. It is determined that this is the case, and control is performed to increase the load. Note that current load information is stored in the load storage unit 106. When the load control unit 105 changes the load by controlling the load, the load control unit 105 stores information about the changed load in the load storage unit 106.
  • the load may be set commonly for all people who are performing the same work at the same time, or may be set individually.
  • the load control unit 105 may increase the degree of emotional sharing by increasing the load on a person who is skilled at the task and decreasing the load on a person who is unskilled at the task.
  • the load control unit 105 may refer to information regarding the performance of the work stored in the performance storage unit 102 to determine whether the person is skilled at the work.
  • the information processing device 10 can control the load of work performed simultaneously by multiple people based on the degree of emotional sharing determined from the degree of synchronization of biological information and information regarding performance.
  • the information processing device 10 can contribute to maintaining or improving motivation for work by controlling the load of work performed simultaneously by multiple people.
  • FIG. 7 is a flowchart showing the flow of information processing by the information processing device 10. Information processing is performed by the CPU 11 reading out an information processing program from the ROM 12 or the storage 14, loading it onto the RAM 13, and executing it.
  • step S101 the CPU 11 acquires biological information of people who are simultaneously performing the same work from the sensor 20, and stores it in the storage 14.
  • step S102 the CPU 11 obtains the details of the operations performed by each person for the task from the operation input device 30, and stores them in the storage 14 as performance information.
  • step S103 the CPU 11 uses the biometric information acquired and stored in step S101 to calculate the degree of synchronization of people who are performing the same task at the same time. As described above, the CPU 11 calculates the degree of synchronization of people who are simultaneously performing the same task for each biological information by performing calculations on the physiological reaction strength as shown in FIG.
  • step S104 the CPU 11 uses the degree of synchronization calculated in step S101 to calculate the degree of emotional sharing between people who are simultaneously performing the same task.
  • the CPU 11 calculates the degree of emotional sharing between people who are simultaneously performing the same task by multiplying and normalizing the degree of synchronization for each piece of biological information by a coefficient.
  • step S105 the CPU 11 controls the load of work performed simultaneously by multiple people using the degree of emotional sharing calculated in step S104 and the performance information acquired and stored in step S101.
  • the CPU 11 determines that the person performing the task is enjoying the current task, and maintains the current workload. Furthermore, if the degree of emotional sharing is less than a predetermined threshold and the task performance is also less than a predetermined threshold, the CPU 11 determines that the person performing the task is not enjoying the current task because the task is difficult. and performs control to reduce the load. Furthermore, if the degree of emotional sharing is less than a predetermined threshold and the task performance is above a predetermined threshold, the CPU 11 determines that the person performing the task is not enjoying the current task because the task is easy. judgment and control to increase the load.
  • the information processing device 10 is able to control the load of work performed simultaneously by multiple people based on the degree of emotional sharing determined from the degree of synchronization of biological information and information regarding performance. .
  • the information processing device 10 can contribute to maintaining or improving motivation for work by controlling the load of work performed simultaneously by multiple people.
  • the sensor 20 acquires biological information such as the facial expression, number of blinks, and blink frequency of each player playing table tennis and provides it to the information processing device 10.
  • the operation input device 30 also acquires performance information such as the number of consecutive successful ball returns and the success rate of ball returns by the player.
  • a stereo camera that images a table tennis table is provided as the operation input device 30, and the stereo camera acquires the three-dimensional position of the ball hit by the player and detects the location where the ball bounced, thereby allowing the player to continuously return the ball. It is possible to obtain performance information such as the number of successes and return success rate.
  • the information processing device 10 calculates the degree of emotional sharing between the players based on the biometric information of the table tennis players acquired from the sensor 20. Then, the information processing device 10 determines, based on the degree of emotional sharing between the players and the table tennis performance information acquired from the operation input device 30, the speed and rotational direction of the ball hit by the table tennis robot as a load, or the bounce of the ball hit on the table tennis table. control the range of positions.
  • the information processing device 10 maintains the current ball batting speed, rotation direction, and ball bounce position range by the table tennis robot.
  • the information processing device 10 may increase the batting speed or change the rotational direction of the player's batting. Performs controls such as setting the ball in a difficult direction and adjusting the bouncing position to a position that is difficult for the player to hit. For example, if the degree of emotional sharing between the players is lower than a predetermined threshold and the player's performance has not reached the standard based on the performance information, the information processing device 10 may slow down the batting speed or change the rotational direction of the player's batting. Controls are performed such as setting the ball in an easy direction and adjusting the bouncing position to a position that is easy for the player to hit.
  • the sensor 20 acquires biological information such as the facial expression, number of blinks, and blink frequency of each person pedaling the bicycle ergometer, and provides the information to the information processing device 10.
  • the sensor 20 can obtain information that changes due to exercise, such as heartbeat and breathing, but it is difficult to determine whether the fluctuation is due to the fact that you are pedaling on the bicycle ergometer or because of your relationship with the person who is pedaling the bicycle ergometer with you. Since it is unclear whether the emotion is a physical object or not, information that changes due to exercise may not be used to calculate the degree of emotional sharing.
  • the operation input device 30 also acquires performance information of the buddy biking, such as the number of pedal rotations of the bicycle ergometer, the distance traveled, and the traveling speed, and provides it to the information processing device 10.
  • the information processing device 10 calculates the degree of emotional sharing between people who are buddy biking based on biological information such as facial expressions, number of blinks, and blink frequency of the people who are pedaling the bicycle ergometer, acquired from the sensor 20. calculate.
  • the information processing device 10 then controls the weight of pedaling the bicycle ergometer as a load based on the degree of emotional sharing between the people doing buddy biking and the performance information of the buddy biking acquired from the operation input device 30.
  • the information processing device 10 maintains the weight of pedaling the bicycle ergometer.
  • the information processing device 10 Performs control to increase the weight of pedaling. For example, if the degree of emotional sharing between people who are buddy biking is less than a predetermined threshold, and the performance information of the people who are buddy biking has not reached the standard, the information processing device 10 will: Performs control to reduce the weight of pedaling.
  • the sensor 20 acquires biological information such as the facial expression, number of blinks, blink frequency, heartbeat, respiration, and pulse of each player playing the game, and provides the information to the information processing device 10.
  • the operation input device 30 also provides game performance information such as the number of enemies defeated, the number of bullets hitting enemies, the percentage of bullets hitting enemies, the number of enemy attacks, and the percentage of enemy attacks. is acquired and provided to the information processing device 10.
  • the information processing device 10 detects emotions between players playing the same game based on biological information such as facial expressions, number of blinks, and blink frequency of each player playing the same game acquired from the sensor 20. Calculate the degree of sharing. Then, the information processing device 10 controls the difficulty level of the game as a load based on the degree of emotional sharing between players playing the same game and the performance information of the game acquired from the operation input device 30.
  • the difficulty level of the game to be controlled is, for example, the appearance position of enemies, the appearance amount of enemies, the range hit by bullets fired by the player, and the like.
  • the sensor 20 acquires biological information such as the facial expression, number of blinks, blink frequency, heartbeat, respiration, and pulse of each student who answers the question, and provides it to the information processing device 10.
  • the operation input device 30 also acquires performance information regarding answers to the questions, such as the number of correct answers to the questions and the percentage of correct answers, and provides the information processing device 10 with the performance information.
  • the information processing device 10 detects differences among students who are answering the same question based on biological information such as facial expressions, number of blinks, and blink frequency of each student who is answering the same question, which is obtained from the sensor 20. Calculate the degree of emotional sharing. Then, the information processing device 10 controls the difficulty level of the question as a load based on the degree of emotional sharing among students who are answering the same question and the performance information of the answer to the question obtained from the operation input device 30.
  • the effects described in the above embodiments are explanatory or exemplary, and are not limited to those described in the above embodiments.
  • the technology according to the present disclosure can be obtained from the descriptions in the above embodiments together with the effects described in the above embodiments, or in place of the effects described in the above embodiments, and has common knowledge in the technical field of the present disclosure. It may have other effects that are obvious to those who are interested in it.
  • the processor in this case is a PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing, such as an FPGA (Field-Programmable Gate Array), and an ASIC (Application Specific Intel).
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Intel
  • An example is a dedicated electric circuit that is a processor having a specially designed circuit configuration.
  • Information processing may be executed by one of these various processors, or by a combination of two or more processors of the same type or different types (for example, multiple FPGAs, a combination of a CPU and an FPGA, etc.). ) can also be executed.
  • the hardware structure of these various processors is, more specifically, an electric circuit that is a combination of circuit elements such as semiconductor elements.
  • the information processing program is stored (installed) in the ROM or storage in advance, but the present invention is not limited to this.
  • the program can be installed on CD-ROM (Compact Disk Read Only Memory), DVD-ROM (Digital Versatile Disk Read Only Memory), and USB (Universal Serial Bus) recorded on a non-transitory recording medium such as memory It may be provided in the form of Further, the program may be downloaded from an external device via a network.
  • Information processing system 10 Information processing device 20 Sensor 30 Operation input device 40 Output device

Abstract

同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算する同期度計算部１０３と、同期度計算部１０３が計算した同期度を用いて各ユーザ間の感情共有度を計算する感情共有度計算部１０４と、作業に対する各ユーザの実績の度合いに関する実績度と、感情共有度計算部１０４が計算した各ユーザ間の感情共有度とに基づき、作業の負荷の変更を制御する負荷制御部１０５と、を備える、情報処理装置１０が提供される。

Description

情報処理装置、情報処理方法及びコンピュータプログラム
　本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。
　複数の人間同士の関係性を推測するための技術が開示されている。特許文献１では、人の身体または活動に関する属性の時系列データに基づいて、該人にとって意味のある属性の関係性を推定することを目的とした技術が開示されている。
特開２０２２－１３４０９号公報
　しかし、複数の人間が、ゲーム、リハビリテーション、問題の解答等の同一の作業を同時に行っている場合において、複数の人間同士の関係性を推測するだけでは、当該作業を楽しませることはできない。
　本開示は、上記の点に鑑みてなされたものであり、複数の人間が同じ作業を行っている場合において、難易度の調節により当該作業を楽しませることが可能な、情報処理装置、情報処理方法及びコンピュータプログラムを提供することを目的とする。
　上記目的を達成するために、本発明のある観点に係る情報処理装置は、同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算する同期度計算部と、前記同期度計算部が計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算する感情共有度計算部と、前記作業に対する各前記ユーザの実績の度合いに関する実績度と、前記感情共有度計算部が計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する負荷制御部と、を備える。
　前記負荷制御部は、さらに前記ユーザ間の関係性に基づいて前記作業の負荷の変更を制御してもよい。
　前記負荷制御部は、前記感情共有度が所定の閾値以上である場合は前記作業の負荷を維持し、前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値以上である場合は前記作業の負荷を増加させ、前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値未満である場合は前記作業の負荷を減少させてもよい。
　前記負荷制御部は、複数の前記ユーザに対して共通に設定された負荷の変更を制御してもよい。
　前記負荷制御部は、前記ユーザの各々に対して個別に設定された負荷の変更を制御してもよい。
　前記感情共有度計算部は、前記時系列生体情報を構成する生理指標毎に所定の係数を掛けて前記感情共有度を計算してもよい。
　前記係数は、前記時系列生体情報から前記感情共有度を推測する学習済みモデルを用いて決定された係数であってもよい。
　前記作業は、スポーツ、ゲーム、リハビリテーション、問題の解答の少なくともいずれかであってもよい。
　上記目的を達成するために、本発明の別の観点に係る情報処理方法は、プロセッサが、同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する。
　上記目的を達成するために、本発明の別の観点に係るコンピュータプログラムは、コンピュータに、同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する、処理を実行させる。
　本開示によれば、複数の人間が同じ作業を行っている場合において、当該作業の負荷の調節により当該作業を楽しませることが可能な、情報処理装置、情報処理方法及びコンピュータプログラムを提供することができる。
開示の技術の実施形態に係る情報処理システムの概略構成を示す図である。 情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の機能構成の例を示すブロック図である。 作業のパフォーマンスに関する情報の一例を示す図である。 同じ作業を同時に行っている人間の同期度を説明するグラフである。 同期度の計算手法の例を示す図である。 情報処理装置による情報処理の流れを示すフローチャートである。
　以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　図１は、本実施形態に係る情報処理システムの概略構成を示す図である。
　図１に示した情報処理システムは、情報処理装置１０、センサ２０、操作入力装置３０、及び出力装置４０を有する。
　情報処理装置１０は、複数の人間が同じ作業を同時に行っている場合において、人間間の感情共有度と、作業のパフォーマンスの内容とを用いて、当該作業の負荷の調節を行う装置である。情報処理装置１０は、人間間の感情共有度を、センサ２０から取得した各人間の生体情報の同期度を用いて計算する。また情報処理装置１０は、作業のパフォーマンスの内容を操作入力装置３０から取得する。
　なお、本実施形態において作業とは、例えばスポーツ、ゲーム、リハビリテーション、問題の解答等の複数人で同時に行われうるもの先般を指し、作業の負荷とは、例えば当該作業の実施の困難性に影響を及ぼすものの全般を指す。そして作業のパフォーマンスとは、当該作業の実績の度合いに関するもの全般を指し、成功数、成功率、目標基準への近さ等の指標が含まれ、これらの指標は本発明の実績度の一例である。以下の説明では、作業のパフォーマンスを能力発揮度という指標でまとめて示すことがある。
　例えば、作業がロボット相手の卓球である場合、作業の負荷は、ロボットによる打球の速度、回転方向又は打球されたボールが卓球台でバウンドする位置等であり、作業のパフォーマンスは、返球の成功数、返球の連続成功数、返球の成功率、狙った位置からの距離の誤差及び誤差の平均又はばらつき、ラリーの継続回数等である。
　また例えば、作業が自転車エルゴメータを用いたリハビリテーションである場合、作業の負荷は、ペダルの重さ等であり、作業のパフォーマンスは走行速度、走行距離等である。
　また例えば、作業がシューティングゲームである場合、作業の負荷は、敵の出現位置、出現量、プレイヤが発射する弾が当たる範囲等であり、作業のパフォーマンスは、倒した敵の数、弾の的中率、敵からの攻撃を受けた回数等である。
　センサ２０は、作業を実行している人間の生体情報を取得する。生体情報の生理指標としては、表情、瞬目回数、瞬目タイミング、体温、心拍数、心拍変動、脈拍数、脈拍変動、呼吸数、血圧、皮膚電気反応（発汗）、瞳孔径、脳波、筋電、唾液中ストレスホルモン濃度等がある。
　操作入力装置３０は、作業を実行している人間が作業に対する操作を入力する装置である。例えば作業がロボット相手の卓球の場合、操作入力装置３０は、卓球のプレイヤが使用するラケット及び卓球台を撮像するステレオカメラである。また例えば、作業が自転車エルゴメータを用いたリハビリテーションの場合、操作入力装置３０は自転車エルゴメータである。また例えば、作業がシューティングゲームの場合、操作入力装置３０はコントローラである。
　出力装置４０は、情報処理装置１０が調節した作業の負荷を反映する装置である。例えば作業がロボット相手の卓球の場合、出力装置４０は、負荷に基づいてロボットに対して打球の速度又は打球されたボールが卓球台でバウンドする位置を調整する。また例えば、作業が自転車エルゴメータを用いたリハビリテーションの場合、出力装置４０は自転車エルゴメータのペダルの重さを調整する。また例えば、作業がシューティングゲームの場合、出力装置４０は敵の出現位置、出現量、プレイヤが発射する弾が当たる範囲等を調整する。
　図２は、情報処理装置１０のハードウェア構成を示すブロック図である。
　図２に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２またはストレージ１４に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２またはストレージ１４には、作業の負荷を調整する情報処理プログラムが格納されている。
　ＲＯＭ１２は、各種プログラムおよび各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）またはフラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
　表示部１６は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
　通信インタフェース１７は、センサ２０、操作入力装置３０、出力装置４０等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
　上記の情報処理プログラムを実行する際に、情報処理装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。情報処理装置１０が実現する機能構成について説明する。
　図３は、情報処理装置１０の機能構成の例を示すブロック図である。図３には併せてセンサ２０及び操作入力装置３０の機能構成の例も示されている。
　図３に示すように、情報処理装置１０は、機能構成として、生体情報記憶部１０１、パフォーマンス記憶部１０２、同期度計算部１０３、感情共有度計算部１０４、負荷制御部１０５及び負荷記憶部１０６を有する。各機能構成は、ＣＰＵ１１がＲＯＭ１２またはストレージ１４に記憶された情報処理プログラムを読み出し、実行することにより実現される。
　なお、図３に示した機能構成のうち、生体情報記憶部１０１、パフォーマンス記憶部１０２及び負荷記憶部１０６はストレージ１４に設けられ得る。
　生体情報記憶部１０１は、センサ２０の生体情報取得部２１が取得した、作業を行っている人間の時系列生体情報を、作業を行う人間毎に記憶する。作業を行っている人間の時系列生体情報は、時系列データとして表されるデータである。作業を行っている人間の生体情報には、例えば表情、瞬目回数、瞬目タイミング、体温、心拍数、心拍変動、脈拍数、脈拍変動、呼吸数、血圧、皮膚電気反応（発汗）、瞳孔径、脳波、筋電、唾液中ストレスホルモン濃度等がある。
　パフォーマンス記憶部１０２は、操作入力装置３０のパフォーマンス取得部３１が取得した、作業のパフォーマンスに関する情報を記憶する。
　図４は、パフォーマンス記憶部１０２に記憶される、作業のパフォーマンスに関する情報の一例を示す図である。図４には、横軸が時間、縦軸が作業の能力発揮度のグラフが示されている。図４に示したグラフは能力発揮度として作業の成功率を例示しており、ある目標基準からどれだけ上回っているか、またはどれだけ下回っているか、が当該情報から把握可能である。
　同期度計算部１０３は、生体情報記憶部１０１に記憶されている、作業を行っている人間の生体情報を用いて、作業を行っている人間の同期度を計算する。同期度は、作業を行っている複数の人間の生体情報がどれだけ同期して変化しているかを示す指標である。
　図５は、同じ作業を同時に行っている人間の同期度を説明するグラフである。図５には、横軸が時間、縦軸がセンサ２０の生体情報取得部２１が取得した生体情報に基づいた生理反応強度のグラフが示されている。図５のグラフには、同じ作業を同時に行っている２人の人間の生理反応強度の時間変化が示されている。２つの波形が似ている区間は、生理反応強度の変化の同期度が高い区間であると考えられる。一方で、２つの波形が似ていない区間は、生理反応強度の変化の同期度が低い区間であると考えられる。
　同期度計算部１０３は、図５に示したグラフで示される生理反応強度に対する演算を行うことで、同じ作業を同時に行っている人間の同期度を把握できる。図６は、同期度の計算手法の例を示す図である。図６には、同期度の計算手法として、Pearson correlation（相関）、Multilevel Model（回帰）、Signal Matching（信号間の面積差）、CRQA（状態の類似性）、DTW（波形間の距離）、Cross correlation（時間遅れを考慮した相関）、Instantaneous derivative matching（微分値の差）、Directional movement（変化方向の一致度）、Weighted coherence（周波数解析）が示されている。同期度計算部１０３は、図６に示した同期度の計算手法の少なくともいずれかを用いることで、同じ作業を同時に行っている人間の同期度を計算する。もちろん、同期度の計算手法は図６に示した手法に限定されるものでは無い。
　図５では、生理反応強度の変化の同期度が低い、すなわち波形の変化が似ていない低同期の区間と、生理反応強度の変化の同期度が高い、すなわち波形の変化が似ている高同期の区間とが示されている。
　生体情報は複数存在しうるため、同期度計算部１０３は、生体情報毎に同期度を計算する。従って、ある期間では同期度が高い生体情報であっても、別の期間では同期度が低い生体情報もあり得る。
　感情共有度計算部１０４は、同期度計算部１０３が計算した同期度に基づいて、同じ作業を同時に行っている人間間の感情共有度を計算する。具体的には、感情共有度計算部１０４は、同期度計算部１０３が計算した同期度に対して生体情報毎に所定の係数を掛けて、正規化した感情共有度を計算する。当該係数は、生理指標毎に掛けられるものであり、行っている作業によって変化し得る要素である。例えば、ある作業では心拍数の係数を大きくするが、別の作業では心拍数の係数を小さくするような係数の調整が行われてもよい。
　感情共有度計算部１０４が感情共有度の計算に用いる係数は、生体情報から感情共有度を推測する学習済みモデルを用いて決定された係数であってもよい。
　負荷制御部１０５は、感情共有度計算部１０４が計算した感情共有度と、パフォーマンス記憶部１０２に記憶されている作業のパフォーマンスに関する情報とを用いて、作業の負荷を制御する。具体的には、負荷制御部１０５は、感情共有度が所定の閾値以上の場合は、作業を行っている人間が現在の作業を楽しめているものと判断して、現在の負荷を維持する。また、負荷制御部１０５は、感情共有度が所定の閾値未満であり、作業のパフォーマンスも所定の閾値未満の場合は、作業が難しいために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を減少する制御を行う。また、負荷制御部１０５は、感情共有度が所定の閾値未満で、作業のパフォーマンスが所定の閾値以上の場合は、作業が簡単なために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を上げる制御を行う。なお、現在の負荷の情報は負荷記憶部１０６に記憶されている。負荷制御部１０５は、負荷の制御により負荷を変更すると、変更後の負荷の情報を負荷記憶部１０６に記憶する。
　なお、負荷は同一の作業を同時に行っている人間の全てに対して共通に設定されてもよく、個別に設定されてもよい。例えば、負荷制御部１０５は、作業に熟練している人間には負荷を高くし、作業に未熟な人間には負荷を低くすることで、感情共有度を高めるようにしてもよい。負荷制御部１０５は、パフォーマンス記憶部１０２に記憶されている作業のパフォーマンスに関する情報を参照して、その作業に熟練しているかどうかを判断してもよい。
　情報処理装置１０は、係る構成を有することで、生体情報の同期度から求めた感情共有度と、パフォーマンスに関する情報とから、複数の人間が同時に行っている作業の負荷を制御することが出来る。情報処理装置１０は、複数の人間が同時に行っている作業の負荷を制御することで、作業に対するモチベーションの維持、又は向上に寄与し得る。
　次に、情報処理装置１０の作用について説明する。
　図７は、情報処理装置１０による情報処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、情報処理が行なわれる。
　ＣＰＵ１１は、ステップＳ１０１において、同一の作業を同時に行っている人間の生体情報をセンサ２０から取得して、ストレージ１４に記憶する。
　続いてＣＰＵ１１は、ステップＳ１０２において、当該作業に対して各人間が行った操作の内容を操作入力装置３０から取得して、パフォーマンス情報としてストレージ１４に記憶する。
　続いてＣＰＵ１１は、ステップＳ１０３において、ステップＳ１０１で取得して記憶した生体情報を用いて、同一の作業を同時に行っている人間の同期度を計算する。ＣＰＵ１１は、上述したように、図６で示されているような生理反応強度に対する演算を行うことで、同じ作業を同時に行っている人間の同期度を生体情報毎に計算する。
　続いてＣＰＵ１１は、ステップＳ１０４において、ステップＳ１０１で計算した同期度を用いて、同一の作業を同時に行っている人間間の感情共有度を計算する。ＣＰＵ１１は、上述したように、生体情報毎の同期度に係数を掛けて正規化することで、同一の作業を同時に行っている人間間の感情共有度を計算する。
　続いてＣＰＵ１１は、ステップＳ１０５において、ステップＳ１０４で計算した感情共有度とステップＳ１０１で取得して記憶したパフォーマンス情報とを用いて、複数の人間が同時に行っている作業の負荷を制御する。
　ＣＰＵ１１は、感情共有度が所定の閾値以上の場合は、作業を行っている人間が現在の作業を楽しめているものと判断して、現在の負荷を維持する。また、ＣＰＵ１１は、感情共有度が所定の閾値未満であり、作業のパフォーマンスも所定の閾値未満である場合は、作業が難しいために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を減少する制御を行う。また、ＣＰＵ１１は、感情共有度が所定の閾値未満であり、作業のパフォーマンスが所定の閾値以上である場合は、作業が簡単なために作業を行っている人間が現在の作業を楽しめていないと判断し、負荷を上げる制御を行う。
　情報処理装置１０は、係る処理を実行することで、生体情報の同期度から求めた感情共有度と、パフォーマンスに関する情報とから、複数の人間が同時に行っている作業の負荷を制御することが出来る。情報処理装置１０は、複数の人間が同時に行っている作業の負荷を制御することで、作業に対するモチベーションの維持、又は向上に寄与し得る。
　（ユースケース例１）
　続いて、作業の具体例を示しながら、情報処理装置１０の作用を説明する。まず、最初のユースケースとして、複数の人間で負荷を共有する作業の例として、卓球ロボットのユースケースを説明する。このユースケースは、卓球ロボットが打球するボールを２人のプレイヤが交互に返球する場合である。
　センサ２０は、卓球をプレイしている各プレイヤの表情、瞬目回数、瞬目頻度などの生体情報を取得して、情報処理装置１０に提供する。また操作入力装置３０は、プレイヤによる返球の連続成功回数、返球成功率などのパフォーマンス情報を取得する。例えば、操作入力装置３０として、卓球台を撮像するステレオカメラを設け、プレイヤが打球したボールの三次元位置をステレオカメラが取得し、ボールがバウンドした場所を検出することで、プレイヤによる返球の連続成功回数、返球成功率などのパフォーマンス情報を得ることが可能である。
　情報処理装置１０は、センサ２０から取得した卓球のプレイヤの生体情報に基づいて、プレイヤ間の感情共有度を計算する。そして情報処理装置１０は、プレイヤ間の感情共有度及び操作入力装置３０から取得した卓球のパフォーマンス情報に基づいて、負荷として卓球ロボットによる打球の速度、回転方向又は打球されたボールが卓球台でバウンドする位置の範囲を制御する。
　例えば、プレイヤ間の感情共有度が所定の閾値より高い場合は、情報処理装置１０は、卓球ロボットによる現在の打球速度、回転方向やボールのバウンド位置の範囲を維持する。
　また例えば、プレイヤ間の感情共有度が所定の閾値より低く、パフォーマンス情報からプレイヤのパフォーマンスが基準に到達していれば、情報処理装置１０は、打球速度を速くしたり、回転方向をプレイヤが打ちづらい方向にしたり、バウンドする位置をプレイヤが打ちづらい位置に調整したりするなどの制御を行う。また例えば、プレイヤ間の感情共有度が所定の閾値より低く、パフォーマンス情報からプレイヤのパフォーマンスが基準に到達していなければ、情報処理装置１０は、打球速度を遅くしたり、回転方向をプレイヤが打ちやすい方向にしたり、バウンドする位置をプレイヤが打ち易い位置に調整したりするなどの制御を行う。
　（ユースケース例２）
　次のユースケースとして、複数の人間で負荷を共有する作業の例として、遠隔地にいる人間との間で自転車エルゴメータを漕ぎながら仮想現実空間をサイクリング（バディバイキング、Ｂｕｄｄｙ　Ｂｉｋｉｎｇ）するユースケースを説明する。
　センサ２０は、自転車エルゴメータを漕いでいる各人間の表情、瞬目回数、瞬目頻度などの生体情報を取得して、情報処理装置１０に提供する。なお、センサ２０は心拍、呼吸といった運動により変動する情報を得ることができるが、変動の要因が自転車エルゴメータを漕いだことによるものなのか、一緒に自転車エルゴメータを漕いでいる人間との関係性によるものなのかは不明であるため、感情共有度の計算には運動により変動する情報を用いないようにしてもよい。
　また操作入力装置３０は、自転車エルゴメータのペダル回転数、走行距離、走行速度等のバディバイキングのパフォーマンス情報を取得して、情報処理装置１０に提供する。
　情報処理装置１０は、センサ２０から取得した、自転車エルゴメータを漕いでいる人間の表情、瞬目回数、瞬目頻度などの生体情報に基づいて、バディバイキングを行っている人間間の感情共有度を計算する。そして情報処理装置１０は、バディバイキングを行っている人間間の感情共有度及び操作入力装置３０から取得したバディバイキングのパフォーマンス情報に基づいて、負荷として自転車エルゴメータのペダルを漕ぐ重さを制御する。
　例えば、バディバイキングを行っている人間間の感情共有度が所定の閾値以上である場合は、情報処理装置１０は、自転車エルゴメータのペダルを漕ぐ重さを維持する。
　また例えば、バディバイキングを行っている人間間の感情共有度が所定の閾値未満であり、パフォーマンス情報からバディバイキングを行っている人間のパフォーマンスが基準に到達していれば、情報処理装置１０は、ペダルを漕ぐ重さを重くする制御を行う。また例えば、バディバイキングを行っている人間間の感情共有度が所定の閾値未満であり、パフォーマンス情報からバディバイキングを行っている人間のパフォーマンスが基準に到達していなければ、情報処理装置１０は、ペダルを漕ぐ重さを軽くする制御を行う。
　（ユースケース例３）
　次のユースケースとして、複数の人間で負荷を共有する作業の例として、同一のゲームをプレイするユースケースを説明する。ここでプレイヤがプレイするゲームは、シューティングゲーム、アドベンチャーゲーム等の複数人で同時に同じ場面を共有して進めていくゲームである。
　センサ２０は、ゲームを行っている各プレイヤの表情、瞬目回数、瞬目頻度、心拍、呼吸、脈拍等の生体情報を取得して、情報処理装置１０に提供する。また操作入力装置３０は、敵を倒した数、敵に弾が命中した数、敵に弾が命中した割合、敵の攻撃を受けた数、敵の攻撃を受けた割合等のゲームのパフォーマンス情報を取得して、情報処理装置１０に提供する。
　情報処理装置１０は、センサ２０から取得した、同一のゲームを行っている各プレイヤの表情、瞬目回数、瞬目頻度などの生体情報に基づいて、同一のゲームを行っているプレイヤ間の感情共有度を計算する。そして情報処理装置１０は、同一のゲームを行っているプレイヤ間の感情共有度及び操作入力装置３０から取得した当該ゲームのパフォーマンス情報に基づいて、負荷としてゲームの難易度を制御する。制御対象のゲームの難易度は、例えば敵の出現位置、敵の出現量、プレイヤが発射する弾が当たる範囲等である。
　（ユースケース例４）
　次のユースケースとして、複数の人間で負荷を共有する作業の例として、教師に与えられた問題を生徒が解答するユースケースを説明する。
　センサ２０は、問題を解答する各生徒の表情、瞬目回数、瞬目頻度、心拍、呼吸、脈拍等の生体情報を取得して、情報処理装置１０に提供する。また操作入力装置３０は、問題の正答数、正答率等の問題への解答に関するパフォーマンス情報を取得して、情報処理装置１０に提供する。
　情報処理装置１０は、センサ２０から取得した、同一の問題を解答している各生徒の表情、瞬目回数、瞬目頻度などの生体情報に基づいて、同一の問題を解答している生徒間の感情共有度を計算する。そして情報処理装置１０は、同一の問題を解答している生徒間の感情共有度及び操作入力装置３０から取得した問題への解答のパフォーマンス情報に基づいて、負荷として問題の難易度を制御する。
　以上、添付図面を参照しながら本開示の実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらの変更例または修正例についても、当然に本開示の技術的範囲に属するものと了解される。
　また、上記実施形態において記載された効果は、説明的又は例示的なものであり、上記実施形態において記載されたものに限定されない。つまり、本開示に係る技術は、上記実施形態において記載された効果とともに、又は上記実施形態において記載された効果に代えて、上記実施形態における記載から、本開示の技術分野における通常の知識を有する者には明らかな他の効果を奏しうる。
　なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した情報処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、情報処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、情報処理のプログラムがＲＯＭまたはストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　２０２２年６月１５日に出願された日本国特許出願２０２２－０９６６２７号の開示は、その全体が参照により本明細書に取り込まれる。本明細書に記載されたすべての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１　情報処理システム
１０　情報処理装置
２０　センサ
３０　操作入力装置
４０　出力装置

Claims (10)

  1. 　同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算する同期度計算部と、
    　前記同期度計算部が計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算する感情共有度計算部と、
    　前記作業に対する各前記ユーザの実績の度合いに関する実績度と、前記感情共有度計算部が計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する負荷制御部と、
    　を備える、情報処理装置。
  2. 　前記負荷制御部は、さらに前記ユーザ間の関係性に基づいて前記作業の負荷の変更を制御する、請求項１に記載の情報処理装置。
  3. 　前記負荷制御部は、
    　前記感情共有度が所定の閾値以上である場合は前記作業の負荷を維持し、
    　前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値以上である場合は前記作業の負荷を増加させ、
    　前記感情共有度が所定の閾値未満であって前記実績度が所定の閾値未満である場合は前記作業の負荷を減少させる、
    　請求項１に記載の情報処理装置。
  4. 　前記負荷制御部は、複数の前記ユーザに対して共通に設定された負荷の変更を制御する、請求項１に記載の情報処理装置。
  5. 　前記負荷制御部は、前記ユーザの各々に対して個別に設定された負荷の変更を制御する、請求項１に記載の情報処理装置。
  6. 　前記感情共有度計算部は、前記時系列生体情報を構成する生理指標毎に所定の係数を掛けて前記感情共有度を計算する、請求項１に記載の情報処理装置。
  7. 　前記係数は、前記時系列生体情報から前記感情共有度を推測する学習済みモデルを用いて決定された係数である、請求項６に記載の情報処理装置。
  8. 　前記作業は、スポーツ、ゲーム、リハビリテーション、問題の解答の少なくともいずれかである、請求項１に記載の情報処理装置。
  9. 　プロセッサが、
    　同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、
    　計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、
    　前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する、
    　情報処理方法。
  10. 　コンピュータに、
    　同一の作業を実行している複数のユーザのそれぞれの、複数の生理指標から成る時系列生体情報から、前記ユーザ間の時系列生体情報の同期度を計算し、
    　計算した前記同期度を用いて各前記ユーザ間の感情共有度を計算し、
    　前記作業に対する各前記ユーザの実績の度合いに関する実績度と、計算した各前記ユーザの前記感情共有度とに基づき、前記作業の負荷の変更を制御する、
    　処理を実行させる、コンピュータプログラム。
PCT/JP2023/021038 2022-06-15 2023-06-06 情報処理装置、情報処理方法及びコンピュータプログラム WO2023243492A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022096627A JP2023183150A (ja) 2022-06-15 2022-06-15 情報処理装置、情報処理方法及びコンピュータプログラム
JP2022-096627 2022-06-15

Publications (1)

Publication Number Publication Date
WO2023243492A1 true WO2023243492A1 (ja) 2023-12-21

Family

ID=89191079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021038 WO2023243492A1 (ja) 2022-06-15 2023-06-06 情報処理装置、情報処理方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2023183150A (ja)
WO (1) WO2023243492A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006026357A (ja) * 2004-07-14 2006-02-02 Sogo Ikagaku Kenkyusho:Kk 身体疲労負荷方法およびその装置
JP2012235887A (ja) * 2011-05-11 2012-12-06 Nikon Corp 電子機器及びプログラム
WO2020137637A1 (ja) * 2018-12-27 2020-07-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、ユーザ側装置、サーバ、及びプログラム
JP2022513977A (ja) * 2018-12-26 2022-02-09 巽騰（広東）科技有限公司 指定ポイント承認における身元識別方法、装置及びサーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006026357A (ja) * 2004-07-14 2006-02-02 Sogo Ikagaku Kenkyusho:Kk 身体疲労負荷方法およびその装置
JP2012235887A (ja) * 2011-05-11 2012-12-06 Nikon Corp 電子機器及びプログラム
JP2022513977A (ja) * 2018-12-26 2022-02-09 巽騰（広東）科技有限公司 指定ポイント承認における身元識別方法、装置及びサーバ
WO2020137637A1 (ja) * 2018-12-27 2020-07-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、ユーザ側装置、サーバ、及びプログラム

Also Published As

Publication number Publication date
JP2023183150A (ja) 2023-12-27

Similar Documents

Publication Publication Date Title
Novak et al. Increasing motivation in robot-aided arm rehabilitation with competitive and cooperative gameplay
Paraskevopoulos et al. Design guidelines for developing customised serious games for Parkinson’s Disease rehabilitation using bespoke game sensors
Burke et al. Optimising engagement for stroke rehabilitation using serious games
US9028258B2 (en) Combined cognitive and physical therapy
Ustinova et al. Virtual reality game-based therapy for treatment of postural and co-ordination abnormalities secondary to TBI: a pilot study
Nijhar et al. Does movement recognition precision affect the player experience in exertion games?
Muñoz et al. Closing the loop in exergaming-health benefits of biocybernetic adaptation in senior adults
Mortazavi et al. Near-realistic mobile exergames with wireless wearable sensors
Tadayon et al. Real-time stealth intervention for motor learning using player flow-state
Mat Rosly et al. Exergaming for individuals with spinal cord injury: A pilot study
d'Ornellas et al. Thoroughly approach to upper limb rehabilitation using serious games for intensive group physical therapy or individual biofeedback training
Darzi et al. Difficulty adaptation in a competitive arm rehabilitation game using real-time control of arm electromyogram and respiration
Pasch et al. Immersion in movement-based interaction
Muñoz et al. Space connection-A multiplayer collaborative biofeedback game to promote empathy in teenagers: A feasibility study
Ferreira et al. A serious game for post-stroke motor rehabilitation
Darzi et al. Using physiological linkage for patient state assessment in a competitive rehabilitation game
Martins et al. A serious game for rehabilitation of neurological disabilities: Premilinary study
Aung et al. Development of augmented reality rehabilitation games integrated with biofeedback for upper limb
Mangal et al. Frozen shoulder rehabilitation using microsoft kinect
Osman et al. Monitoring player attention: A non-invasive measurement method applied to serious games
Alankus Motion-based video games for stroke rehabilitation with reduced compensatory motions
WO2023243492A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Hossain et al. An exergame framework for obesity monitoring and management
Arroyo-Palacios et al. Exploring the use of a respiratory-computer interface for game interaction
Tang et al. VR-MMA: A virtual reality motion and muscle sensing action game for personal sport

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823784

Country of ref document: EP

Kind code of ref document: A1