WO2023032617A1 - 判定システム、判定方法、及び、プログラム - Google Patents

判定システム、判定方法、及び、プログラム Download PDF

Info

Publication number
WO2023032617A1
WO2023032617A1 PCT/JP2022/030436 JP2022030436W WO2023032617A1 WO 2023032617 A1 WO2023032617 A1 WO 2023032617A1 JP 2022030436 W JP2022030436 W JP 2022030436W WO 2023032617 A1 WO2023032617 A1 WO 2023032617A1
Authority
WO
WIPO (PCT)
Prior art keywords
concentration
subject
time
series data
degree
Prior art date
Application number
PCT/JP2022/030436
Other languages
English (en)
French (fr)
Inventor
史明 大林
徹 臼倉
はるか 天沼
文 衞藤
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2023032617A1 publication Critical patent/WO2023032617A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education

Definitions

  • the present invention relates to a judgment system, a judgment method, and a program.
  • Patent Document 1 a main light source that mainly emits white light and a single-wavelength light source are turned on, and the light output of the single-wavelength light source is controlled so that a desired arousal level is obtained.
  • a lighting device is disclosed that can improve arousal levels.
  • the present invention provides a determination system, determination method, and program capable of determining a subject's concentration pattern.
  • a determination system includes an acquisition unit that acquires time-series data of a degree of concentration of a subject; a determination unit that determines a concentration pattern of the subject based on the acquired time-series data; Prepare.
  • a determination method includes an acquisition step of acquiring time-series data of a degree of concentration of a subject, and a determination step of determining a concentration pattern of the subject based on the acquired time-series data. and including.
  • one aspect of the present invention can be implemented as a program for causing a computer to execute the determination method.
  • it can be realized as a computer-readable recording medium storing the program.
  • the determination system, determination method, and program of the present invention can determine a subject's concentration pattern.
  • FIG. 1 is a diagram for explaining an overview of a determination system according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of the functional configuration of the determination system according to the embodiment;
  • FIG. 3 is a flow chart showing a first example of operation of the determination system according to the embodiment.
  • FIG. 4 is a diagram showing an example of a type of concentration pattern and a break proposal for each type.
  • FIG. 5 is a diagram showing an example of the determination result of concentrated patterns.
  • FIG. 6A is a flowchart showing Modification 3 of the first example of the operation of the determination system according to the embodiment.
  • FIG. 6B is a flow chart showing an example of a detailed flow of the processing in step S22 of FIG. 6A.
  • FIG. 7 is a flow chart showing a second example of the operation of the determination system according to the embodiment.
  • FIG. 8 is a diagram illustrating an example of determination results of changes in the state of concentration.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • FIG. 1 is a diagram for explaining an overview of a determination system 10 according to an embodiment.
  • the determination system 10 acquires the time-series data of the degree of concentration of the subject U1, and determines the concentration pattern of the subject U1 based on the acquired time-series data.
  • the feature amount (more specifically, may calculate the degree of concentration of the subject U1 on the task based on the feature amount related to the life activity of the subject U1 who is performing the task in the work space 4 .
  • the determination system 10 determines a concentration pattern from transition of the degree of concentration of the subject U1 based on the calculated time-series data of the degree of concentration.
  • the concentration pattern of the subject U1 may be presented to the user U2 by being displayed on the second terminal device 40 used by the user U2, for example. Thereby, the user U2 can grasp the concentration pattern of the target person U1.
  • a task may be, for example, intellectual work.
  • Intellectual work is work performed using the intelligence (in other words, brain) of subject U1, and includes, for example, cognition (in other words, recognition and understanding), thinking, judgment, logic, calculation, and creation. and so on.
  • cognition in other words, recognition and understanding
  • thinking judgment, logic, calculation, and creation. and so on.
  • intellectual work may include work, study, or the like.
  • concentration means working on things by allocating enough cognitive resources in the mind to the intellectual work target.
  • a state of concentration is a state in which cognitive resources are allocated to an intellectual work target, and a “concentration degree” means the degree.
  • concentration degree means the degree.
  • the degree of concentration means the degree to which cognitive resources are concentrated on the target of intellectual work when working on something.
  • the degree of concentration affects the amount of intellectual work per unit time (that is, the amount of intellectual work). That is, the higher the degree of concentration, the greater the amount of intellectual work per unit time, and the lower the degree of concentration, the smaller the amount of intellectual work per unit time.
  • Improving the state of concentration means being able to maintain a high degree of concentration for a long time, or increasing the degree of concentration that can be maintained. It means shorter or less concentration that can be maintained.
  • the concentration pattern means the pattern of changes in the degree of concentration. Since the degree of concentration varies for each subject U1 or depending on the time or day when the same subject U1 performs the same task, the concentration state of the subject U1 may be determined based on the pattern of changes in the degree of concentration.
  • the concentration pattern of the subject U1 may be determined, for example, by which of a plurality of concentration patterns (for example, concentration pattern type I, type II, type III, and type IV) is closest.
  • the target person U1 is a student or worker
  • the user U2 is a teacher of the student or an administrator such as the worker's boss.
  • the determination system 10 may determine concentration patterns of a plurality of target people U1 and present them to the user U2.
  • the work space 4 is a space in which the subject U1 performs a task (for example, intellectual work). It may be a local (partial) space. A plurality of subjects U1 may be located in one work space 4 , or each of the plurality of subjects U1 may be located in a different work space 4 .
  • the work desk is provided with, for example, a non-contact device such as a camera 1 and a human sensor 2, and a first terminal device 20 such as a personal computer or a tablet terminal.
  • a contactless device such as the camera 1 may be provided in the first terminal device 20 .
  • the determination system 10 may include, for example, a server device (for example, the information processing device 30 in FIG. 2).
  • the server device (for example, the information processing device 30) may be installed in the work space 4 or a building that includes the work space 4 (for example, an office building, a home, a cram school, or a school), or may be installed in a cloud server. may be installed outside the building.
  • the determination system 10 may be realized by the second terminal device 40 used by the user U2.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the determination system 10 according to the embodiment.
  • the determination system 10 includes, for example, two or more first terminal devices 20, an information processing device 30, and a second terminal device 40.
  • Each of the two or more first terminal devices 20 is communicably connected to the camera 1 and the human sensor 2, for example.
  • the camera 1 captures an image of the subject U1.
  • the camera 1 is installed at a position capable of photographing at least the head of the subject U1 substantially from the front.
  • the camera 1 may be, for example, installed on a work desk, or may be a camera mounted on the first terminal device 20 used by the subject U1.
  • the camera 1 may photograph the subject U1 using visible light, or may photograph the subject U1 using infrared light.
  • the imaging range of the camera 1 is not limited to the head of the subject U1, and may include the upper body of the subject U1. Images captured by the camera 1 are transmitted to the first terminal device 20 .
  • Communication between the camera 1 and the first terminal device 20 may be wired communication or wireless communication, and the communication standard is not particularly limited.
  • the human sensor 2 detects the presence or absence of the target person U1.
  • a detection result detected by the human sensor 2 is transmitted to the first terminal device 20 .
  • Communication between the human sensor 2 and the first terminal device 20 may be wired communication or wireless communication, and the communication standard is not particularly limited.
  • the motion sensor 2 was exemplified as a sensor for detecting the presence or absence of the target person U1.
  • a physical button may be used, or a button displayed on a touch panel display provided in the first terminal device 20 may be used. Alternatively, it may be a seating sensor that detects that the subject U1 is sitting on a chair. Note that the configuration for detecting the presence or absence of the target person U1 does not necessarily have to be provided.
  • the first terminal device 20 acquires the image transmitted from the camera 1, calculates the degree of concentration of the subject U1 based on the feature amount included in the acquired image, and outputs time-series data of the calculated degree of concentration. It transmits to the information processing device 30 . At this time, the first terminal device 20, based on the detection result (more specifically, information regarding whether or not the target person U1 exists) transmitted from the human sensor 2, detects when the target person U1 is present. An image captured by the camera 1 may be identified, and the degree of concentration of the subject U1 may be calculated based on the feature amount included in the identified image.
  • the first terminal device 20 acquires the image transmitted from the camera 1 and the information (so-called detection result) regarding whether or not the target person U1 is transmitted from the human sensor 2, and The obtained image and the detection result may be transmitted to the information processing device 30 .
  • the first terminal device 20 may include a reception unit (not shown) that receives an operation input from the subject U1.
  • the subject U1 may use buttons (for example, presence button, leave button, etc.), the presence or absence of the target person U1 may be input.
  • the information processing device 30 acquires time-series data of the degree of concentration of the subject U1, and determines the concentration pattern of the subject U1 based on the acquired time-series data. For example, the information processing device 30 may determine the concentration pattern and typical concentration pattern of the subject U1 based on the database 35 . The information processing device 30 may also determine the concentration state of the subject U1 by comparing the concentration pattern of the subject U1 with a typical concentration pattern of the subject U1. Further, the information processing device 30 may transmit the determination result to the second terminal device 40 used by the user U2 and present it to the user U2.
  • the information processing device 30 includes, for example, a communication unit 31, a control unit 32, and a storage unit 33.
  • the communication unit 31 is a communication circuit (communication module) for the information processing device 30 to communicate with the first terminal device 20 and the second terminal device 40 .
  • the communication unit 31 may include a communication circuit for communicating via the wide area communication network and a communication circuit for communicating via the local communication network.
  • the communication unit 31 is, for example, a wireless communication circuit that performs wireless communication, but may be a wired communication circuit that performs wired communication. Note that the communication standard for communication performed by the communication unit 31 is not particularly limited.
  • the control unit 32 performs various information processing based on the data acquired from the first terminal device 20.
  • the data is transition data of the degree of concentration of the subject U1, but may be an image of the subject U1, for example.
  • the control unit 32 extracts the feature amount related to the life activity of the subject U1 included in the acquired image, and calculates the degree of concentration of the subject U1 from the extracted feature amount.
  • the control unit 32 includes an acquisition unit 32a, a determination unit 32b, and an output unit 32c.
  • the functions of the acquisition unit 32a, the determination unit 32b, and the output unit 32c are realized by executing a computer program stored in the storage unit 33 by a processor or microcomputer that constitutes the control unit 32. FIG. Details of the functions of the acquisition unit 32a, the determination unit 32b, and the output unit 32c will be described later in operation examples.
  • the storage unit 33 is a storage device that stores a dedicated application program and the like for the control unit 32 to execute.
  • a machine learning model 34 and a database 35 may be stored in the storage unit 33 .
  • the machine learning model 34 is used for determination processing of concentration patterns.
  • the machine learning model 34 outputs the concentration pattern of the subject U1 by inputting the time-series data of the degree of concentration of the subject U1.
  • the machine learning model 34 may have a convolutional layer, and may be, for example, a convolutional neural network (CNN), but is not limited to this.
  • the machine learning model 34 is learned using teacher data, for example.
  • the teacher data is, for example, a data set including a set of time-series data of concentration degrees as input data and concentration patterns corresponding to the time-series data as output data.
  • Machine learning model 34 may be trained using database 35 .
  • the database 35 stores identification information of the subject U1, time-series data of the degree of concentration of the subject U1 in the past (in other words, the history of the time-series data of the subject U1), and concentration patterns corresponding to the time-series data. are linked and stored.
  • the machine learning model 34 receives the image of the subject U1 and determines the concentration pattern of the subject U1. may be output. Further, for example, the machine learning model 34 inputs a machine learning model that outputs time-series data of the degree of concentration of the subject U1 by inputting an image of the subject U1, and time-series data of the degree of concentration of the subject U1.
  • the model may be a model that is connected to a machine learning model that outputs the concentration pattern of the subject U1 by doing so.
  • the image of the subject U1 is further stored in the database 35 in association with the identification information of the subject U1.
  • the second terminal device 40 is an information terminal such as a personal computer, a tablet terminal, or a smart phone used by the user U2.
  • the second terminal device 40 includes, for example, a communication unit 41 , a control unit 42 , a storage unit 43 , a reception unit 44 and a presentation unit 45 .
  • the communication unit 41 is a communication circuit (communication module) for the second terminal device 40 to communicate with the information processing device 30 .
  • the communication unit 41 may include a communication circuit for communicating via the wide area communication network and a communication circuit for communicating via the local communication network.
  • the communication unit 41 is, for example, a wireless communication circuit that performs wireless communication, but may be a wired communication circuit that performs wired communication. Note that the communication standard for communication performed by the communication unit 41 is not particularly limited.
  • the control unit 42 performs various information processing related to the second terminal device 40 based on the input operation accepted by the accepting unit 44 .
  • the control unit 42 is implemented by, for example, a microcomputer, but may be implemented by a processor.
  • the storage unit 43 is a storage device that stores control programs and the like executed by the control unit 42 .
  • the storage unit 43 is implemented by, for example, a semiconductor memory.
  • the reception unit 44 receives the input operation of the user U2.
  • the reception unit 44 is implemented by, for example, a touch panel, but may be implemented by a mouse, keyboard, hardware buttons, microphone, or the like.
  • the presentation unit 45 presents information relating to the degree of concentration of the subject U1 output by the information processing device 30 (for example, time-series data of the degree of concentration, concentration pattern, concentration state, etc.).
  • the presentation unit 45 is, for example, a display device that displays image information including characters and symbols.
  • the presentation unit 45 may include an audio output device that outputs audio information.
  • the display device is, for example, a display including a liquid crystal (LC) panel or an organic EL (Electro Luminescence) panel as a display device.
  • the audio output device is, for example, a speaker.
  • the presentation unit 45 may display image information of information about the degree of concentration of the target person U1 on a display device, may output audio information of information about the degree of concentration of the target person U1 from an audio output device, Both image information and audio information may be presented.
  • FIG. 3 is a flow chart showing a first example of the operation of the determination system 10 according to the embodiment.
  • the first terminal device 20 instructs the camera 1 and the human sensor 2 to start sensing. Send a signal (not shown).
  • the camera 1 and the human sensor 2 start sensing, and transmit sensing data (here, image data and data indicating the presence or absence of a person) to the first terminal device 20 (unnecessary). shown).
  • the first terminal device 20 extracts an image showing the target person U1 based on the sensing data acquired from the camera 1 and the human sensor 2 (not shown). Specifically, the first terminal device 20 converts the image captured by the camera 1 when the human sensor 2 detects the presence of a person (here, the target person U1) into an image of the target person U1 (more specifically, is extracted as an image showing the head of the subject U1).
  • the first terminal device 20 calculates the degree of concentration of the subject U1 based on the extracted image (not shown).
  • the image of the subject U1 includes at least the head of the subject U1 photographed substantially from the front.
  • the image of the head of the subject U1 includes the movement of the head of the subject U1, the state of the eyes of the subject U1 (inner corner of the eye, iris, corneal reflex, or pupil), or the facial expression of the subject U1. It contains information such as It can be said that these pieces of information are so-called feature amounts related to the life activity of the subject U1. That is, the first terminal device 20 calculates the degree of concentration of the subject U1 based on the feature amount related to the biological activity of the subject U1 who is performing the task.
  • the first terminal device 20 extracts one or more feature amounts by appropriately executing image processing on the acquired image of the subject U1. Then, the first terminal device 20 compares each of the extracted feature amounts with the corresponding template image to calculate a score regarding the degree of concentration for each feature amount. The score may be calculated according to the degree of matching with the corresponding template image, for example. Then, the first terminal device 20 adds the points calculated for each feature amount, and calculates the degree of concentration based on the added points. The first terminal device 20 may weight each feature amount when adding the points.
  • the first terminal device 20 calculates the degree of concentration of the target person U1 and transmits it to the information processing device 30, the image of the target person U1 may be extracted based on the sensing data and transmitted to the information processing device 30.
  • the sensing data may be transmitted to the information processing device 30 .
  • the information processing device 30 may calculate the degree of concentration of the target person U1 based on the image or sensing data of the target person U1 acquired from the first terminal device 20 .
  • the acquisition unit 32a of the information processing device 30 acquires time-series data of the degree of concentration of the subject U1 (S11). More specifically, the acquisition unit 32a periodically (for example, every 5 minutes) acquires time-series data of the degree of concentration of the target person U1 transmitted from the first terminal device 20 via the communication unit 31. do.
  • the determination unit 32b determines the concentration pattern of the subject U1 based on the time-series data of the degree of concentration of the subject U1 acquired by the acquisition unit 32a (S12). Step S12 will be described with reference to FIGS. 4 and 5.
  • FIG. FIG. 4 is a diagram showing an example of a type of concentration pattern and a break proposal for each type.
  • FIG. 5 is a diagram showing an example of the determination result of concentrated patterns.
  • step S12 based on the time-series data of the degree of concentration of the subject U1 acquired by the acquisition unit 32a in step S11, the determination unit 32b determines that the time-series data is the type of concentration pattern (for example, (a )), the concentration pattern of the subject U1 is determined based on which of the two is closest. For example, the determination unit 32b determines the concentration pattern of the subject U1 based on the database 35.
  • the pattern examples of the concentration patterns referred to by the determination unit 32b are stored in the database 35, for example. More specifically, for example, in the database 35, the time-series data of the degree of concentration and the concentration pattern (that is, type of concentration pattern) corresponding to the time-series data of the degree of concentration are linked and stored.
  • the determination unit 32b determines the data sequence of the remaining portion other than the first portion of the data sequence P1 of the first portion of the time-series data (for example, from time T1 to T2).
  • the concentration pattern of the subject U1 may be determined based on the relative value.
  • the determination unit 32b sets the reference value of the degree of concentration based on the first part of the data string of the time-series data, and based on the relative value of the values of the remaining part of the data string with respect to the set reference value
  • a concentration pattern of the subject U1 may be determined.
  • the degree of concentration is expressed as a ratio such that the maximum value is 1.0 and the minimum value is 0.0. It may be expressed as a percentage.
  • relative values are not shown in FIG. 5, the degree of concentration may be represented by relative values.
  • the output unit 32c outputs the concentration pattern of the subject U1 determined by the determination unit 32b in step S12 (not shown).
  • the concentration pattern output by the output unit 32 c is transmitted to the second terminal device 40 via the communication unit 31 .
  • the control unit 42 of the second terminal device 40 acquires the concentration pattern transmitted from the information processing device 30 via the communication unit 41
  • the control unit 42 causes the presentation unit 45 to present the acquired concentration pattern so that the target person U1 is presented to the user (not shown).
  • the presentation unit 45 may present types of concentration patterns such as I, II, III, and IV as the determination result of the concentration pattern of the subject U1. You may superimpose and present the determination result of a concentration pattern.
  • the determination unit 32b may output the determination result of the concentrated pattern to the output unit 32c and store it in the storage unit 33 as well. More specifically, the determination unit 32b associates the identification information of the subject U1 with the time-series data of the degree of concentration and the determination result of the concentration pattern, and stores them in the database 35 in the storage unit 33 .
  • the determination unit 32b may determine whether the subject's degree of concentration is high or low, in addition to determining the concentration pattern. In this case, the determination unit 32b determines that the degree of concentration is high (or the state of concentration is good) when the degree of concentration exceeds the second threshold Th2 (for example, 0.6), and the degree of concentration exceeds the second threshold Th2. If the degree of concentration is between the first threshold Th1 (for example, 0.5), it is determined that the degree of concentration is normal (or the state of concentration is normal), and if the degree of concentration is less than the second threshold Th2, the degree of concentration is It may be determined to be low (or the state of concentration is bad).
  • the concentration pattern of one target person U1 is determined, but the information processing device 30 obtains the time-series data of the degree of concentration for a plurality of target persons U1, and Concentration patterns may be determined.
  • the acquisition unit 32a of the information processing device 30 acquires the time-series data of the degree of concentration of the plurality of subjects U1 from the plurality of first terminal devices 20.
  • the determination unit 32b determines the concentration pattern of each of the plurality of subjects U1 based on the plurality of time-series data.
  • the presentation unit 45 may present the user U2 with determination results for each of the plurality of subjects U1, for example, as indicated by the balloons in FIG.
  • the determination unit 32b may output the determination results of the concentration patterns of the plurality of subjects U1 to the output unit 32c, and store them in the database 35 in association with the identification information of each subject U1.
  • the determination unit 32b outputs the determination result of the concentration pattern to the output unit 32c, and the identification information of the subject U1 and the degree of concentration of the subject U1.
  • Series data and determination results of concentration patterns corresponding to the time series data are stored in the database 35 .
  • the database 35 stores the identification information of the subject U1, the time-series data of the past degree of concentration of the subject U1, and the concentration pattern corresponding to the time-series data in association with each other.
  • the determination unit 32b determines a typical concentration pattern of the subject U1 based on the database 35. Then, the determination unit 32b selects the determined typical concentration pattern and the time-series data of the degree of concentration corresponding to the typical pattern of concentration (also referred to as the time-series data of the typical degree of concentration) for the subject U1. may be stored in the database 35 in association with the identification information.
  • a typical concentration pattern may be determined for each season or for each time zone (for example, morning, noon, night) and stored in the database 35, for example.
  • FIG. 6A is a flowchart showing Modification 3 of the first example of the operation of determination system 10 according to the embodiment.
  • the determining unit 32b determines whether the target person U1 A concentration pattern is determined (S12).
  • the determination unit 32b reads the typical concentration pattern of the subject U1 from the database 35 (S21). Then, the determination unit 32b compares the concentration pattern determined in step S12 with the typical concentration pattern of the subject U1 read from the database 35 in step S21 to determine the concentration state of the subject U1. (S22).
  • FIG. 6B is a flow chart showing an example of a detailed flow of the processing in step S22 of FIG. 6A.
  • the determination unit 32b determines the representative value (e.g., average value or median value) in the time-series data of the degree of concentration of the subject U1 acquired in step S11 and the typical value read out from the database 35 in step S21. Determining whether the difference value d (see FIG. 8) from the representative value (e.g., average value or median value) of the time-series data of the degree of concentration in a typical concentration pattern exceeds a positive threshold (e.g., 0.2) Determine (S31).
  • a positive threshold e.g., 0.2
  • the determination unit 32b determines that the concentration state of the subject U1 is improving (S32). On the other hand, when the difference value does not exceed (that is, falls below) the positive threshold value (No in S31), the determination unit 32b determines whether the difference value falls below a negative threshold value (eg, ⁇ 0.2). (S33). If the difference value is less than the negative threshold (Yes in S33), the determination unit 32b determines that the concentration state of the subject U1 is declining (S34). On the other hand, if the difference value does not fall below (that is, exceeds) the negative threshold (No in S33), the determination unit 32b determines that the concentration state of the subject U1 is stable (that is, there is no significant change). (S35).
  • a negative threshold value eg, ⁇ 0.2
  • the determination unit 32b may determine the concentration state of the subject U1 based on the difference in type between the concentration pattern and the typical concentration pattern. Specifically, for example, when the typical concentration pattern of the subject U1 is the type I (constantly high degree of concentration) shown in FIG. If the concentration pattern is type II (constantly low level of concentration), type III (gradual transition from high level to low level), or type IV (waves in concentration level), the concentration state of subject U1 decreases.
  • the determination unit 32b determines that the concentration pattern of the subject U1 is type I. Assume that the condition is improving.
  • the output unit 32c When the output unit 32c acquires the determination result of the concentration state of the subject U1 determined by the determination unit 32b, the output unit 32c outputs the acquired determination result of the concentration state to the second terminal device 40 (not shown).
  • the presentation unit 45 of the second terminal device 40 presents the concentration state of the target person U1 to the user U2 (S23).
  • the information processing device 30 determines the concentration pattern of the subject U1, and transmits the determined concentration pattern (that is, the determination result of the concentration pattern) to the second terminal device 40.
  • the determined concentration pattern that is, the determination result of the concentration pattern
  • An efficient way to take a break according to the concentration pattern may be transmitted to the second terminal device 40 .
  • the presentation unit 45 of the second terminal device 40 can present to the user U2 how to take a break suitable for the concentration pattern of the subject U1. can encourage rest. As a result, there is a high possibility that the work efficiency of the subject U1 will be improved.
  • FIG. 7 is a flow chart showing a second example of the operation of the determination system 10 according to the embodiment.
  • steps that are the same as those shown in FIG. 3 are given the same step numbers.
  • the determination unit 32b determined the concentration pattern of the subject U1 based on the time-series data of the degree of concentration of the subject U1. In a second example, the determination unit 32b divides the time-series data of the subject U1 acquired by the acquisition unit 32a into at least two data strings to determine transition of the concentration pattern. In the following, the description of the same operations as in the first example will be omitted or simplified, and the differences from the first example will be mainly described.
  • the acquisition unit 32a of the information processing device 30 acquires time-series data of the degree of concentration of the subject U1 transmitted from the first terminal device 20 (S11).
  • the determination unit 32b divides the time-series data of the subject U1 acquired by the acquisition unit 32a into at least two data strings (S41). For example, the determination unit 32b uses the representative value (for example, the average value or the median value) of the data string of the first part of the time series data as a reference value, and the data string of the average value exceeding the reference value and the average value below the reference value It may be divided into a data string of values, or the data string may be divided at a point where the degree of concentration matches the reference value.
  • the representative value for example, the average value or the median value
  • the determining unit 32b uses a representative value (for example, an average value or a median value) of the rate of change of the data values in the first part of the data string as a reference value, and determines the data string with a rate of change exceeding the reference value and the reference It may be divided into data strings with rate of change less than the value, or the data string may be divided at a point where the rate of change matches the reference value.
  • a representative value for example, an average value or a median value
  • the determination unit 32b determines the transition of the concentration pattern of the subject U1 by determining the concentration pattern corresponding to each of the at least two data strings (S42).
  • the determining unit 32b converts the acquired time-series data of the degree of concentration using the representative value of the data string P1 of the first part (time T1 to T2) of the time-series data as a reference value. , into at least two (three in this example) data columns.
  • the determination unit 32b determines the transition of the concentration pattern in the concentration degree time-series data by determining the concentration pattern (for example, types IV, III, and I) corresponding to each data string based on the database 35. .
  • the presentation unit 45 may present the transition of the concentration pattern determined by the determination unit 32b (that is, the determination result of the transition of the concentration pattern) to the user U2 (not shown).
  • the presentation unit 45 may superimpose time-series data of the degree of concentration (for example, a graph of the degree of concentration) and the determination result of the transition of the concentration pattern and display them on the display.
  • the presentation unit 45 may output audio information indicating the determination result of the transition of the concentration pattern.
  • the determination unit 32b may output the determination result of the transition of the concentration pattern of the subject U1 to the output unit 32c, and store it in the database 35 in association with the identification information of the subject U1.
  • processing flow shown in FIG. 7 may be executed not only for one subject U1 but also for a plurality of subjects U1.
  • the determination unit 32b outputs the transition of the concentration pattern to the output unit 32c, the identification information of the subject U1, the time-series data of the degree of concentration of the subject U1, and the time-series data are stored in the database 35 .
  • the determination unit 32b may determine the transition of the typical concentration pattern of the subject U1 based on the database 35. Then, the determining unit 32b selects the transition of the determined typical concentration pattern and the time-series data of the degree of concentration corresponding to the transition of the typical concentration pattern (also referred to as the typical degree of concentration) for the subject U1. may be stored in the database 35 in association with the identification information.
  • the transition of the typical concentration pattern may be determined for each season or for each time period (for example, morning, noon, night) and stored in the database 35, for example.
  • the determining unit 32b further determines the transition of the concentration pattern of the subject U1, and compares the transition of the determined concentration pattern with the transition of the typical concentration pattern of the subject U1 to determine the transition of the subject U1.
  • the transition of the state of concentration may be determined.
  • FIG. 8 is a diagram illustrating an example of determination results of changes in the state of concentration.
  • the determination unit 32b divides the time-series data into at least two data strings ( S41 in FIG. 7), and by determining the concentration pattern corresponding to each data string, the transition of the concentration pattern of the subject U1 is determined (S42).
  • the determination unit 32b reads the transition of the typical concentration pattern of the subject U1 from the database 35 (not shown in FIG. 7).
  • the determination unit 32b compares the transition of the concentration pattern determined in step S42 with the transition of the typical concentration pattern of the subject U1 read from the database 35, and determines the state of concentration of the subject U1. (not shown in FIG. 7).
  • FIG. 6B the process for the time-series data of the degree of concentration has been described, but the processes of steps S31 to S35 may be similarly applied to each data string obtained by dividing the time-series data.
  • the determining unit 32b determines the representative value of the degree of concentration in each data string divided from the time-series data of the degree of concentration of the subject U1 (the solid-line graph in FIG.
  • the difference value d between the representative value of the degree of concentration in each divided data string among the time-series data of the degree of concentration (the dashed line graph in FIG. 8) corresponding to the transition of the concentration pattern is a positive threshold value (for example, 0.5). 2) and whether or not it falls below a negative threshold value (eg, -0.2).
  • the determination unit 32b determines that the concentration state of the subject U1 is improving in the time period (section) corresponding to the data string.
  • the determination unit 32b determines whether the target person U1 It is determined that the state of concentration is declining.
  • the determination unit 32b may determine transition of the concentration state of the subject U1 by determining the concentration state of the subject U1 in the section corresponding to each data string.
  • the determination unit 32b may determine the transition of the concentration state of the subject U1 based on the difference in type between the concentration pattern in the time period corresponding to each data string and the typical concentration pattern. Since the specific determination method has been described in Modification 3 of the first example, description thereof will be omitted here.
  • the output unit 32c When the output unit 32c acquires the determination result of the transition of the state of concentration of the subject U1 determined by the determination unit 32b, the output unit 32c outputs the acquired determination result of the transition of the state of concentration to the second terminal device 40 (see FIG. 7). not shown).
  • the presentation unit 45 of the second terminal device 40 presents the determination result of the transition of the concentration state of the subject U1 to the user U2 (see FIG. 8).
  • the determination system 10 may present to the user U2 that the concentration state of the subject U1 has decreased when the concentration state of the subject U1 has decreased. Thereby, the user U2 can quickly grasp that the concentration state of the target person U1 has decreased.
  • the determination unit 32b performs information processing based on a rule-based algorithm and determines a concentration pattern from the time-series data of the degree of concentration of the subject U1, but is not limited to this.
  • the determination unit 32b may use the machine learning model 34 to determine the concentration pattern from time-series data of the degree of concentration of the subject U1. Since the machine learning model 34 has been described above, the description thereof is omitted here.
  • the determination system 10 includes the acquisition unit 32a that acquires the time-series data of the degree of concentration of the subject U1, and the determination unit 32b that determines the concentration pattern of the subject U1 based on the acquired time-series data. And prepare.
  • the target person U1 is, for example, a student or an operator, and the user U2 is an administrator such as a teacher of the student or a supervisor of the operator.
  • Such a determination system 10 can determine the concentration pattern of the subject U1.
  • the determination unit 32b determines the relative value of the data string of the remaining portion other than the first portion of the time-series data (for example, from time T1 to T2) with respect to the data string P1 of the first portion (for example, from time T1 to T2). Based on this, the concentration pattern of the subject U1 is determined.
  • a determination system 10 determines a concentration pattern based on the relative value of the degree of concentration in the remaining portion with reference to the initial portion at the start of measurement, the subject U1's Concentration patterns can be determined. As a result, for example, even if there is a fluctuation in the degree of concentration of the subject U1 as a whole during measurement, the determination system 10 is less likely to be affected by the fluctuation. concentration pattern can be determined.
  • the determination system 10 further includes a database 35 in which time-series data of the degree of concentration and concentration patterns corresponding to the time-series data of the degree of concentration are linked and stored, and the determination unit 32b Based on the database 35, the concentration pattern of the subject U1 is determined.
  • Such a determination system 10 can, for example, refer to the database 35 to determine the concentration pattern based on the time-series data of the degree of concentration of the subject U1.
  • the database 35 further stores the identification information of the subject U1, the time-series data of the past degree of concentration of the subject U1, and the concentration pattern corresponding to the time-series data in association with each other. Based on the database 35, the determination unit 32b determines a typical concentration pattern of the subject U1.
  • Such a determination system 10 can determine a typical concentration pattern of the subject U1 based on the past concentration pattern of the subject U1 accumulated in the database 35.
  • the determination system 10 further includes a presentation unit 45 that presents information to the user U2, and the determination unit 32b further presents the concentration pattern of the subject U1 and the typical concentration pattern of the subject U1.
  • the concentration state of the subject U1 is determined by the comparison, and the presentation unit 45 presents the concentration state of the subject U1 determined by the determination unit 32b to the user U2.
  • Such a determination system 10 can determine the concentration state of the subject U1 by comparing the concentration pattern of the subject U1 with a typical concentration pattern, and present the determination result to the user U2. Therefore, the determination system 10 can relatively determine the concentration state of the subject U1 and present it to the user U2.
  • the determination unit 32b determines the representative value of the time-series data of the degree of concentration of the subject U1 corresponding to the concentration pattern and the typical value of the subject U1 corresponding to the typical concentration pattern. If the difference value from the representative value of the time-series data of the degree of concentration is greater than a positive threshold, it is determined that the concentration state of the subject U1 is improving. It is determined that the concentration state of the person U1 is declining. At this time, the representative value is, for example, an average value or a median value.
  • Such a determination system 10 can determine a representative value (eg, average value or median value) of time-series data of the degree of concentration of the subject U1 and a representative value (eg, average value or median value) of typical time-series data of the degree of concentration. value) can be used to determine the concentration state of the subject U1. Therefore, the determination system 10 can more accurately determine the concentration state of the subject U1 and present it to the user U2. Therefore, the user U2 can accurately grasp the concentration state of the target person U1.
  • a representative value eg, average value or median value
  • the determination unit 32b further divides the time-series data into at least two data strings, and determines concentration patterns corresponding to each of the at least two data strings. determine the transition of the concentration pattern of
  • such a determination system 10 can determine the transition of the concentration pattern of the subject U1, for example, the user U2 can grasp the concentration state of the subject U1 from the transition of the concentration pattern of the subject U1. can.
  • the determination unit 32b uses the machine learning model 34 instead of the database 35 to determine the concentration pattern of the subject U1 from the time-series data of the degree of concentration of the subject U1.
  • such a determination system 10 can determine the concentration pattern of the subject U1 from the time-series data of the degree of concentration of the subject U1 using the machine learning model 34, the concentration pattern of the subject U1 can be accurately determined. can do.
  • the machine learning model 34 is learned using the database 35.
  • Such a determination system 10 can generate a trained machine learning model 34 using the data set stored in the database 35 as teacher data.
  • the determination method executed by a computer such as the determination system 10 includes an acquisition step (S11) of acquiring time-series data of the degree of concentration of the subject U1; and a determination step (S12) of determining the pattern.
  • Such a determination method can determine the concentration pattern of the subject U1.
  • the program causes the computer to execute the above determination method.
  • the concentration state of the subject U1 is determined by comparing the concentration pattern of the subject U1 and the typical concentration pattern. can be stored in As a result, the determination system 10 can determine the concentration state of the subject U1 according to the physical or mental state of the subject U1.
  • the determination result of the concentration state of the subject U1 is presented to the user U2, but it may be configured to present it to the user U2 when the concentration state of the subject U1 is lowered.
  • the first terminal device 20 calculates the degree of concentration based on the image of the subject U1 acquired from the camera 1, but is not limited to this aspect.
  • the first terminal device 20 may calculate the degree of concentration based on vital information such as heartbeat, pulse, respiratory rate, or electroencephalogram of the subject U1.
  • the first terminal device 20 instead of acquiring an image from the camera 1, acquires vital information from a sensor that detects vital information.
  • the determination unit 32b may determine the state of concentration by referring not only to the time-series data of the degree of concentration acquired by the acquisition unit 32a, but also to other parameters.
  • the determination unit 32b may further refer to parameters such as the type of task performed by the subject U1, the time period when the subject U1 performs the task, or the location where the subject U1 performs the task.
  • the acquiring unit 32a acquires time-series data of the degree of concentration of the subject U1, but may acquire an image (for example, moving image) of the subject U1 captured by the camera 1. .
  • the image includes a feature amount related to the life activity of the subject U1 who is performing the task.
  • the feature amount is mainly information about the head of the subject U1, but is not limited to this.
  • the feature amount may include information related to parts other than the head of the subject U1, such as movement of the shoulders of the subject U1.
  • the camera 1 and the human sensor 2 are not included in the components of the determination system 10, but at least one of the camera 1 and the human sensor 2 is included in the components of the determination system 10. good too.
  • the determination system 10 was implemented by a server device, that is, by a single device, but may be implemented by a plurality of devices.
  • the components included in the determination system 10 may be distributed among the multiple devices in any way.
  • the components included in the server device in the above embodiments may be included in an information terminal installed in a closed space. That is, the present invention may be realized by cloud computing or by edge computing.
  • the communication method between devices in the above embodiment is not particularly limited.
  • a relay device (not shown) may intervene in communication between devices.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each component may be realized by hardware.
  • each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • the present invention may be implemented as a determination method executed by a computer such as the determination system 10, or may be implemented as a program for causing a computer to execute such a determination method, or such a program may be implemented as a computer-readable non-transitory recording medium on which is recorded.
  • invention 1 an acquisition unit that acquires time-series data of a subject's degree of concentration; a determination unit that determines the subject's concentration pattern based on the acquired time-series data; comprising judgment system.
  • Such a determination system can determine a subject's concentration pattern.
  • the determination unit determines the concentration pattern of the subject based on the relative value of the data string of the remaining portion other than the first portion with respect to the data string of the first portion of the time-series data.
  • the determination system according to Invention 1.
  • invention 3 Further comprising a database in which time-series data of the degree of concentration and concentration patterns corresponding to the time-series data of the degree of concentration are linked and stored, The determination unit determines the concentration pattern of the subject based on the database.
  • the determination system according to invention 1 or 2.
  • Such a determination system can determine a concentration pattern based on time-series data of a subject's degree of concentration, for example, by referring to a database.
  • the database further stores identification information of the subject, time-series data of the past degree of concentration of the subject, and a concentration pattern corresponding to the time-series data in association with each other,
  • the determination unit determines a typical concentration pattern of the subject based on the database, The determination system according to Invention 3.
  • Such a determination system can determine a subject's typical concentration pattern based on the subject's past concentration pattern stored in a database.
  • invention 5 further comprising a presentation unit for presenting information to the user,
  • the determination unit is Furthermore, determining the concentration state of the subject by comparing the concentration pattern of the subject and the typical concentration pattern of the subject,
  • the presentation unit presents the concentration state of the subject determined by the determination unit to the user.
  • the determination system according to Invention 4.
  • Such a determination system can determine the subject's concentration state by comparing the subject's concentration pattern with a typical concentration pattern, and present the determination result to the user. Therefore, the determination system can relatively determine the subject's concentration state and present it to the user.
  • the determination unit determines a representative value of time-series data of the degree of concentration of the subject corresponding to the concentration pattern and a representative value of time-series data of the degree of typical concentration of the subject corresponding to the typical concentration pattern. If the difference value exceeds a positive threshold, it is determined that the concentration state of the subject is improving, and if the difference value is less than a negative threshold, it is determined that the concentration state is decreasing.
  • Such a determination system can determine a subject's state of concentration based on the difference value between the representative value of time-series data of the degree of concentration of the subject and the representative value of time-series data of a typical degree of concentration. . Therefore, the determination system can more accurately determine the subject's concentration state and present it to the user. Therefore, the user can accurately grasp the target person's concentration state.
  • the representative value is an average value or a median value, The determination system according to Invention 6.
  • Such a determination system uses a representative value (e.g., mean or median) of time-series data of the subject's degree of concentration and a representative value (e.g., mean or median) of time-series data of a typical degree of concentration. It is possible to determine the subject's concentration state based on the difference value between . Therefore, the determination system can more accurately determine the subject's concentration state and present it to the user. Therefore, the user can accurately grasp the target person's concentration state.
  • a representative value e.g., mean or median
  • the determination unit further divides the time-series data into at least two data strings, Determining transition of the concentration pattern of the subject by determining the concentration pattern corresponding to each of the at least two data strings; A judgment system according to any one of Inventions 1 to 7.
  • the determination unit determines the concentration pattern of the subject from the time-series data using a machine learning model instead of the database.
  • a judgment system according to any one of inventions 3 to 7.
  • Such a determination system can determine a subject's concentration pattern from the time-series data of the subject's degree of concentration using a machine learning model, and thus can accurately determine the subject's concentration pattern.
  • Such a determination system can generate a trained machine learning model using a data set stored in a database as teacher data.

Abstract

判定システム(10)は、対象者(U1)の集中度の時系列データを取得する取得部(32a)と、取得された時系列データに基づいて対象者(U1)の集中パターンを判定する判定部(32b)と、を備える。

Description

判定システム、判定方法、及び、プログラム
 本発明は、判定システム、判定方法、及び、プログラムに関する。
 特許文献1には、白色光を主体として照射する主光源と単波長光光源とを点灯させ、所望の覚醒水準が得られるように単波長光光源の光出力を制御することにより、作業者の覚醒水準を向上できる照明装置が開示されている。
特開2009-59677号公報
 本発明は、対象者の集中パターンを判定することができる判定システム、判定方法、及び、プログラムを提供する。
 本発明の一態様に係る判定システムは、対象者の集中度の時系列データを取得する取得部と、取得された前記時系列データに基づいて前記対象者の集中パターンを判定する判定部と、を備える。
 また、本発明の一態様に係る判定方法は、対象者の集中度の時系列データを取得する取得ステップと、取得された前記時系列データに基づいて前記対象者の集中パターンを判定する判定ステップと、を含む。
 また、本発明の一態様は、上記判定方法をコンピュータに実行させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。
 本発明の判定システム、判定方法、及び、プログラムは、対象者の集中パターンを判定することができる。
図1は、実施の形態に係る判定システムの概要を説明するための図である。 図2は、実施の形態に係る判定システムの機能構成の一例を示すブロック図である。 図3は、実施の形態に係る判定システムの動作の第1の例を示すフローチャートである。 図4は、集中パターンの類型と類型ごとの休憩提案の例を示す図である。 図5は、集中パターンの判定結果の一例を示す図である。 図6Aは、実施の形態に係る判定システムの動作の第1の例の変形例3を示すフローチャートである。 図6Bは、図6AのステップS22の処理の詳細なフローの一例を示すフローチャートである。 図7は、実施の形態に係る判定システムの動作の第2の例を示すフローチャートである。 図8は、集中状態の推移の判定結果の一例を示す図である。
 以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。
 (実施の形態)
 [概要]
 まず、実施の形態に係る判定システムの概要について説明する。図1は、実施の形態に係る判定システム10の概要を説明するための図である。
 判定システム10は、対象者U1の集中度の時系列データを取得し、取得された時系列データに基づいて対象者U1の集中パターンを判定する。判定システム10では、例えば、第一端末装置20がカメラ1及び人感センサ2から取得したセンシングデータ(例えば、画像、及び、人の存在の有無の検知結果)に含まれる特徴量(より詳細には、作業空間4でタスクを行っている対象者U1の生体活動に関する特徴量)に基づいて対象者U1のタスクに対する集中度を算出してもよい。そして、判定システム10は、算出された集中度の時系列データに基づいて、対象者U1の集中度の推移から集中パターンを判定する。対象者U1の集中パターンは、例えば、ユーザU2が使用する第二端末装置40に表示されることにより、ユーザU2に提示されてもよい。これにより、ユーザU2は、対象者U1の集中パターンを把握することができる。
 タスクは、例えば、知的作業であってもよい。知的作業とは、対象者U1の知能(言い換えると、頭脳)を用いて行われる作業であって、例えば、認知(言い換えると、認識及び理解)、思考、判断、論理、計算、及び、創造などの作業である。具体的には、知的作業は、仕事、又は、学習などを含んでもよい。
 また、「集中」とは、知的作業対象に頭の中の認知資源を充分割り当てて物事に取り組むことを意味する。集中状態とは知的作業対象に認知資源を割り当てている状態であり、「集中度」はその度合いを意味する。すなわち、「集中度」とは、物事に取り組む際に、どの程度、知的作業対象に認知資源を集中しているかの度合いを意味する。集中度は、単位時間当たりの知的作業量(つまり、知的作業の作業量)に影響を与える。すなわち、集中度が高い程、単位時間当たりの知的作業量が大きくなり、集中度が低い程、単位時間当たりの知的作業量が小さくなる。
 集中状態が向上するとは、集中度の高い状態が長い時間維持できる、あるいは、維持できる集中度が高くなることなどを意味し、集中度が低下するとは、集中度の高い状態を維持できる時間が短くなる、あるいは、維持できる集中度が低くなることなどを意味する。
 また、集中パターンは、集中度の変化のパターンを意味する。集中度は、対象者U1ごと或いは同じ対象者U1でも同じタスクを実行する時間又は日によって変動するため、集中度の変化のパターンで対象者U1の集中状態を判定してもよい。対象者U1の集中パターンは、例えば、複数の集中パターン(例えば、集中パターンの類型I、類型II、類型III、及び、類型IV)のいずれに最も近いかによって判定されてもよい。
 例えば、対象者U1は、生徒、又は、作業者であり、ユーザU2は、生徒の教師、又は、作業者の上司などの管理者である。図1では、見やすさの観点から、一人の対象者U1を示しているが、判定システム10は、複数の対象者U1の集中パターンを判定して、ユーザU2に提示してもよい。
 作業空間4は、対象者U1がタスク(例えば、知的作業)を行う空間であり、例えば、オフィスビル、自宅、学習塾、又は、学校などの一室であってもよく、当該一室内の局所的(部分的)なスペースであってもよい。複数の対象者U1は、一つの作業空間4に位置してもよいし、複数の対象者U1のそれぞれは、異なる作業空間4に位置してもよい。
 作業空間4には、対象者U1がタスクを行うための作業机及び椅子が配置されている。作業机には、例えば、カメラ1及び人感センサ2などの非接触デバイスと、パーソナルコンピュータまたはタブレット端末などの第一端末装置20とが設置されている。なお、カメラ1などの非接触デバイスは、第一端末装置20に備えられてもよい。
 また、図1では図示を省略しているが、判定システム10は、例えば、サーバ装置(例えば、図2の情報処理装置30)を備えてもよい。サーバ装置(例えば、情報処理装置30)は、作業空間4又は作業空間4を備える建物(例えば、オフィスビル、自宅、学習塾、又は、学校など)内に設置されてもよいし、クラウドサーバのように当該建物の外部に設置されてもよい。なお、判定システム10は、ユーザU2が使用する第二端末装置40により実現されてもよい。
 [構成]
 続いて、実施の形態に係る判定システム10の構成について説明する。図2は、実施の形態に係る判定システム10の機能構成の一例を示すブロック図である。
 図2に示されるように、判定システム10は、例えば、2以上の第一端末装置20と、情報処理装置30と、第二端末装置40とを備える。2以上の第一端末装置20のそれぞれは、例えば、カメラ1及び人感センサ2と通信可能に接続されている。
 [カメラ]
 カメラ1は、対象者U1が映る画像を撮影する。カメラ1は、少なくとも対象者U1の頭部を略正面から撮影可能な位置に設置されている。カメラ1は、例えば、作業机に設置されてもよく、対象者U1が使用する第一端末装置20に搭載されたカメラであってもよい。カメラ1は、可視光により対象者U1を撮影してもよいし、赤外線により対象者U1を撮影してもよい。カメラ1の撮像範囲は、対象者U1の頭部に限らず、対象者U1の上半身を含んでもよい。カメラ1で撮影された画像は、第一端末装置20へ送信される。カメラ1と第一端末装置20との通信は、有線通信であってもよいし、無線通信であってもよいし、通信規格も特に限定されない。
 [人感センサ]
 人感センサ2は、対象者U1の存在の有無を検知する。人感センサ2により検知された検知結果は、第一端末装置20へ送信される。人感センサ2と第一端末装置20との通信は、有線通信であってもよいし、無線通信であってもよいし、通信規格も特に限定されない。なお、図1及び図2では、対象者U1の存在の有無を検知するセンサとして、人感センサ2を例示したが、これに限定されず、例えば、対象者U1が押下できるように構成された物理ボタンであってもよいし、第一端末装置20が備えるタッチパネル式のディスプレイに表示されたボタンであってもよい。あるいは、対象者U1が椅子に座っていることを検知する着座センサであってもよい。なお、対象者U1の存在の有無を検知する構成は、必ずしも備えられなくてもよい。
 [第一端末装置]
 第一端末装置20は、カメラ1から送信された画像を取得し、取得された画像に含まれる特徴量に基づいて対象者U1の集中度を算出し、算出された集中度の時系列データを情報処理装置30へ送信する。このとき、第一端末装置20は、人感センサ2から送信された検知結果(より詳細には、対象者U1が存在するか否かに関する情報)に基づいて、対象者U1が存在するときにカメラ1により撮影された画像を識別し、識別された画像に含まれる特徴量に基づいて対象者U1の集中度を算出してもよい。
 なお、第一端末装置20は、カメラ1から送信された画像と、人感センサ2から送信された対象者U1が存在するか否かに関する情報(いわゆる、検知結果)とを取得し、取得された画像と検知結果とを情報処理装置30へ送信してもよい。
 なお、第一端末装置20は、対象者U1の操作入力を受け付ける受付部(不図示)を備えてもよく、この場合、対象者U1はタッチパネル式のディスプレイに表示されたボタン(例えば、在席ボタン、退席ボタンなど)をタッチすることにより対象者U1の存在の有無を入力してもよい。
 [情報処理装置]
 情報処理装置30は、対象者U1の集中度の時系列データを取得し、取得された時系列データに基づいて対象者U1の集中パターンを判定する。例えば、情報処理装置30は、データベース35に基づいて対象者U1の集中パターン及び典型的な集中パターンを判定してもよい。また、情報処理装置30は、対象者U1の集中パターンを対象者U1の典型的な集中パターンと比較して、対象者U1の集中状態を判定してもよい。さらに、情報処理装置30は、判定結果をユーザU2が使用する第二端末装置40に送信してユーザU2に提示してもよい。情報処理装置30は、例えば、通信部31と、制御部32と、記憶部33とを備える。
 通信部31は、情報処理装置30が第一端末装置20及び第二端末装置40と通信を行うための通信回路(通信モジュール)である。通信部31は、広域通信ネットワークを介して通信を行うための通信回路と、局所通信ネットワークを介して通信を行うための通信回路とを備えてもよい。通信部31は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、通信部31が行う通信の通信規格については特に限定されない。
 制御部32は、第一端末装置20から取得されたデータに基づいて各種情報処理を行う。データは、対象者U1の集中度の推移データであるが、例えば、対象者U1の画像であってもよい。制御部32は、対象者U1の画像を取得すると、取得された画像に含まれる対象者U1の生体活動に関する特徴量を抽出して、抽出された特徴量から対象者U1の集中度を算出してもよい。制御部32は、具体的には、取得部32aと、判定部32bと、出力部32cとを備える。取得部32a、判定部32b、及び、出力部32cの機能は、制御部32を構成するプロセッサ又はマイクロコンピュータが記憶部33に記憶されたコンピュータプログラムを実行することによって実現される。取得部32a、判定部32b、及び、出力部32cの機能の詳細については、動作例にて後述される。
 記憶部33は、制御部32が実行するための専用のアプリケーションプログラムなどが記憶される記憶装置である。記憶部33には、機械学習モデル34と、データベース35とが格納されてもよい。機械学習モデル34は、集中パターンの判定処理に使用される。機械学習モデル34は、対象者U1の集中度の時系列データが入力されることにより、対象者U1の集中パターンを出力する。機械学習モデル34は、畳み込み層を有するものであればよく、例えば、畳み込みニューラルネットワーク(CNN)であってもよいが、これに限定されない。機械学習モデル34は、例えば、教師データを用いて学習される。教師データは、例えば、入力データとして集中度の時系列データと、出力データとして当該時系列データに対応する集中パターンとの組を含むデータセットである。機械学習モデル34は、データベース35を用いて学習されてもよい。
 データベース35は、対象者U1の識別情報と、対象者U1の過去の集中度の時系列データ(言い換えると、対象者U1の時系列データの履歴)と、当該時系列データに対応する集中パターンとが紐づけられて格納されている。
 なお、制御部32が対象者U1の画像を取得して対象者U1の集中パターンを判定する場合は、機械学習モデル34は、対象者U1の画像を入力することにより対象者U1の集中パターンを出力してもよい。また、例えば、機械学習モデル34は、対象者U1の画像を入力することにより対象者U1の集中度の時系列データを出力する機械学習モデルと、対象者U1の集中度の時系列データを入力することにより対象者U1の集中パターンを出力する機械学習モデルとが連結されたモデルであってもよい。この場合、データベース35には、さらに、対象者U1の画像が対象者U1の識別情報に紐づけられて格納されている。
 [第二端末装置]
 第二端末装置40は、ユーザU2により使用される、パーソナルコンピュータ、タブレット端末、又は、スマートフォンなどの情報端末である。第二端末装置40は、例えば、通信部41と、制御部42と、記憶部43と、受付部44と、提示部45とを備える。
 通信部41は、第二端末装置40が情報処理装置30と通信を行うための通信回路(通信モジュール)である。通信部41は、広域通信ネットワークを介して通信を行うための通信回路と、局所通信ネットワークを介して通信を行うための通信回路とを備えてもよい。通信部41は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、通信部41が行う通信の通信規格については特に限定されない。
 制御部42は、受付部44によって受け付けられた入力操作に基づいて、第二端末装置40に関する各種情報処理を行う。制御部42は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
 記憶部43は、制御部42によって実行される制御プログラムなどが記憶される記憶装置である。記憶部43は、例えば、半導体メモリによって実現される。
 受付部44は、ユーザU2の入力操作を受け付ける。受付部44は、例えば、タッチパネルによって実現されるが、マウス、キーボード、ハードウェアボタン、又は、マイクなどによって実現されてもよい。
 提示部45は、情報処理装置30によって出力された対象者U1の集中度に関する情報(例えば、集中度の時系列データ、集中パターン、又は、集中状態など)が提示される。提示部45は、例えば、文字及び記号などを含む画像情報を表示する表示装置である。さらに、提示部45は、音声情報を出力する音声出力装置を備えてもよい。表示装置は、例えば、液晶(LC)パネル、又は、有機EL(Electro Luminescence)パネルなどを表示デバイスとして含むディスプレイである。また、音声出力装置は、例えば、スピーカである。例えば、提示部45は、対象者U1の集中度に関する情報の画像情報を表示装置に表示してもよく、対象者U1の集中度に関する情報の音声情報を音声出力装置により出力してもよく、画像情報及び音声情報の両方を提示してもよい。
 [動作]
 続いて、実施の形態に係る判定システム10の動作について図面を参照しながら具体的に説明する。
 [第1の例]
 図3は、実施の形態に係る判定システム10の動作の第1の例を示すフローチャートである。
 例えば、対象者U1は、タスクを開始する際に、第一端末装置20のタッチパネルディスプレイに表示されたボタンをタッチすると、第一端末装置20は、カメラ1及び人感センサ2にセンシング開始の指示信号を送信する(不図示)。カメラ1及び人感センサ2は、当該指示信号を受信すると、センシングを開始し、センシングデータ(ここでは、画像データ及び人の存在の有無を示すデータ)を第一端末装置20へ送信する(不図示)。
 次に、第一端末装置20は、カメラ1及び人感センサ2から取得したセンシングデータに基づいて、対象者U1が映る画像を抽出する(不図示)。具体的には、第一端末装置20は、人感センサ2によって人(ここでは、対象者U1)の存在が検知されたときにカメラ1によって撮影された画像を対象者U1の画像(より詳細には、対象者U1の頭部が映る画像)として抽出する。
 次に、第一端末装置20は、抽出された画像に基づいて対象者U1の集中度を算出する(不図示)。上述したように、対象者U1の画像には、少なくとも略正面から撮影された対象者U1の頭部が含まれている。対象者U1の頭部の画像には、対象者U1の頭の動きなどの状態、対象者U1の眼(目頭、虹彩、角膜反射、もしくは、瞳孔など)の状態、又は、対象者U1の表情などの情報が含まれている。これらの情報は、いわゆる、対象者U1の生体活動に関する特徴量である、と言える。つまり、第一端末装置20は、タスクを行っている対象者U1の生体活動に関する特徴量に基づいて対象者U1の集中度を算出する。
 例えば、第一端末装置20は、取得された対象者U1の画像に対して適宜画像処理を実行することにより、1以上の特徴量を抽出する。そして、第一端末装置20は、抽出された各特徴量について、対応するテンプレート画像と比較することにより、各特徴量について集中度に関する点数を算出する。点数は、例えば、対応するテンプレート画像との一致度に応じて算出されてもよい。そして、第一端末装置20は、各特徴量について算出した点数を加算し、加算された点数に基づいて集中度を算出する。第一端末装置20は、点数を加算するにあたって、特徴量ごとに重み付けを行ってもよい。
 なお、第一端末装置20は対象者U1の集中度を算出して情報処理装置30へ送信するが、センシングデータに基づいて対象者U1の画像を抽出して情報処理装置30へ送信してもよいし、センシングデータを情報処理装置30へ送信してもよい。この場合、情報処理装置30は、第一端末装置20から取得された対象者U1の画像又はセンシングデータに基づいて対象者U1の集中度を算出してもよい。
 次に、情報処理装置30の取得部32aは、対象者U1の集中度の時系列データを取得する(S11)。より具体的には、取得部32aは、通信部31を介して、第一端末装置20から送信される対象者U1の集中度の時系列データを定期的に(例えば、5分ごとに)取得する。
 次に、判定部32bは、取得部32aにより取得された対象者U1の集中度の時系列データに基づいて、対象者U1の集中パターンを判定する(S12)。ステップS12について、図4及び図5を参照しながら説明する。図4は、集中パターンの類型と類型ごとの休憩提案の例を示す図である。図5は、集中パターンの判定結果の一例を示す図である。
 ステップS12では、判定部32bは、ステップS11で取得部32aにより取得された対象者U1の集中度の時系列データに基づいて、当該時系列データが集中パターンの類型(例えば、図4の(a)参照)のいずれに最も近いかによって対象者U1の集中パターンを判定する。例えば、判定部32bは、データベース35に基づいて、対象者U1の集中パターンを判定する。この場合、判定部32bが参照する集中パターンの類型例は、例えば、データベース35に格納されている。より具体的には、例えば、データベース35には、集中度の時系列データと、当該集中度の時系列データに対応する集中パターン(つまり、集中パターンの類型)とが紐づけられて格納されている。
 また、例えば、図5に示されるように、判定部32bは、時系列データの最初の一部分(例えば、時間T1からT2までの)のデータ列P1に対する最初の一部分以外の残り部分のデータ列の相対値に基づいて対象者U1の集中パターンを判定してもよい。このとき、判定部32bは、時系列データの最初の一部分のデータ列に基づいて集中度の基準値を設定し、設定された基準値に対する残りの部分のデータ列の値の相対値に基づいて対象者U1の集中パターンを判定してもよい。なお、図5では、集中度は、最大値が1.0、最小値が0.0となるように割合で表されているが、最大値が100%、最小値が0%となるように百分率で表されてもよい。なお、図5では、相対値は図示されていないが、集中度は、相対値で表されてもよい。
 次に、出力部32cは、ステップS12で判定部32bにより判定された対象者U1の集中パターンを出力する(不図示)。出力部32cによって出力された集中パターンは、通信部31を介して第二端末装置40へ送信される。第二端末装置40の制御部42は、情報処理装置30から送信された集中パターンを、通信部41を介して取得すると、取得された集中パターンを提示部45に提示させることにより、対象者U1の集中パターンをユーザに提示する(不図示)。例えば、提示部45は、対象者U1の集中パターンの判定結果として、I、II、III、IVなどの集中パターンの類型を提示してもよいが、対象者U1の集中度の時系列データと集中パターンの判定結果とを重畳させて提示してもよい。
 なお、判定部32bは、集中パターンの判定結果を出力部32cへ出力するとともに、記憶部33に格納してもよい。より具体的には、判定部32bは、対象者U1の識別情報に、集中度の時系列データと、集中パターンの判定結果とを紐づけて記憶部33内のデータベース35に格納する。
 なお、判定部32bは、集中パターンの判定の他に、対象者の集中度が高いか低いかを判定してもよい。この場合、判定部32bは、集中度が第二閾値Th2(例えば、0.6)を上回る場合に集中度が高い(又は、集中状態が良い)と判定し、集中度が第二閾値Th2と第一閾値Th1(例えば、0.5)との間である場合に集中度が普通である(又は、集中状態が普通)と判定し、集中度が第二閾値Th2を下回る場合に集中度が低い(又は、集中状態が悪い)と判定してもよい。
 [第1の例の変形例1]
 なお、第1の例では、一人の対象者U1の集中パターンを判定したが、情報処理装置30は、複数の対象者U1について集中度の時系列データを取得して複数の対象者U1それぞれの集中パターンを判定してもよい。
 より具体的には、例えば、ステップS11では、情報処理装置30の取得部32aは、複数の第一端末装置20から複数の対象者U1の集中度の時系列データを取得する。例えば、ステップS12では、判定部32bは、複数の時系列データに基づいて複数の対象者U1それぞれの集中パターンを判定する。この場合、提示部45は、例えば、図1の吹き出し部分に示されるように、複数の対象者U1それぞれについて判定結果をユーザU2に提示してもよい。
 なお、判定部32bは、複数の対象者U1の集中パターンの判定結果を出力部32cへ出力するとともに、各対象者U1の識別情報に紐づけてデータベース35に格納してもよい。
 [第1の例の変形例2]
 第1の例及び第1の例の変形例1では、判定部32bは、集中パターンの判定結果を出力部32cへ出力するとともに、対象者U1の識別情報と、対象者U1の集中度の時系列データと、当該時系列データに対応する集中パターンの判定結果とをデータベース35に格納した。つまり、データベース35には、対象者U1の識別情報と、対象者U1の過去の集中度の時系列データと、当該時系列データに対応する集中パターンとが紐づけられて格納されている。
 第1の例の変形例2では、判定部32bは、データベース35に基づいて対象者U1の典型的な集中パターンを判定する。そして、判定部32bは、判定された典型的な集中パターンと、当該典型的な集中パターンに対応する集中度の時系列データ(典型的な集中度の時系列データともいう)とを対象者U1の識別情報に対応づけてデータベース35に格納してもよい。
 なお、典型的な集中パターンは、例えば、季節ごと、又は、時間帯ごと(例えば、朝、昼、夜)に判定されてデータベース35に格納されてもよい。
 [第1の例の変形例3]
 判定部32bは、さらに、対象者U1の集中パターンを判定し、判定された集中パターンと、対象者U1の典型的な集中パターンとを比較することにより、対象者U1の集中状態を判定してもよい。図6Aは、実施の形態に係る判定システム10の動作の第1の例の変形例3を示すフローチャートである。
 図6Aに示されるように、情報処理装置30の取得部32aが対象者U1の集中度の時系列データを取得すると(S11)、判定部32bは、当該時系列データに基づいて対象者U1の集中パターンを判定する(S12)。
 次に、判定部32bは、対象者U1の典型的な集中パターンをデータベース35から読み出す(S21)。そして、判定部32bは、ステップS12で判定された集中パターンとステップS21でデータベース35から読み出された対象者U1の典型的な集中パターンとを比較して、対象者U1の集中状態を判定する(S22)。
 ここで、図6Bを参照しながら、ステップS22の処理についてより具体的に説明する。図6Bは、図6AのステップS22の処理の詳細なフローの一例を示すフローチャートである。ステップS22では、判定部32bは、ステップS11で取得された対象者U1の集中度の時系列データにおける代表値(例えば、平均値又は中央値)と、ステップS21でデータベース35から読み出された典型的な集中パターンにおける集中度の時系列データの代表値(例えば、平均値又は中央値)との差分値d(図8参照)が正の閾値(例えば、0.2)を上回るか否かを判定する(S31)。
 判定部32bは、差分値dが正の閾値を上回る場合(S31でYes)、対象者U1の集中状態が向上していると判定する(S32)。一方、判定部32bは、差分値が正の閾値を上回らない(つまり、下回る)場合(S31でNo)、当該差分値が負の閾値(例えば、-0.2)を下回るか否かを判定する(S33)。判定部32bは、当該差分値が負の閾値を下回る場合(S33でYes)、対象者U1の集中状態が低下していると判定する(S34)。一方、判定部32bは、当該差分値が負の閾値を下回らない(つまり、上回る)場合(S33でNo)、対象者U1の集中状態が安定している(つまり、大きな変化がない)と判定する(S35)。
 なお、図6Bのフロー例はあくまでも一例であり、これに限られない。例えば、判定部32bは、集中パターンと典型的な集中パターンとの類型の違いによって対象者U1の集中状態を判定してもよい。具体的には、例えば、対象者U1の典型的な集中パターンが図4の(a)に示される類型I(集中度が高位一定)である場合に、ステップS12で判定された対象者U1の集中パターンが類型II(集中度が低位一定)、類型III(高位から低位へ徐々に推移)、又は、類型IV(集中度に波がある)である場合、対象者U1の集中状態が低下していると判定する。また、例えば、判定部32bは、対象者U1の典型的な集中パターンが類型IVである場合に、ステップS12で判定された対象者U1の集中パターンが類型Iである場合、対象者U1の集中状態が向上していると判定する。
 出力部32cは、判定部32bにより判定された対象者U1の集中状態の判定結果を取得すると、取得された集中状態の判定結果を第二端末装置40へ出力する(不図示)。
 次に、第二端末装置40の提示部45は対象者U1の集中状態をユーザU2に提示する(S23)。
 [第1の例の変形例4]
 情報処理装置30は、対象者U1の集中パターンを判定し、判定された集中パターン(つまり、集中パターンの判定結果)を第二端末装置40へ送信するが、集中パターンの判定結果に加えて、当該集中パターンに応じた効率的な休憩の取り方(図4の(b)参照)を第二端末装置40へ送信してもよい。これにより、第二端末装置40の提示部45は、対象者U1の集中パターンに適した休憩の取り方をユーザU2に提示することができるため、ユーザU2は、対象者U1に適切なタイミングで休憩を促すことができる。その結果、対象者U1の作業効率が向上する可能性が高くなる。
 [第2の例]
 続いて、動作の第2の例について説明する。図7は、実施の形態に係る判定システム10の動作の第2の例を示すフローチャートである。図7では、図3に示されるステップと同一のステップについては同じステップ番号を付している。
 第1の例では、判定部32bは、対象者U1の集中度の時系列データに基づいて対象者U1の集中パターンを判定した。第2の例では、判定部32bは、取得部32aにより取得された対象者U1の時系列データを少なくとも2つのデータ列に分割して、集中パターンの推移を判定する。以下では、第1の例と同様の動作については説明を省略又は簡略化し、第1の例と異なる点を中心に説明する。
 まず、情報処理装置30の取得部32aは、第一端末装置20から送信された対象者U1の集中度の時系列データを取得する(S11)。
 次に、判定部32bは、取得部32aにより取得された対象者U1の時系列データを少なくとも2つのデータ列に分割する(S41)。例えば、判定部32bは、時系列データの最初の一部分のデータ列の代表値(例えば、平均値又は中央値)を基準値として当該基準値を上回る平均値のデータ列と当該基準値を下回る平均値のデータ列とに分割してもよいし、集中度が当該基準値と一致する箇所でデータ列を分割してもよい。また、例えば、判定部32bは、最初の一部分のデータ列におけるデータ値の変化率の代表値(例えば、平均値又は中央値)を基準値として当該基準値を上回る変化率のデータ列と当該基準値を下回る変化率のデータ列とに分割してもよいし、変化率が当該基準値と一致する箇所でデータ列を分割してもよい。
 次に、判定部32bは、少なくとも2つのデータ列のそれぞれに対応する集中パターンを判定することにより、対象者U1の集中パターンの推移を判定する(S42)。ここで、図5を再び参照しながら説明する。図5に示されるように、判定部32bは、例えば、取得された集中度の時系列データを、時系列データの最初の一部分(時間T1~T2)のデータ列P1の代表値を基準値として、少なくとも2つ(この例では、3つ)のデータ列に分割する。そして、判定部32bは、データベース35に基づいて各データ列に対応する集中パターン(例えば、類型IV、III、I)を判定することにより、集中度の時系列データにおける集中パターンの推移を判定する。
 なお、提示部45は、判定部32bにより判定された集中パターンの推移(つまり、集中パターンの推移の判定結果)をユーザU2に提示してもよい(不図示)。この場合、提示部45は、例えば、集中度の時系列データ(例えば、集中度のグラフ)と、集中パターンの推移の判定結果とを重畳させてディスプレイに表示してもよい。このとき、提示部45は、集中パターンの推移の判定結果を示す音声情報を出力してもよい。
 なお、判定部32bは、対象者U1の集中パターンの推移の判定結果を出力部32cへ出力するとともに、対象者U1の識別情報に紐づけてデータベース35に格納してもよい。
 なお、図7に示される処理フローは、一人の対象者U1だけでなく、複数の対象者U1についても同様に実行されてもよい。
 [第2の例の変形例1]
 なお、第2の例では、判定部32bは、集中パターンの推移を出力部32cへ出力するとともに、対象者U1の識別情報と、対象者U1の集中度の時系列データと、当該時系列データに対応する集中パターンの推移の判定結果とをデータベース35に格納する。
 この場合、判定部32bは、データベース35に基づいて、対象者U1の典型的な集中パターンの推移を判定してもよい。そして、判定部32bは、判定された典型的な集中パターンの推移と、当該典型的な集中パターンの推移に対応する集中度の時系列データ(典型的な集中度ともいう)とを対象者U1の識別情報に対応づけてデータベース35に格納してもよい。
 なお、典型的な集中パターンの推移は、例えば、季節ごと、又は、時間帯ごと(例えば、朝、昼、夜)に判定されてデータベース35に格納されてもよい。
 [第2の例の変形例2]
 判定部32bは、さらに、対象者U1の集中パターンの推移を判定し、判定された集中パターンの推移と、対象者U1の典型的な集中パターンの推移とを比較することにより、対象者U1の集中状態の推移を判定してもよい。図8は、集中状態の推移の判定結果の一例を示す図である。
 例えば、情報処理装置30の取得部32aが対象者U1の集中度の時系列データを取得すると(図7のS11)、判定部32bは、当該時系列データを少なくとも2つのデータ列に分割し(図7のS41)、各データ列に対応する集中パターンを判定することにより、対象者U1の集中パターンの推移を判定する(S42)。
 次に、判定部32bは、対象者U1の典型的な集中パターンの推移をデータベース35から読み出す(図7で不図示)。
 次に、判定部32bは、ステップS42で判定された集中パターンの推移と、データベース35から読み出された対象者U1の典型的な集中パターンの推移とを比較して、対象者U1の集中状態の推移を判定する(図7で不図示)。図6Bでは、集中度の時系列データについての処理を説明したが、ステップS31~S35の処理は、時系列データを分割した各データ列についても同様に適用されてもよい。例えば、判定部32bは、対象者U1の集中度の時系列データ(図8の実線のグラフ)のうち分割された各データ列における集中度の代表値と、データベース35から読み出された典型的な集中パターンの推移に対応する集中度の時系列データ(図8の破線のグラフ)のうち分割された各データ列における集中度の代表値との差分値dが正の閾値(例えば、0.2)を上回るか否か、及び、負の閾値(例えば、-0.2)を下回るか否かに基づいて対象者U1の集中状態の推移を判定する。
 例えば、判定部32bは、差分値dが正の閾値を上回る場合、当該データ列に対応する時間帯(区間)において対象者U1の集中状態が向上していると判定する。一方、判定部32bは、差分値dが正の閾値を上回らない(つまり、下回る)場合であって負の閾値を下回らない場合、当該データ列に対応する時間帯(区間)において対象者U1の集中状態が低下していると判定する。また、差分値dが正の閾値と負の閾値との間の値である場合、当該データ列に対応する時間帯(区間)において対象者U1の集中状態は安定していると判定する。このように、判定部32bは、各データ列に対応する区間における対象者U1の集中状態を判定することにより、対象者U1の集中状態の推移を判定してもよい。
 なお、上記の判定処理はあくまでも一例であり、これに限られない。例えば、判定部32bは、各データ列に対応する時間帯の集中パターンと典型的な集中パターンとの類型の違いによって対象者U1の集中状態の推移を判定してもよい。具体的な判定方法については、第1の例の変形例3で説明したため、ここでの説明を省略する。
 出力部32cは、判定部32bにより判定された対象者U1の集中状態の推移の判定結果を取得すると、取得された集中状態の推移の判定結果を第二端末装置40へ出力する(図7で不図示)。
 次に、第二端末装置40の提示部45は対象者U1の集中状態の推移の判定結果をユーザU2に提示する(図8参照)。
 なお、判定システム10は、対象者U1の集中状態が低下した場合に、対象者U1の集中状態が低下したことをユーザU2に提示してもよい。これにより、ユーザU2は、対象者U1の集中状態が低下したことを迅速に把握することができる。
 なお、上記の動作例において、判定部32bは、ルールベースのアルゴリズムに基づく情報処理を行い、対象者U1の集中度の時系列データから集中パターンを判定するが、これに限られない。例えば、判定部32bは、機械学習モデル34を用いて対象者U1の集中度の時系列データから集中パターンを判定してもよい。機械学習モデル34については上述したためここでの説明を省略する。
 [効果等]
 以上説明したように、判定システム10は、対象者U1の集中度の時系列データを取得する取得部32aと、取得された時系列データに基づいて対象者U1の集中パターンを判定する判定部32bと、を備える。対象者U1は、例えば生徒又は作業者であり、ユーザU2は、生徒の教師又は作業者の上司などの管理者である。
 このような判定システム10は、対象者U1の集中パターンを判定することができる。
 また、例えば、判定システム10では、判定部32bは、時系列データの最初の一部分(例えば、時間T1からT2まで)のデータ列P1に対する当該最初の一部分以外の残り部分のデータ列の相対値に基づいて対象者U1の集中パターンを判定する。
 このような判定システム10は、計測開始の最初の一部分を基準として残りの部分の集中度の相対値に基づいて集中パターンを判定するため、相対的な集中度の推移に基づいて対象者U1の集中パターンを判定することができる。これにより、例えば、判定システム10は、測定時に、対象者U1の集中度が全体的に高い又は低いなどの変動があっても、その変動の影響を受けにくくなるため、より正確に対象者U1の集中パターンを判定することができる。
 また、例えば、判定システム10は、さらに、集中度の時系列データと、当該集中度の時系列データに対応する集中パターンとが紐づけられて格納されたデータベース35を備え、判定部32bは、データベース35に基づいて対象者U1の集中パターンを判定する。
 このような判定システム10は、例えば、データベース35を参照することにより、対象者U1の集中度の時系列データに基づいて集中パターンを判定することができる。
 また、例えば、データベース35には、さらに、対象者U1の識別情報と、対象者U1の過去の集中度の時系列データと、当該時系列データに対応する集中パターンとが紐づけられて格納されており、判定部32bは、データベース35に基づいて対象者U1の典型的な集中パターンを判定する。
 このような判定システム10は、データベース35に蓄積された対象者U1の過去の集中パターンに基づいて対象者U1の典型的な集中パターンを判定することができる。
 また、例えば、判定システム10は、さらに、ユーザU2に情報を提示する提示部45を備え、判定部32bは、さらに、対象者U1の集中パターンと、対象者U1の典型的な集中パターンとを比較することにより、対象者U1の集中状態を判定し、提示部45は、判定部32bにより判定された対象者U1の集中状態をユーザU2に提示する。
 このような判定システム10は、対象者U1の集中パターンを典型的な集中パターンと比較することにより対象者U1の集中状態を判定し、判定結果をユーザU2に提示することができる。そのため、判定システム10は、対象者U1の集中状態を相対的に判定してユーザU2に提示することができる。
 また、例えば、判定システム10では、判定部32bは、上記の集中パターンに対応する対象者U1の集中度の時系列データの代表値と上記の典型的な集中パターンに対応する対象者U1の典型的な集中度の時系列データの代表値との差分値が正の閾値を上回る場合、対象者U1の集中状態が向上していると判定し、上記差分値が負の閾値を下回る場合、対象者U1の集中状態が低下していると判定する。このとき、上記代表値は、例えば、平均値又は中央値である。
 このような判定システム10は、対象者U1の集中度の時系列データの代表値(例えば、平均値又は中央値)と典型的な集中度の時系列データの代表値(例えば、平均値又は中央値)との差分値に基づいて対象者U1の集中状態を判定することができる。そのため、判定システム10は、対象者U1の集中状態をより正確に判定してユーザU2に提示することができる。したがって、ユーザU2は、対象者U1の集中状態を正確に把握することができる。
 また、例えば、判定システム10では、判定部32bは、さらに、時系列データを少なくとも2つのデータ列に分割し、少なくとも2つのデータ列のそれぞれに対応する集中パターンを判定することにより、対象者U1の集中パターンの推移を判定する。
 このような判定システム10は、対象者U1の集中パターンの推移を判定することができるため、例えば、ユーザU2は、対象者U1の集中パターンの推移から対象者U1の集中状態を把握することができる。
 また、例えば、判定システム10では、判定部32bは、データベース35の代わりに機械学習モデル34を用いて対象者U1の集中度の時系列データから対象者U1の集中パターンを判定する。
 このような判定システム10は、機械学習モデル34を用いて対象者U1の集中度の時系列データから対象者U1の集中パターンを判定することができるため、対象者U1の集中パターンを精度良く判定することができる。
 また、例えば、機械学習モデル34は、データベース35を用いて学習される。
 このような判定システム10では、データベース35に格納されたデータセットを教師データとして学習済みの機械学習モデル34を生成することができる。
 また、判定システム10などのコンピュータによって実行される判定方法は、対象者U1の集中度の時系列データを取得する取得ステップ(S11)と、取得された時系列データに基づいて対象者U1の集中パターンを判定する判定ステップ(S12)と、を含む。
 このような判定方法は、対象者U1の集中パターンを判定することができる。
 また、プログラムは、コンピュータに上記の判定方法を実行させる。
 このようなプログラムによれば、対象者U1の集中パターンを判定することができる。
 (その他の実施の形態)
 以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。以下、実施の形態の変形例について列挙する。以下に説明する変形例は、適宜組み合わせてもよい。
 実施の形態では、対象者U1の集中パターンと典型的な集中パターンとを比較することにより、対象者U1の集中状態を判定したが、対象者U1の主観的な集中状態を紐づけてデータベース35に格納してもよい。これにより、判定システム10は、対象者U1の肉艇的又は精神的状態などに応じて対象者U1の集中状態を判定することが可能となる。
 また、実施の形態では、対象者U1の集中状態の判定結果をユーザU2に提示しているが、対象者U1の集中状態が低下したときにユーザU2に提示する構成としてもよい。
 実施の形態では、第一端末装置20は、カメラ1から取得された対象者U1の画像に基づいて集中度を算出しているが、この態様に限られない。例えば、第一端末装置20は、対象者U1の心拍、脈拍、呼吸数、又は、脳波等のバイタル情報に基づいて、集中度を算出してもよい。この態様では、第一端末装置20は、カメラ1から画像を取得する代わりに、バイタル情報を検知するセンサからバイタル情報を取得する。
 実施の形態において、判定部32bは、取得部32aにより取得された集中度の時系列データのみならず、他のパラメータをさらに参照して集中状態を判定してもよい。例えば、判定部32bは、対象者U1が行うタスクの種類、対象者U1がタスクを行う時間帯、又は、対象者U1がタスクを行う場所等のパラメータをさらに参照してもよい。
 実施の形態では、取得部32aは、対象者U1の集中度の時系列データを取得しているが、カメラ1により撮影された対象者U1の画像(例えば、動画像)を取得してもよい。当該画像には、タスクを行っている対象者U1の生体活動に関する特徴量が含まれている。当該特徴量は、主に、対象者U1の頭部に関する情報であるが、これに限らない。例えば、特徴量は、対象者U1の肩の動き等、対象者U1の頭部以外の部位に関する情報が含まれていてもよい。
 実施の形態では、カメラ1及び人感センサ2は判定システム10の構成要素に含まれていないが、カメラ1及び人感センサ2のうちの少なくとも一方が判定システム10の構成要素に含まれていてもよい。
 また、例えば、上記実施の形態では、判定システム10は、サーバ装置、つまり、単一の装置により実現されたが、複数の装置によって実現されてもよい。判定システム10が複数の装置によって実現される場合、判定システム10が備える構成要素は、複数の装置にどのように振り分けられてもよい。例えば、上記実施の形態でサーバ装置が備える構成要素は、閉空間に設置された情報端末に備えられてもよい。つまり、本発明は、クラウドコンピューティングによって実現されてもよいし、エッジコンピューティングによって実現されてもよい。
 例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置が介在してもよい。
 また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路(又は集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
 また、本発明の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 例えば、本発明は、判定システム10等のコンピュータが実行する判定方法として実現されてもよいし、このような判定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
 その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
 (付記)
 以下、本明細書の開示内容から得られる発明を例示し、当該発明から得られる効果等について説明する。
 [発明1]
 対象者の集中度の時系列データを取得する取得部と、
 取得された前記時系列データに基づいて前記対象者の集中パターンを判定する判定部と、
 を備える、
 判定システム。
 [発明1の効果]
 このような判定システムは、対象者の集中パターンを判定することができる。
 [発明2]
 前記判定部は、前記時系列データの最初の一部分のデータ列に対する前記最初の一部分以外の残り部分のデータ列の相対値に基づいて前記対象者の前記集中パターンを判定する、
 発明1に記載の判定システム。
 [発明2の効果]
 このような判定システムは、計測開始の最初の一部分を基準として残りの部分の集中度の相対値に基づいて集中パターンを判定するため、相対的な集中度の推移に基づいて対象者の集中パターンを判定することができる。これにより、例えば、判定システムは、測定時に、対象者の集中度が全体的に高い又は低いなどの変動があっても、その変動の影響を受けにくくなるため、より正確に対象者の集中パターンを判定することができる。
 [発明3]
 さらに、集中度の時系列データと、当該集中度の時系列データに対応する集中パターンとが紐づけられて格納されたデータベースを備え、
 前記判定部は、前記データベースに基づいて前記対象者の前記集中パターンを判定する、
 発明1又は2に記載の判定システム。
 [発明3の効果]
 このような判定システムは、例えば、データベースを参照することにより、対象者の集中度の時系列データに基づいて集中パターンを判定することができる。
 [発明4]
 前記データベースには、さらに、前記対象者の識別情報と、前記対象者の過去の集中度の時系列データと、当該時系列データに対応する集中パターンとが紐づけられて格納されており、
 前記判定部は、前記データベースに基づいて前記対象者の典型的な集中パターンを判定する、
 発明3に記載の判定システム。
 [発明4の効果]
 このような判定システムは、データベースに蓄積された対象者の過去の集中パターンに基づいて対象者の典型的な集中パターンを判定することができる。
 [発明5]
 さらに、ユーザに情報を提示する提示部を備え、
 前記判定部は、
 さらに、前記対象者の前記集中パターンと、前記対象者の前記典型的な集中パターンとを比較することにより、前記対象者の集中状態を判定し、
 前記提示部は、前記判定部により判定された前記対象者の前記集中状態を前記ユーザに提示する、
 発明4に記載の判定システム。
 [発明5の効果]
 このような判定システムは、対象者の集中パターンを典型的な集中パターンと比較することにより対象者の集中状態を判定し、判定結果をユーザに提示することができる。そのため、判定システムは、対象者の集中状態を相対的に判定してユーザに提示することができる。
 [発明6]
 前記判定部は、前記集中パターンに対応する前記対象者の集中度の時系列データの代表値と前記典型的な集中パターンに対応する前記対象者の典型的な集中度の時系列データの代表値との差分値が正の閾値を上回る場合、前記対象者の集中状態が向上していると判定し、前記差分値が負の閾値を下回る場合、前記集中状態が低下していると判定する、
 発明5に記載の判定システム。
 [発明6の効果]
 このような判定システムは、対象者の集中度の時系列データの代表値と典型的な集中度の時系列データの代表値との差分値に基づいて対象者の集中状態を判定することができる。そのため、判定システムは、対象者の集中状態をより正確に判定してユーザに提示することができる。したがって、ユーザは、対象者の集中状態を正確に把握することができる。
 [発明7]
 前記代表値は、平均値又は中央値である、
 発明6に記載の判定システム。
 [発明7の効果]
 このような判定システムは、対象者の集中度の時系列データの代表値(例えば、平均値又は中央値)と典型的な集中度の時系列データの代表値(例えば、平均値又は中央値)との差分値に基づいて対象者の集中状態を判定することができる。そのため、判定システムは、対象者の集中状態をより正確に判定してユーザに提示することができる。したがって、ユーザは、対象者の集中状態を正確に把握することができる。
 [発明8]
 前記判定部は、さらに、前記時系列データを少なくとも2つのデータ列に分割し、
 前記少なくとも2つのデータ列のそれぞれに対応する前記集中パターンを判定することにより、前記対象者の前記集中パターンの推移を判定する、
 発明1~7のいずれかに記載の判定システム。
 [発明8の効果]
 このような判定システムは、対象者の集中パターンの推移を判定することができるため、例えば、ユーザは、対象者の集中パターンの推移から対象者の集中状態を把握することができる。
 [発明9]
 前記判定部は、前記データベースの代わりに機械学習モデルを用いて前記時系列データから前記対象者の前記集中パターンを判定する、
 発明3~7のいずれかに記載の判定システム。
 [発明9の効果]
 このような判定システムは、機械学習モデルを用いて対象者の集中度の時系列データから対象者の集中パターンを判定することができるため、対象者の集中パターンを精度良く判定することができる。
 [発明10]
 前記機械学習モデルは、前記データベースを用いて学習される、
 発明9に記載の判定システム。
 [発明10の効果]
 このような判定システムでは、データベースに格納されたデータセットを教師データとして学習済みの機械学習モデルを生成することができる。
 10 判定システム
 32a 取得部
 32b 判定部
 34 機械学習モデル
 35 データベース
 45 提示部
 U1 対象者
 U2 ユーザ

Claims (12)

  1.  対象者の集中度の時系列データを取得する取得部と、
     取得された前記時系列データに基づいて前記対象者の集中パターンを判定する判定部と、
     を備える、
     判定システム。
  2.  前記判定部は、前記時系列データの最初の一部分のデータ列に対する前記最初の一部分以外の残り部分のデータ列の相対値に基づいて前記対象者の前記集中パターンを判定する、
     請求項1に記載の判定システム。
  3.  さらに、集中度の時系列データと、当該集中度の時系列データに対応する集中パターンとが紐づけられて格納されたデータベースを備え、
     前記判定部は、前記データベースに基づいて前記対象者の前記集中パターンを判定する、
     請求項1又は2に記載の判定システム。
  4.  前記データベースには、さらに、前記対象者の識別情報と、前記対象者の過去の集中度の時系列データと、当該時系列データに対応する集中パターンとが紐づけられて格納されており、
     前記判定部は、前記データベースに基づいて前記対象者の典型的な集中パターンを判定する、
     請求項3に記載の判定システム。
  5.  さらに、ユーザに情報を提示する提示部を備え、
     前記判定部は、
     さらに、前記対象者の前記集中パターンと、前記対象者の前記典型的な集中パターンとを比較することにより、前記対象者の集中状態を判定し、
     前記提示部は、前記判定部により判定された前記対象者の前記集中状態を前記ユーザに提示する、
     請求項4に記載の判定システム。
  6.  前記判定部は、前記集中パターンに対応する前記対象者の集中度の時系列データの代表値と前記典型的な集中パターンに対応する前記対象者の典型的な集中度の時系列データの代表値との差分値が正の閾値を上回る場合、前記対象者の集中状態が向上していると判定し、前記差分値が負の閾値を下回る場合、前記集中状態が低下していると判定する、
     請求項5に記載の判定システム。
  7.  前記代表値は、平均値又は中央値である、
     請求項6に記載の判定システム。
  8.  前記判定部は、さらに、前記時系列データを少なくとも2つのデータ列に分割し、
     前記少なくとも2つのデータ列のそれぞれに対応する前記集中パターンを判定することにより、前記対象者の前記集中パターンの推移を判定する、
     請求項1又は2に記載の判定システム。
  9.  前記判定部は、前記データベースの代わりに機械学習モデルを用いて前記時系列データから前記対象者の前記集中パターンを判定する、
     請求項3に記載の判定システム。
  10.  前記機械学習モデルは、前記データベースを用いて学習される、
     請求項9に記載の判定システム。
  11.  対象者の集中度の時系列データを取得する取得ステップと、
     取得された前記時系列データに基づいて前記対象者の集中パターンを判定する判定ステップと、
     を含む、
     判定方法。
  12.  請求項11に記載の判定方法をコンピュータに実行させるための
     プログラム。
PCT/JP2022/030436 2021-08-30 2022-08-09 判定システム、判定方法、及び、プログラム WO2023032617A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021140146 2021-08-30
JP2021-140146 2021-08-30

Publications (1)

Publication Number Publication Date
WO2023032617A1 true WO2023032617A1 (ja) 2023-03-09

Family

ID=85412245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030436 WO2023032617A1 (ja) 2021-08-30 2022-08-09 判定システム、判定方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2023032617A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168040A1 (ja) * 2017-03-14 2018-09-20 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法
JP2020201755A (ja) * 2019-06-11 2020-12-17 パナソニックIpマネジメント株式会社 集中度計測装置、集中度計測方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168040A1 (ja) * 2017-03-14 2018-09-20 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法
JP2020201755A (ja) * 2019-06-11 2020-12-17 パナソニックIpマネジメント株式会社 集中度計測装置、集中度計測方法、およびプログラム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HIKAWA YOSHIZO: "Fujitsu Laboratories develops an AI model that can quantify a person's degree of concentration from facial images, quantifies from 0.0 to 1.0", IT LEADERS, 1 March 2021 (2021-03-01), XP093042905, Retrieved from the Internet <URL:https://it.impress.co.jp/articles/-/21123> [retrieved on 20230428] *
IDE, ICHIRO: "Action recognition based on the temporal patterns of gaze information", GAZO RABO = IMAGE LABORATORY, NIHON KOGYO SHUPPAN, TOKYO,, JP, vol. 29, no. 6, 10 June 2018 (2018-06-10), JP , pages 14 - 17, XP009544111, ISSN: 0915-6755 *
NAKATA WATARU: "Quantification of Concentration Level by Emotion Analysis System Using Deep Learning", INFORMATION PROCESSING SOCIETY OF JAPAN, 9 March 2020 (2020-03-09), XP093042907, Retrieved from the Internet <URL:http://www.interaction-ipsj.org/proceedings/2020/data/pdf/2P-80.pdf> [retrieved on 20230428] *
SAITO, RYOTA: "Development of the hardware for NIRS-EEG simultaneous interface", IEICE TECHNICAL REPORT, vol. 113 (HIP2013-102), no. 501, 17 March 2014 (2014-03-17), pages 123 - 128, XP009544276, ISSN: 0913-5685 *
SATO, SHOTA: "Analysis of Peripheral Vehicular State in Driver's Gaze Transition", ITE TECHNICAL REPORT, EIZO JOHO MEDIA GAKKAI, TOKYO, JP, vol. 38, no. 7, 10 February 2014 (2014-02-10), JP , pages 105 - 110, XP009544102, ISSN: 1342-6893 *
YONETANI, RYO: "Modeling Video Saliency Dynamics for Viewer State Estimation", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, DENSHI JOUHOU TSUUSHIN GAKKAI, JOUHOU SHISUTEMU SOSAIETI, JP, vol. J96-D, no. 8, 1 August 2013 (2013-08-01), JP , pages 1675 - 1687, XP009544101, ISSN: 1880-4535 *

Similar Documents

Publication Publication Date Title
JP7083809B2 (ja) プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US11279279B2 (en) Driver monitoring and response system
US10692011B2 (en) Adaptive model-based system to automatically quantify fall risk
US20170311864A1 (en) Health care assisting device and health care assisting method
Bulling et al. What's in the Eyes for Context-Awareness?
Olugbade et al. How can affect be detected and represented in technological support for physical rehabilitation?
JP2008522652A (ja) 多変量ダイナミック生体測定システム
US20210020295A1 (en) Physical function independence support device of physical function and method therefor
US20130096397A1 (en) Sensitivity evaluation system, sensitivity evaluation method, and program
Seo et al. Deep learning approach for detecting work-related stress using multimodal signals
JP2022546644A (ja) 人間-ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法
Al-Btoush et al. New features for eye-tracking systems: Preliminary results
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
Rescio et al. Ambient and wearable system for workers’ stress evaluation
US20210202078A1 (en) Patient-Observer Monitoring
JP5942138B2 (ja) 心身状態回復促進装置およびこれを用いた心身状態回復システム
WO2023032617A1 (ja) 判定システム、判定方法、及び、プログラム
TWI646438B (zh) 情緒偵測系統及方法
JP2019017946A (ja) 気分推定システム
WO2023032335A1 (ja) 支援システム、支援方法、及び、プログラム
Mantri et al. Cumulative video analysis based smart framework for detection of depression disorders
JP2012014650A (ja) 心身状態管理装置
Torii et al. Detecting eye-direction using afterimage and ocular movement
KR102340715B1 (ko) 스마트 IoT 연필꽂이
US11626087B2 (en) Head-mounted device and control device thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864203

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE