WO2020116181A1 - 集中度計測装置及び集中度計測方法 - Google Patents

集中度計測装置及び集中度計測方法 Download PDF

Info

Publication number
WO2020116181A1
WO2020116181A1 PCT/JP2019/045576 JP2019045576W WO2020116181A1 WO 2020116181 A1 WO2020116181 A1 WO 2020116181A1 JP 2019045576 W JP2019045576 W JP 2019045576W WO 2020116181 A1 WO2020116181 A1 WO 2020116181A1
Authority
WO
WIPO (PCT)
Prior art keywords
concentration
degree
user
unit
value
Prior art date
Application number
PCT/JP2019/045576
Other languages
English (en)
French (fr)
Inventor
邦博 今村
スクサコン ブンヨン
海友 鈴木
元貴 吉岡
大林　史明
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2020116181A1 publication Critical patent/WO2020116181A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present disclosure relates to a concentration measuring device and a concentration measuring method.
  • an information processing device that calculates the degree of concentration of a person is known.
  • the maximum value of the degree of concentration is set to 100, and the sum of the amount of change in facial expression and the amount of change in movement is multiplied by the face-to-face ratio to subtract the degree of concentration. calculate.
  • this does not mean that the degree of concentration of the user who is looking at one object is always high, or that the degree of concentration of the user who is watching a plurality of objects is not necessarily low.
  • a high degree of concentration is calculated in the above-described conventional information processing apparatus, although it cannot be said that the user is concentrated. ..
  • a low degree of concentration is calculated in the above-described conventional information processing apparatus, although it can be said that the state is concentrated in learning.
  • the conventional information processing apparatus has a problem that the accuracy of the calculated degree of concentration is low.
  • the present disclosure provides a concentration degree measuring device and a concentration degree measuring method capable of measuring the concentration degree with high accuracy.
  • a concentration degree measuring device includes a registration unit that registers at least two setting values of a face position, a line of sight, and a face orientation, and an acquisition unit that acquires a concentration degree of a user.
  • a determination unit that determines a concentration state of the user, based on a degree of proximity that indicates at least two of the face position, the line of sight, and the face direction of the user approaching the set value registered by the registration unit,
  • the correction unit corrects the degree of concentration of the user acquired by the acquisition unit based on the determination result of the determination unit, and outputs information indicating the corrected concentration.
  • a concentration degree measuring method includes a step of registering at least two setting values of a face position, a line of sight, and a face orientation, a step of acquiring a degree of concentration of the user, a face position of the user, At least two of the line of sight and the face direction are acquired based on the step of determining the concentration state of the user based on the degree of approach indicating the degree of approaching the registered set value, and based on the determination result of the determination. And a step of correcting the concentration degree of the user and outputting information indicating the corrected concentration degree.
  • a concentration degree measuring device is a device that measures the degree of concentration of a user, and a setting unit that sets a plurality of at least two or more set values of a face position, a line of sight, and a face direction. And an output that outputs information indicating the concentration state of the user based on the degree of proximity that indicates at least two or more values of the face position, the line of sight, and the face direction of the user approaching a plurality of the set values. And a section.
  • one aspect of the present disclosure can be realized as a program that causes a computer to execute the above-described concentration degree measuring method.
  • it can be realized as a computer-readable non-transitory recording medium that stores the program.
  • the degree of concentration can be measured with high accuracy.
  • FIG. 1 is a schematic diagram showing a situation of a user who is a measurement target of the degree of concentration according to the embodiment.
  • FIG. 2 is a block diagram showing the configuration of the concentration degree measuring device according to the embodiment.
  • FIG. 3 is a diagram showing registration information of the concentration degree measuring device according to the embodiment.
  • FIG. 4 is a diagram showing an example of concentration determination processing performed by the concentration measuring apparatus according to the embodiment.
  • FIG. 5 is a diagram showing an example of concentration degree correction processing performed by the concentration degree measuring apparatus according to the embodiment.
  • FIG. 6 is a diagram showing another example of concentration determination processing performed by the concentration degree measuring apparatus according to the embodiment.
  • FIG. 7 is a diagram showing another example of the concentration degree correction processing performed by the concentration degree measuring device according to the embodiment.
  • FIG. 8 is a diagram showing another example of concentration degree correction processing performed by the concentration degree measuring apparatus according to the embodiment.
  • FIG. 9 is a block diagram showing a configuration of a concentration degree measuring device according to the modification.
  • a concentration degree measuring device includes a registration unit that registers at least two set values of a face position, a line of sight, and a face orientation, and an acquisition unit that acquires a concentration degree of a user. And a determination unit that determines the concentration state of the user based on the degree of proximity that indicates the degree to which at least two of the face position, the line of sight, and the face direction of the user have approached the set value registered by the registration unit. And a correction unit that corrects the degree of concentration of the user acquired by the acquisition unit based on the determination result of the determination unit and outputs information indicating the corrected concentration.
  • the concentration degree measuring device of this aspect the concentration degree of the user is corrected based on the determination result, so that the concentration degree can be measured with high accuracy.
  • the concentration degree erroneously determined to be high is corrected, so that the concentration degree can be measured with high accuracy.
  • the concentration degree measuring device further measures at least two of a face position, a line of sight, and a face direction of the user based on a captured image including the face of the user. And the determination unit further determines the proximity based on a difference between at least two measurement values of the face position, the line of sight and the face direction measured by the measurement unit and the set value, and the acquisition unit. May obtain the degree of concentration of the user by performing calculation using the captured image.
  • the concentration measuring device may include an image capturing unit that generates a captured image, or may include an input interface that acquires a captured image from an external camera or the like.
  • the configuration of the concentration measuring device can be simplified as compared with the case where the user's face position and the temporary concentration are individually acquired from a plurality of devices.
  • the determination result is represented by a numerical value in a predetermined range, and the determination unit determines that at least two of the user's face position, line of sight, and face orientation match the set value registered by the registration unit.
  • the determination result for a predetermined period including the coincident time may be set to the maximum value or the minimum value.
  • the determination result can accurately represent the user's concentration state.
  • the determination result is represented by a numerical value in a predetermined range, and the determination unit determines that at least two of the user's face position, line of sight, and face orientation match the set value registered by the registration unit.
  • the determination result for a predetermined period including the coincident time point may be applied to the characteristic function that becomes the maximum value or the minimum value at the coincident time point.
  • the determination result since the determination result is represented by the characteristic function, the determination result accurately indicates the temporal change of the concentration state until the user reaches a sufficiently high concentration or the state in which the user cannot concentrate. Can be represented.
  • the correction unit may correct the concentration degree to a predetermined value based on the determination result.
  • the provisional concentration degree can be corrected to a predetermined value.
  • the correction unit may correct the concentration degree to a value larger than before correction based on the determination result.
  • the degree of concentration can be corrected to a large value. In this way, it is possible to accurately determine whether or not the user is actually concentrating based on the degree of approach, and the degree of concentration is corrected based on the determination result, so the degree of concentration is measured with high accuracy. be able to.
  • the correction unit may correct the concentration degree to a value smaller than before correction based on the determination result.
  • the degree of concentration can be corrected to a small value. In this way, it is possible to accurately determine whether or not the user is actually concentrating based on the degree of approach, and the degree of concentration is corrected based on the determination result, so the degree of concentration is measured with high accuracy. be able to.
  • the registration unit registers a plurality of sets of at least two setting values of a face position, a line of sight, and a face orientation
  • the determination unit further includes the above-described one for each of the plurality of sets registered by the registration unit.
  • the degree of proximity may be determined.
  • the determination result is represented by a numerical value in a predetermined range
  • the registration unit divides a plurality of sets of set values into a first group and a second group
  • the determination unit is configured to The determination result may be increased based on the degree of proximity of the group included in the first group, and the determination result may be reduced based on the degree of proximity of the group included in the second group.
  • a plurality of sets are divided so that a set of set values when the user is concentrated is registered in the first group, and a set of set values when the user is not concentrated is registered in the second group.
  • a concentration degree measuring method includes a step of registering at least two setting values of a face position, a line of sight, and a face orientation, a step of acquiring a degree of concentration of the user, a face position of the user, At least two of the line of sight and the face direction are acquired based on the step of determining the concentration state of the user based on the degree of approach indicating the degree of approaching the registered set value, and based on the determination result of the determination. And a step of correcting the degree of concentration of the user and outputting information indicating the corrected degree of concentration.
  • a concentration degree measuring device is a device that measures the degree of concentration of a user, and a setting unit that sets a plurality of at least two or more setting values of a face position, a line of sight, and a face direction. And an output that outputs information indicating the concentration state of the user, based on the degree of proximity that indicates at least two or more values of the user's face position, line of sight, and face orientation approaching the plurality of set values. May be provided.
  • each diagram is a schematic diagram and is not necessarily an exact illustration. Therefore, for example, the scales and the like in the drawings do not necessarily match. Further, in each drawing, substantially the same configurations are denoted by the same reference numerals, and overlapping description will be omitted or simplified.
  • FIG. 1 is a schematic diagram showing a situation of a user 10 who is a target of concentration measurement according to the present embodiment.
  • FIG. 2 is a block diagram showing a configuration of concentration degree measuring apparatus 100 according to the present embodiment.
  • the concentration degree measuring device 100 measures the degree of concentration of the user 10.
  • the degree of concentration is an index indicating the degree to which the user 10 is concentrated on work.
  • the degree of concentration is represented by a numerical value in a predetermined range such as 0 to 1, 0 to 10 or 0 to 100. For example, the higher the degree of concentration, the more concentrated the user 10 is on the work, and the lower the degree of concentration, the less concentrated the user 10 is on the work.
  • the numerical range of the degree of concentration is not particularly limited.
  • the work is, for example, intellectual work such as studying, learning, reading or working, which is not limited to this.
  • the work may be a work using a limb such as driving a car, operating a machine, or producing an article.
  • the work may be work relating to entertainment such as movies, music, works of art or sports, games, or sports.
  • the user 10 is learning using the learning content 20.
  • the learning content 20 is, for example, a teaching material content displayed on a tablet terminal, but may be an article used for learning such as a textbook, a reference book, or a notebook.
  • the face direction and the line of sight of the user 10 are directed to the learning content 20. That is, the learning content 20 is a factor that concentrates the user 10 (that is, a concentration factor).
  • the television 22 shown in FIG. 1 is a factor (that is, a blocking factor) that blocks the user 10 from focusing on learning.
  • a factor that is, a blocking factor
  • the face direction and the line of sight of the user 10 are directed to the television 22 or the like.
  • the user 10 may not be able to concentrate on the learning, and may watch the television 22 for a while.
  • the concentration degree measuring apparatus 100 concentrates the fact that the user cannot concentrate on learning by correcting the concentration degree (temporary concentration degree) calculated by the conventional information processing apparatus, for example. Can be reflected in the degree. Specifically, when the user 10 is concentrated on the television 22, the concentration measuring device 100 corrects the concentration to a small value. Thus, the concentration measuring device 100 can measure the concentration with high accuracy.
  • FIG. 1 shows an example in which the learning content 20 is a concentration factor and the television 22 is an obstruction factor
  • the present invention is not limited to this.
  • the learning content 20 may be a hindrance factor and the television 22 may be a concentration factor.
  • the degree-of-concentration measuring device 100 measures the degree of concentration on the television 22, that is, the degree to which the user 10 is intensively watching the television 22.
  • both the learning content 20 and the television 22 may be the concentration factor.
  • the user 10 is concentrating on learning regardless of whether the learning content 20 or the television 22 is being viewed.
  • both the learning content 20 and the television 22 may be a hindrance factor.
  • the concentration measuring device 100 includes an image capturing unit 110, a registration unit 120, a measuring unit 130, a concentration calculating unit 140, a determining unit 150, and a correcting unit 160.
  • the determination unit 150 and the correction unit 160 form the output unit 101.
  • the concentration measuring apparatus 100 includes the output unit 101
  • the output unit 101 includes the determination unit 150 and the correction unit 160.
  • the image capturing unit 110 captures an image of the user 10 to generate a captured image including the face of the user 10.
  • the imaging unit 110 is an image sensor having sensitivity in the visible light band, but may be an infrared image sensor or a thermal image sensor.
  • the captured image is, for example, a moving image, but may be a still image.
  • the registration unit 120 registers at least two setting values of face position, line of sight, and face orientation. In the present embodiment, the registration unit 120 registers a plurality of sets of at least two set values of face position, line of sight, and face orientation.
  • the registration unit 120 is an example of a setting unit that sets a plurality of at least two or more setting values of the face position, the line of sight, and the face direction.
  • Each of the plurality of sets is a face position when the user 10 is looking at a position predetermined as a position where the user's eyes and face may be turned when the user 10 is concentrated or not concentrated. , A line-of-sight and a face orientation.
  • the predetermined position is, for example, the learning content 20 or the television 22 shown in FIG.
  • the registration unit 120 divides a plurality of sets of set values into a first group and a second group and registers them.
  • the group included in the first group corresponds to the concentration factor.
  • the group included in the second group corresponds to the inhibiting factor.
  • FIG. 3 is a diagram showing registration information of the concentration degree measuring device 100 according to the present embodiment.
  • the registration unit 120 registers a set of at least two set values of a face position, a line of sight, and a face direction by dividing into a concentration factor and a hindrance factor.
  • the set of “line of sight A” and “face direction A” included in the concentration factor are values of the line of sight and face direction of the user 10 when the user 10 is watching the learning content 20.
  • the set of “line of sight B” and “face direction B” included in the obstructive factors are values of the line of sight and face direction of the user 10 when the user 10 is watching the television 22.
  • the registration information shown in FIG. 3 is stored in the storage unit (not shown in FIG. 2).
  • the measurement unit 130 measures at least two of the face position, the line of sight, and the face direction of the user 10, based on the captured image. Specifically, the measurement unit 130 measures at least two of the face position, the line of sight, and the face direction by performing image processing such as contour extraction on the captured image.
  • the face position is, for example, the position of the face of the user 10 in the captured image.
  • the face position is represented by, for example, the position of one or more pixels forming the face in the captured image.
  • the face position may be the position of a feature point (for example, eye) of the face.
  • the measurement unit 130 measures the face position by performing face detection processing on the captured image.
  • the line of sight is the direction in which the user 10 is looking. Specifically, the line of sight is represented by the arrow 12 shown in FIG.
  • the measuring unit 130 performs an iris region extraction process on the captured image and measures the line of sight based on the extracted iris shape and center position.
  • the face direction is the face direction of the user 10.
  • the face direction is represented by the front direction of the face of the user 10.
  • the measurement unit 130 performs face detection processing on the captured image and extracts feature points such as eyes and mouth to measure the face orientation.
  • the measurement unit 130 may include a sensor that detects the electro-oculogram of the user 10, and may detect the face direction and the line of sight based on the detected electro-oculogram.
  • the concentration degree calculation unit 140 is an example of an acquisition unit that acquires the concentration degree (temporary concentration degree) of the user 10.
  • the concentration degree calculation unit 140 obtains the provisional concentration degree of the user 10 by performing calculation using the captured image.
  • the concentration degree calculation unit 140 calculates the temporary concentration degree using, for example, a conventionally known concentration degree calculation method. Specifically, the concentration degree calculation unit 140 calculates the provisional concentration degree based on the amount of movement of the user 10 within a certain period. More specifically, the degree-of-concentration calculation unit 140 considers that the user 10 is more concentrated as the movement of the user 10 is smaller within a certain period, and calculates a higher degree of temporary concentration. The degree-of-concentration calculation unit 140 considers that the user 10 is less concentrated as the movement of the user 10 is more intense within a certain period, and calculates a low degree of temporary concentration.
  • the determination unit 150 determines the concentration state of the user 10 based on the degree of approach.
  • the degree of approach is an index indicating the degree to which at least two of the face position, the line of sight, and the face direction of the user 10 have approached the set value registered by the registration unit 120.
  • the determination unit 150 determines the degree of proximity based on the difference between at least two measured values of the face position, the line of sight, and the face direction measured by the measurement unit 130 and the set value. In the present embodiment, determination unit 150 determines the degree of proximity to each of the plurality of sets registered by registration unit 120.
  • the proximity is represented by a numerical value in a predetermined range such as 0 to 1, 0 to 10 or 0 to 100.
  • the numerical range of the degree of approach is not particularly limited.
  • the degree of approach is the difference between the measured face position and the set value of the registered face position (first difference based on the face position) and the difference between the measured line of sight and the set value of the registered line of sight ( Second difference based on the line of sight) and a difference between the measured face orientation and the registered set value of the face orientation (third difference based on the face orientation), which is determined based on the sum of at least two differences.
  • the first difference, the second difference, and the third difference are absolute values of the difference between the measured value and the set value, respectively.
  • the judgment unit 150 generates a judgment result based on the degree of approach. Specifically, the determination unit 150 generates a determination result based on the degree of proximity of each registered set value set. In the present embodiment, determination unit 150 increases the determination result based on the degree of proximity of the group included in the first group, and decreases the determination result based on the degree of proximity of the group included in the second group.
  • the judgment result is represented by a numerical value in a predetermined range such as 0 to 1, -1 to +1 or 0 to 100.
  • the determination result indicates that the larger the numerical value is, the more the user 10 is concentrated, and the smaller the numerical value is, the less the user 10 is concentrated.
  • the numerical range and the magnitude relation of the determination result are not particularly limited.
  • the determination result may indicate that the larger the numerical value is, the less concentrated the user 10 is, and the smaller the numerical value is, the more concentrated the user 10 is.
  • determination unit 150 determines the predetermined period including the matching time point. Make the result maximum or minimum.
  • the predetermined period is not particularly limited, but is, for example, 1 second to several tens of seconds.
  • the determination unit 150 matches the determination result of the predetermined period including the matched time point. You may apply to the characteristic function (membership function) which becomes the maximum value or the minimum value at the time.
  • the correction unit 160 corrects the provisional concentration degree of the user 10 acquired by the concentration degree calculation unit 140 based on the determination result of the determination unit 150, and information indicating the corrected concentration degree (hereinafter referred to as concentration degree information). Output).
  • correction unit 160 corrects the temporary concentration degree to a predetermined value based on the determination result.
  • the predetermined value is, for example, the maximum value or the minimum value of the degree of concentration.
  • the predetermined value may be an intermediate value between the maximum value and the minimum value of the degree of concentration, or a value that is 70% of the maximum value.
  • the correction unit 160 corrects the degree of provisional concentration to a value larger than that before correction based on the determination result. For example, the correction unit 160 corrects the provisional concentration degree to a large value when the determination result has a large value, that is, when the determination result indicates that the user 10 is concentrated.
  • the correction unit 160 corrects the degree of provisional concentration to a value smaller than that before correction based on the determination result. For example, the correction unit 160 corrects the temporary concentration degree to a small value when the determination result has a small value, that is, when the determination result indicates that the user 10 is not concentrated.
  • the correction unit 160 transmits a signal based on the concentration degree to another device, for example, as the corrected provisional concentration degree, that is, as the concentration degree information indicating the corrected concentration degree. For example, the correction unit 160 transmits a signal when the degree of concentration exceeds or falls below a predetermined threshold.
  • the signal transmitted may be a control signal for controlling another device.
  • the correction unit 160 may output audio data or image data for presentation to the user 10 or a supervisor of the user 10 as the concentration degree information.
  • the concentration degree measuring device 100 may have a speaker or a display, and may present the concentration degree to the user 10 or the like as a sound or an image.
  • the concentration measuring device 100 having the above configuration is realized by, for example, a camera and a computer device.
  • the concentration degree measuring apparatus 100 is realized by a non-volatile memory in which a program is stored, a volatile memory that is a temporary storage area for executing the program, an input/output port, a processor that executes the program, and the like.
  • Each function of the concentration measuring apparatus 100 may be realized by software executed by a processor or hardware such as an electric circuit including one or more electronic components.
  • the registration unit 120, the measurement unit 130, the concentration degree calculation unit 140, the determination unit 150, and the correction unit 160 may be realized by software executed by a processor or may be realized by hardware.
  • the concentration measuring device 100 may not include at least one of the image capturing unit 110, the measuring unit 130, and the concentration calculating unit 140.
  • the concentration degree measuring apparatus 100 may acquire a captured image captured by another camera or the like without the image capturing unit 110. Further, the concentration degree measuring device 100 may acquire the concentration degree calculated by another device without including the concentration degree calculation unit 140. The same applies to the face position, line of sight, and face orientation.
  • FIG. 4 is a diagram showing an example of concentration determination processing performed by the concentration measuring apparatus 100 according to the present embodiment. Specifically, (a) and (b) of FIG. 4 respectively show a temporal change of the difference between the set value for the television 22 or the learning content 20 and the measured value such as the face position of the user 10. FIGS. 4C and 4D respectively show temporal changes in the degree of proximity to the television 22 or the learning content 20. FIG. 4E shows the change over time in the determination result by the determination unit 150.
  • the user 10 moves his or her line of sight to the television 22, watches the television 22 for a while, and then removes the line of sight from the television 22.
  • the user 10 moves his or her line of sight to the learning content 20, watches the learning content 20 for a while, and then removes the line of sight from the learning content 20. That is, the user 10 is in a state of not being concentrated from the time t 1 to the time t 2 , and being being concentrated from the time t 3 to the time t 4 .
  • the difference between the set value and the measured value for the television 22 changes from the maximum value to the minimum value from time t 1 to time t 2 , and then becomes the maximum value again. ..
  • the minimum difference means that the set value and the measured value match.
  • the difference being the maximum value means that the difference between the set value and the measured value is larger than the second threshold value.
  • the second threshold value corresponds to, for example, the range 32 shown by the broken line in FIG.
  • the time when the user 10 tries to direct his or her line of sight to the television 22 corresponds to the time t 1 at which the line of sight comes into the predetermined range 32 including the television 22, and the time when the line of sight comes out of the predetermined range 32 corresponds to the time t 2 . To do. The same applies not only to the line of sight but also to the face position and face direction.
  • the difference between the set value and the measured value for the learning content 20 changes from the maximum value to the minimum value from time t 3 to time t 4 , and then becomes the maximum value again.
  • the minimum difference means that the set value and the measured value match.
  • the difference being the maximum value means that the difference between the set value and the measured value is larger than the first threshold value.
  • the first threshold value corresponds to, for example, the range 30 indicated by the broken line in FIG.
  • the difference between the set value and the measured value for the television 22 remains the maximum value. This is because the line of sight of the user 10 is within the range 30 including the learning content 20 and not within the range 32 including the television 22. Similarly, the difference between the set value and the measured value for the learning content 20 from time t 1 to time t 2 remains at the maximum value.
  • the determination unit 150 determines the degree of proximity to the television 22 based on the difference between the set value and the measured value for the television 22. Specifically, the determination unit 150 determines the degree of proximity to the television 22 such that the value of the degree of proximity increases as the difference with respect to the television 22 decreases. As an example, the determination unit 150 sets the maximum degree of proximity in a period including a time point at which the set value and the measured value match, that is, a time point at which the difference with respect to the television 22 becomes the minimum value. More specifically, the determination unit 150 maximizes the degree of proximity during the period from time t 1 to time t 2 .
  • the determination unit 150 determines the degree of approach to the learning content 20 based on the difference between the set value and the measurement value for the learning content 20. Specifically, the determination unit 150 determines the degree of approach to the learning content 20 such that the value of the degree of approach increases as the difference with respect to the learning content 20 decreases. As an example, the determination unit 150 sets the maximum degree of proximity in a period including a time point at which the set value and the measured value match, that is, a time point at which the difference with respect to the learning content 20 becomes the minimum value. More specifically, the determination unit 150 maximizes the degree of proximity during the period from time t 3 to time t 4 .
  • determination unit 150 generates a determination result by combining a plurality of approaches. Specifically, the determination unit 150 generates a determination result by performing weighted addition of a plurality of approaches.
  • the weighting factor for each approaching degree is determined based on the group to which the set value used for determining the approaching degree belongs. Specifically, the weighting factor of the degree of proximity corresponding to the first group is a positive number, for example, +1.
  • the weighting factor of the degree of proximity corresponding to the second group is a negative number, for example, -1.
  • the determination unit 150 sets the degree of proximity corresponding to the learning content 20 (that is, the degree of proximity belonging to the first group) to be positive, and the degree of proximity to the television 22 (that is, the degree of proximity belonging to the second group) to be negative.
  • the degree of approach corresponding to the learning content 20 that is the concentration factor the larger the determination result, and the larger the degree of approach corresponding to the television 22 that is the hindrance factor, the smaller the determination result.
  • a predetermined period including the matched time point (a period from time t 1 to time t 2 )
  • the determination result in the predetermined period (the period from time t 3 to time t 4 ) including the matched time point becomes the maximum value.
  • the determination result indicates that the value is small and the user 10 is not concentrated.
  • the determination result indicates that the value is large and the user 10 is concentrated.
  • the determination result is an intermediate value between the maximum value and the minimum value, It is possible to make it difficult to affect the correction of the temporary concentration degree. It should be noted that by increasing the number of registered sets of set values, one of the plurality of determined degrees of proximity is likely to be large, and the degree of provisional concentration is easily corrected appropriately.
  • FIG. 5 is a diagram showing an example of concentration degree correction processing performed by the concentration degree measuring apparatus 100 according to the present embodiment.
  • FIG. 5A shows the change over time in the determination result by the determination unit 150, which is the same as FIG. 4E.
  • FIG. 5B shows a temporal change in the concentration before correction (temporary concentration) and the concentration after correction.
  • the correction unit 160 corrects the degree of temporary concentration based on the determination result shown in FIG. Specifically, as shown in FIG. 5B, the correction unit 160 corrects the temporary concentration degree in the period in which the determination result is the minimum value to the minimum value, and the determination result is the maximum value. Correct the temporary concentration during the period to the maximum value. That is, when the determination result is the minimum value or the maximum value, the correction unit 160 corrects the temporary concentration degree to a predetermined value without depending on the value of the temporary concentration degree.
  • the degree of concentration becomes low during the period (time t 1 to time t 2 ) in which the user 10 looks at the television 22. Further, the degree of concentration has a high value during the period (time t 3 to time t 4 ) in which the user 10 turns his/her eyes on the learning content 20.
  • the provisional concentration degree calculated based on the movement amount of the user 10 is high during the period when the user 10 is watching the television 22, because the movement amount is small. Is becoming On the other hand, according to the concentration measuring device 100 according to the present embodiment, the concentration is corrected to a low value during the period, so that the concentration can be measured with high accuracy.
  • FIG. 6 is a diagram showing another example of concentration determination processing performed by the concentration measuring apparatus 100 according to the present embodiment.
  • (A) to (e) of FIG. 6 correspond to (a) to (e) of FIG. 4, respectively.
  • 6A and 6B are the same as FIGS. 4A and 4B. Note that, in FIG. 6, a period in which the measured value such as the face position of the user 10 matches the set value for the television 22 is represented as time t 11 to time t 12 . Similarly, a period in which the measurement value of the user 10 matches the setting value for the learning content 20 is represented as time t 31 to time t 32 .
  • the method of determining the degree of approach performed by the determination unit 150 is different from the example shown in FIG. Specifically, as shown in (c) of FIG. 6, the determination unit 150 determines the time when the set value and the measured value for the television 22 match, that is, the time when the difference for the television 22 reaches the minimum value. The proximity of the included period is applied to the characteristic function that has the maximum value at the time of coincidence. More specifically, the determination unit 150 applies the degree of approach in the period from time t 1 to time t 2 to the characteristic function that has the maximum value in the period from time t 11 to time t 12 .
  • the degree of approach gradually increases from the minimum value to the maximum value from time t 1 to time t 11 , maintains the maximum value from time t 11 to time t 12 , and From t 12 to time t 2 , the maximum value gradually decreases to the minimum value.
  • the function representing the increase or decrease of the degree of proximity in the period from time t 1 to time t 11 and the period from time t 12 to time t 2 is a monotonous increase or monotonic decrease, and is, for example, a linear function (straight line). is there.
  • the function representing the increase or decrease in the degree of proximity may be a convex function upward or a convex function downward.
  • the determination unit 150 determines when the set value and the measured value for the learning content 20 match, that is, the time when the difference for the learning content 20 reaches the minimum value.
  • the proximity of the included period is applied to the characteristic function that has the maximum value at the time of coincidence. More specifically, the determination unit 150 applies the degree of approach in the period from time t 3 to time t 4 to the characteristic function that has the maximum value in the period from time t 31 to time t 32 .
  • the degree of proximity to the learning content 20 from time t 3 to time t 4 becomes similar to the degree of proximity to the television 22 from time t 1 to time t 2. ..
  • the characteristic functions used to determine the degree of proximity to the television 22 and the degree of proximity to the learning content 20 may be different types of functions. That is, the determination unit 150 may generate the determination result using a plurality of characteristic functions.
  • the determination unit 150 generates a determination result by matching a plurality of degrees of approach. Specifically, as shown in (e) of FIG. 6, when the measured value matches the set value for the television 22, a predetermined period including the matched time (the period from time t 1 to time t 2 ) The determination result of) is represented by a characteristic function that has the minimum value at the time of coincidence (the period from time t 11 to time t 12 ). Further, when the measured value matches the set value for the learning content 20, the determination result of the predetermined period (the period from time t 3 to time t 4 ) including the matched time point is the same time point (from time t 31 ). It is represented by a characteristic function that has a maximum value at time t 32 ).
  • FIG. 7 is a diagram showing another example of concentration degree correction processing performed by the concentration degree measuring apparatus 100 according to the present embodiment.
  • 7A shows the change over time in the determination result by the determination unit 150, which is the same as FIG. 6E.
  • Part (b) of FIG. 7 shows the temporal changes in the concentration before correction (temporary concentration) and the concentration after correction.
  • the correction unit 160 corrects the provisional concentration degree based on the determination result shown in FIG. Specifically, as shown in FIG. 7B, the correction unit 160 corrects the temporary concentration degree in the period in which the determination result is the minimum value to the minimum value, and the determination result is the maximum value. Correct the temporary concentration during the period to the maximum value. That is, when the determination result is the minimum value or the maximum value, the correction unit 160 corrects the temporary concentration degree to a predetermined value without depending on the value of the temporary concentration degree.
  • the correction unit 160 corrects the provisional concentration degree during the period to a value larger than that before correction.
  • the determination result is smaller than the intermediate value (the maximum value, the minimum value, and the intermediate value) as in the period from the time t 1 to the time t 11 and the period from the time t 12 to the time t 2.
  • the correction unit 160 corrects the provisional concentration degree during the period to a value smaller than that before correction.
  • the correction unit 160 determines a correction value based on the value of the determination result, and adds or subtracts the determined correction value to or from the temporary concentration degree to calculate the corrected concentration degree.
  • the correction value may be a value proportional to the determination result, or may be represented by a function having the determination result as a parameter.
  • the degree of concentration becomes low during the period (time t 1 to time t 2 ) in which the user 10 looks at the television 22. Further, the degree of concentration has a high value during the period (time t 3 to time t 4 ) in which the user 10 turns his/her eyes on the learning content 20.
  • the provisional concentration degree calculated based on the movement amount of the user 10 is high during the period when the user 10 is watching the television 22, because the movement amount is small. Is becoming On the other hand, since the concentration is corrected to a low value during the period, the concentration can be measured with high accuracy.
  • FIG. 8 is a diagram showing another example of concentration degree correction processing performed by the concentration degree measuring apparatus 100 according to the present embodiment.
  • FIG. 8A shows the time change of the determination result by the determination unit 150, and is the same as FIG. 6E.
  • FIG. 8B shows a temporal change in the concentration before correction (temporary concentration) and the concentration after correction.
  • FIG. 8B in order to make the description easy to understand, a case where the temporal change of the temporary concentration degree is linear is shown as an example.
  • the determination result is used as a coefficient by which the provisional concentration degree is multiplied.
  • the correction unit 160 sets the coefficient to 1 and uses the temporary concentration degree as it is as the corrected concentration degree. As a result, as shown in FIG. 8B, the corrected concentration degree that strongly reflects the value of the temporary concentration degree and the determination result is calculated.
  • the concentration degree information output from the concentration degree measuring device 100 according to the present embodiment can be used for supporting the work performed by the user 10 or providing information to the user 10.
  • the concentration measuring device 100 outputs the concentration information to an alert device or a display, or a tablet terminal displaying the learning content 20.
  • the concentration measuring apparatus 100 may include an alert device or a display.
  • the tablet terminal displaying the learning content 20 may include an alert device or a display.
  • the tablet terminal may change the learning content 20 when the degree of concentration becomes lower than the threshold value.
  • the tablet terminal may change the difficulty level or the display mode of the learning content 20.
  • the display may display a period in which the degree of concentration is low in the learning period when the learning is divided or when reviewing.
  • concentration measuring device 100 and the alert device can be used not only for so-called e-learning using a tablet terminal but also for paper-based learning.
  • the alert device alerts the user 10 when the concentration of the user 10 becomes lower than a predetermined threshold.
  • the attention is given by outputting a warning sound or a warning display.
  • the alert device may alert the user when the degree of concentration falls below a threshold value.
  • the concentration measuring device 100 and the alert device can be used for various kinds of work such as desk work and manual work.
  • an alert device alerts the user when the user's degree of concentration falls below a predetermined threshold.
  • the alert is not limited to the output of the warning sound or the warning display, but may be an intentional erroneous operation or erroneous display.
  • an operation different from the user's intention such as a black screen being displayed on the display, may be performed to draw the user's attention.
  • the concentration information may be used to manage work content and human resources.
  • the alert device may identify the work performed in a state where the concentration is low based on the concentration degree information, and notify the evaluator or the like. As a result, it is possible to improve the accuracy of verification of the work performed in the state where the concentration is low.
  • the alert device may create a database of the results of long-term monitoring of the degree of concentration of work. Thereby, the generated database can be used for personnel examination.
  • the alert device may alert the user other than the measurement target based on the concentration information when the concentration is low. For example, when the degree of concentration of the user who is operating the machine is low, the alert is suddenly issued, so that it is possible to suppress the occurrence of an operation error based on the alert.
  • the alert device may provide information to the speaker during the conference.
  • the concentration measuring device 100 measures the concentration of the participants participating in the conference.
  • the alerting device may present a suggestion for improvement such as a change in utterance content to the speaker or a change in speaking style when the concentration of participants is low.
  • the alert device may adjust the volume of the speaker.
  • the concentration measuring device 100 and the alert device can be used for customer service.
  • the concentration degree measuring apparatus 100 measures the degree of concentration of a store clerk or a customer.
  • the alert device presents suggestions to the customer, such as suggestion contents and changes in speaking style, to the store clerk.
  • the alert device may output a business command such as cleaning work in the store.
  • the concentration measuring device 100 and the alert device can be used for sports.
  • the concentration measuring device 100 measures the concentration of the player.
  • the alert device may alert the player when the concentration of the player decreases.
  • the alert device may present the training method based on the difference between the time change of the concentration level of the professional (or trainer) and the time change of the concentration level of the amateur (or trainee). For example, it is possible to easily visualize the difference in the degree of concentration between the trainee and the professional, and the points to be concentrated.
  • the concentration measuring device 100 and the alert device can be used in daily life.
  • the concentration measuring device 100 measures the concentration of a user who is doing housework such as cleaning.
  • the alerting device presents the user with a point where the degree of concentration was low during cleaning.
  • the alerting device may generate a heat map indicating a stain condition in the room based on the degree of concentration and present the heat map to the user.
  • the heat map is a map showing that a spot cleaned with a low degree of concentration is more likely to be dirty, but the heat map is not limited to this.
  • the concentration measuring device 100 may measure the concentration of the user who is watching the advertisement before going out for shopping.
  • the alerting device may provide the user with information regarding advertisements that the user was watching with a high concentration while shopping.
  • the concentration measuring device 100 may measure the concentration of the user lying on the bed or the futon.
  • the alert device forms an environment in which the user can easily sleep when the user concentrates on the ceiling or the smartphone during the time when he/she should sleep.
  • the alert device controls a lighting device, an air conditioning device, an aroma device, and the like to form a relaxing environment suitable for sleeping.
  • the concentration measuring device 100 may measure the concentration of the user who is watching the television.
  • the alert device may, for example, evaluate the advertisement effect of the CM based on the degree of concentration of the user who is watching the CM (Commercial Message), and provide the evaluation result to the advertiser or the like.
  • the concentration measuring device 100 may measure the concentration of visitors in movie theaters, sports facilities, and museums.
  • the alert device may form an environment in which the visitor can easily concentrate, based on the degree of concentration of the visitor.
  • the alert device may generate a concentration degree map showing the degree of concentration for each place based on the positions and the degree of concentration of a plurality of visitors.
  • the alerting device may improve the environment of the place where the concentration degree is low based on the concentration degree map.
  • the alert device may extract a highly concentrated work based on the concentration map and create proposal information that proposes the extracted work as a highlight of the museum.
  • the concentration measuring device 100 may be used for an ATM (Automatic Teller Machine). Specifically, the concentration measuring device 100 measures the concentration of the ATM user and those around the user. The alert device may notify the user of the possibility of looking into the user when a person other than the ATM user is concentrated on the operation panel of the ATM.
  • ATM Automatic Teller Machine
  • the concentration measuring device 100 may measure the concentration of a driver of a moving body such as an automobile, a bicycle, a bus, a train and an airplane.
  • the alert device warns the driver to concentrate when the driver's concentration is low.
  • the alert device may perform an operation for prompting a break when the driver's concentration is low.
  • the alert device may provide a display or a speaker with a display prompting a break or an audio output.
  • the alert device may form an environment in which it is easy to take a break by controlling the air conditioner.
  • the alert device may generate a concentration map based on the position information of the moving body and the concentration information.
  • the concentration map may indicate a section of a road where the concentration tends to be low.
  • the alert device may provide the concentration map to the road administrator or the like, and can support the road maintenance and management planning.
  • the alert device may turn off the power of the smartphone when the driver is concentrated on the smartphone and may not accept the operation. Also, for example, in the case of an electric bicycle, the alert device may make the pedal of the bicycle heavy. This allows you to concentrate on pedaling.
  • the concentration measuring device 100 may measure the concentration of passengers of a mobile body.
  • the alerting device may change the content displayed on the in-vehicle or on-board monitor when the concentration of passengers is low. Further, in the case of an airplane, the alert device may transmit a meal service instruction to the passenger to the crew.
  • the alert device or the concentration measuring apparatus 100 including the alert device may perform various operations for concentrating or resting the user based on the concentration information.
  • the determination unit 150 uses the reciprocal of at least two sums or weighted sums of the difference regarding the face position (first difference), the difference regarding the line of sight (second difference), and the difference regarding the face direction (third difference) as the degree of approach. It may be calculated. Alternatively, the determination unit 150 may calculate a value obtained by subtracting at least two sums or weighted sums of the first difference, the second difference, and the third difference from the predetermined maximum value as the degree of approach. At this time, each of the first difference, the second difference, and the third difference may be a value normalized in the range of 0 to 1, for example.
  • the weighting factor of each of the plurality of approaches may be a value other than -1 and +1. That is, different weighting factors may be set in the range of -1 to +1 for each registered setting value. For example, different weighting factors may be associated with each of the plurality of setting values belonging to the first group. As an example, when measuring the degree of concentration related to learning, different weighting factors may be associated with the setting value for the notebook that the user works and the setting value for the reference book that the user refers to.
  • the communication method between the devices described in the above embodiment is not particularly limited.
  • the wireless communication method is, for example, short-distance wireless communication such as ZigBee (registered trademark), Bluetooth (registered trademark), or wireless LAN (Local Area Network). is there.
  • the wireless communication method may be communication via a wide area communication network such as the Internet.
  • Wired communication may be performed between the devices instead of wireless communication. Wired communication is, for example, power line communication (PLC) or communication using a wired LAN.
  • the registration information may be changed according to the change in the positional relationship between the registered user and the concentration factor and the obstruction factor.
  • the positional relationship between a user registered by a camera capable of photographing the entire living room in which the user exists and the concentration factor and the obstruction factor may be estimated, and a GPS (Global Positioning System) incorporated in a concentration degree measuring device or the like may be used.
  • the positional relationship between the registered user, the concentration factor, and the obstruction factor may be estimated based on the information acquired by the gyro sensor.
  • the degree-of-concentration measuring device is an estimation unit that acquires position information of at least one of a user, a concentration factor, and an obstruction factor, and an estimation that estimates a positional relationship between the user, the concentration factor, and the obstruction factor based on the acquired position information. You may provide a part.
  • the positional relationship between the concentration factor and the obstruction factor may be estimated using the progress degree of the task of the user.
  • the registration unit 120, the measurement unit 130, the determination unit 150, a part of the correction unit 160, or a mode in which ON/OFF of all of these operations may be selected may be adopted. ..
  • the correction unit 160 does not have to perform the correction.
  • ON/OFF of the operation may be automatically selected according to the type and/or state of the supplied power.
  • the operation may be turned off when operating with a battery or the like, or when the remaining power is low, and may be turned on when commercial power is supplied.
  • the concentration degree measuring device may have a timer unit that acquires the current time or a timer function.
  • the output unit 101 does not have to include the determination unit 150 and the correction unit 160.
  • the output unit 101 indicates the degree of concentration indicating the concentration state of the user 10, based on the degree of proximity that indicates that at least two of the face position, the line of sight, and the face direction of the user 10 have approached the set value registered by the registration unit 120.
  • Output information Specifically, the output unit 101 outputs the concentration degree information based on the degree of proximity to each of the plurality of sets registered by the registration unit 120.
  • the concentration measuring device 100 may include the registration unit 120 and the output unit 101, and may not include the image capturing unit 110, the measuring unit 130, and the concentration calculating unit 140.
  • a camera different from the concentration measuring apparatus 100 may photograph the user 10, and another image processing apparatus may measure at least two of the face position, the line of sight, and the face direction of the user 10 based on the photographed image.
  • the concentration degree measuring apparatus 100 acquires at least two of the face position, the line of sight, and the face direction of the user 10 from another image processing apparatus.
  • the output unit 101 of the concentration measuring apparatus 100 determines whether or not at least two of the acquired face position, line of sight, and face orientation of the user 10 approach the set value registered by the registration unit 120, based on the user's proximity.
  • the concentration level information indicating the concentration state of 10 is output.
  • the output unit 101 determines the concentration state based on the degree of proximity by referring to the correspondence information in which the degree of proximity and the state of concentration are associated with each other, and outputs the concentration degree information indicating the determined concentration state. Good.
  • the concentration degree measuring device 100 may measure the degree of concentration based on the degree of similarity to the user's state stored in advance.
  • the concentration degree measuring device 200 includes a storage unit 201 and a measuring unit 202. 9 is a block diagram showing the configuration of the concentration measuring device 200 according to the modification.
  • the storage unit 201 stores a plurality of state information indicating at least two states of face position, line of sight, and face orientation.
  • the storage unit 201 is realized by a recording medium such as an HDD (Hard Disk Drive) or a semiconductor memory.
  • the status information is, for example, a set of concentration factors shown in FIG.
  • the one state information indicates, for example, the line of sight A and the face direction A as the state of the user 10. Further, another state information indicates the face position C, the line of sight C, and the face direction C as the state of the user 10.
  • the state information may be a set of inhibiting factors shown in FIG. Further, the storage unit 201 may store both state information indicating a set of concentration factors and state information indicating a set of inhibition factors.
  • the measuring unit 202 measures the degree of concentration of the user 10 based on, for example, the degree of similarity of the state of the user 10 to the state indicated by each of the plurality of state information stored in the storage unit 201.
  • the state of the user 10 is at least two states of the face position, the line of sight, and the face direction of the user 10, and is obtained from, for example, a captured image obtained by capturing the user 10 with a camera.
  • another image processing device different from the concentration degree measuring device 200 measures at least two of the face position, the line of sight, and the face direction of the user 10 based on the captured image, and outputs the measurement result to the measuring unit 202.
  • the concentration degree measuring device 200 may include the image capturing unit 110 and the measuring unit 130, similarly to the concentration degree measuring device 100 according to the embodiment.
  • the measurement unit 202 calculates the degree of similarity of the measurement result to the state indicated by the state information.
  • the degree of similarity is calculated for each state information. Similarity is, for example, similar to the degree of proximity, the difference between the measured face position and the set value of the registered face position (first difference based on the face position), and the measured line of sight and the registered line of sight. Of the difference between the set value (the second difference based on the line of sight) and the difference between the measured face orientation and the set value of the registered face orientation (the third difference based on the face orientation), at least two differences It is decided based on the sum.
  • the first difference, the second difference, and the third difference are absolute values of the difference between the measured value and the set value, respectively.
  • the measuring unit 202 calculates the degree of concentration of the user 10 from the calculated degree of similarity, for example, based on the correspondence information in which the degree of similarity and the degree of concentration are associated with each other.
  • Correspondence information is set in advance so that, in the case of the similarity with respect to the state of the set of concentration factors, the higher the similarity, the higher the concentration.
  • Correspondence information is set in advance so that, in the case of the degree of similarity with respect to the state of the set of inhibiting factors, the higher the degree of similarity, the lower the degree of concentration.
  • the correspondence information is stored in, for example, the storage unit 201.
  • the concentration measuring device 200 shown in FIG. 9 it is possible to directly calculate the concentration based on the similarity to the state.
  • the degree of concentration can be easily calculated.
  • the degree of concentration can be calculated more accurately by increasing the number of stored state information.
  • the processing executed by a specific processing unit may be executed by another processing unit. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel. Further, the constituent elements of the concentration measuring apparatus 100 may be distributed to a plurality of apparatuses. For example, a component included in one device may be included in another device.
  • the processing described in the above embodiments may be realized by centralized processing using a single device (system), or may be realized by distributed processing using a plurality of devices. Good. Further, the number of processors that execute the program may be singular or plural. That is, centralized processing may be performed or distributed processing may be performed.
  • all or some of the components included in the concentration measuring device 100 may be configured by dedicated hardware, or software suitable for each component. It may be realized by executing a program. Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded in a recording medium such as an HDD (Hard Disk Drive) or a semiconductor memory. Good.
  • a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded in a recording medium such as an HDD (Hard Disk Drive) or a semiconductor memory. Good.
  • the constituent elements included in the concentration degree measuring device 100 may be configured by one or a plurality of electronic circuits.
  • Each of the one or more electronic circuits may be a general-purpose circuit or a dedicated circuit.
  • the one or more electronic circuits may include, for example, a semiconductor device, an IC (Integrated Circuit), an LSI (Large Scale Integration), or the like.
  • the IC or LSI may be integrated on one chip or may be integrated on a plurality of chips. Although referred to as IC or LSI here, the name may be changed depending on the degree of integration, and may be called system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration).
  • an FPGA Field Programmable Gate Array
  • the general or specific aspects of the present disclosure may be realized by a system, an apparatus, a method, an integrated circuit, or a computer program.
  • a computer-readable non-transitory recording medium such as an optical disk, an HDD, or a semiconductor memory in which the computer program is stored.
  • the system, the device, the method, the integrated circuit, the computer program, and the recording medium may be implemented in any combination.
  • the present disclosure can be used as a concentration measuring device that can measure the concentration with high accuracy, and can be used, for example, in a device or method that supports various work such as learning or driving.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

集中度計測装置（１００）は、顔位置、視線及び顔向きの少なくとも２つの設定値を登録する登録部（１２０）と、ユーザの集中度を取得する取得部の一例である集中度演算部（１４０）と、ユーザの顔位置、視線及び顔向きの少なくとも２つが、登録部（１２０）によって登録された設定値に近づいた程度を示す接近度に基づいて、ユーザの集中状態を判定する判定部（１５０）と、判定部（１５０）による判定結果に基づいて、取得部によって取得されたユーザの集中度を補正し、補正後の集中度を示す情報を出力する補正部（１６０）とを備える。

Description

集中度計測装置及び集中度計測方法
　本開示は、集中度計測装置及び集中度計測方法に関する。
　従来、人物の集中度を算出する情報処理装置が知られている。例えば、特許文献１に記載された情報処理装置では、集中度の最大値を１００として、表情の変化量と動作の変化量との和に顔向け率を乗じたものを減算することで集中度を算出する。
特開２０１４－１２０１３７号公報
　上記従来の情報処理装置では、１つの対象物を集中して見ている程、算出される集中度が高い値になる。しかしながら、１つの対象物を見ているユーザの集中度が必ず高いという訳でもなく、複数の対象物を見ているユーザの集中度が必ず低いという訳でもない。例えば、学習又は執務作業などの知的作業を行うユーザがテレビに見入っている場合、集中している状況とは言えないにも関わらず、上記従来の情報処理装置では高い集中度が算出される。また、学習において参考書とノートとを交互に見ている場合は、学習に集中している状況と言えるにも関わらず、上記従来の情報処理装置では低い集中度が算出される。このように、上記従来の情報処理装置では、算出される集中度の精度が低いという問題がある。
　そこで、本開示は、集中度を高精度で計測することができる集中度計測装置及び集中度計測方法を提供する。
　上記課題を解決するため、本開示の一態様に係る集中度計測装置は、顔位置、視線及び顔向きの少なくとも２つの設定値を登録する登録部と、ユーザの集中度を取得する取得部と、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、前記登録部によって登録された前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態を判定する判定部と、前記判定部による判定結果に基づいて、前記取得部によって取得されたユーザの集中度を補正し、補正後の集中度を示す情報を出力する補正部とを備える。
　また、本開示の一態様に係る集中度計測方法は、顔位置、視線及び顔向きの少なくとも２つの設定値を登録するステップと、ユーザの集中度を取得するステップと、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、登録された前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態の判定を行うステップと、前記判定の判定結果に基づいて、取得されたユーザの集中度を補正し、補正後の集中度を示す情報を出力するステップとを含む。
　また、本開示の別の一態様に係る集中度計測装置は、ユーザの集中度を計測する装置であって、顔位置、視線及び顔向きの少なくとも２つ以上の設定値を複数設定する設定部と、前記ユーザの顔位置、視線及び顔向きの少なくとも２つ以上の値が、複数の前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態を示す情報を出力する出力部とを備える。
　また、本開示の一態様は、上記集中度計測方法をコンピュータに実行させるプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な非一時的な記録媒体として実現することもできる。
　本開示によれば、集中度を高精度で計測することができる。
図１は、実施の形態に係る集中度の計測対象であるユーザの状況を示す模式図である。 図２は、実施の形態に係る集中度計測装置の構成を示すブロック図である。 図３は、実施の形態に係る集中度計測装置の登録情報を示す図である。 図４は、実施の形態に係る集中度計測装置が行う集中の判定処理の一例を示す図である。 図５は、実施の形態に係る集中度計測装置が行う集中度の補正処理の一例を示す図である。 図６は、実施の形態に係る集中度計測装置が行う集中の判定処理の別の一例を示す図である。 図７は、実施の形態に係る集中度計測装置が行う集中度の補正処理の別の一例を示す図である。 図８は、実施の形態に係る集中度計測装置が行う集中度の補正処理の別の一例を示す図である。 図９は、変形例に係る集中度計測装置の構成を示すブロック図である。
　（本開示の概要）
　上記課題を解決するために、本開示の一態様に係る集中度計測装置は、顔位置、視線及び顔向きの少なくとも２つの設定値を登録する登録部と、ユーザの集中度を取得する取得部と、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、前記登録部によって登録された前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態を判定する判定部と、前記判定部による判定結果に基づいて、前記取得部によって取得されたユーザの集中度を補正し、補正後の集中度を示す情報を出力する補正部とを備える。
　これにより、例えば、ユーザが集中しているとき、又は、集中していないときの顔位置、視線及び顔向きの少なくとも２つの設定値を登録することで、接近度は、ユーザが集中しているか否かを精度良く判断する指標となる。例えば、ユーザが集中していないときの設定値に対応する接近度に基づいて、ユーザが集中していないと判定することができ、当該判定結果に基づいて集中度を補正することができる。このように、本態様に係る集中度計測装置によれば、判定結果に基づいてユーザの集中度を補正するので、集中度を高精度に計測することができる。特に、本来集中すべきこととは異なるものに集中している場合に、高いと誤判定される集中度が補正されるので、集中度を高精度に計測することができる。
　また、例えば、本開示の一態様に係る集中度計測装置は、さらに、前記ユーザの顔を含む撮影画像に基づいて、前記ユーザの顔位置、視線及び顔向きの少なくとも２つを測定する測定部を備え、前記判定部は、さらに、前記測定部によって測定された顔位置、視線及び顔向きの少なくとも２つの測定値と前記設定値との差分に基づいて前記接近度を決定し、前記取得部は、前記撮影画像を用いて演算を行うことで、前記ユーザの集中度を取得してもよい。
　これにより、例えば、撮影画像を入力として取得することで、撮影画像が撮影されたタイミングでのユーザの顔位置など及び補正前の集中度（以下、「仮集中度」と記載する）を取得することができる。このため、例えば、集中度計測装置は、撮影画像を生成する撮像部を備えてもよく、あるいは、外部のカメラなどから撮影画像を取得する入力インタフェースを備えてもよい。ユーザの顔位置など及び仮集中度を複数の機器から個別に取得する場合に比べて、集中度計測装置の構成を簡素化することができる。
　また、例えば、前記判定結果は、所定の範囲の数値で表され、前記判定部は、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、前記登録部によって登録された前記設定値に一致した場合に、一致した時点を含む所定期間の前記判定結果を最大値又は最小値にしてもよい。
　これにより、ユーザの顔向きなどが設定値に一致した場合には、十分に集中している、又は、別のことに集中しており、集中すべきことに集中できていないと判断することができる。このため、判定結果を最大値又は最小値にすることで、判定結果がユーザの集中状態を正確に表すことができる。
　また、例えば、前記判定結果は、所定の範囲の数値で表され、前記判定部は、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、前記登録部によって登録された前記設定値に一致した場合に、一致した時点を含む所定期間の前記判定結果を、一致した時点で最大値又は最小値になる特性関数に当てはめてもよい。
　これにより、判定結果が特性関数で表されるので、ユーザが十分に高い集中に至るまで、又は、ユーザが集中できていない状態に至るまでの集中状態の時間的な変化を判定結果が精度良く表すことができる。
　また、例えば、前記補正部は、前記判定結果に基づいて前記集中度を予め定められた値に補正してもよい。
　これにより、例えば、ユーザが十分に集中している、又は、集中していないことを判定結果が表す場合に、仮集中度を予め定められた値に補正することができる。
　また、例えば、前記補正部は、前記判定結果に基づいて前記集中度を補正前より大きい値に補正してもよい。
　これにより、例えば、ユーザが集中しているときの顔位置などの設定値にユーザの顔位置などが近づいた場合に、集中度を大きい値に補正することができる。このように、接近度に基づいてユーザが実際に集中しているか否かを精度良く判定することができ、その判定結果に基づいて集中度が補正されるので、集中度を高精度に計測することができる。
　また、例えば、前記補正部は、前記判定結果に基づいて前記集中度を補正前より小さい値に補正してもよい。
　これにより、例えば、ユーザが集中していないときの顔位置などの設定値にユーザの顔位置などが近づいた場合に、集中度を小さい値に補正することができる。このように、接近度に基づいてユーザが実際に集中しているか否かを精度良く判定することができ、その判定結果に基づいて集中度が補正されるので、集中度を高精度に計測することができる。
　また、例えば、前記登録部は、顔位置、視線及び顔向きの少なくとも２つの設定値の組を複数登録し、前記判定部は、さらに、前記登録部によって登録された複数の組の各々に対する前記接近度を決定してもよい。
　これにより、複数の組を登録することで、ユーザの集中状態の判定の精度を更に高めることができる。判定の精度が高まることで、仮集中度の補正の精度も更に高めることができ、ユーザの集中度を更に高精度に計測することができる。
　また、例えば、前記判定結果は、所定の範囲の数値で表され、前記登録部は、設定値の複数の組を第１群と第２群とに分けて登録し、前記判定部は、前記第１群に含まれる組の前記接近度に基づいて前記判定結果を大きくし、前記第２群に含まれる組の前記接近度に基づいて前記判定結果を小さくしてもよい。
　これにより、ユーザが集中しているときの設定値の組を第１群に登録し、ユーザが集中していないときの設定値の組を第２群に登録するように、複数の組を分けて登録することで、ユーザの集中状態の判定の精度を更に高めることができる。判定の精度が高まることで、仮集中度の補正の精度も更に高めることができ、ユーザの集中度を更に高精度に計測することができる。
　また、本開示の一態様に係る集中度計測方法は、顔位置、視線及び顔向きの少なくとも２つの設定値を登録するステップと、ユーザの集中度を取得するステップと、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、登録された前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態の判定を行うステップと、前記判定の判定結果に基づいて、取得されたユーザの集中度を補正し、補正後の集中度を示す情報を出力するステップとを含んでもよい。
　これにより、上述した集中度計測装置と同様に、集中度を高精度に計測することができる。
　また、例えば、本開示の一態様に係る集中度計測装置は、ユーザの集中度を計測する装置であって、顔位置、視線及び顔向きの少なくとも２つ以上の設定値を複数設定する設定部と、前記ユーザの顔位置、視線及び顔向きの少なくとも２つ以上の値が、複数の前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態を示す情報を出力する出力部とを備えてもよい。
　これにより、複数の組を設定することで、各組に対応する接近度を算出することができる。ユーザが集中しているか否かを精度良く判断する指標である接近度を複数利用することができるので、ユーザの集中度を更に高精度で計測することができる。
　以下では、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
　（実施の形態）
　［構成］
　まず、実施の形態に係る集中度計測装置の構成について、図１及び図２を用いて説明する。図１は、本実施の形態に係る集中度の計測対象であるユーザ１０の状況を示す模式図である。図２は、本実施の形態に係る集中度計測装置１００の構成を示すブロック図である。
　本実施の形態に係る集中度計測装置１００は、ユーザ１０の集中度を計測する。集中度は、ユーザ１０が作業に集中している程度を示す指標である。集中度は、例えば、０～１、０～１０又は０～１００などの所定の範囲の数値で表される。例えば、集中度が高い程、ユーザ１０が作業に集中していることを表し、集中度が低い程、ユーザ１０が作業に集中していないことを表している。なお、集中度の数値範囲は、特に限定されない。
　作業は、例えば、勉強、学習、読書又は執務などの頭を使う知的作業であるが、これに限らない。作業は、車の運転、機械の操作、物品の制作などの手足を使う作業であってもよい。あるいは、作業は、映画、音楽、美術品若しくはスポーツなどの鑑賞、ゲーム、又は、スポーツなどの娯楽に関する作業であってもよい。
　図１に示される例では、ユーザ１０は、学習コンテンツ２０を用いて学習を行っている。学習コンテンツ２０は、例えば、タブレット端末に表示される教材コンテンツであるが、教科書、参考書又はノートなどの学習に用いる物品であってもよい。ユーザ１０が学習に集中している場合、ユーザ１０の顔向き及び視線は学習コンテンツ２０に向かう。つまり、学習コンテンツ２０は、ユーザ１０を集中させる要因（すなわち、集中要因）である。
　図１に示されるテレビ２２は、ユーザ１０の学習への集中を阻害する要因（すなわち、阻害要因）である。ユーザ１０が学習に集中できていない場合、ユーザ１０の顔向き及び視線はテレビ２２又はその他に向かう。このとき、ユーザ１０は、学習に集中できていないので、テレビ２２をしばらく見てしまう場合がある。
　この場合、ユーザ１０がテレビ２２に集中しているため、従来の情報処理装置によれば、ユーザ１０の集中度として高い値が算出される。つまり、従来の情報処理装置によれば、学習に集中できていないにも関わらず、高い集中状態にあると判定される。これに対して、本実施の形態に係る集中度計測装置１００は、例えば従来の情報処理装置によって算出された集中度（仮集中度）を補正することにより、学習に集中できていないことを集中度に反映させることができる。具体的には、集中度計測装置１００は、ユーザ１０がテレビ２２に集中している場合には、集中度を小さい値に補正する。これにより、集中度計測装置１００によれば、集中度を高精度で計測することができる。
　なお、図１では、学習コンテンツ２０が集中要因であり、テレビ２２が阻害要因である例を示しているが、これに限らない。例えば、学習コンテンツ２０が阻害要因であり、テレビ２２が集中要因であってもよい。この場合、集中度計測装置１００は、テレビ２２に対する集中度、すなわち、ユーザ１０がテレビ２２を集中して見ている程度を計測する。なお、学習コンテンツ２０及びテレビ２２の両方が集中要因であってもよい。例えば、テレビ２２に教材コンテンツが表示されている場合には、学習コンテンツ２０及びテレビ２２のいずれを見ている場合であっても、ユーザ１０が学習に集中している状況である。あるいは、学習コンテンツ２０及びテレビ２２の両方が阻害要因であってもよい。
　以下では、集中度計測装置１００の具体的な構成について、図２を用いて説明する。
　図２に示されるように、集中度計測装置１００は、撮像部１１０と、登録部１２０と、測定部１３０と、集中度演算部１４０と、判定部１５０と、補正部１６０とを備える。なお、本実施の形態では、判定部１５０及び補正部１６０は、出力部１０１を構成している。言い換えると、集中度計測装置１００は、出力部１０１を備え、出力部１０１は、判定部１５０及び補正部１６０を含んでいる。
　撮像部１１０は、ユーザ１０を撮像することで、ユーザ１０の顔を含む撮影画像を生成する。撮像部１１０は、可視光帯域に感度を有するイメージセンサであるが、赤外線イメージセンサ又は熱画像センサであってもよい。撮影画像は、例えば動画像であるが、静止画であってもよい。
　登録部１２０は、顔位置、視線及び顔向きの少なくとも２つの設定値を登録する。本実施の形態では、登録部１２０は、顔位置、視線及び顔向きの少なくとも２つの設定値の組を複数登録する。登録部１２０は、顔位置、視線及び顔向きの少なくとも２つ以上の設定値を複数設定する設定部の一例である。
　複数の組はそれぞれが、ユーザ１０が集中している時、又は、集中していない時に視線及び顔を向ける可能性がある位置として予め定められた位置をユーザ１０が見ているときの顔位置、視線及び顔向きの少なくとも２つの設定値の組である。予め定められた位置は、例えば、図１に示される学習コンテンツ２０又はテレビ２２である。
　本実施の形態では、登録部１２０は、設定値の複数の組を第１群と第２群とに分けて登録する。第１群に含まれる組は、集中要因に該当する。第２群に含まれる組は、阻害要因に該当する。
　図３は、本実施の形態に係る集中度計測装置１００の登録情報を示す図である。図３に示されるように、登録部１２０は、集中要因と阻害要因とに分けて、顔位置、視線及び顔向きの少なくとも２つの設定値の組を登録する。例えば、集中要因に含まれる“視線Ａ”及び“顔向きＡ”の組は、学習コンテンツ２０をユーザ１０が見ているときのユーザ１０の視線及び顔向きの値である。また、阻害要因に含まれる“視線Ｂ”及び“顔向きＢ”の組は、テレビ２２をユーザ１０が見ているときのユーザ１０の視線及び顔向きの値である。なお、図３に示される登録情報は、記憶部（図２には示されていない）に記憶される。
　測定部１３０は、撮影画像に基づいて、ユーザ１０の顔位置、視線及び顔向きの少なくとも２つを測定する。具体的には、測定部１３０は、撮影画像に対する輪郭抽出などの画像処理を行うことで、顔位置、視線及び顔向きの少なくとも２つを測定する。
　顔位置は、例えば、撮影画像内のユーザ１０の顔の位置である。顔位置は、例えば、撮影画像内において顔を構成する１以上の画素の位置で表される。あるいは、顔位置は、顔の特徴点（例えば、目）の位置であってもよい。例えば、測定部１３０は、撮影画像に対して顔検出処理を行うことにより、顔位置を測定する。
　視線は、ユーザ１０が見ている方向である。具体的には、視線は、図１に示される矢印１２で表される。例えば、測定部１３０は、撮影画像に対して虹彩領域の抽出処理を行い、抽出された虹彩の形状及び中心位置に基づいて視線を測定する。
　顔向きは、ユーザ１０の顔の向きである。具体的には、顔向きは、ユーザ１０の顔の正面方向で表される。例えば、測定部１３０は、撮影画像に対して顔検出処理を行い、目及び口などの特徴点を抽出することで、顔向きを測定する。
　なお、測定部１３０による顔位置、視線及び顔向きの測定方法については、いかなる手法を用いてもよい。例えば、測定部１３０は、ユーザ１０の眼電位を検出するセンサを含んでもよく、検出された眼電位に基づいて顔向き及び視線を検出してもよい。
　集中度演算部１４０は、ユーザ１０の集中度（仮集中度）を取得する取得部の一例である。集中度演算部１４０は、撮影画像を用いて演算を行うことで、ユーザ１０の仮集中度を取得する。集中度演算部１４０は、例えば、従来知られた集中度の演算方法を用いて仮集中度を算出する。具体的には、集中度演算部１４０は、一定期間内におけるユーザ１０の動き量に基づいて仮集中度を算出する。より具体的には、集中度演算部１４０は、一定期間内におけるユーザ１０の動きが少ない程、ユーザ１０が集中しているとみなして、高い値の仮集中度を算出する。集中度演算部１４０は、一定期間内におけるユーザ１０の動きが激しい程、ユーザ１０が集中していないとみなして、低い値の仮集中度を算出する。
　判定部１５０は、接近度に基づいて、ユーザ１０の集中状態を判定する。接近度は、ユーザ１０の顔位置、視線及び顔向きの少なくとも２つが、登録部１２０によって登録された設定値に近づいた程度を示す指標である。判定部１５０は、測定部１３０によって測定された顔位置、視線及び顔向きの少なくとも２つの測定値と設定値との差分に基づいて接近度を決定する。本実施の形態では、判定部１５０は、登録部１２０によって登録された複数の組の各々に対する接近度を決定する。
　接近度は、例えば、０～１、０～１０又は０～１００などの所定の範囲の数値で表される。測定部１３０による測定値と登録された設定値との差分が小さい程、接近度は、大きい値になる。測定部１３０による測定値と登録された設定値との差分が大きい程、接近度は、小さい値になる。なお、接近度の数値範囲は、特に限定されない。
　例えば、接近度は、測定された顔位置と登録された顔位置の設定値との差分（顔位置に基づく第１差分）と、測定された視線と登録された視線の設定値との差分（視線に基づく第２差分）と、測定された顔向きと登録された顔向きの設定値との差分（顔向きに基づく第３差分）とのうち、少なくとも２つの差分の和に基づいて決定される。第１差分、第２差分及び第３差分はそれぞれ、測定値と設定値との差分絶対値である。
　判定部１５０は、接近度に基づいて判定結果を生成する。具体的には、判定部１５０は、登録された設定値の組毎の接近度に基づいて判定結果を生成する。本実施の形態では、判定部１５０は、第１群に含まれる組の接近度に基づいて判定結果を大きくし、前記第２群に含まれる組の接近度に基づいて判定結果を小さくする。
　判定結果は、例えば、０～１、－１～＋１又は０～１００などの所定の範囲の数値で表される。判定結果は、数値が大きい程、ユーザ１０が集中していることを表し、数値が小さい程、ユーザ１０が集中していないことを表す。なお、判定結果の数値範囲及び大小関係は、特に限定されない。例えば、判定結果は、数値が大きい程、ユーザ１０が集中していないことを表し、数値が小さい程、ユーザ１０が集中していることを表してもよい。
　本実施の形態では、判定部１５０は、ユーザ１０の顔位置、視線及び顔向きの少なくとも２つが、登録部１２０によって登録された設定値に一致した場合に、一致した時点を含む所定期間の判定結果を最大値又は最小値にする。所定期間は、特に限定されないが、例えば、１秒から数十秒である。あるいは、判定部１５０は、ユーザ１０の顔位置、視線及び顔向きの少なくとも２つが、登録部１２０によって登録された設定値に一致した場合に、一致した時点を含む所定期間の判定結果を、一致した時点で最大値又は最小値になる特性関数（メンバシップ関数）に当てはめてもよい。
　補正部１６０は、判定部１５０による判定結果に基づいて、集中度演算部１４０によって取得されたユーザ１０の仮集中度を補正し、補正後の集中度を示す情報（以下、集中度情報と記載する）を出力する。本実施の形態では、補正部１６０は、判定結果に基づいて仮集中度を予め定められた値に補正する。予め定められた値は、例えば、集中度の最大値又は最小値である。あるいは、予め定められた値は、集中度の最大値と最小値との中間値でもよく、最大値の７０％の値などであってもよい。
　補正部１６０は、判定結果に基づいて仮集中度を補正前より大きい値に補正する。例えば、補正部１６０は、判定結果が大きい値である場合、すなわち、ユーザ１０が集中していることを判定結果が表す場合に、仮集中度を大きい値に補正する。
　また、補正部１６０は、判定結果に基づいて仮集中度を補正前より小さい値に補正する。例えば、補正部１６０は、判定結果が小さい値である場合、すなわち、ユーザ１０が集中していないことを判定結果が表す場合に、仮集中度を小さい値に補正する。
　補正部１６０は、例えば、補正された仮集中度、すなわち、補正後の集中度を示す集中度情報として、集中度に基づいた信号を他の機器に送信する。例えば、補正部１６０は、集中度が所定の閾値を上回った又は下回った場合に、信号を送信する。送信される信号は、他の機器を制御するための制御信号でもよい。
　あるいは、補正部１６０は、集中度情報として、ユーザ１０又はユーザ１０の監督者などに提示するための音声データ又は画像データを出力してもよい。例えば、集中度計測装置１００は、スピーカ又はディスプレイを有してもよく、集中度を音声又は画像としてユーザ１０などに提示してもよい。
　以上の構成を有する集中度計測装置１００は、例えば、カメラ及びコンピュータ機器などで実現される。具体的には、集中度計測装置１００は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどで実現される。集中度計測装置１００が有する各機能は、プロセッサで実行されるソフトウェアで実現されてもよく、１つ以上の電子部品を含む電気回路などのハードウェアで実現されてもよい。例えば、登録部１２０、測定部１３０、集中度演算部１４０、判定部１５０及び補正部１６０は、プロセッサで実行されるソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。
　なお、集中度計測装置１００は、撮像部１１０、測定部１３０及び集中度演算部１４０の少なくとも１つを備えなくてもよい。例えば、集中度計測装置１００は、撮像部１１０を備えずに、他のカメラなどで撮影された撮影画像を取得してもよい。また、集中度計測装置１００は、集中度演算部１４０を備えずに、他の機器で算出された集中度を取得してもよい。顔位置、視線及び顔向きについても同様である。
　［動作（集中度計測方法）］
　続いて、本実施の形態に係る集中度計測装置１００の動作について、図１に示される例を用いて説明する。以下では、学習コンテンツ２０が集中要因であり、テレビ２２が阻害要因である場合を例に説明する。
　図４は、本実施の形態に係る集中度計測装置１００が行う集中の判定処理の一例を示す図である。具体的には、図４の（ａ）及び（ｂ）はそれぞれ、テレビ２２又は学習コンテンツ２０に対する設定値とユーザ１０の顔位置などの測定値との差分の時間変化を示している。図４の（ｃ）及び（ｄ）はそれぞれ、テレビ２２又は学習コンテンツ２０に対する接近度の時間変化を示している。図４の（ｅ）は、判定部１５０による判定結果の時間変化を示している。
　図４に示されるように、時刻ｔ１から時刻ｔ２にかけて、ユーザ１０はテレビ２２に視線を移動させて、しばらくテレビ２２を見た後、テレビ２２から視線を外している。また、時刻ｔ３から時刻ｔ４にかけて、ユーザ１０は学習コンテンツ２０に視線を移動させて、しばらく学習コンテンツ２０を見た後、学習コンテンツ２０から視線を外している。つまり、ユーザ１０は、時刻ｔ１から時刻ｔ２にかけて集中していない状態にあり、時刻ｔ３から時刻ｔ４にかけて集中している状態にある。
　図４の（ａ）に示されるように、テレビ２２に対する設定値と測定値との差分は、時刻ｔ１から時刻ｔ２にかけて最大値から最小値になった後、再び最大値になっている。差分が最小値であることは、設定値と測定値とが一致していることを意味する。また、差分が最大値であることは、設定値と測定値との差分が第２閾値より大きいことを意味する。第２閾値は、例えば、図１に破線で示される範囲３２に相当する。ユーザ１０が視線をテレビ２２に向けようとして、テレビ２２を含む所定の範囲３２に視線が入った時刻が時刻ｔ１に相当し、所定の範囲３２から視線が出た時刻が時刻ｔ２に相当する。なお、視線だけではなく、顔位置及び顔向きについても同様である。
　図４の（ｂ）に示されるように、学習コンテンツ２０に対する設定値と測定値との差分は、時刻ｔ３から時刻ｔ４にかけて最大値から最小値になった後、再び最大値になっている。差分が最小値であることは、設定値と測定値とが一致していることを意味する。また、差分が最大値であることは、設定値と測定値との差分が第１閾値より大きいことを意味する。第１閾値は、例えば、図１に破線で示される範囲３０に相当する。ユーザ１０が視線を学習コンテンツ２０に向けようとして、学習コンテンツ２０を含む所定の範囲３０に視線が入った時刻が時刻ｔ３に相当し、所定の範囲３０から視線が出た時刻が時刻ｔ４に相当する。なお、視線だけではなく、顔位置及び顔向きについても同様である。
　このとき、時刻ｔ３から時刻ｔ４にかけて、テレビ２２に対する設定値と測定値との差分は、最大値のままである。ユーザ１０の視線が学習コンテンツ２０を含む範囲３０に入っており、テレビ２２を含む範囲３２には入っていないためである。時刻ｔ１から時刻ｔ２にかけての学習コンテンツ２０に対する設定値と測定値との差分についても同様に、最大値のままである。
　図４の（ｃ）に示されるように、判定部１５０は、テレビ２２に対する設定値と測定値との差分に基づいて、テレビ２２に対する接近度を決定する。具体的には、判定部１５０は、テレビ２２に対する差分が小さくなる程、接近度の値が大きくなるように、テレビ２２に対する接近度を決定する。一例として、判定部１５０は、設定値と測定値とが一致した時点、すなわち、テレビ２２に対する差分が最小値となった時点を含む期間の接近度を最大値にする。より具体的には、判定部１５０は、時刻ｔ１から時刻ｔ２までの期間の接近度を最大値にする。
　同様に、図４の（ｄ）に示されるように、判定部１５０は、学習コンテンツ２０に対する設定値と測定値との差分に基づいて、学習コンテンツ２０に対する接近度を決定する。具体的には、判定部１５０は、学習コンテンツ２０に対する差分が小さくなる程、接近度の値が大きくなるように、学習コンテンツ２０に対する接近度を決定する。一例として、判定部１５０は、設定値と測定値とが一致した時点、すなわち、学習コンテンツ２０に対する差分が最小値となった時点を含む期間の接近度を最大値にする。より具体的には、判定部１５０は、時刻ｔ３から時刻ｔ４までの期間の接近度を最大値にする。
　本実施の形態では、判定部１５０は、複数の接近度を合わせることで、判定結果を生成する。具体的には、判定部１５０は、複数の接近度の重み付け加算を行うことで、判定結果を生成する。接近度毎の重み係数は、接近度の決定に用いた設定値が属する群に基づいて定められる。具体的には、第１群に対応する接近度の重み係数は正の数であり、例えば＋１である。第２群に対応する接近度の重み係数は負の数であり、例えば－１である。つまり、判定部１５０は、学習コンテンツ２０に対応する接近度（すなわち、第１群に属する接近度）を正とし、テレビ２２に対応する接近度（すなわち、第２群に属する接近度）を負として、２つの接近度を足し合わせる。これにより、集中要因である学習コンテンツ２０に対応する接近度が大きい程、判定結果は大きくなり、阻害要因であるテレビ２２に対応する接近度が大きい程、判定結果は小さくなる。具体的には、図４の（ｅ）に示されるように、測定値が、テレビ２２に対する設定値に一致した場合には、一致した時点を含む所定期間（時刻ｔ１から時刻ｔ２の期間）の判定結果が最小値になる。また、測定値が、学習コンテンツ２０に対する設定値に一致した場合には、一致した時点を含む所定期間（時刻ｔ３から時刻ｔ４の期間）の判定結果が最大値になる。
　この結果、阻害要因であるテレビ２２をユーザ１０が見ている場合（時刻ｔ１から時刻ｔ２）には、判定結果は、値が小さくなってユーザ１０が集中していないことを表す。集中要因である学習コンテンツ２０をユーザ１０が見ている場合（時刻ｔ３から時刻ｔ４）には、判定結果は、値が大きくなってユーザ１０が集中していることを表す。
　なお、ユーザ１０が学習コンテンツ２０及びテレビ２２のいずれも見ていない場合（例えば、時刻ｔ２から時刻ｔ３）には、判定結果は、最大値と最小値との中間の値になって、仮集中度の補正に影響を与えにくくすることができる。なお、登録される設定値の組の数を増やすことにより、決定される複数の接近度のいずれかが大きくなりやすくなり、仮集中度が適切に補正されやすくなる。
　図５は、本実施の形態に係る集中度計測装置１００が行う集中度の補正処理の一例を示す図である。図５の（ａ）は、判定部１５０による判定結果の時間変化を示しており、図４の（ｅ）と同じである。図５の（ｂ）は、補正前の集中度（仮集中度）と補正後の集中度との各々の時間変化を示している。
　補正部１６０は、図５の（ａ）に示される判定結果に基づいて仮集中度を補正する。具体的には、図５の（ｂ）に示されるように、補正部１６０は、判定結果が最小値である期間の仮集中度を最小値に補正し、かつ、判定結果が最大値である期間の仮集中度を最大値に補正する。つまり、補正部１６０は、判定結果が最小値又は最大値である場合には、仮集中度の値に依存せずに、仮集中度を予め定められた値に補正する。
　これにより、ユーザ１０がテレビ２２に視線を向けた期間（時刻ｔ１から時刻ｔ２）の集中度は低い値になる。また、ユーザ１０が学習コンテンツ２０に視線を向けた期間（時刻ｔ３から時刻ｔ４）の集中度は高い値になる。
　図５の（ｂ）に示されるように、ユーザ１０の動き量に基づいて算出された仮集中度は、ユーザ１０がテレビ２２を見ている期間は動き量が少なくなるので、当該期間に高くなっている。これに対して、本実施の形態に係る集中度計測装置１００によれば、当該期間の集中度が低い値に補正されるので、集中度を高精度に計測することができる。
　［変形例］
　続いて、本実施の形態に係る集中度計測装置１００の動作の別の一例について説明する。
　図６は、本実施の形態に係る集中度計測装置１００が行う集中の判定処理の別の一例を示す図である。図６の（ａ）～（ｅ）はそれぞれ、図４の（ａ）～（ｅ）に対応している。図６の（ａ）及び（ｂ）は、図４の（ａ）及び（ｂ）と同じである。なお、図６には、ユーザ１０の顔位置などの測定値が、テレビ２２に対する設定値に一致している期間を時刻ｔ１１から時刻ｔ１２として表している。同様に、ユーザ１０の測定値が学習コンテンツ２０に対する設定値に一致している期間を時刻ｔ３１から時刻ｔ３２として表している。
　本変形例では、判定部１５０が行う接近度の決定方法が、図４に示される例と異なる。具体的には、図６の（ｃ）に示されるように、判定部１５０は、テレビ２２に対する設定値と測定値とが一致した時点、すなわち、テレビ２２に対する差分が最小値となった時点を含む期間の接近度を、一致した時点で最大値になる特性関数に当てはめる。より具体的には、判定部１５０は、時刻ｔ１から時刻ｔ２までの期間の接近度を、時刻ｔ１１から時刻ｔ１２の期間で最大値になる特性関数に当てはめる。
　図６の（ｃ）に示される例では、接近度は、時刻ｔ１から時刻ｔ１１にかけて最小値から最大値まで徐々に大きくなり、時刻ｔ１１から時刻ｔ１２にかけて最大値を維持し、時刻ｔ１２から時刻ｔ２にかけて最大値から最小値まで徐々に小さくなる。時刻ｔ１から時刻ｔ１１にかけての期間、及び、時刻ｔ１２から時刻ｔ２にかけての期間における接近度の上昇又は減少を表す関数は、単調増加又は単調減少であり、例えば一次関数（直線）である。あるいは、接近度の上昇又は減少を表す関数は、上に凸の関数であってもよく、下に凸の関数であってもよい。
　同様に、図６の（ｄ）に示されるように、判定部１５０は、学習コンテンツ２０に対する設定値と測定値とが一致した時点、すなわち、学習コンテンツ２０に対する差分が最小値となった時点を含む期間の接近度を、一致した時点で最大値になる特性関数に当てはめる。より具体的には、判定部１５０は、時刻ｔ３から時刻ｔ４までの期間の接近度を、時刻ｔ３１から時刻ｔ３２の期間で最大値になる特性関数に当てはめる。
　これにより、図６の（ｄ）に示されるように、時刻ｔ３から時刻ｔ４までの学習コンテンツ２０に対する接近度は、時刻ｔ１から時刻ｔ２までのテレビ２２に対する接近度と同様になる。なお、テレビ２２に対する接近度の決定、及び、学習コンテンツ２０に対する接近度の決定に用いる特性関数は、異なる種類の関数であってもよい。つまり、判定部１５０は、複数の特性関数を用いて判定結果を生成してもよい。
　判定部１５０は、図４の場合と同様に、複数の接近度を合わせることで、判定結果を生成する。具体的には、図６の（ｅ）に示されるように、測定値が、テレビ２２に対する設定値に一致した場合には、一致した時点を含む所定期間（時刻ｔ１から時刻ｔ２の期間）の判定結果は、一致した時点（時刻ｔ１１から時刻ｔ１２の期間）で最小値になる特性関数で表される。また、測定値が、学習コンテンツ２０に対する設定値に一致した場合には、一致した時点を含む所定期間（時刻ｔ３から時刻ｔ４の期間）の判定結果は、一致した時点（時刻ｔ３１から時刻ｔ３２の期間）で最大値になる特性関数で表される。
　図７は、本実施の形態に係る集中度計測装置１００が行う集中度の補正処理の別の一例を示す図である。図７の（ａ）は、判定部１５０による判定結果の時間変化を示しており、図６の（ｅ）と同じである。図７の（ｂ）は、補正前の集中度（仮集中度）と補正後の集中度との各々の時間変化を示している。
　補正部１６０は、図７の（ａ）に示される判定結果に基づいて仮集中度を補正する。具体的には、図７の（ｂ）に示されるように、補正部１６０は、判定結果が最小値である期間の仮集中度を最小値に補正し、かつ、判定結果が最大値である期間の仮集中度を最大値に補正する。つまり、補正部１６０は、判定結果が最小値又は最大値である場合には、仮集中度の値に依存せずに、仮集中度を予め定められた値に補正する。
　また、時刻ｔ３から時刻ｔ３１までの期間、及び、時刻ｔ３２から時刻ｔ４までの期間のように、判定結果が中間値（最大値と最小値と中間値）より大きい場合には、補正部１６０は、当該期間の仮集中度を、補正前より大きい値に補正する。同様に、時刻ｔ１から時刻ｔ１１までの期間、及び、時刻ｔ１２から時刻ｔ２までの期間のように、判定結果が中間値（最大値と最小値と中間値）より小さい場合には、補正部１６０は、当該期間の仮集中度を、補正前より小さい値に補正する。例えば、補正部１６０は、判定結果の値に基づいて補正値を決定し、決定した補正値を仮集中度に加算又は減算することにより、補正後の集中度を算出する。補正値は、判定結果に比例する値であってもよく、判定結果をパラメータとする関数で表されてもよい。
　これにより、ユーザ１０がテレビ２２に視線を向けた期間（時刻ｔ１から時刻ｔ２）の集中度は低い値になる。また、ユーザ１０が学習コンテンツ２０に視線を向けた期間（時刻ｔ３から時刻ｔ４）の集中度は高い値になる。
　図７の（ｂ）に示されるように、ユーザ１０の動き量に基づいて算出された仮集中度は、ユーザ１０がテレビ２２を見ている期間は動き量が少なくなるので、当該期間に高くなっている。これに対して、当該期間の集中度が低い値に補正されるので、集中度を高精度に計測することができる。
　図８は、本実施の形態に係る集中度計測装置１００が行う集中度の補正処理の別の一例を示す図である。図８の（ａ）は、判定部１５０による判定結果の時間変化を示しており、図６の（ｅ）と同じである。図８の（ｂ）は、補正前の集中度（仮集中度）と補正後の集中度との各々の時間変化を示している。なお、図８の（ｂ）では、説明を分かりやすくするため、仮集中度の時間変化が直線的である場合を例に示している。
　図８に示される例では、判定結果は、仮集中度に乗算される係数として用いられる。具体的には、補正部１６０は、判定結果に基づいて決定される係数と仮集中度との積を、補正後の集中度として算出する。例えば、判定結果が－Ｘ～＋Ｘ（Ｘ＞１）の範囲で表される場合を想定する。判定結果が正の数のときは、補正部１６０は、判定結果をそのまま係数として用いて仮集中度に乗算することで、補正後の集中度（＝仮集中度×判定結果）を算出する。判定結果が負の数のときは、補正部１６０は、判定結果の逆数を係数として用いて仮集中度に乗算することで、補正後の集中度（＝仮集中度×１／判定結果）を算出する。判定結果が０のときは、補正部１６０は、係数を１として仮集中度をそのまま補正後の集中度として用いる。これにより、図８の（ｂ）に示されるように、仮集中度の値と判定結果とをそれぞれ強く反映した補正後の集中度が算出される。
　［適用例］
　本実施の形態に係る集中度計測装置１００から出力される集中度情報は、ユーザ１０が行う作業の支援、又は、ユーザ１０に対する情報の提供などに利用することができる。
　例えば、集中度計測装置１００は、集中度情報をアラート機器若しくはディスプレイ、又は、学習コンテンツ２０を表示するタブレット端末に出力する。あるいは、集中度計測装置１００は、アラート機器又はディスプレイを備えていてもよい。学習コンテンツ２０を表示するタブレット端末がアラート機器又はディスプレイを備えていてもよい。
　例えば、集中度が閾値より低くなった場合に、タブレット端末が学習コンテンツ２０を変更してもよい。例えば、タブレット端末は、学習コンテンツ２０の難易度又は表示態様を変更してもよい。また、学習が一区切りした段階、又は、復習のときに、学習期間において集中度が低かった期間をディスプレイが表示してもよい。
　なお、集中度計測装置１００及びアラート機器は、タブレット端末を用いたいわゆるｅ－Ｌｅａｒｎｉｎｇに限らず、紙ベースの学習にも利用することができる。
　例えば、アラート機器は、ユーザ１０の集中度が所定の閾値より低くなった場合に、ユーザ１０に注意喚起を行う。注意喚起は、警告音又は警告表示などを出力することで行われる。ユーザ１０が学習を行っている場合には、アラート機器は、集中度が閾値より低くなった時点で注意喚起を行ってもよい。
　また、集中度計測装置１００及びアラート機器は、デスクワーク、肉体労働などの各種労働にも利用することができる。
　例えば、コンピュータ機器を利用したデスクワークを行うユーザに対して、アラート機器は、ユーザの集中度が所定の閾値より低くなった場合に、ユーザに注意喚起を行う。注意喚起は、警告音又は警告表示などの出力に限らず、意図的な誤操作又は誤表示を行ってもよい。例えば、任意のキーボードが押下された場合に、ディスプレイに黒画面が表示されるなどの、ユーザの意図とは異なる操作が行われることで、ユーザの注意を向けさせてもよい。
　また、集中度情報は、仕事内容の管理及び人材の管理に用いられてもよい。例えば、アラート機器は、集中度情報に基づいて集中力が低い状態で行われた作業を特定し、評価者などへ通知してもよい。これにより、集中力が低い状態で行われた作業の検証の精度を高めることができる。
　また、例えば、アラート機器は、職務に対する集中度を長期的に監視した結果をデータベース化してもよい。これにより、生成されたデータベースを人事考査に利用することができる。
　このように、アラート機器は、集中度が低い場合に、計測対象であるユーザ以外に、集中度情報に基づく注意喚起を行ってもよい。例えば、機械の操作を行っているユーザの集中度が低い場合に、突発的に注意喚起が行われることで、注意喚起に基づく操作ミスの発生を抑制することができる。
　また、アラート機器は、会議中の発言者に対する情報提供を行ってもよい。例えば、集中度計測装置１００は、会議に参加中の参加者の集中度を計測する。アラート機器は、参加者の集中度が低い場合に、発言者に対する発言内容の変更、又は、話し方の変更などの改善の示唆を提示してもよい。あるいは、電話会議などにおいて、アラート機器は、スピーカの音量を調整してもよい。
　また、集中度計測装置１００及びアラート機器は、接客業にも利用することができる。具体的には、集中度計測装置１００は、店員又は客の集中度を計測する。客の集中度が低い場合には、アラート機器は、客に対する提案内容及び話し方の変更などの示唆を店員に提示する。店員の集中度が低い場合には、アラート機器は、店内の清掃作業などの業務命令を出力してもよい。
　また、集中度計測装置１００及びアラート機器は、スポーツにも利用することができる。具体的には、集中度計測装置１００は、プレイヤーの集中度を計測する。例えば、ゴルフのようにレスポンスタイムが長いスポーツの場合、プレイヤーの集中度が低下した時点で、アラート機器は注意喚起を行ってもよい。また、アラート機器は、プロ（又はトレイナー）の集中度の時間変化と、素人（又は訓練者）の集中度の時間変化との差に基づいて、トレーニング方法の提示を行ってもよい。例えば、訓練者とプロとの集中度の違い、及び、集中すべきポイントなどを容易に可視化することができる。
　また、集中度計測装置１００及びアラート機器は、日常生活にも利用することができる。例えば、集中度計測装置１００は、掃除などの家事を行っているユーザの集中度を計測する。アラート機器は、掃除中に集中度が低かった地点をユーザに提示する。例えば、アラート機器は、集中度に基づく室内の汚れ状況を示すヒートマップを生成して、ユーザに提示してもよい。ヒートマップは、集中度が低い状態で掃除した地点程、汚れている可能性が高いことを表すマップであるが、これに限らない。
　また、例えば、集中度計測装置１００は、買い物に出かける前に広告を見ているユーザの集中度を計測してもよい。アラート機器は、買い物中に、ユーザが高い集中で見ていた広告に関する情報をユーザに提供してもよい。
　また、例えば、集中度計測装置１００は、ベッド又は布団の上で横たわっているユーザの集中度を計測してもよい。アラート機器は、ユーザが就寝すべき時間帯に天井又はスマートフォンなどに集中している場合に、就寝しやすい環境を形成する。例えば、アラート機器は、照明機器、空調機器及び芳香機器などを制御することで、就寝に適したリラックスできる環境を形成する。
　また、例えば、集中度計測装置１００は、テレビを視聴しているユーザの集中度を計測してもよい。アラート機器は、例えば、ＣＭ（Commercial Message）を見ているユーザの集中度に基づいて、ＣＭの広告効果を評価し、評価結果を広告業者などに提供してもよい。
　また、例えば、集中度計測装置１００は、映画館、スポーツ施設及び美術館内での来訪者の集中度を計測してもよい。アラート機器は、来訪者の集中度に基づいて、来訪者が集中しやすい環境を形成してもよい。あるいは、アラート機器は、複数の来訪者の位置と集中度とに基づいて、場所毎の集中度を表す集中度マップを生成してもよい。アラート機器は、集中度マップに基づいて、集中度が低い場所の環境の改善を行ってもよい。あるいは、美術館の場合において、アラート機器は、集中度マップに基づいて、集中度が高い作品を抽出し、抽出した作品を美術館の見どころとして提案する提案情報を作成してもよい。
　また、例えば、集中度計測装置１００は、ＡＴＭ（Automatic Teller Machine）に利用されてもよい。具体的には、集中度計測装置１００は、ＡＴＭの利用者及び利用者の周囲に居る人の集中度を計測する。アラート機器は、ＡＴＭの利用者以外の人物がＡＴＭの操作パネルに集中している場合には、覗き込みの恐れを利用者に通知してもよい。
　また、集中度計測装置１００は、自動車、自転車、バス、電車及び飛行機などの移動体の運転者の集中度を計測してもよい。アラート機器は、運転者の集中度が低い場合に、運転者に集中を促す注意喚起を行う。あるいは、アラート機器は、運転者の集中度が低い場合に、休憩を促すための動作を行ってもよい。例えば、アラート機器は、ディスプレイ又はスピーカに、休憩を促す表示又は音声出力を行ってもよい。また、アラート機器は、空調機器を制御することで、休憩しやすい環境を形成してもよい。
　また、アラート機器は、移動体の位置情報と集中度情報とに基づいて、集中度マップを生成してもよい。例えば、集中度マップは、集中度が低くなりやすい道路の区間を示してもよい。アラート機器は、集中度マップを道路管理者などに提供してもよく、道路の保全及び管理の計画などの支援を行うことができる。
　また、アラート機器は、運転手がスマートフォンに集中している場合に、スマートフォンの電源を切ってもよく、操作を受け付けない状態にしてもよい。また、例えば、電動自転車の場合に、アラート機器は、自転車のペダルを重くしてもよい。これにより、ペダルを漕ぐのに集中させることができる。
　また、集中度計測装置１００は、移動体の乗客の集中度を計測してもよい。アラート機器は、乗客の集中度が低い場合に、車内又は機内モニタに表示されるコンテンツを変更してもよい。また、飛行機の場合には、アラート機器は、乗客へのミールサービスの指示を乗務員に送信してもよい。
　以上のように、アラート機器、又は、アラート機器を備える集中度計測装置１００は、集中度情報に基づいて、ユーザを集中させる、又は、休憩させるための各種動作を行ってもよい。
　（その他）
　以上、１つ又は複数の態様に係る集中度計測装置について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
　例えば、判定部１５０は、顔位置に関する差分（第１差分）、視線に関する差分（第２差分）及び顔向きに関する差分（第３差分）の少なくとも２つの和又は重み付け和の逆数を、接近度として算出してもよい。あるいは、判定部１５０は、所定の最大値から、第１差分、第２差分及び第３差分の少なくとも２つの和又は重み付け和を減算した値を、接近度として算出してもよい。このとき、第１差分、第２差分及び第３差分の各々は、例えば０～１の範囲で正規化された値であってもよい。
　また、例えば、複数の接近度の各々の重み係数は、－１及び＋１以外の値であってもよい。つまり、登録された設定値毎に、－１～＋１の範囲で異なる値の重み係数が定められていてもよい。例えば、第１群に属する複数の設定値の各々に、異なる値の重み係数を対応付けてもよい。一例として、学習に関する集中度を計測する場合に、ユーザが作業するノートに対する設定値と、ユーザが参照する参考書に対する設定値とで、異なる値の重み係数が対応付けられていてもよい。
　また、上記実施の形態で説明した装置間の通信方法については特に限定されるものではない。装置間で無線通信が行われる場合、無線通信の方式（通信規格）は、例えば、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、無線ＬＡＮ（Local Area Network）などの近距離無線通信である。あるいは、無線通信の方式（通信規格）は、インターネットなどの広域通信ネットワークを介した通信でもよい。また、装置間においては、無線通信に代えて、有線通信が行われてもよい。有線通信は、具体的には、電力線搬送通信（ＰＬＣ：Power Line Communication）又は有線ＬＡＮを用いた通信などである。
　また、登録されたユーザと集中要因と阻害要因との位置関係の変化に合わせて、登録情報を変更する構成としてもよい。例えば、ユーザが存在する居室内全体を撮影できるカメラにより登録されたユーザと集中要因と阻害要因との位置関係を推定してもよく、集中度計測装置などに組み込まれたＧＰＳ（Global Positioning System）又はジャイロセンサによって取得された情報により、登録されたユーザと集中要因と阻害要因との位置関係を推定してもよい。例えば、集中度計測装置は、ユーザ、集中要因及び阻害要因の少なくとも１つの位置情報を取得する取得部と、取得した位置情報に基づいてユーザと集中要因と阻害要因との位置関係を推定する推定部を備えてもよい。
　さらに、ユーザ、集中要因及び阻害要因の少なくとも１つの位置関係の変化を検知して、登録情報の更新を促す態様であってもよい。
　さらに、ＧＰＳ又はジャイロセンサなどが使用できない場合は、ユーザのタスクの進捗度合いを使用して、集中要因と阻害要因との位置関係を推定してもよい。
　また、電力消費の制御を行うために、登録部１２０、測定部１３０、判定部１５０、補正部１６０の一部、又は、これらの全部の動作のＯＮ／ＯＦＦを選択できる態様であってもよい。例えば、登録部１２０に登録された集中要因と阻害要因との数が多い場合は、電力消費の抑制のために登録情報の一部を使用しなくてもよい。また、測定部１３０又は判定部１５０を停止する場合は、補正部１６０での補正を行わなくてもよい。
　さらに、動作のＯＮ／ＯＦＦの選択を、供給される電源の種別及び／又は状態に応じて自動的に行ってもよい。例えば、電池などで動作する場合、又は、その電力残量が少ない場合は、動作をＯＦＦし、商用電源が供給される場合は動作をＯＮとしてもよい。
　また、ユーザが作業を行っている時間帯の情報と組み合わせてもよい。例えば、食後又は深夜などは、一般的に集中度が下がりやすいため、補正部１６０により仮集中度を低めに補正をしてもよい。また、ユーザが長時間作業を継続しているのであれば、同様に補正部１６０により仮集中度を低めに補正をしてもよい。このように、集中度計測装置は、現在時刻を取得する計時部、又は、タイマー機能を有してもよい。
　また、例えば、出力部１０１は、判定部１５０及び補正部１６０を含んでいなくてもよい。出力部１０１は、ユーザ１０の顔位置、視線及び顔向きの少なくとも２つが、登録部１２０によって登録された設定値に近づいた程度を示す接近度に基づいて、ユーザ１０の集中状態を示す集中度情報を出力する。具体的には、出力部１０１は、登録部１２０によって登録された複数の組の各々に対する接近度に基づいて、集中度情報を出力する。
　例えば、集中度計測装置１００は、登録部１２０と、出力部１０１とを備え、撮像部１１０、測定部１３０及び集中度演算部１４０を備えていなくてもよい。例えば、集中度計測装置１００とは異なるカメラがユーザ１０を撮影し、他の画像処理装置が撮影画像に基づいてユーザ１０の顔位置、視線及び顔向きの少なくとも２つを測定してもよい。集中度計測装置１００は、他の画像処理装置から、ユーザ１０の顔位置、視線及び顔向きの少なくとも２つを取得する。集中度計測装置１００の出力部１０１は、取得したユーザ１０の顔位置、視線及び顔向きの少なくとも２つが、登録部１２０によって登録された設定値に近づいた程度を示す接近度に基づいて、ユーザ１０の集中状態を示す集中度情報を出力する。例えば、出力部１０１は、接近度と集中状態とを対応付けた対応情報を参照することで、接近度に基づいて集中状態を決定し、決定した集中状態を示す集中度情報を出力してもよい。
　また、例えば、集中度計測装置１００は、予め記憶されたユーザの状態への類似度に基づいて、集中度を計測してもよい。例えば、図９に示されるように、集中度計測装置２００は、記憶部２０１と、計測部２０２とを備える。なお、図９は、変形例に係る集中度計測装置２００の構成を示すブロック図である。
　記憶部２０１は、顔位置、視線及び顔向きの少なくとも２つの状態を示す状態情報を複数記憶する。記憶部２０１は、ＨＤＤ（Hard Disk Drive）又は半導体メモリなどの記録媒体で実現される。
　状態情報は、例えば、図３に示される集中要因の組である。一の状態情報は、例えば、視線Ａ及び顔向きＡをユーザ１０の状態として示している。また、別の一の状態情報は、顔位置Ｃ、視線Ｃ及び顔向きＣをユーザ１０の状態として示している。なお、状態情報は、図３に示される阻害要因の組であってもよい。また、記憶部２０１には、集中要因の組を示す状態情報と、阻害要因の組を示す状態情報との両方が記憶されていてもよい。
　計測部２０２は、例えば、ユーザ１０の状態の、記憶部２０１に記憶された複数の状態情報の各々が示す状態への類似度に基づいて、ユーザ１０の集中度を計測する。ユーザ１０の状態は、ユーザ１０の顔位置、視線及び顔向きの少なくとも２つの状態であって、例えば、カメラによってユーザ１０を撮影することで得られる撮影画像から得られる。例えば、集中度計測装置２００とは異なる他の画像処理装置が、撮影画像に基づいてユーザ１０の顔位置、視線及び顔向きの少なくとも２つを測定し、測定結果を計測部２０２に出力する。なお、集中度計測装置２００は、実施の形態に係る集中度計測装置１００と同様に、撮像部１１０及び測定部１３０を備えてもよい。
　計測部２０２は、測定結果の、状態情報が示す状態への類似度を算出する。類似度は、状態情報毎に算出される。類似度は、例えば、接近度と同様に、測定された顔位置と登録された顔位置の設定値との差分（顔位置に基づく第１差分）と、測定された視線と登録された視線の設定値との差分（視線に基づく第２差分）と、測定された顔向きと登録された顔向きの設定値との差分（顔向きに基づく第３差分）とのうち、少なくとも２つの差分の和に基づいて決定される。第１差分、第２差分及び第３差分はそれぞれ、測定値と設定値との差分絶対値である。
　計測部２０２は、例えば、類似度と集中度とを対応付けた対応情報に基づいて、算出した類似度からユーザ１０の集中度を算出する。対応情報は、集中要因の組の状態に対する類似度の場合、類似度が高い程、集中度も高くなるように予め定められている。対応情報は、阻害要因の組の状態に対する類似度の場合、類似度が高い程、集中度が低くなるように予め定められている。対応情報は、例えば記憶部２０１に記憶されている。
　以上のように、図９に示される集中度計測装置２００によれば、状態への類似度に基づいて直接集中度を算出することができる。記憶部２０１に複数の状態情報を予め記憶しておくことにより、簡単に集中度を算出することができる。また、状態情報の記憶数を増やすことで、より精度良く集中度を算出することができる。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよく、あるいは、複数の処理が並行して実行されてもよい。また、集中度計測装置１００が備える構成要素の複数の装置へ振り分けてもよい。例えば、一の装置が備える構成要素を他の装置が備えてもよい。
　例えば、上記実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
　また、上記実施の形態において、登録部１２０などの、集中度計測装置１００が備える構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）又はプロセッサなどのプログラム実行部が、ＨＤＤ（Hard Disk Drive）又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、登録部１２０などの、集中度計測装置１００が備える構成要素は、１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Integrated Circuit）又はＬＳＩ（Large Scale Integration）などが含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又は、ＵＬＳＩ（Ultra Large Scale Integration）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Field Programmable Gate Array）も同じ目的で使うことができる。
　また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ若しくは半導体メモリなどのコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　また、上記の各実施の形態は、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、集中度を高精度で計測することができる集中度計測装置として利用でき、例えば、学習又は運転などの各種作業を支援する装置又は方法などに利用することができる。
１０　ユーザ
１２　矢印
２０　学習コンテンツ
２２　テレビ
３０、３２　範囲
１００、２００　集中度計測装置
１０１　出力部
１１０　撮像部
１２０　登録部
１３０　測定部
１４０　集中度演算部
１５０　判定部
１６０　補正部
２０１　記憶部
２０２　計測部

Claims (11)

  1. 　顔位置、視線及び顔向きの少なくとも２つの設定値を登録する登録部と、
    　ユーザの集中度を取得する取得部と、
    　前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、前記登録部によって登録された前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態を判定する判定部と、
    　前記判定部による判定結果に基づいて、前記取得部によって取得されたユーザの集中度を補正し、補正後の集中度を示す情報を出力する補正部とを備える
    　集中度計測装置。
  2. 　さらに、前記ユーザの顔を含む撮影画像に基づいて、前記ユーザの顔位置、視線及び顔向きの少なくとも２つを測定する測定部を備え、
    　前記判定部は、さらに、前記測定部によって測定された顔位置、視線及び顔向きの少なくとも２つの測定値と前記設定値との差分に基づいて前記接近度を決定し、
    　前記取得部は、前記撮影画像を用いて演算を行うことで、前記ユーザの集中度を取得する
    　請求項１に記載の集中度計測装置。
  3. 　前記判定結果は、所定の範囲の数値で表され、
    　前記判定部は、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、前記登録部によって登録された前記設定値に一致した場合に、一致した時点を含む所定期間の前記判定結果を最大値又は最小値にする
    　請求項１又は２に記載の集中度計測装置。
  4. 　前記判定結果は、所定の範囲の数値で表され、
    　前記判定部は、前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、前記登録部によって登録された前記設定値に一致した場合に、一致した時点を含む所定期間の前記判定結果を、一致した時点で最大値又は最小値になる特性関数に当てはめる
    　請求項１又は２に記載の集中度計測装置。
  5. 　前記補正部は、前記判定結果に基づいて前記集中度を予め定められた値に補正する
    　請求項１～４のいずれか１項に記載の集中度計測装置。
  6. 　前記補正部は、前記判定結果に基づいて前記集中度を補正前より大きい値に補正する
    　請求項１～４のいずれか１項に記載の集中度計測装置。
  7. 　前記補正部は、前記判定結果に基づいて前記集中度を補正前より小さい値に補正する
    　請求項１～４のいずれか１項に記載の集中度計測装置。
  8. 　前記登録部は、顔位置、視線及び顔向きの少なくとも２つの設定値の組を複数登録し、
    　前記判定部は、さらに、前記登録部によって登録された複数の組の各々に対する前記接近度を決定する
    　請求項１～７のいずれか１項に記載の集中度計測装置。
  9. 　前記判定結果は、所定の範囲の数値で表され、
    　前記登録部は、設定値の複数の組を第１群と第２群とに分けて登録し、
    　前記判定部は、前記第１群に含まれる組の前記接近度に基づいて前記判定結果を大きくし、前記第２群に含まれる組の前記接近度に基づいて前記判定結果を小さくする
    　請求項８に記載の集中度計測装置。
  10. 　顔位置、視線及び顔向きの少なくとも２つの設定値を登録するステップと、
    　ユーザの集中度を取得するステップと、
    　前記ユーザの顔位置、視線及び顔向きの少なくとも２つが、登録された前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態の判定を行うステップと、
    　前記判定の判定結果に基づいて、取得されたユーザの集中度を補正し、補正後の集中度を示す情報を出力するステップとを含む
    　集中度計測方法。
  11. 　ユーザの集中度を計測する装置であって、
    　顔位置、視線及び顔向きの少なくとも２つ以上の設定値を複数設定する設定部と、
    　前記ユーザの顔位置、視線及び顔向きの少なくとも２つ以上の値が、複数の前記設定値に近づいた程度を示す接近度に基づいて、前記ユーザの集中状態を示す情報を出力する出力部とを備える
    　集中度計測装置。
PCT/JP2019/045576 2018-12-03 2019-11-21 集中度計測装置及び集中度計測方法 WO2020116181A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-226650 2018-12-03
JP2018226650 2018-12-03

Publications (1)

Publication Number Publication Date
WO2020116181A1 true WO2020116181A1 (ja) 2020-06-11

Family

ID=70974145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045576 WO2020116181A1 (ja) 2018-12-03 2019-11-21 集中度計測装置及び集中度計測方法

Country Status (1)

Country Link
WO (1) WO2020116181A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131178A1 (ja) * 2020-12-15 2022-06-23 株式会社Ｊｖｃケンウッド ウェブ会議システム
WO2022209912A1 (ja) * 2021-03-30 2022-10-06 パナソニックＩｐマネジメント株式会社 集中値算出システム、集中値算出方法、プログラム、及び、集中値算出モデル生成システム
WO2022230443A1 (ja) * 2021-04-27 2022-11-03 オムロン株式会社 脈波検出装置および脈波検出方法、脈波検出プログラム
WO2024090830A1 (ko) * 2022-10-27 2024-05-02 한국 한의학 연구원 시선추적에 기반한 인지 훈련 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016100033A (ja) * 2014-11-19 2016-05-30 シャープ株式会社 再生制御装置
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016100033A (ja) * 2014-11-19 2016-05-30 シャープ株式会社 再生制御装置
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131178A1 (ja) * 2020-12-15 2022-06-23 株式会社Ｊｖｃケンウッド ウェブ会議システム
WO2022209912A1 (ja) * 2021-03-30 2022-10-06 パナソニックＩｐマネジメント株式会社 集中値算出システム、集中値算出方法、プログラム、及び、集中値算出モデル生成システム
WO2022230443A1 (ja) * 2021-04-27 2022-11-03 オムロン株式会社 脈波検出装置および脈波検出方法、脈波検出プログラム
WO2024090830A1 (ko) * 2022-10-27 2024-05-02 한국 한의학 연구원 시선추적에 기반한 인지 훈련 방법 및 시스템

Similar Documents

Publication Publication Date Title
WO2020116181A1 (ja) 集中度計測装置及び集中度計測方法
JP4876687B2 (ja) 注目度計測装置及び注目度計測システム
US9842255B2 (en) Calculation device and calculation method
US9958939B2 (en) System and method for dynamic content delivery based on gaze analytics
US8724845B2 (en) Content determination program and content determination device
US20170311864A1 (en) Health care assisting device and health care assisting method
US9760765B2 (en) Digital signage apparatus which performs face recognition and determines whether a behavior of a person satisfies a predetermined condition, and computer readable medium
US20150006281A1 (en) Information processor, information processing method, and computer-readable medium
US20150289761A1 (en) Affective Bandwidth Measurement and Affective Disorder Determination
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
US20200005331A1 (en) Information processing device, terminal device, information processing method, information output method, customer service assistance method, and recording medium
JP2008112401A (ja) 広告効果測定装置
US20220346683A1 (en) Information processing system and information processing method
WO2019236836A8 (en) Targeted advertisement system
US20150010206A1 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
EP4189526A1 (en) Systems and methods for object tracking using fused data
KR20120087679A (ko) 동작인식 맞춤형 광고시스템
WO2020203350A1 (ja) 集中度計測装置、集中度計測方法、及び、プログラム
US9324292B2 (en) Selecting an interaction scenario based on an object
JP2017054229A (ja) 人物判別システム
WO2019150954A1 (ja) 情報処理装置
US20220189200A1 (en) Information processing system and information processing method
WO2018163560A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2010061328A (ja) 注目度測定可視化システム
JP6576181B2 (ja) イベント支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19892075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19892075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP