WO2023119526A1 - ウェアラブルデバイスおよび行動評価システム - Google Patents

ウェアラブルデバイスおよび行動評価システム Download PDF

Info

Publication number
WO2023119526A1
WO2023119526A1 PCT/JP2021/047711 JP2021047711W WO2023119526A1 WO 2023119526 A1 WO2023119526 A1 WO 2023119526A1 JP 2021047711 W JP2021047711 W JP 2021047711W WO 2023119526 A1 WO2023119526 A1 WO 2023119526A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
distance
wearable device
wearer
time
Prior art date
Application number
PCT/JP2021/047711
Other languages
English (en)
French (fr)
Inventor
眞弓 中出
万寿男 奥
貞雄 鶴賀
敬治 内田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2021/047711 priority Critical patent/WO2023119526A1/ja
Publication of WO2023119526A1 publication Critical patent/WO2023119526A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to wearable devices and behavior evaluation systems.
  • Patent Document 1 in order to measure the relationship between people belonging to an organization, it is possible to detect the state in which people wearing face-to-face sensors face each other, and through the creation and analysis of face-to-face histories between people, Systems have been proposed for visualizing the degree of tissue activity.
  • action cams wearable devices that use a camera to capture the background in front of a person's line of sight and create content based on activities such as sports, are on the market.
  • a laser beam is irradiated while scanning, and the distance to the background is calculated by measuring the arrival time and phase difference of the reflected light.
  • a ranging sensor LiDAR: Light Detection And Ranging
  • Distance measuring sensors are also known to be used in portable information devices.
  • Patent Document 1 focuses on estimating the degree of activity of an organization, and does not mention the utilization of direct relationships between people.
  • the technology described in Patent Document 1 also has a problem that face-to-face measurement between people can only be performed between people wearing face-to-face sensors.
  • Patent Document 1 does not describe the utilization of direct relationships between people. Moreover, the technique described in Patent Document 1 has a problem that all persons belonging to the organization must wear face-to-face sensors.
  • the purpose of the present invention is to provide a wearable device and behavior evaluation that can measure and evaluate the direct relationship between the wearer and the target person, and clearly indicate the evaluation results, thereby making the wearer aware of the behavior of the wearer. It is to provide a system.
  • a wearable device includes an imaging device that captures a target person in front of or around the wearer to generate a subject image
  • a distance measuring device that measures the distance between the wearer and the target person and obtains distance data
  • detecting and recognizing the face of the subject person included in the subject image and determining the subject image so as to give the wearer an expression evaluation score based on the facial expression of the subject person obtained by the face recognition; a subject image processing device for processing;
  • a distance image processing device that obtains the distance between the wearer and the target person by analyzing the distance image obtained by mapping the distance data, and obtains a distance evaluation point according to the distance;
  • a behavior evaluation system comprises: the above wearable device; and and a server device that acquires the action evaluation score output from the output processing device and provides the acquired action evaluation score to an external device owned by a related person of the target person.
  • the direct relationship between the wearer and the target person is measured and evaluated, and the evaluation results are clearly indicated to make the wearer aware of the behavior. It is possible to provide a wearable device having an action evaluation function and an action evaluation system.
  • FIG. 1 is a block configuration diagram of a wearable device according to Embodiment 1;
  • FIG. It is a figure for demonstrating the relationship between the wearer of a wearable device, and a subject.
  • BRIEF DESCRIPTION OF THE DRAWINGS It is a perspective view explaining the structure of the head mounted display (HMD) which is one form of a wearable device.
  • 4 is a flowchart for explaining the operation of the head mounted display according to Embodiment 1;
  • FIG. 10 is a graph for explaining how evaluation points for behavior of a wearable device wearer change over time;
  • FIG. 10 is a diagram illustrating a table in which types of facial expressions of a target person (person to be set) are associated with facial expression evaluation points;
  • FIG. 10 is a diagram illustrating a table in which distances between wearers and target persons (to-be-set persons) are associated with distance evaluation points;
  • FIG. 10 is a diagram showing a display example of action evaluation results for the wearer of the wearable device; It is a flowchart which shows the process which acquires a cumulative action evaluation result. It is a figure which shows the example of a display of an accumulation action evaluation result. It is a figure which shows the example of a display of an accumulation action evaluation result.
  • FIG. 11 is a diagram for explaining the relationship between the angle of view of the camera and the measurement angle of the distance measuring device in Embodiment 2; It is a figure explaining the process which tracks a target person from a distance image.
  • FIG. 10 is a diagram illustrating a table in which distances between wearers and target persons (to-be-set persons) are associated with distance evaluation points;
  • FIG. 10 is a diagram showing a display example of action evaluation results for the wearer of the wearable device; It is a
  • FIG. 10 is a flowchart for explaining processing executed by a controller according to Embodiment 2;
  • FIG. FIG. 10 is a diagram for explaining the configuration of Embodiment 3, and shows the system configuration of an action evaluation system including a wearable device; It is a figure explaining the data structure of an action evaluation result.
  • FIG. 10 is a sequence diagram when monitoring behavior evaluation results; It is a figure explaining the scene where several object persons exist.
  • FIG. 13 is a flow chart showing an example of processing executed by a wearable device according to Embodiment 4;
  • FIG. It is a figure explaining the structure of the database of the action evaluation result corresponding to several object persons. It is a figure which shows the example of a display of an action evaluation result.
  • a device that analyzes and evaluates the degree of contact between people and encourages the user to act, thereby contributing to the mental health of the user and the health of the contact target. and systems, etc.
  • the technology of the present disclosure makes it possible to maintain the mental and physical health of people, thereby achieving the Sustainable Development Goals (SDGs) advocated by the United Nations (United Nations). contribute to the health and well-being of all.
  • SDGs Sustainable Development Goals
  • wearable devices are used to analyze the degree of contact between people. Specifically, the degree of contact between a user wearing a wearable device (hereinafter referred to as a “wearer”) and a person photographed or recognized by the wearable device (hereinafter referred to as a “target person”) is and through image analysis such as face recognition.
  • a wearable device hereinafter referred to as a “wearer”
  • a target person a person photographed or recognized by the wearable device
  • the degree of contact between the wearer and the target person is determined by the facial expression of the target person obtained by face recognition, the distance between the wearer and the target person, and the time the wearer acted with respect to the target person. , etc. are calculated as “behavior evaluation points”.
  • This "action evaluation point” consists of “expression evaluation point” based on the facial expression of the target person, "distance evaluation point” according to the distance between the wearer and the target person, and the action time of the wearer who was evaluated. It is possible to calculate by calculating the "action evaluation time” and the like, and substituting these scores and times into a predetermined arithmetic expression, for example.
  • the calculated “behavior evaluation score” is a point that comprehensively evaluates the wearer's behavior (degree of contact) with respect to the target person. and can contribute to the mental and physical health maintenance of each subject.
  • the wearable device includes an image capturing device that captures a target person in front of or around the wearer to generate a subject image, and a subject image processing device that performs subject person detection and face recognition, and processes the subject image so as to give a wearer an expression evaluation score based on the subject person's facial expression obtained by face recognition.
  • the wearable device uses a distance measuring device that measures the distance between the wearer and the target person to acquire distance data, and a distance image obtained by mapping the distance data.
  • a distance image processing device that obtains the distance between the wearer and the target person by analysis and acquires a distance evaluation point according to the distance.
  • the wearable device calculates the wearer's behavior evaluation score from the expression evaluation score, the distance evaluation score, and the behavior evaluation time as the evaluation target wearer's behavior time.
  • An output processing device is provided for executing an evaluation process for obtaining an action evaluation score for evaluating an action and outputting the action evaluation score.
  • the "subject image processing device”, “distance image processing device”, and “output processing device” can be realized by a processor (such as a CPU) mounted on the wearable device or an external server device.
  • a processor such as a CPU
  • Each of these devices can be implemented either by the same processor or by separate processors, but the following assumes an example implemented by a single processor implemented in a wearable device.
  • FIG. Embodiment 1 discloses a wearable device that is worn by a user (hereafter referred to as "wearer").
  • This wearable device is equipped with an imaging device such as a camera and a distance measurement device such as a distance sensor, and has a behavior evaluation function that measures the degree of relationship between the person (target person) captured by these devices and the wearer. be.
  • FIG. 1 is a block configuration diagram of a wearable device according to Embodiment 1.
  • FIG. 1 is a block configuration diagram of a wearable device according to Embodiment 1.
  • the wearable device 1 of Embodiment 1 includes a camera 10 (imaging device), a distance measuring device 11, a sensor section 12, an image display section 13, an audio input/output section 14, an operation
  • An input unit 15 a communication unit 16 , a main processor 17 , a RAM 18 and a flash ROM (FROM) 19 are provided.
  • the main processor 17 is a main control unit that controls the entire wearable device 1 according to a predetermined program.
  • the main processor 17 is realized by a CPU (Central Processor Unit) or a microprocessor unit (MPU).
  • the main processor 17 performs operation control processing of the entire wearable device 1 by executing programs such as an operating system (OS) and various operation control applications stored in the storage device 110 .
  • OS operating system
  • various operation control applications stored in the storage device 110 .
  • the main processor 17 controls activation operations of various applications.
  • the sensor unit 12, the communication unit 16, the main processor 17, the RAM 18, and the flash ROM (FROM) 19 serve as a control device or controller 21 (see the dotted frame in FIG. 1) in the wearable device 1. .
  • the camera 10 is an image capturing device that captures a target person in front of or around the wearer to generate a subject image.
  • the camera 10 includes an image sensor such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor), an optical lens, and the like.
  • the camera 10 photographs the background in front of the wearer's line of sight within the range of the angle of view (see also FIGS. 2 and 3 as appropriate). For this reason, when photographing a surrounding target person who is not positioned in front of the line of sight, the wearer's face or body should be directed toward the target person to be photographed.
  • the distance measuring device 11 is a distance measuring device generally called a distance sensor or a distance measuring sensor, and has a function of measuring the distance between the wearer and the target person to obtain distance data.
  • the ranging device 11 is a device equipped with a ranging sensor (also called optical radar) such as LiDAR (Light Detection And Ranging).
  • a ranging sensor also called optical radar
  • LiDAR Light Detection And Ranging
  • Such a distance measuring device 11 irradiates, for example, a laser beam from a light source (laser diode, etc.) inside the sensor in a scanning manner, and the reflected light reflected by the object to be measured is received by the light receiving element of the sensor. It has a configuration for measuring the time to. According to the distance measuring device 11 having such a configuration, the distance to the background (various objects, persons, etc.) in front of the line of sight of the wearer is measured, and distance data is acquired. Further, the distance measuring device 11 generates a distance image by two-dimensionally mapping the measured and acquired distance data with respect to the object to be measured.
  • a distance measuring device 11 irradiates, for example, a laser beam from a light source (laser diode, etc.) inside the sensor in a scanning manner, and the reflected light reflected by the object to be measured is received by the light receiving element of the sensor. It has a configuration for measuring the time to. According to the distance measuring device 11 having such a
  • the sensor unit 12 includes various sensors other than the range finding sensor (range finding device 11) described above, such as a GPS sensor, a gyro sensor, a geomagnetic sensor, an acceleration sensor, etc., as shown in FIG.
  • the configuration of each of the above sensors in the sensor unit 12 is well known and has little relevance to the first embodiment, so a detailed description is omitted.
  • the image display unit 13 plays a role of displaying images generated by the controller 21 .
  • images generated and displayed by the controller 21 There are various types of images generated and displayed by the controller 21.
  • an image of the wearer's action evaluation result can be mentioned, and the details of this image will be described later.
  • the audio input/output unit 14 includes a microphone (hereinafter abbreviated as "microphone”) for inputting (collecting) audio, and a speaker for outputting (pronouncing) audio.
  • microphone hereinafter abbreviated as "microphone”
  • speaker for outputting (pronouncing) audio.
  • the operation input unit 15 may be any device such as a touch sensor for inputting the wearer's finger operation, a microphone for inputting the voice of the wearer, or a sensor for detecting the movement of the wearer's hand captured by the camera 10. , or a configuration in which a plurality of these are combined.
  • the communication unit 16 includes, for example, a wireless LAN for 4G (Generation) and 5G mobile communication. When necessary, the communication unit 16 selects appropriate processing from among communication protocols and connects the wearable device 1 to a network or the like.
  • the FROM 19 is a non-volatile memory medium, and contains a basic operation program 91 and an action evaluation program 92 (hereinafter sometimes simply referred to as processing programs 91 and 92) as processing programs executed by the main processor 17, and various data. and a data section 93 in which is stored.
  • the processing programs 91 and 92 are read out by the main processor 17 and developed in the RAM 18 to be executed.
  • the data section 93 stores data necessary for executing the processing programs 91 and 92 .
  • the FROM 19 may be a single memory medium as shown, or may consist of a plurality of memory media. Furthermore, non-volatile memory media other than flash ROM may be used.
  • FIG. 2 is a diagram for explaining the relationship between the person wearing the wearable device and the subject. Referring to FIG. 2, a wearer 3 wearing the wearable device 1 and a target person 4 who is the subject of behavior evaluation and behavior of the wearer 3 are shown.
  • the wearer 3 is a parent
  • the target person 4 is an infant
  • the action of the wearer 3 (and thus the type of action evaluation) is childcare.
  • the wearable device 1 is a head-mounted display (HMD).
  • the wearer 3 can appropriately use the wearer 2 such as a fastener to hold the wearable device 1 so that it does not slip off or fall off the face.
  • the wearable device 2 may have a form in which the wearable device 1 is worn on the head of the wearer 3 like a hair band, or the wearable device 1 (HMD in this example) and the wearable device 2 may be integrated. It may be configured as follows.
  • the wearable device 1 captures (photographs) the target person 4 with the camera 10 (see FIG. 1), and evaluates the behavior of the wearer 3 toward the target person 4 by executing the processing programs 91 and 92. , the results of such behavioral evaluation (hereinafter referred to as “behavioral evaluation results” and sometimes abbreviated as “evaluation results” as appropriate) are recorded.
  • the behavior evaluation results can be output to the display of the HMD, that is, the screen displayed in front of the wearer 3 . Therefore, the wearer 3 can use the wearable device 1 hands-free.
  • FIG. 3 is an example of an external view of an HMD, which is one form of wearable device.
  • the wearable device 1 includes a camera 10, a distance measuring device 11, an image display section 13, an audio input/output section 14, an operation input section 15, and various blocks ( (see dotted frame).
  • the image display section 13 is implemented as projectors 13a and 13b and a main screen display section 13c (a transflective screen in this example).
  • the camera 10 and the distance measuring device 11 are arranged side by side substantially in the center of the upper portion of the housing (front frame 22c) of the HMD.
  • the controller 21 is provided on one of the lateral frames 22b corresponding to the temples (eyeglasses) of the HMD, in this example, the right lateral frame 22b.
  • the front frame 22c includes, as the image display unit 13, an L projector 13a on the left side, an R projector 13b on the right side, and a main screen having a larger area than these projectors 13a and 13b.
  • a display unit 13c is provided.
  • a nose pad 23 as a component of the wearing tool 2 described above with reference to FIG. 2 is provided in the center of the main screen display portion 13c.
  • the user wears the HMD 1 on his or her face (head) by hanging the tip sides of the horizontal frames 22a and 22b on both ears and placing the nose pad 23 on the nose.
  • the main screen display section 13c is a semi-transmissive screen in this example, but as another example, it may be a non-transmissive display. can be confirmed.
  • non-transmissive displays include, for example, display devices that use lasers, liquid crystal panels, organic EL (EL: Emitting Diode), etc. Even if the user views the display device directly through a lens, etc. good
  • the main screen display unit 13c is a transflective screen
  • the user visually recognizes the front background that is transmitted through the transflective screen.
  • the main screen display unit 13c is a non-transmissive display
  • the user confirms the front background by displaying a camera image of the front background on the non-transmissive display.
  • the camera 10 is attached to the front frame 22c (housing) of the HMD so as to photograph the background in front of the user's line of sight.
  • a distance measuring device 11 arranged next to the camera 10 measures the distance to an object in the background in front of the user's line of sight.
  • the controller 21 receives an image captured by the camera 10 (hereinafter referred to as a "camera image”) and a distance image generated by the rangefinder 11, and stores the image in the internal memory (RAM 18 or data unit 93) and the main processor 17. supply to The controller 21 also generates images to be projected or displayed on the image display section 13 (L projector 13a, R projector 13b, main screen display section 13c) and sounds to be output from the speaker 14a.
  • a camera image an image captured by the camera 10
  • RAM 18 or data unit 93 main processor 17
  • the controller 21 also generates images to be projected or displayed on the image display section 13 (L projector 13a, R projector 13b, main screen display section 13c) and sounds to be output from the speaker 14a.
  • the controller 21, particularly the main processor 17, performs functions such as "subject image processing device”, “distance image processing device”, and "output processing device".
  • the controller 21, the camera 10, the distance measuring device 11, the speaker 14a, and the microphone 14b are arranged in the corresponding frames 22a to 22c as described above, but the arrangement locations of these parts are not necessarily as shown in FIG. I don't mind.
  • FIG. 4 is a flowchart for explaining the operation of the head mounted display according to Embodiment 1.
  • FIG. The flowchart of FIG. 4 shows the flow of processing based on the behavior evaluation program 92, and the main processor 17 that has loaded the behavior evaluation program 92 is the main subject of the processing. Then, according to the control signal output from the main processor 17, the corresponding blocks of the wearable device 1 operate to perform each process of the flowchart.
  • step S11 after starting execution of the behavior evaluation program 92, the main processor 17 outputs control information to the camera 10 so as to acquire a camera image.
  • This acquisition of the camera image may be performed in synchronization with the timing of photographing by the camera 10, or, for example, 30 fpS (frame per second) image photographing may be performed continuously to obtain an image at an arbitrary timing.
  • 30 fpS frame per second
  • the main processor 17 performs new face data registration processing or face recognition processing based on comparison with already registered face data for the face captured by the acquired camera image.
  • the main processor 17 can perform processing of assigning and registering the identification number of the target person based on the operation content of the operation input unit 15 by the user (wearer). .
  • step S13 the main processor 17 determines whether or not the target person has been registered or recognized.
  • step S13 NO
  • the main processor 17 determines that the target person is not registered or recognized (step S13: NO)
  • the face captured in the camera image is not the target person's face, or the face is not in the camera image. It is judged that it is the case that it is not photographed. In this case, the main processor 17 returns to step S11 to reacquire the camera image, and repeats the above-described steps S11 to S13.
  • step S13 when determining that the target person is registered or recognized (step S13: YES), the main processor 17 identifies (sets) the target person who is the action target of the user (wearer), and proceeds to step S14. .
  • step S14 the main processor 17 starts accumulating the program execution time.
  • step S15 the main processor 17 determines whether or not the timing of the predetermined cycle has arrived.
  • step S15: NO if the main processor 17 determines that the timing of the predetermined cycle has not arrived (step S15: NO), the main processor 17 continues the determination of step S15 until it determines that the timing of the predetermined cycle has arrived (step S15: YES). repeat.
  • step S15 determines that the timing of the predetermined cycle has arrived (step S15: YES)
  • steps S16 to S19 the following processes of camera image processing (steps S16 to S19) and distance image processing (step S20) are performed. to step S22).
  • the main processor 17 executes the camera image processing process (steps S16 to S19) and the range image processing process (steps S20 to S22) in parallel (simultaneously).
  • the processing of the process is illustrated.
  • the main processor 17 may be configured to perform serial processing, for example, the distance image processing process (steps S20 to S22) may be executed after the camera image processing process (steps S16 to S19). good.
  • step S ⁇ b>16 at the start of the camera image processing process, the main processor 17 acquires the camera image captured by the camera 10 .
  • the main processor 17 performs face recognition processing and person detection processing captured (pictured) in the acquired camera image.
  • step S18 the main processor 17 determines whether or not the target person set in step S13 (hereinafter also referred to as "person to be set") is captured in the acquired camera image. More specifically, at step S18, the main processor 17 checks the detection or recognition result at step S17. In one specific example, the main processor 17 determines whether or not a person has been detected in the camera image, and if so, whether or not the person is a set person. The main processor 17 also determines whether or not a face has been recognized in the camera image, and, if recognized, whether or not the face is the face of the person to be set.
  • the main processor 17 determines whether or not the person is the person to be set based on the result of the face recognition.
  • the face of the person detected in the camera image is unclear (when face recognition cannot be performed), for example, when the detected person faces backward, the main processor 17 is the person to be set.
  • the main processor 17 determines the similarity of the clothing color and texture of the person recognized immediately before (when setting the target person (person to be set) before step S14), the face and body It judges the appropriateness of the movement distance considering the body balance and the motion vector.
  • the detected target person shares its location and size within the image with the range image processing process (see step S25).
  • step S18 NO
  • the main processor 17 determines that the person to be set (the set target person) is not captured in the camera image (step S18: NO)
  • the main processor 17 returns the process to step S15 and executes the process from step S23 onward. do.
  • the contents of the processing after step S23 will be described later.
  • step S19 the main processor 17 obtains a facial expression evaluation score based on the recognized facial expression of the subject.
  • the main processor 17 acquires the facial expression evaluation score using a table that associates facial expression types (laughing, angry, crying, etc.) with facial expression evaluation scores. An example of this table will be described later with reference to FIG.
  • the main processor 17 may modify or calculate the facial expression evaluation score based on the facial expression of the person to be assigned, while considering other gestures of the person to be assigned.
  • the "other gestures" of the person to be set include the degree of emotion in the voice uttered by the person to be set (so-called voice tone), and gestures of the hand (arm) and body of the person to be set captured in the camera image. Including emotional expressions.
  • the main processor 17 obtains the final facial expression evaluation score by adding the scores based on the above-described other gestures to the facial expression evaluation score obtained corresponding to the facial expression of the person to be set.
  • the main processor 17 acquires the distance image measured by the distance measuring device 11 .
  • the main processor 17 receives or appropriately refers to the existence information of the person to be assigned and the position of the person to be assigned within the camera image obtained in the above-described camera image processing process (step S18, etc.). Through such processing, the main processor 17 acquires or calculates a more accurate three-dimensional coordinate position of the person to be set in front of the user (wearer), and acquires the distance between the wearer and the person to be set. Then, in step S22, the main processor 17 obtains a distance evaluation point based on the distance between the wearer and the person to be set.
  • the main processor 17 records and adds up these evaluation points in step S25 after the facial expression evaluation points are obtained in step S19 and the distance evaluation points are obtained in step S22.
  • Such recording and integration processing may be recorded (integrated) in the data section 93 in the wearable device 1, or may be recorded (integrated) in the recording medium of the server via the network.
  • step S18 NO
  • the process returns to step S15.
  • the camera image and the distance image are acquired again, and the processing from step S23 onwards is executed.
  • step S23 the main processor 17 starts counting the time during which the person to be set cannot confirm (step S18: the time during which the determination of NO is repeated).
  • step S24 the main processor 17 determines whether or not the counted time has exceeded the threshold TH.
  • step S24 NO
  • step S24: YES the main processor 17 determines that the behavior of the user (wearer) toward the person to be set has come to an end, and step S26. transition to
  • step S26 the main processor 17 calculates the statistical value of the evaluation points recorded (accumulated) in step S25 described above.
  • the main processor 17 calculates a value obtained by normalizing the evaluation points (facial expression evaluation points and distance evaluation points) recorded (accumulated) at that time by the action evaluation time (for example, program execution time). do.
  • the main processor 17 outputs the calculated value as the action evaluation result (step S27), and proceeds to step S28.
  • step S28 the main processor 17 determines whether or not a reason for terminating the program has occurred.
  • This "termination reason” includes, for example, a case where an instruction to shut down the program or turn off the power is received according to the user's (wearer's) input operation.
  • step S28 determines that the reason for terminating the program has not yet occurred (step S28: NO)
  • the main processor 17 determines that the work of the user (wearer) has not yet finished, and performs step S11. to repeat the above-described process.
  • the main processor 17 initializes the program execution time (behavior evaluation time for the user (wearer)) and starts accumulating the time in step S14 to be executed again.
  • step S28 determines that a reason for terminating the program has occurred (step S28: YES), it determines that the user (wearer) has completed the task, etc., and terminates the series of processes shown in FIG. do.
  • FIG. 5 is a graph for explaining how an evaluation score for behavior of a wearable device wearer changes over time.
  • the vertical axis indicates evaluation points
  • the horizontal axis indicates transition of time or program execution time (wearer's behavior evaluation time).
  • the step numbers of the processes described in FIG. 4 are added to FIG. 5 as appropriate.
  • step S18 when the main processor 17 of the wearable device 1 recognizes and sets the person (target person) in the camera image as the person to be set (when it is determined YES in step S18 executed first) ), the evaluation of the behavior of the wearer (giving and recording evaluation points, and accumulating) is started.
  • the above-described camera image processing process, distance image processing process, and the like are performed at regular intervals T shown in FIG.
  • the period T corresponds to the timing at which YES is determined in step S15.
  • the “evaluation score” shown on the vertical axis of the graph in FIG. 5 is the sum of the facial expression evaluation score and the distance evaluation score.
  • the facial expression evaluation point is added, so the evaluation point becomes higher (see the evaluation point of "(S18: YES) with face recognition” in FIG. 5).
  • the evaluation score is only the distance evaluation score, so the evaluation score is relatively low (“(S18: NO) face recognition not possible” in FIG. 5).
  • the subject is not captured in the camera image (see step S18 in FIG. 4 as appropriate: branch of NO) and the target person is not captured in the range image either.
  • the evaluation point becomes zero (see the evaluation point of "not measured by the subject” in FIG. 5).
  • this "non-measurement of the subject" time here, the time when the evaluation point is zero
  • the threshold TH see step S24 in FIG. 4 as appropriate
  • the first period is output as an action evaluation result (see steps S26 and S27 in FIG. 4 as appropriate).
  • the "NT" period shown in FIG. 5 corresponds to the "action evaluation time” as the action time of the wearer who is the evaluation target.
  • step 18 YES in FIG. 4 and "recognition of the subject” in FIG. 5
  • the wearer's next Facial expression evaluation or distance evaluation during the action period (new action evaluation period) is recorded and accumulated (see step S25 in FIG. 4, etc.).
  • the method of assigning action evaluation points, the execution timing of the program, etc. are not limited to the above example, and may be, for example, as follows. That is, when the target person (person to be assigned) is not captured in the camera image (step S18 in FIG. 4: NO), the evaluation score is zero even if the person to be assigned can be detected in the distance image. In this case, when the period during which the target person is not captured by the camera image exceeds a certain period (see step S24 in FIG. 4 as appropriate), the execution of the program is suspended and the behavior evaluation result is output. Then, when the target person is recognized again in the camera image, behavior evaluation is resumed.
  • FIG. 6 is a diagram illustrating a table that associates the types of facial expressions of the target person (person to be set) with facial expression evaluation points. Such a table can be used in the facial expression evaluation processing in step S19 described above.
  • the types of facial expressions (Category) are set in the upper row, and the corresponding facial expression evaluation points (Evaluation Points) are set in the lower row.
  • the facial expression evaluation score is an average value (50 points in this example), and the facial expression evaluation score is high in order of "smile” and “laughter” ( In this example, the scores are 80 points and 100 points, respectively), and the facial expression evaluation points are low in the order of "anger” and "crying” (20 points and 0 points, respectively).
  • FIG. 7 is a diagram exemplifying a table in which distances between the wearer and the target person (target person) are associated with distance evaluation points.
  • This table can be used in the distance evaluation process in step S22 described above.
  • the distance from the subject is set in the upper row, and the corresponding distance evaluation points (Evaluation Points) are set in the lower row.
  • the maximum score 100 points is obtained when the distance to the subject is "less than 0.5m", and "less than 1m”, “less than 3m”, “less than 10m”, “ 10m or more”, the evaluation points are reduced to “80 points”, “50 points”, “20 points”, and “0 points”.
  • FIG. 8 is a diagram showing a display example of behavior evaluation results for the wearer of the wearable device.
  • the display screen 30 shown in FIG. 8 is displayed on the image display unit 13 of the wearable device 1, for example, during the process of step S27 described above with reference to FIG.
  • an example of a calculation formula for calculating the behavior evaluation result is shown above the display screen 30 in FIG.
  • the behavior evaluation score is calculated by integrating the facial expression evaluation score (i) and the distance evaluation score (i) recorded at each timing, and calculating the statistical value of each of the integrated values. It is obtained by normalizing each statistical value by the behavior evaluation time described above (see the period NT shown in FIG. 5, etc.). This calculation (computation) is executed by the main processor 17 in step 26 of FIG. 4 described above.
  • the "statistical value" calculated by the main processor 17 may be an average value such as an addition average value or a weighted average value.
  • the main processor 17 adds and averages each of the accumulated facial expression evaluation points and distance evaluation points to calculate each addition average value (see the formula shown in FIG. 8).
  • the main processor 17 adds a predetermined coefficient (weight value ) (e.g., rate “laughter” higher, rate distance “less than 0.5 m” higher, etc.) to calculate a weighted average value.
  • the main processor 17 divides the addition average value (or weighted average value) calculated as described above by the program execution time N (which is approximately equal to the behavior evaluation time) to normalize it. By doing so, the behavior evaluation score is calculated. Thus, the calculated behavior evaluation score is displayed at the position of "XXX" in the display screen 30.
  • the display screen 30 shown in FIG. 8 shows the case of the simple display format.
  • the "time” in the display screen 30, in this example, the time period from 9:12 am on January 26, 2021 to 10:45 am on the same day is the time period in which the program described above in FIG. 4 was executed. Yes, equal to the time period during which the wearer's behavior was evaluated.
  • an action evaluation point calculated by normalization a general comment on the action evaluation result ("Good” in this example), and "Continue can be evaluated by
  • the additional comment shown in the figure is a message to the effect that behavior evaluation can be continued if the person to be set is recognized again.
  • a graphic display format for graphically displaying the time transition of the evaluation as shown in FIG. 5 can be selected. good too.
  • FIG. 9 is a flowchart showing the process of acquiring cumulative behavior evaluation results.
  • the cumulative behavior evaluation result can be defined as the cumulative value of behavior evaluation points in a specific period, and can be obtained by executing the behavior evaluation program 92 .
  • the action evaluation points described above in FIG. 8 are the evaluation points normalized by the action time, and are the evaluation results related to the so-called "action quality".
  • the accumulated evaluation points obtained according to the flow of FIG. 9 are obtained by accumulating the evaluation points for each evaluation time for a specific period without normalization, and correspond to the so-called “amount of behavior".
  • the "specific period" can be arbitrarily set in units such as "one day”, “one week”, “one month”, and "one year”.
  • step S101 after starting the cumulative evaluation point acquisition process the main processor 17 sets the above-described "specific period" according to, for example, a user's (wearer's) operation (setting instruction).
  • step S102 the main processor 17 sequentially reads the evaluation data within the set period. Then, in step S103, the main processor 17 accumulates (sequentially adds) the evaluation points within the set period, and after accumulating all the evaluation points within the period, proceeds to step S104. In step S104, the main processor 17 outputs the finally obtained cumulative value as the cumulative evaluation result.
  • the main processor 17 determines whether or not to end the cumulative evaluation score acquisition process.
  • step S105 NO
  • the main processor 17 determines that the cumulative evaluation point acquisition process has not yet ended (step S105: NO)
  • it returns to the above-described step S101 and repeats the above-described processes.
  • the user can recalculate and output a different cumulative evaluation score by, for example, setting a different specific period.
  • step S105 determines to end the cumulative evaluation point acquisition process
  • FIGS. 10A and 10B are diagrams showing display examples of cumulative behavior evaluation results.
  • FIG. 10A is a display example of the accumulated behavior evaluation result when the evaluation period is completed.
  • FIG. 10B is a display example of cumulative action evaluation results when the evaluation period has not yet been completed (is in progress). Specifically, in the case where the evaluation target period is set from January 31 (Sunday) to February 6 (Saturday) in 2021, in FIG. 10B, the display time is February 5 The case of Sunday (Friday) is shown.
  • a preset evaluation period one week in this example
  • accumulated evaluation points within the evaluation period are shown.
  • the evaluation period is set to one week, and the accumulated evaluation points in units of one day and the accumulated evaluation points in units of one week are displayed.
  • the wearer who sees such an evaluation point can self-manage the target of the action pattern for one week, for example, if the wearer does not touch much on weekdays, he/she will touch more on weekends.
  • the cumulative evaluation points for this week calculated this time are also displayed so as to show the ratio of the cumulative evaluation calculated last week (last week).
  • the remaining points until reaching the target point for the week in this example, the final day, February 6 (Saturday) shows the evaluation points (1888 points) to be obtained.
  • a wearable device having an action evaluation function that evaluates the direct action between the wearer and the target person and gives notice of the action, etc. is provided. can provide.
  • the target person there is no need for the target person to wear anything, so there is a feature that the target person can be freely selected (the degree of freedom in selecting the target person is high).
  • an integrated HMD head mounted display
  • the wearable device 1 an integrated HMD (head mounted display) is exemplified here, but it is not limited to this.
  • the controller 21 subject image processing device, distance image processing device, output processing device
  • the HMD camera 10, distance measuring device 11, image display unit 13, etc.
  • the camera 10, the distance measuring device 11, and the like may be arranged in a neck-type or watch-type wearable device.
  • FIG. 11 is a diagram for explaining the relationship between the angle of view of the camera and the measurement angle of the distance measuring device in the second embodiment.
  • the measurement angle 40 of the distance measuring device 11 is set wider than the angle of view of the camera 10 (camera angle of view 41).
  • a method for widening the measurement angle 40 of the distance measuring device 11 there is a method of widening the scanning (scanning) range of the laser light output from the light source described above, or a method of using a plurality of distance measuring sensors (optical radar, etc.). Any of these methods may be used, such as a method of using them in combination.
  • FIG. 12 is a diagram explaining the process of tracking a target person from a distance image.
  • a range image 51 generated by the distance measuring device 11 is shown in the outer frame
  • a camera image area 50 generated by the camera 10 is shown in the inner frame of the range image 51 .
  • the target person who was initially captured in the approximate center of the camera image 50 moves sequentially to each position of reference numeral 52b, reference numeral 52c, and reference numeral 52d in chronological order. I know how it goes.
  • the position indicated by reference numeral 52b is on the right end side within the camera image 50
  • the positions indicated by reference numerals 52c and 52d are on the right side outside the camera image 50 and within the range image 51.
  • a non-target person 53 is captured at the left position in the distance image 51 .
  • the area 50 of the camera image is also an area within the distance image 51, it is an area where the camera image and the distance image overlap, and is hereinafter also referred to as a "composite area 50".
  • the HMD controller 21 determines the target person (and thus the person to be set) in the combined area 50 by analyzing the camera image. For example, after the person to be set has been recognized, even if the person to be set moves and turns and face authentication becomes impossible, the person to be set can be recognized by person detection. More specifically, the persons at positions 52a and 52b in the composite area 50 can be easily identified as the person to be set in the distance image corresponding to the person to be set recognized in the camera image. .
  • the controller 21 extracts the characteristics of a person (not limited to the target person or the person to be set) in the distance image, the size of the person, the body balance, the motion vector, etc. as feature quantities. do.
  • the person to be set sequentially moves from the position indicated by reference numeral 52a to the positions indicated by reference numerals 52b, 52c, and 52d.
  • the persons indicated by reference numerals 52c and 52d are located outside the range of the camera image.
  • the controller 21 extracts the features of the person in the distance image, the size of the person, the balance of the body, the motion vector, etc. as feature amounts, and By comparing the feature amount of the person who was in the room, it is recognized that it is the result of the movement of the person to be set (the same target person).
  • the controller 21 recognizes that the person at the position 52d is the person to be set (the same target person) who has moved from the position 52c. On the other hand, the controller 21 determines that the person indicated by reference numeral 53 is too large compared to the amount of movement estimated from the motion vector of the person at the position indicated by reference numeral 52a, etc. It can be determined that the person is not the target person (non-target person).
  • FIG. 13 is a flow chart explaining the processing executed by the controller of the HMD according to the second embodiment.
  • the flowchart of FIG. 13 corresponds to the flowchart described above with reference to FIG. 4, and likewise, the main processor 17 that reads and executes the behavior evaluation program 92 is the subject of processing.
  • steps that perform the same processing as in the first embodiment described above with reference to FIG. 4 are given the same numbers.
  • the difference from the processing flow of FIG. 4 is the processing of steps S30 and S31 added to the range image processing process.
  • the branch destination for which the determination in S18 in the camera image processing process is NO and the processing in step S21 in the range image processing process are slightly different from those in the first embodiment (determination processing is included), so they are denoted by S21A.
  • the main processor 17 performs facial expression evaluation when the determination result of step S18 in the camera image processing process is NO (that is, when it is determined that the person to be set (the set target person) is not captured in the camera image). It is determined that (step S19) cannot be performed, and the process proceeds to step S21A.
  • step S21A after obtaining the result indicating that the person to be set (the person to be set) is not captured in the camera image, the main processor 17 determines whether the person to be set is within the composite area 50 described above. judge.
  • step S21A determines that the person to be set is within the combined area 50 (step S21A: YES)
  • the processing from step S25 onwards is performed through the distance evaluation in step S22, as in the flow of FIG. I do.
  • step S21A determines that the person to be set is not within the combined area 50 (step S21A: NO)
  • step S30 it is possible to confirm the presence or absence of the person to be set in a wider area outside the camera image, that is, in a wider area that cannot be captured by the camera image.
  • step S31 the main processor 17 determines whether or not the person to be set exists in the distance image.
  • step S31: YES when the main processor 17 determines that the person to be set exists in the distance image (step S31: YES), similar to the flow of FIG. .
  • step S31: NO determines that the person to be set does not exist in the distance image
  • step S23 the main processor 17 starts counting the time during which the person to be set cannot confirm (step S21A: the time during which the determination of NO is repeated).
  • step S24 the main processor 17 determines whether or not the counted time has exceeded the threshold TH.
  • step S24 NO
  • step S24: YES the main processor 17 determines that the behavior of the user (wearer) toward the person to be set has come to an end, and step S26. transition to
  • steps S27 and S28 are the same as the flow of FIG.
  • the same effects as those of the wearable device 1 according to the first embodiment can be obtained, and the following unique effects can be obtained. That is, according to the wearable device 1 of Embodiment 2, the distance measuring device 11 having a characteristic wide measurement angle is used to perform behavior evaluation with high followability to the movement of the target person (subject person). can be done.
  • FIG. 14 is a diagram for explaining the configuration of Embodiment 3, and shows the system configuration of an action evaluation system including wearable devices.
  • FIG. 14 in addition to the wearer 3 and the target person 4 in Embodiment 1 described above with reference to FIG.
  • the wearer 3 is a babysitter
  • the janitor 64 is the employer of the babysitter (that is, a related person of the wearer 3).
  • the custodian 64 may be a person related to the subject 4 (eg, a guardian such as a parent).
  • the manager 64 has a portable information device 65 and uses the portable information device 65 to evaluate the behavior of the wearer 3 (babysitter) with respect to the subject 4. The system will be configured so that the results can be checked online.
  • the manager 64 can use not only the portable information device 65 illustrated in FIG. 14, but also other information terminals such as a stationary PC. good.
  • the portable information device 65 is used, there is an advantage that the action evaluation result can be checked regardless of the location, such as on the go.
  • FIG. 14 blocks having the same functions as in FIG. 2 are given the same numbers. 14, further different from FIG. 2, the action evaluation system in Embodiment 3 uses a server device (action evaluation service server 63) capable of communicating with wearable device 1 and portable information device 65.
  • a server device action evaluation service server 63
  • the behavior evaluation service server 63 is arranged in a network 62 such as a LAN or the Internet, and can wirelessly communicate with the wearable device 1 and the portable information device 65 through the access point 61.
  • FIG. 14 shows communication between the communication unit 16 (see FIG. 1) of the wearable device 1 and the behavior evaluation service server 63 via the access point 61 via wireless communication signals 60a and 60b. ing.
  • the wearable device 1 converts data such as the facial expression evaluation points generated in step S19 and the distance evaluation points generated in step S22 into actions. It is sent to the evaluation service server 63 .
  • the behavior evaluation service server 63 that has received these data executes the processes after step S25 (recording and saving of behavior evaluation results) on behalf of or in parallel.
  • the integrated value of the behavior evaluation results is stored in a memory medium (HDD, etc.) of the behavior evaluation service server 63, and the stored behavior evaluation results can be monitored by the manager 64 using the portable information device 65. .
  • FIG. 15 is a diagram for explaining the data structure of the action evaluation result.
  • FIG. 16 is a sequence diagram for monitoring behavior evaluation results.
  • a service ID is given.
  • the Service ID shown in FIG. 15 is long as "550e8400-e29b", and in this case, the service user (administrator 64 in this example) receives the given Service ID ("550e8400-e29b... ”) by an operation such as drag-and-drop, a data display screen 70 as shown in FIG.
  • a plurality of data sets (two data sets 71 and 72) in which behavior evaluations of the wearer of the wearable device 1 are accumulated are displayed.
  • the data structure of the data sets 71 and 72 will be described below.
  • the action evaluation score (Score) is displayed.
  • Score "71" is displayed as the value of the action evaluation result for which the calculation process has already been completed (in other words, the normalization in step S26 described above has been performed).
  • the start time (Start Time) and end time (Stop Time) of the action evaluation are displayed.
  • the start Time 9:15:37 AM on January 26, 2021 is displayed as the Start Time, and 12:00:12 PM on the same day of the same year as the Stop Time. Therefore, the service user (manager 64) can know what time period the behavior of the wearer was evaluated.
  • a data set 71 is composed of the above data.
  • this data set 71 corresponds to the period NT shown in FIG.
  • a dataset 72 follows the dataset 71 described above. Note that the data structure of the data set 72 is also the same as that of the data set 71, so the points of difference will be described below.
  • the data set 72 does not display the Score numerical value because the behavioral evaluation results have not yet been finalized.
  • the data set 72 is the behavior evaluation result data evaluated next to the time period of the data set 71, and the Start Time is displayed as 13:22:46 on January 26, 2021. However, it indicates that the Stop Time is "Running", that is, it is in progress and the evaluation is incomplete.
  • the service user views the wearer's behavior evaluation and results during the morning by viewing the data set 71 in the data display screen 70 displayed on the display unit of the portable information device 65. be able to.
  • the manager 64 can monitor the wearer's behavior evaluation in real time from the afternoon by viewing the data set 72 currently being displayed (updated) in the data display screen 70 .
  • the portable information device 65 after being connected to the behavior evaluation service server 63, the portable information device 65 performs a predetermined operation (for example, an operation of designating a date) by the service user (manager 64) to determine the behavior time on a designated day. is obtained from the action evaluation service server 63 and displayed on the display unit. In this case, the portable information device 65 can display a data display screen 70 as shown in FIG. 15 by designating one of the start times in the list. As described above, if one of the start times in the list is specified, only the data set corresponding to the start time (for example, only one of data set 71 or data set 72 in FIG. 15) is acquired. and may be configured to display.
  • a predetermined operation for example, an operation of designating a date
  • the service user manager 64
  • the portable information device 65 after being connected to the behavior evaluation service server 63, the portable information device 65 performs a predetermined operation (for example, an operation of designating a date) by the service user (manager 64) to determine the behavior time on
  • the behavior evaluation service server 63 displays the data (the behavior evaluation score and the The facial expression evaluation point and the distance evaluation point, which are elements, are transmitted to the portable information device 65 .
  • the service user (administrator 64) can display the facial expression evaluation score, the distance evaluation score, and the action evaluation score on the portable information device 65 using the start time of the action time as an index for searching. can be browsed by
  • a data display screen 70 (both or only one of data sets 71 and 72 as shown in FIG. 15) as shown in FIG.
  • the image display unit 13 may be configured to display.
  • symbols T10 to T19 indicate the times from when an application prestored (installed) in the portable information device 65 (hereinafter abbreviated as "application”) is activated until service use is terminated (logout). show.
  • the administrator 64 operates the portable information device 65 to launch the above application (time T10).
  • the mobile information device 65 (the processing subject is the processor of the mobile information device 65, the same shall apply hereinafter) sends the preset Username and Password to the action evaluation service server 63 at time T11, and At T12, a ServiceID (see FIG. 15 as appropriate) is acquired from the action evaluation service server 63, and a setting input screen (not shown) is received.
  • This setting input screen is displayed on the display section of the portable information device 65 at time T13.
  • the manager inputs setting parameters (“setting P” in the figure).
  • the input setting parameters are transmitted to the behavior evaluation service server 63 at time T15.
  • the setting parameter is the Start Time of the data set to be monitored, which in this case is directly entered or selected from a pull-down menu.
  • the configuration parameters may also include parameters for selecting a display format for monitoring. As an example of selection of the monitor display format, for example, a tabular display such as the data set 72 in FIG. 15 or a graphical display such as that shown in FIG. 5 can be selected.
  • the behavior evaluation service server 63 that has received the setting parameters as described above sends data of the behavior evaluation result screen corresponding to the setting parameters (time T16).
  • the portable information device 65 that has received the data of the action evaluation result screen displays the action evaluation result screen on its own display unit at time T17 (see FIG. 15 as needed).
  • the administrator 64 operates the portable information device 65 to perform logout processing to terminate the application (time T18).
  • behavior evaluation service server 63 receives this logout signal (time T19)
  • action evaluation service server 63 terminates the service and the connection with portable information device 65 .
  • the manager 64 can check the action evaluation result of the wearer online, monitor the wearer in real time, and so on. It has the ability to
  • Embodiment 4 of the present disclosure will be described with reference to FIGS. 17 to 20.
  • FIG. 17 is a diagrammatic representation of FIG. 17 to 20.
  • FIG. 17 is a diagram explaining a scene in which there are multiple target persons.
  • FIG. 17 shows the relationship between the wearer 3 and the target person 4.
  • a nursery teacher takes care of multiple children and evaluates the behavior of the nursery teacher towards the children.
  • the nursery teacher becomes the wearer 3 of the wearable device 1 (HMD), and each kindergarten child 4 (4a to 4d) becomes the subject, and the subject does not need to wear anything.
  • HMD wearable device 1
  • a caregiver wearer 3 and a care recipient in a nursing care facility
  • a teacher wearer 3 and a student at an educational site
  • a store clerk wearer 3 and a customer (receiver)
  • FIG. 18 is a flowchart showing an example of processing executed by the wearable device 1 according to the fourth embodiment.
  • the same numbers are assigned to the steps that perform the same processing as in the processing flow of the first embodiment shown in FIG.
  • FIG. 18 differs from FIG. 4 in that it uses the face image database DB1. That is, in Embodiment 4, the face data of all the target persons are stored in advance in the face image database DB1.
  • step S12A after acquiring the camera image in step S11, the main processor 17 recognizes the face captured by the acquired camera image, which is registered in advance in the face image database DB1. Perform face recognition processing based on comparison with face data.
  • the subsequent processing in step S13 is the same as in FIG.
  • step S17 after acquiring the camera image in step S16, the main processor 17 stores the face captured in the acquired camera image in advance in the face image database DB1. Perform face recognition processing based on comparison with registered face data.
  • step S18 is the same as in FIG.
  • the main processor 17 refers to face image data for the number of target persons registered in the face image database DB1 in the face authentication in step S12A and the face authentication/person detection in step S17. . Then, the main processor 17 executes the facial expression evaluation in step S19, the distance evaluation in step S22, the evaluation recording/accumulation in step S25, and the evaluation result normalization in step S26 for each subject.
  • FIG. 19 is a diagram explaining the structure of a database of behavior evaluation results corresponding to a plurality of subjects.
  • a plurality of data sets two data sets 73 and 74 in which behavioral evaluations of the wearer of the wearable device 1 are accumulated are displayed.
  • the data set 73 shows the same time period as the data set 71 shown in FIG. 15, that is, the start time (Start Time) and end time (Stop Time) of behavior evaluation.
  • the behavior evaluation results consist of sub-data sets for each of the subjects A, B, C, and D indicated by reference numerals 73a to 73d.
  • processing such as evaluation of the behavior of the wearer with respect to a plurality of subjects can be performed by the subjects (subjects A, B, and C in this example). , D) in parallel.
  • FIG. 20 is a diagram showing a display example of behavior evaluation results in the fourth embodiment.
  • the behavior evaluation result is output as the display screen 30 to the image display unit 13 of the wearable device 1 based on the control signal of the controller 21 (output processing device).
  • the controller 21 of the wearable device 1 may transmit the data of the display screen 30 to the behavior evaluation service server 63 via the network 62 described above.
  • the display screen 30 can be displayed on the display section of the portable information device 65 connected to the behavior evaluation service server 63 .
  • evaluation points are displayed for each subject (A, B, C, D) (66, 48, 35, 75 points), and the comparison result of the evaluation points for each subject is displayed. displayed in a graph. Also, in this example, the difference for each target person (A, B, C, D) with respect to the average score (Ave.) of 65 points of the above evaluation points is displayed as a percentage. Furthermore, in this example, the color of the graph for the subject C, who received the lowest evaluation, is displayed in a different color from the graphs for the other subjects A, B, and D.
  • an advice (message output) is presented to say, "Let's do our best to take care of the subject C.”
  • this advice may be output as voice from the voice input/output unit 14 .
  • the evaluation score for a specific target person (for example, the target person C) is displayed over a plurality of behavior evaluation times. may be displayed in chronological order.
  • the start time of the action time may be used as an index for searching, and the display screen 30 of the action evaluation corresponding to the start time may be displayed.
  • the behavior evaluation for each target person is objective. It is characterized by the fact that it can be performed systematically and feedback on behavior can be easily obtained. Further, as shown in FIG. 20, according to the configuration in which the behavior evaluation points for each target person (A, B, C, D) are graphed and displayed in a list for comparison, for example, the display area of the display screen 30 is small. Even in this case, it is possible to easily grasp the evaluation results for each subject. In addition, by configuring to output a comprehensive comment of action evaluation, the wearer 3 can quickly comprehend points to reflect on this time.
  • the present invention is not limited to the specific examples of the embodiments described with reference to FIGS.
  • some of the functions performed by the controller 21 of the wearable device 1 may be performed by the behavior evaluation service server 63 described above. good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

装着者と対象人との直接的な関係性を測定および評価し、評価結果を明示することにより装着者の行動への気づき等を与えることが可能なウェアラブルデバイスおよび行動評価システムを提供する。また、人の精神的、肉体的健康の維持を可能にすることにより、持続可能な開発目標（ＳＤＧｓ）の「すべての人に健康と福祉を」に貢献する。ウェアラブルデバイス１は、対象人の被写体画像を生成する撮像装置１０、対象人との距離を測定して距離データを取得する測距装置１１、被写体画像内における対象人の顔認識で得られる顔の表情に基づく表情評価点を装着者に付与するように被写体画像を処理する被写体画像処理装置、距離データをマッピングした距離画像を解析して対象人との距離を求め、当該距離に応じた距離評価点を取得する距離画像処理装置、表情評価点、距離評価点、および装着者の行動評価時間から、当該装着者の行動を評価する行動評価点を求める評価処理を実行し、行動評価点を出力する出力処理装置、を備える。

Description

ウェアラブルデバイスおよび行動評価システム
　本発明は、ウェアラブルデバイスおよび行動評価システムに関する。
　特許文献１には、組織に属する人と人との関係性を測定するために、対面センサを装着させた人同士が対面した状態を検出し、人同士の対面履歴の作成、分析等を通じて、組織の活性度合いを視覚化するシステムが提案されている。
　また、カメラを装着して、人の目線の前方背景を撮影して、スポーツ等の行動をコンテンツとして制作するウェアラブルデバイス、いわゆる“アクションカム”が市販されている。
　さらに、例えば特許文献２に記載されているように、車の自動運転の分野では、レーザ光をスキャンしながら照射し、反射光の到達時間や位相差を計測することで、背景との距離を得る測距センサ（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）が知られている。測距センサは、携帯情報デバイスへの採用事例も知られている。
　しかしながら、特許文献１に記載の技術では、組織の活性度合いを推定することに着目されており、人と人との直接的な関係性の活用については何ら言及されていない。また、特許文献１に記載の技術では、人と人との対面計測は、対面センサを装着した人同士でしか行えないという課題もある。
特開２００８－２１０３６３号公報 国際公開２０１９－０８２９２６号
　上記のように、特許文献１では、人と人との直接的な関係性の活用についての記載がない。また、特許文献１に記載の技術では、組織に属するすべての人に対面センサを装着しなければならないという課題がある。
　本発明の目的は、装着者と対象人との直接的な関係性を測定および評価し、評価結果を明示することにより装着者の行動への気づき等を与えることが可能なウェアラブルデバイスおよび行動評価システムを提供することにある。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
　本発明の代表的な実施の形態によるウェアラブルデバイスは、装着者の前方または周囲の対象人を撮影して被写体画像を生成する撮像装置と、
　前記装着者と前記対象人との距離を測定して距離データを取得する測距装置と、
　前記被写体画像内に含まれる前記対象人の検知および顔認識を行い、前記顔認識で得られる前記対象人の顔の表情に基づく表情評価点を前記装着者に付与するように、前記被写体画像を処理する被写体画像処理装置と、
　前記距離データのマッピングにより得られる距離画像を解析することにより、前記装着者と前記対象人との距離を求め、当該距離に応じた距離評価点を取得する距離画像処理装置と、
　前記表情評価点、前記距離評価点、および評価対象となった前記装着者の行動時間としての行動評価時間から、前記装着者の行動を評価する行動評価点を求める評価処理を実行し、前記行動評価点を出力する出力処理装置と、
を備える。
　本発明の代表的な実施の形態による行動評価システムは、
　上記のウェアラブルデバイスと、
　前記出力処理装置から出力される前記行動評価点を取得し、取得された前記行動評価点を、前記対象人の関係者が保有する外部装置に提供するサーバ装置と、を含む。
　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
　すなわち、本発明の代表的な実施の形態によれば、装着者と対象人との直接的な関係性を測定および評価し、評価結果を明示することにより装着者の行動への気づき等を与えることが可能な行動評価機能を有するウェアラブルデバイス、および行動評価システムを提供することができる。
実施の形態１のウェアラブルデバイスのブロック構成図である。 ウェアラブルデバイスの装着者と対象人との関係を説明するための図である。 ウェアラブルデバイスの一形態であるヘッドマウントディスプレイ（ＨＭＤ）の構成を説明する斜視図である。 実施の形態１におけるヘッドマウントディスプレイの動作を説明するためのフローチャートである。 ウェアラブルデバイスの装着者の行動に対する評価点が時間推移してゆく様子を説明するためのグラフである。 対象人（被設定者）の表情の種類と表情評価点とを対応付けたテーブルを例示する図である。 装着者および対象人（被設定者）の距離と距離評価点とを対応付けたテーブルを例示する図である。 ウェアラブルデバイスの装着者に対する行動評価結果の表示例を示す図である。 累積行動評価結果を取得する処理を示すフローチャートである。 累積行動評価結果の表示例を示す図である。 累積行動評価結果の表示例を示す図である。 実施の形態２におけるカメラの画角と測距装置の測定角との関係を説明する図である。 距離画像から対象人を追跡する処理を説明する図である。 実施の形態２におけるコントローラが実行する処理を説明するフローチャートである。 実施の形態３の構成を説明する図であり、ウェアラブルデバイスを含む行動評価システムのシステム構成を示す。 行動評価結果のデータ構成を説明する図である。 行動評価結果を監視する場合のシーケンス図である。 複数の対象人が存在する場面を説明する図である。 実施の形態４におけるウェアラブルデバイスが実行する処理の一例を示すフローチャートである。 複数の対象人に対応した行動評価結果のデータベースの構成を説明する図である。 行動評価結果の表示例を示す図である。
　以下に開示する実施の形態および実施例では、人と人との触れ合い度を解析、評価し、ユーザの行動を促すことにより、ユーザの精神的健康と、触れ合い対象者の健康維持に貢献する装置およびシステム等について開示する。また、本開示の技術では、人の精神的、肉体的健康の維持を可能にすることにより、国連（国際連合）の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｇｏａｌｓ）の「すべての人に健康と福祉を」に貢献する。
　以下の実施の形態では、人と人との触れ合い度を解析するために、ウェアラブルデバイスを使用する。具体的には、ウェアラブルデバイスを装着したユーザ（以下、「装着者」と称する）と、ウェアラブルデバイスによって撮影または認識された人（以下、「対象人」と称する）との触れ合い度を、人物検知や顔認識などの画像解析を通じて求める。
　ここで、装着者と対象人（すなわち人と人）との触れ合い度は、顔認識で得られる対象人の顔の表情、装着者と対象人との距離、装着者が対象人に関して行動した時間、などを要素とした「行動評価点」として算出される。この「行動評価点」は、対象人の顔の表情に基づく「表情評価点」、装着者と対象人との距離に応じた「距離評価点」、評価対象となった装着者の行動時間としての「行動評価時間」などを求め、これらの得点や時間を例えば所定の演算式に代入して演算することにより、算出することができる。算出された「行動評価点」は、対象人に関する装着者の行動（触れ合い度）を総合的に評価したポイントであり、かかるポイントを装着者に示す等により、装着者の行動を促し、装着者および対象人の各々の精神的、肉体的な健康維持に貢献することができる。
　より具体的には、上記の「表情評価点」を求めるために、ウェアラブルデバイスは、装着者の前方または周囲の対象人を撮影して被写体画像を生成する撮像装置と、被写体画像内に含まれる対象人の検知および顔認識を行い、顔認識で得られる対象人の顔の表情に基づく表情評価点を装着者に付与するように、被写体画像を処理する被写体画像処理装置と、を備える。
　また、上記の「距離評価点」を求めるために、ウェアラブルデバイスは、装着者と対象人との距離を測定して距離データを取得する測距装置と、距離データのマッピングにより得られる距離画像を解析することにより、装着者と対象人との距離を求め、当該距離に応じた距離評価点を取得する距離画像処理装置と、を備える。
　さらに、上記の「行動評価点」を求め、出力するために、ウェアラブルデバイスは、表情評価点、距離評価点、および評価対象となった装着者の行動時間としての行動評価時間から、装着者の行動を評価する行動評価点を求める評価処理を実行し、行動評価点を出力する出力処理装置を備える。
　上記のうち、「被写体画像処理装置」、「距離画像処理装置」、および「出力処理装置」は、ウェアラブルデバイスに実装されたプロセッサ（ＣＰＵなど）または外部のサーバ装置により実現することができる。これら各装置は、同一のプロセッサまたは別個のプロセッサのいずれによっても実現可能であるが、以下は、ウェアラブルデバイスに実装された単一のプロセッサにより実現した例を前提とする。
　上述のような構成とすることで、対象人にセンサ等の装置を装着することなく、装着者と対象人との直接的な関係性を測定および評価し、評価結果を出力することができる。
　以下、図面を参照しながら本発明の実施形態について説明する。以下に図面に示す各実施の形態は、本発明を実現するための一例であり、本発明の技術範囲を限定するものではない。なお、実施例において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。
　［実施の形態１］
　以下、図１から図１０を参照して、実施の形態１について説明する。実施の形態１は、ユーザ（以下、もっぱら「装着者」と称する）により装着されるウェアラブルデバイスについて開示する。このウェアラブルデバイスは、カメラなどの撮像装置および測距センサなどの距離測定装置を備え、これら装置で捉えられた人（対象人）と装着者との関わり度合いを測定する行動評価機能を有するものである。
　（ブロック図と利用場面）
　図１は、実施の形態１のウェアラブルデバイスのブロック構成図である。
　図１に示すように、実施の形態１のウェアラブルデバイス１は、カメラ１０（撮像装置）と、測距装置１１と、センサ部１２と、画像表示部１３と、音声入出力部１４と、操作入力部１５と、通信部１６と、メインプロセッサ１７と、ＲＡＭ１８と、フラッシュＲＯＭ（ＦＲＯＭ）１９と、を備える。
　メインプロセッサ１７は、所定のプログラムに従ってウェアラブルデバイス１全体を制御する主制御部である。メインプロセッサ１７は、ＣＰＵ（Ｃｅｎｔｏｒａｌ　Ｐｒｏｃｅｓｓｏｒ　Ｕｎｉｔ）またはマイクロプロセッサユニット（ＭＰＵ）で実現される。メインプロセッサ１７は、記憶装置１１０に記憶されるオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ：ＯＳ）や各種の動作制御用アプリケーションなどのプログラムを実行することによって、ウェアラブルデバイス１全体の動作制御処理を行う。また、メインプロセッサ１７は、各種のアプリケーションの起動動作を制御する。
　このうち、センサ部１２、通信部１６、メインプロセッサ１７、ＲＡＭ１８、およびフラッシュＲＯＭ（ＦＲＯＭ）１９は、ウェアラブルデバイス１における制御装置ないしコントローラ２１（図１中の点線枠を参照）としての役割を担う。
　ウェアラブルデバイス１において、カメラ１０は、装着者の前方または周囲の対象人を撮影して被写体画像を生成する撮像装置である。
　一具体例では、カメラ１０は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補性金属酸化膜半導体）などのイメージセンサ、および光学レンズ等を備える。この場合、カメラ１０は、その画角の範囲内で、装着者の視線前方の背景を撮影する（適宜、図２、図３も参照）。このため、視線前方に位置しない周囲の対象人を撮影する場合、装着者の顔または身体を、撮影したい対象人の方に向けるようにする。
　一方、ウェアラブルデバイス１において、測距装置１１は、一般に距離センサまたは測距センサと呼ばれる距離測定装置であり、装着者と前記対象人との距離を測定して距離データを取得する機能を有する。
　一具体例では、測距装置１１は、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）のような測距センサ（光学式レーダーとも呼ばれる）を備えた装置である。
　かかる測距装置１１は、例えば、センサ内部の光源（レーザダイオードなど）からレーザ光を走査（スキャン）するように照射し、測定対象物で反射された反射光を、センサの受光素子で受光するまでの時間を計測する構成を備える。かかる構成の測距装置１１によれば、装着者の視線前方の背景（種々の物体や人物など）との距離を測定し、距離データを取得する。また、測距装置１１は、測定、取得された測定対象物との距離データを２次元にマッピングすることにより、距離画像を生成する。
　センサ部１２は、上述した測距センサ（測距装置１１）以外の種々のセンサ、例えば、図１に参照されるように、ＧＰＳセンサ、ジャイロセンサ、地磁気センサ、加速度センサ、などを含む。なお、センサ部１２における上記の各センサの構成は公知であり、実施の形態１との関連性も低いため、詳述を割愛する。
　画像表示部１３は、コントローラ２１により生成される画像を表示する役割を担う。ここで、コントローラ２１により生成され表示する画像には、種々のものがあるが、本実施形態では、例えば、装着者の行動評価結果の画像が挙げられ、この画像の詳細については後述する。
　音声入出力部１４は、音声を入力（収音）するマイクロホン（以下、「マイク」と略称する）と、音声を出力（発音）するスピーカと、を備える。本実施形態では、上記の行動評価結果を音声入出力部１４のスピーカから音声で出力して当該結果を装着者に通知することもできる。
　操作入力部１５は、装着者による操作を入力するための種々のデバイスが使用され得る。例えば、操作入力部１５は、装着者の指の操作を入力するタッチセンサ、装着者の音声入力を行うマイク、カメラ１０で捉えられた装着者の手の動きを検知するセンサなどのいずれのデバイスであってもよく、さらには、これらを複数組み合わせた構成としてもよい。
　通信部１６は、例えば、４Ｇ（Ｇｅｎｅｒａｔｉｏｎ）、５Ｇのモバイル通信を行う無線ＬＡＮ等を備える。通信部１６は、必要な場合に、通信プロトコルの中から適切な処理を選択して、ウェアラブルデバイス１をネットワーク等に接続する。
　ＦＲＯＭ１９は、不揮発性のメモリ媒体であり、メインプロセッサ１７が実行する処理プログラムとしての基本動作プログラム９１および行動評価プログラム９２（以下、単に処理プログラム９１，９２と称する場合がある）と、種々のデータが格納されるデータ部９３と、が含まれる。
　処理プログラム９１，９２は、メインプロセッサ１７が読み出して、ＲＡＭ１８に展開することにより実行される。データ部９３には、処理プログラム９１，９２を実行するのに必要なデータが格納される。ＦＲＯＭ１９は、図示のように一つのメモリ媒体であってもよく、あるいは複数のメモリ媒体で構成してもよい。さらにはフラッシュＲＯＭ以外の不揮発性のメモリ媒体であってもよい。
　図２は、ウェアラブルデバイスの装着者と対象人との関係を説明するための図である。図２を参照すると、ウェアラブルデバイス１を装着している装着者３と、装着者３の行動および行動評価の対象となる対象人４が示されている。
　図示の例では、装着者３は親であり、対象人４は幼児であり、装着者３の行動（ひいては行動評価の種類）は育児である場合を説明する。また、以下は、ウェアラブルデバイス１がヘッドマウントディスプレイ（ＨＭＤ）である場合を前提として説明する。
　装着者３は、適宜、留め具などの装着具２を用いて、ウェアラブルデバイス１を顔面からずれ及び落下しないように保持することができる。また、装着具２は、ヘアバンドのように、ウェアラブルデバイス１を装着者３の頭部に装着させる形態としてもよく、あるいは、ウェアラブルデバイス１（この例ではＨＭＤ）と装着具２とが一体化された構成としてもよい。
　かくして、ウェアラブルデバイス１は、カメラ１０（図１を参照）によって対象人４を捉える（撮影する）とともに、処理プログラム９１，９２を実行することにより、装着者３の対象人４に対する行動を評価し、かかる行動評価の結果（以下、「行動評価結果」と称し、適宜「評価結果」と略称する場合もある）を記録してゆく。
　本実施の形態のように、ウェアラブルデバイス１がＨＭＤである場合は、行動評価結果は、ＨＭＤのディスプレイ、すなわち装着者３の眼前に表示されるスクリーンに出力することができる。このため、装着者３はハンズフリーでウェアラブルデバイス１を利用することができる。
　図３は、ウェアラブルデバイスの一形態であるＨＭＤの外観図の一例である。
　図１および図３を参照すると、ウェアラブルデバイス１（ＨＭＤ）は、カメラ１０、測距装置１１、画像表示部１３、音声入出力部１４、操作入力部１５、および種々のブロック（図１中の点線枠を参照）を有するコントローラ２１を備えている。このうち、画像表示部１３は、図３に示すように、プロジェクタ１３ａ、１３ｂ、および主画面表示部１３ｃ（この例では半透過型のスクリーン）として実装されている。また、カメラ１０および測距装置１１は、ＨＭＤの筐体（前フレーム２２ｃ）の上部の略中央に並んで配置されている。コントローラ２１は、ＨＭＤの（眼鏡の）つるに相当する一方の、この例では右側の横フレーム２２ｂに備えられる。
　また、図１で上述した音声入出力部１４を構成する部品として、スピーカ１４ａ、マイク１４ｂが、上記つるに相当する他方（この例では左側）の横フレーム２２ａに備えられる。また、図３中に参照されるように、前フレーム２２ｃには、画像表示部１３として、左側のＬプロジェクタ１３ａ、右側のＲプロジェクタ１３ｂ、およびこれらプロジェクタ１３ａ、１３ｂよりも大きな面積を有する主画面表示部１３ｃが備えられる。
　さらに、主画面表示部１３ｃの中央には、図２で上述した装着具２を構成する部品としてのノーズパッド２３が設けられている。ユーザは、横フレーム２２ａ、２２ｂの先端側を両耳に掛け、ノーズパッド２３を鼻に載せることで、ＨＭＤ１を自身の顔（頭部）に装着する。
　上記のうち、主画面表示部１３ｃは、この例では半透過型スクリーンであるが、他の例として、非透過型ディスプレイとしてもよく、いずれの場合でもユーザは主画面表示部１３ｃを通じて前方の背景を確認できる。
　なお、上記では表示部を半透過型スクリーンとプロジェクタで構成する例について説明したが、スクリーンを使わず、ユーザの網膜上に投射する網膜投射型ディスプレイ等でもよい。さらに、非透過型ディスプレイでは、例えば、レーザや液晶パネル、有機ＥＬ（ＥＬ：Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等を使った表示デバイス等があり、ユーザがレンズ等を介して直接表示デバイスを見る方式であってもよい
　ここで、主画面表示部１３ｃが半透過型のスクリーンである場合、ユーザは、かかる半透過型スクリーンで透過された前方背景を視認する。一方、主画面表示部１３ｃが非透過型ディスプレイである場合、ユーザは、前方背景が撮影されたカメラ画像を非透過型ディスプレイに表示することにより、前方背景を確認する。
　カメラ１０は、ユーザの視線前方の背景を撮影するように、ＨＭＤの前フレーム２２ｃ（筐体）に取り付けられている。また、カメラ１０の隣に配置された測距装置１１は、ユーザの視線前方の背景中の対象物との距離を測定する。
　コントローラ２１は、カメラ１０で撮影した画像（以下、「カメラ画像」という）、および、測距装置１１で生成された距離画像を入力し、内部のメモリ（ＲＡＭ１８またはデータ部９３）やメインプロセッサ１７に供給する。また、コントローラ２１は、上述した画像表示部１３（Ｌプロジェクタ１３ａ、Ｒプロジェクタ１３ｂ、主画面表示部１３ｃ）に投影ないし表示する画像やスピーカ１４ａから出力する音を生成する。
　上述した特徴部分との関係では、コントローラ２１、特にメインプロセッサ１７は、「被写体画像処理装置」、「距離画像処理装置」、「出力処理装置」などの機能を遂行する。
　コントローラ２１、カメラ１０、測距装置１１、スピーカ１４ａ、マイク１４ｂは、上述のように、対応するフレーム２２ａ～２２ｃに配置されるが、これら各部の配置場所は、必ずしも図３に示す通りでなくても構わない。
　（フローチャート）
　図４は、実施の形態１におけるヘッドマウントディスプレイの動作を説明するためのフローチャートである。図４のフローチャートは、行動評価プログラム９２に基づく処理の流れを示すものであり、主として、行動評価プログラム９２を読み込んだメインプロセッサ１７が処理の主体となる。そして、メインプロセッサ１７から出力される制御信号に従って、ウェアラブルデバイス１の対応するブロックが動作して、フローチャートの各々の処理を遂行する。
　メインプロセッサ１７は、行動評価プログラム９２の実行開始後のステップＳ１１において、カメラ画像を取得するようにカメラ１０に制御情報を出力する。このカメラ画像の取得は、カメラ１０での撮影のタイミングと同期して行ってもよいし、例えば３０ｆｐＳ（ｆｒａｍｅ　ｐｅｒ　Ｓｅｃｏｎｄ）の画像撮影を連続的に行って、任意のタイミングで画像を取得するようにしてもよい。
　メインプロセッサ１７は、続くステップＳ１２において、取得されたカメラ画像で捉えている顔に対して、新規顔データ登録の処理、もしくは既に登録されている顔データとの比較に基づく顔認識の処理を行う。ここで、メインプロセッサ１７は、新規顔データの登録を行う場合、ユーザ（装着者）による操作入力部１５の操作内容に基づいて、対象人の識別番号の付与および登録の処理を行うことができる。
　ステップＳ１３において、メインプロセッサ１７は、対象人を登録または認識したか否かを判定する。
　ここで、メインプロセッサ１７は、対象人を登録または認識していないと判定した場合（ステップＳ１３：ＮＯ）、カメラ画像内に写った顔が対象人の顔ではない場合またはカメラ画像内に顔が写っていない場合であると判断する。この場合、メインプロセッサ１７は、カメラ画像を再取得すべくステップＳ１１に戻り、上述したステップＳ１１～ステップＳ１３の処理を繰り返す。
　一方、メインプロセッサ１７は、対象人を登録または認識したと判定した場合（ステップＳ１３：ＹＥＳ）、ユーザ（装着者）の行動対象となる対象人を特定（設定）して、ステップＳ１４に移行する。
　ステップＳ１４において、メインプロセッサ１７は、プログラム実行時間の積算を開始する。
　続くステップＳ１５において、メインプロセッサ１７は、所定周期のタイミングが到来したか否かを判定する。
　ここで、メインプロセッサ１７は、所定周期のタイミングが到来していないと判定した場合（ステップＳ１５：ＮＯ）、所定周期のタイミングが到来した（ステップＳ１５：ＹＥＳ）と判定するまでステップＳ１５の判定を繰り返す。
　そして、メインプロセッサ１７は、所定周期のタイミングが到来したと判定した場合（ステップＳ１５：ＹＥＳ）、以下に説明するカメラ画像処理のプロセス（ステップＳ１６～ステップＳ１９）および距離画像処理のプロセス（ステップＳ２０～ステップＳ２２）を実行する。
　なお、図４では、メインプロセッサ１７が、カメラ画像処理のプロセス（ステップＳ１６～ステップＳ１９）と、距離画像処理のプロセス（ステップＳ２０～ステップＳ２２）と、を並列（同時並行的）に実行するマルチプロセスの処理を例示した。他の例として、メインプロセッサ１７がシリアルな処理を行う構成、例えば、カメラ画像処理のプロセス（ステップＳ１６～ステップＳ１９）の後に距離画像処理プロセス（ステップＳ２０～ステップＳ２２）を実行するようにしてもよい。
　（カメラ画像処理プロセス）
　カメラ画像処理プロセス開始時のステップＳ１６において、メインプロセッサ１７は、カメラ１０で撮影されたカメラ画像を取得する。続くステップＳ１７において、メインプロセッサ１７は、取得されたカメラ画像で捉えている（写っている）顔の認識処理と人物の検知処理を行う。
　そして、ステップＳ１８において、メインプロセッサ１７は、当該取得されたカメラ画像に、ステップＳ１３で設定された対象人（以下、「被設定者」とも称する）が写っているか否かを判定する。より詳しくは、ステップＳ１８において、メインプロセッサ１７は、ステップＳ１７での検知または認識結果のチェックを行う。一具体例では、メインプロセッサ１７は、カメラ画像内に人物が検知されたか否か、検知された場合、当該人物が被設定者であるか否かを判定する。また、メインプロセッサ１７は、カメラ画像内に顔が認識されたか否か、認識された場合、当該顔が被設定者の顔であるか否か、を判定する。
　また、メインプロセッサ１７は、カメラ画像内に検知された人物の顔認識が行える場合は、顔認識の結果で被設定者か否かを判定する。一方、メインプロセッサ１７は、カメラ画像内に検知された人物の顔が不明確である場合（顔認識が行えない場合）、例えば、検知された人物が後ろ向きであるような場合、検知された人物が被設定者であるか否かの推定を行う。
　かかる推定を行うために、メインプロセッサ１７は、例えば直前（ステップＳ１４の前の対象人（被設定者）の設定時）に認識された人物の着衣の色やテクスチャの類似性、顔と体の身体バランス、動きベクトルを考慮した移動距離の妥当性、などを判断する。検知された対象人は、画像内の位置や大きさを距離画像処理プロセスと共有する（ステップＳ２５を参照）。
　かくして、メインプロセッサ１７は、被設定者（設定された対象人）がカメラ画像に写っていないと判定した場合（ステップＳ１８：ＮＯ）、処理をステップＳ１５に戻すとともに、ステップＳ２３以下の処理を実行する。なお、ステップＳ２３以下の処理の内容については後述する。
　一方、メインプロセッサ１７は、被設定者（設定された対象人）がカメラ画像に写っていると判定した場合（ステップＳ１８：ＹＥＳ）、ステップＳ１９に移行する。ステップＳ１９において、メインプロセッサ１７は、当該被設定者の認識された顔の表情に基づいて、表情評価点を取得する。一具体例では、メインプロセッサ１７は、顔の表情の種類（笑う、怒る、泣く、など）と表情評価点とを対応付けたテーブルを用いて、表情評価点を取得する。このテーブルの例については、図６で後述する。
　あるいは、メインプロセッサ１７は、被設定者の顔の表情を基本としつつも、被設定者の他の仕草を考慮して表情評価点を修正ないし算出してもよい。ここで、被設定者の「他の仕草」には、被設定者が発声する音声の感情度合い（いわゆる声色）や、カメラ画像に写っている被設定者の手（腕）や身体のジェスチャによる感情表現などが含まれる。この場合、メインプロセッサ１７は、被設定者の顔の表情に対応して得られた表情評価点に、上述した他の仕草に基づく点数を加えることにより、最終的な表情評価点を取得する。
　（距離画像処理プロセス）
　距離画像処理プロセス開始時のステップＳ２０において、メインプロセッサ１７は、測距装置１１で計測された距離画像を取得する。
　続くステップＳ２１において、メインプロセッサ１７は、上述したカメラ画像処理プロセス（ステップＳ１８等）で得られた被設定者の存在情報およびカメラ画像内の被設定者の位置を受信ないし適宜参照する。かかる処理により、メインプロセッサ１７は、ユーザ（装着者）の前方にいる被設定者のより正確な三次元座標位置を取得ないし算出して、装着者と被設定者との距離を取得する。そして、ステップＳ２２において、メインプロセッサ１７は、装着者と被設定者との距離に基づいて、距離評価点を取得する。
　（評価点の積算等の処理）
　メインプロセッサ１７は、ステップＳ１９で表情評価点が取得され、ステップＳ２２で距離評価点が取得された後のステップＳ２５において、これら評価点を、各々記録および積算する。かかる記録および積算の処理は、ウェアラブルデバイス１内のデータ部９３に記録（積算）してもよいし、ネットワークを介してサーバの記録媒体に記録（積算）するようにしてもよい。
　メインプロセッサ１７は、上述したカメラ画像処理プロセスにおいて、カメラ画像内に被設定者が写っていない（被設定者が確認できない）と判定した場合（ステップＳ１８：ＮＯ）、処理をステップＳ１５に戻してカメラ画像および距離画像を再度取得するとともに、ステップＳ２３以下の処理を実行する。
　ステップＳ２３において、メインプロセッサ１７は、被設定者が確認できない時間（ステップＳ１８：ＮＯの判定が繰り返されている時間）のカウントを開始する。続くステップＳ２４において、メインプロセッサ１７は、カウントされた時間が閾値ＴＨを超えたか否かを判定する。
　ここで、メインプロセッサ１７は、カウントされた時間が未だ閾値ＴＨを超えていないと判定した場合（ステップＳ２４：ＮＯ）、ステップＳ１５に戻り、上述した処理を繰り返す。一方、メインプロセッサ１７は、カウントされた時間が閾値ＴＨを超えたと判定した場合（ステップＳ２４：ＹＥＳ）、被設定者に対するユーザ（装着者）の行動に区切りが付いたものと判断し、ステップＳ２６に移行する。
　ステップＳ２６において、メインプロセッサ１７は、上述したステップＳ２５で記録（積算）された評価点の統計値を算出する。一具体例では、メインプロセッサ１７は、その時点で記録（積算）されている評価点（表情評価点および距離評価点）を、行動評価時間（例えばプログラムの実行時間）で正規化した値を算出する。
　メインプロセッサ１７は、算出された値を行動評価結果として出力し（ステップＳ２７）、ステップＳ２８に移行する。
　ステップＳ２８において、メインプロセッサ１７は、プログラムの終了事由が発生しているか否かの判定を行う。この「終了事由」は、例えばユーザ（装着者）の入力操作によるプログラムのシャットダウンや電源オフの指令を受信した場合などが挙げられる。
　ここで、メインプロセッサ１７は、プログラムの終了事由が未だ発生していないと判定した場合（ステップＳ２８：ＮＯ）、当該ユーザ（装着者）の業務等が未だ終了していないと判断してステップＳ１１に戻り、上述した処理を繰り返す。この場合、メインプロセッサ１７は、再び実行するステップＳ１４において、プログラム実行時間（当該ユーザ（装着者）に対する行動評価時間）を初期化して、当該時間の積算を開始する。
　一方、メインプロセッサ１７は、プログラムの終了事由が発生したと判定した場合（ステップＳ２８：ＹＥＳ）、当該ユーザ（装着者）の業務等が終了したと判断し、図４に示す一連の処理を終了する。
　（評価と表示の例）
　図５は、ウェアラブルデバイスの装着者の行動に対する評価点が時間推移してゆく様子を説明するためのグラフである。図５のグラフにおいて、縦軸は評価点を示し、横軸は、時間の推移ないしプログラムの実行時間（装着者の行動評価時間）を示している。また、理解を容易にするため、図５中に、図４で説明した処理のステップ番号を適宜加えている。
　図５に示すように、ウェアラブルデバイス１のメインプロセッサ１７は、カメラ画像内の人物（対象人）を被設定者として認識・設定した時点（最初に実行されたステップＳ１８でＹＥＳと判定されたとき）から、装着者の行動に対する評価（評価点の付与および記録、積算）を開始する。
　また、上述したカメラ画像処理プロセス、距離画像処理プロセス等は、図５に示す一定の周期Ｔ毎に行われ、メインプロセッサ１７は、周期Ｔ毎に評価点を得る。ここで、周期Ｔは、ステップＳ１５でＹＥＳと判定される時機（Ｔｉｍｉｎｇ）に対応する。
　そして、図５のグラフの縦軸に示す「評価点」は、表情評価点と距離評価点の加算値である。ここで、一般に顔認識が可能な場合は、表情評価点が加算されるので、評価点が高くなる（図５中の「（Ｓ１８：ＹＥＳ）顔認識有」の評価点を参照）。これに対し、顔認識で被設定者が特定できない場合、評価点は距離評価点のみとなることから、評価点が相対的に低くなる（図５中の「（Ｓ１８：ＮＯ）顔認識不可」の評価点を参照）。
　また、図５に示す例では、カメラ画像内に被設定者が写っておらず（適宜、図４のステップＳ１８：ＮＯの分岐を参照）、かつ、距離画像でも対象人が捉えられていない場合、評価点はゼロとなる（図５中の「被設定者測定外」の評価点を参照）。そして、この「被設定者測定外」の時間（ここでは評価点がゼロの時間）が閾値ＴＨを超えた場合（適宜、図４のステップＳ２４を参照）、最初の期間（図５に示す期間「ＮＴ」を参照）における評価結果の積算に基づく値が、行動評価結果として出力される（適宜、図４のステップＳ２６、Ｓ２７を参照）。
　上記のうち、図５に示す「ＮＴ」の期間は、評価対象となった装着者の行動時間としての「行動評価時間」に対応する。
　さらに、この後、被設定者がカメラ画像または距離画像内に検知された場合（図４中のステップ１８：ＹＥＳおよび図５中の「被設定者再認識」を参照）、装着者の次の行動期間（新たな行動評価期間）における表情評価または距離評価が記録・積算されてゆく（図４中のステップＳ２５等を参照）。
　このような処理を繰り返すことにより、対象人（被設定者）に関する装着者の行動（触れ合い度）を総合的に評価したポイント（行動評価点）が時系列的に記録・蓄積され、行動評価期間毎に行動評価結果が出力される。
　なお、行動評価点の付け方やプログラムの実行タイミング等は、上記例に限られず、例えば以下のようにしてもよい。すなわち、カメラ画像に対象人（被設定者）が捉えられていない場合（図４のステップＳ１８：ＮＯの場合）は、距離画像に被設定者が検知できる場合でも評価点をゼロとする。この場合、カメラ画像に対象人が捉えられていない期間が一定期間以上になった場合（適宜、図４のステップＳ２４を参照）、プログラムの実行を休止し、行動評価結果を出力する。そして、カメラ画像に再び対象人を認識すると、行動評価が再開される。
　図６は、対象人（被設定者）の表情の種類と表情評価点とを対応付けたテーブルを例示する図である。かかるテーブルは、上述したステップＳ１９の表情評価の処理で用いることができる。図６に示すテーブルでは、表情の種類（Ｃａｔｅｇｏｒｙ）を上段に設定し、対応する表情評価点（Ｅｖａｌｕａｔｉｏｎ　Ｐｏｉｎｔｓ）を下段に設定している。この例では、表情の種類が「平静」の状態の場合に表情評価点が平均的な値（この例では５０点）であり、「微笑」、「笑い」の順に表情評価点が高得点（この例では各々、８０点、１００点）となり、「怒り」、「泣き」の順に表情評価点が低得点（各々、２０点、０点）となる。
　図７は、装着者および対象人（被設定者）の距離と距離評価点とを対応付けたテーブルを例示する図である。このテーブルは、上述したステップＳ２２の距離評価の処理で用いることができる。図７に示すテーブルでは、被設定者との距離（ｄｉｓｔａｎｃｅ）を上段に設定し、対応する距離評価点（Ｅｖａｌｕａｔｉｏｎ　Ｐｏｉｎｔｓ）を下段に設定している。この設定例では、被設定者との距離が「０．５ｍ未満」に近接している時が最高評価点（１００点）となり、「１ｍ未満」、「３ｍ未満」、「１０ｍ未満」、「１０ｍ以上」の順で評価点が「８０点」、「５０点」、「２０点」、「０点」に減じてゆく。
　図８は、ウェアラブルデバイスの装着者に対する行動評価結果の表示例を示す図である。図８に示す表示画面３０は、例えば図４で上述したステップＳ２７の処理時に、ウェアラブルデバイス１の画像表示部１３に表示される。理解を容易にするため、図８中、表示画面３０の上方に、行動評価結果を算出するための算出式の一例を示している。
　図示の例では、行動評価点は、各タイミングで記録された表情評価点（ｉ）と距離評価点（ｉ）のそれぞれを積算し、かかる積算値の各々の統計値を算出し、算出された各々の統計値を上述した行動評価時間（図５に示す期間ＮＴ等を参照）で正規化することにより求められる。この算出（演算）は、上述した図４のステップ２６において、メインプロセッサ１７により実行される。
　ここで、メインプロセッサ１７により算出される「統計値」は、例えば、加算平均値あるいは重み付け平均値などの平均値とするとよい。加算平均値の場合、メインプロセッサ１７は、積算された表情評価点および距離評価点の各々を加算平均して、各々の加算平均値を算出する（図８中に示す数式を参照）。あるいは、重み付け平均の場合、メインプロセッサ１７は、積算された表情評価点（または距離評価点）を構成する要素、例えば図６で上述した各々の評価点（Evaluation Points）に所定の係数（重み値）を適用すること（例えば、「笑い」をより高く評価する、距離「０.５ｍ未満」をより高く評価する、など）により、重み付け平均値を算出する。
　そして、メインプロセッサ１７は、上述のようにして算出した加算平均値（あるいは重み付け平均値）を、（上記の行動評価時間と略等しい価である）プログラム実行時間Ｎを用いて割り算して正規化することにより、行動評価点を算出する。かくして、算出された行動評価点は、表示画面３０内の「ＸＸＸ」の位置に表示されることとなる。
　また、図８に示す表示画面３０は、簡易表示形式の場合を示している。表示画面３０内の「時刻」、この例では２０２１年１月２６日の午前９時１２分から同日の午前１０時４５分までの時間帯は、図４で上述したプログラムが実行された時間帯であり、装着者の行動が評価された時間帯に等しい。
　より詳しくは、図８に示す表示画面３０では、上記の「時刻」の他に、正規化して算出された行動評価点、行動評価結果に対する総合コメント（この例では「Ｇｏｏｄ」）、および「継続して評価できます。」という付加コメントが表示されている。図示の付加コメントは、被設定者を再認識した場合は継続して行動評価ができる旨のメッセージである。
　なお、ウェアラブルデバイス１の画像表示部１３に表示される表示画面３０の他の表示形式として、例えば図５に示すような、評価の時間推移をグラフィカルに表示するグラフィック表示形式を選択できるようにしてもよい。
　図９は、累積行動評価結果を取得する処理を示すフローチャートである。ここで、累積行動評価結果は、特定期間における行動評価点の累積値と定義することができ、行動評価プログラム９２の実行により取得することができる。
　図８で上述した行動評価点は、行動時間で正規化した評価点であり、いわゆる「行動の質」に関する評価結果である。これに対して、図９のフローに従って求める累積評価点は、正規化を行わず、評価時刻毎の評価点を特定の期間累積した評価点であり、いわゆる「行動の量」に相当する。ここで、「特定の期間」は、例えば「一日」、「一週間」、「一月」、「一年」といった単位で、任意に設定することができる。
　累積評価点の取得処理を開始した後のステップＳ１０１において、メインプロセッサ１７は、例えばユーザ（装着者）の操作（設定指示）に応じて、上述した「特定の期間」を設定する。
　続くステップＳ１０２において、メインプロセッサ１７は、当該設定された期間内の評価データを順次読み込む。そして、ステップＳ１０３において、メインプロセッサ１７は、当該設定された期間内の評価点を累積（順次加算）し、当該期間内の全ての評価点を累積した後にステップＳ１０４に移行する。ステップＳ１０４において、メインプロセッサ１７は、最終的に得られた累積値を累積評価結果として出力する。
　続くステップＳ１０５において、メインプロセッサ１７は、累積評価点の取得処理を終了するか否かについて判定する。
　ここで、メインプロセッサ１７は、累積評価点の取得処理を未だ終了しないと判定した場合（ステップＳ１０５：ＮＯ）、上述したステップＳ１０１に戻って、上述した処理を繰り返し実行する。このとき、ユーザは、例えば異なる特定期間を設定することにより、異なる累積評価点を再計算および出力させることができる。
　一方、メインプロセッサ１７は、累積評価点の取得処理を終了すると判定した場合（ステップＳ１０５：ＹＥＳ）、上述した一連の処理を終了する。
　図１０Ａおよび図１０Ｂは、累積行動評価結果の表示例を示す図である。このうち、図１０Ａは、評価期間が完了した場合における累積行動評価結果の表示例である。一方、図１０Ｂは、評価期間が未だ完了していない（進行中である）場合における累積行動評価結果表示例である。具体的には、評価対象の期間が２０２１年の１月３１日（日）～同年２月６日（土）に設定された事例において、図１０Ｂでは、表示の時期が期間内の２月５日（金）の場合を示している。
　図１０Ａおよび図１０Ｂに示すように、予め設定された評価期間（この例では一週間）と、評価期間内での累積評価点が示される。この例では、評価期間の設定が一週間であり、一日単位での累積評価点、さらに一週間単位の累積評価点が示される。かかる評価点を見た装着者は、例えば、平日は触れ合うことが少なかった場合に、休日にたくさん触れ合うようにするといった、一週間での行動パターンの目標を自己管理することができるようになる。
　また、期間が完了した場合、図１０Ａの下段側に示すように、今回算出された今週分の累積評価点を、前回（先週）に算出された累積評価との比率も示すように表示している。一方、未だ期間が完了していない図１０Ｂの事例では、同図の下段側に示すように、一週間の目標点に到達するまでの残りのポイント（この例では、最終日の２月６日（土）に獲得すべき評価点（１８８８点）を表示している。
　上述のような表示を行うことにより、装着者のモチベーションを高めること、あるいは次週の新たな目標や行動指針を立てる等に役立てることができる。
　以上説明したように、実施の形態１のウェアラブルデバイス１によれば、装着者と対象人との間の直接的な行動を評価して、行動の気づき等を与える行動評価機能を有するウェアラブルデバイスを提供することができる。また、対象人に何も装着させる必要がなく、このため、対象人を自由に選択できる（対象人を選択する自由度が高い）という特徴がある。
　なお、ウェアラブルデバイス１の具体的構成として、ここでは一体型のＨＭＤ（ヘッドマウントディスプレイ）を例示したが、これに限定されない。ウェアラブルデバイス１の他の構成例として、例えばコントローラ２１（被写体画像処理装置、距離画像処理装置、出力処理装置）をＨＭＤ（カメラ１０、測距装置１１、画像表示部１３等）と分離させた構成としてもよい。あるいは、他の構成例として、カメラ１０や測距装置１１等を、ネック型やウォッチ型のウェアラブルデバイスに配置してもよい。
　［実施の形態２］
　次に、図１１～図１３を参照して、実施の形態２について説明する。
　図１１は、実施の形態２におけるカメラの画角と測距装置の測定角との関係を説明する図である。図１１中に比較して示すように、実施の形態２では、測距装置１１の測定角４０は、カメラ１０の画角（カメラ画角４１）よりも広く設定される。測距装置１１の測定角４０を広くするための方法として、上述した光源から出力されるレーザ光の走査（スキャン）範囲を広くする方法、あるいは、複数の測距センサ（光学式レーダー等）を組み合わせて用いる方法などが挙げられ、これらのいずれでもよい。
　図１２は、距離画像から対象人を追跡する処理を説明する図である。図１２中、測距装置１１により生成される距離画像５１を外側の枠に示し、カメラ１０により生成されるカメラ画像の領域５０を、距離画像５１の内側の枠に示している。
　図１２を参照すると、当初はカメラ画像５０内の略中央（符号５２ａに示す位置）に写っていた対象人が、時系列に従って、順次、符号５２ｂ⇒符号５２ｃ⇒５２ｄの各位置に移動してゆく様子がわかる。ここで、符号５２ｂに示す位置はカメラ画像５０内の右端側であり、符号５２ｃおよび５２ｄの位置は、カメラ画像５０外かつ距離画像５１内の右側の位置である、また、カメラ画像５０外かつ距離画像５１内の左側の位置には、非対象人５３が捉えられている。なお、カメラ画像の領域５０は、距離画像５１内の領域でもあることから、カメラ画像と距離画像とが重なる領域であり、以下は「複合領域５０」とも称する。
　ここで、本実施の形態のＨＭＤのコントローラ２１（主としてメインプロセッサ１７、以下同じ）は、複合領域５０では、カメラ画像の解析によって対象人（ひいては被設定者）を判別する。例えば被設定者が認識された後で、被設定者が移動し、向きを変え顔認証ができなくなっても、人物検知により被設定者を認識し得る。より具体的には、複合領域５０内の符号５２ａおよび５２ｂの位置にいる人物については、カメラ画像で認識する被設定者に対応する距離画像内の被設定者として、容易に識別することができる。したがって、コントローラ２１は、距離画像処理装置の機能として、距離画像内における人物（対象人または被設定人に限られない）の特徴、人物の大きさ、身体バランス、動きベクトル等を特徴量として抽出する。
　図１２に示す例では、被設定者（同一の対象人）が、符号５２ａの位置から順次、符号５２ｂ、５２ｃ、符号５２ｄに示す位置に移動した場合を示している。ここで、符号５２ｃ、符号５２ｄに示す人物は、カメラ画像の範囲から外れた位置にいる。一方、コントローラ２１は、距離画像内における人物の特徴、人物の大きさ、身体バランス、動きベクトル等を特徴量として抽出し、符号５２ｃの位置にいる人物の特徴量と、符号５２ａ、５２ｂの位置にいた人物の特徴量とを比較することにより、被設定者（同一の対象人）が移動した結果であると認識する。同様に、コントローラ２１は、符号５２ｄの位置にいる人物は、符号５２ｃの位置から移動した被設定者（同一の対象人）であると認識する。一方、コントローラ２１は、符号５３に示す人物は、符号５２ａ等の位置にいた人物の動きベクトルから推定される移動量に比較して移動量が大きすぎること、身体バランスの違い等から、同一の対象人ではない（非対象人である）と判断することができる。
　図１３は、実施の形態２におけるＨＭＤのコントローラが実行する処理を説明するフローチャートである。図１３のフローチャートは、図４で上述したフローチャートに対応し、同様に、行動評価プログラム９２を読み込んで実行したメインプロセッサ１７が処理の主体となる。図１３中、図４で上述した実施の形態１と同様の処理を行うステップには同一番号を付している。実施の形態２において、図４の処理フローと異なる点は、距離画像処理プロセスに追加されているステップＳ３０、およびステップＳ３１の処理である。また、カメラ画像処理プロセスにおけるＳ１８の判定がＮＯの分岐先および距離画像処理プロセスにおけるステップＳ２１の処理も実施の形態１と若干異なる（判定処理が入る）ため、Ｓ２１Ａの符号を付している。
　実施の形態２では、メインプロセッサ１７は、カメラ画像処理プロセスにおけるステップＳ１８の判定結果がＮＯ（すなわち被設定者（設定された対象人）がカメラ画像に写っていないと判定した場合）、表情評価（ステップＳ１９）が行えないものと判断し、ステップＳ２１Ａに移行する。
　メインプロセッサ１７は、被設定者（設定された対象人）がカメラ画像に写っていない旨の結果が得られた後のステップＳ２１Ａにおいて、当該被設定者が上述した複合領域５０内にいるか否かを判定する。
　ここで、メインプロセッサ１７は、当該被設定者が複合領域５０内にいると判定した場合（ステップＳ２１Ａ：ＹＥＳ）、図４のフローと同様に、ステップＳ２２の距離評価を経てステップＳ２５以下の処理を行う。
　一方、メインプロセッサ１７は、当該被設定者が複合領域５０内にいないと判定した場合（ステップＳ２１Ａ：ＮＯ）、距離画像内の人物を検出して、図１２で上述したように、被設定者を追跡する処理を行う（ステップＳ３０）。かかるステップＳ３０の処理が行われることにより、カメラ画像外すなわちカメラ画像では捉えきれない、より広い領域において被設定者の存否を確認することができる。
　続くステップＳ３１において、メインプロセッサ１７は、距離画像内に被設定者が存在するか否かを判定する。ここで、メインプロセッサ１７は、距離画像内に被設定者が存在すると判定した場合（ステップＳ３１：ＹＥＳ）、図４のフローと同様に、ステップＳ２２の距離評価を経てステップＳ２５以下の処理を行う。
　一方、メインプロセッサ１７は、距離画像内に被設定者が存在しないと判定した場合（ステップＳ３１：ＮＯ）、図４のフローと同様のステップＳ２３以下の処理を実行する。
　具体的には、メインプロセッサ１７は、ステップＳ２３において、被設定者が確認できない時間（ここではステップＳ２１Ａ：ＮＯの判定が繰り返されている時間）のカウントを開始する。続くステップＳ２４において、メインプロセッサ１７は、カウントされた時間が閾値ＴＨを超えたか否かを判定する。
　ここで、メインプロセッサ１７は、カウントされた時間が未だ閾値ＴＨを超えていないと判定した場合（ステップＳ２４：ＮＯ）、ステップＳ１５に戻り、上述した処理を繰り返す。一方、メインプロセッサ１７は、カウントされた時間が閾値ＴＨを超えたと判定した場合（ステップＳ２４：ＹＥＳ）、被設定者に対するユーザ（装着者）の行動に区切りが付いたものと判断し、ステップＳ２６に移行する。
　なお、ステップＳ２７，ステップＳ２８の処理は、図４のフローと同じである。
　かくして、実施の形態２によれば、実施の形態１におけるウェアラブルデバイス１と同様の効果が得られるとともに、以下のような独自の効果が得られる。すなわち、実施の形態２のウェアラブルデバイス１によれば、特徴的な広い測定角を有する測距装置１１を活用して、対象人（被設定者）の動きに対する追随性が高い行動評価を行うことができる。
　［実施の形態３］
　次に、図１４～図１６を参照して、本開示の実施の形態３について説明する。
　図１４は、実施の形態３の構成を説明する図であり、ウェアラブルデバイスを含む行動評価システムのシステム構成を示す。図１４では、図２で上述した実施の形態１における装着者３と対象人４の他、装着者３または対象人４の関係としての管理人６４をさらに加えている。
　一例では、装着者３はベビーシッタであり、管理人６４は、当該ベビーシッタの雇用主（すなわち装着者３の関係者）のような例が挙げられる。他の例として、管理人６４は、対象人４の関係者（例えば、親などの保護者）であってもよい。いずれの場合も、実施の形態３における行動評価システムでは、管理人６４は、携帯情報デバイス６５を保有し、携帯情報デバイス６５を用いて、対象人４に対する装着者３（ベビーシッタ）の行動の評価結果をオンラインで確認できる構成とする。
　なお、管理人６４は、かかる行動評価結果をオンラインで確認するにあたり、図１４に例示するような携帯情報デバイス６５のみならず、例えば、据え置き型のＰＣなど、他の情報端末を使用してもよい。一方で、携帯情報デバイス６５を使用する場合、例えば出先など、場所を選ばずに、行動評価結果を確認できるメリットがある。
　図１４で、図２と同様の機能を有するブロックには同一の番号を付与している。図１４中、さらに図２とは異なる点を説明すると、実施の形態３における行動評価システムでは、ウェアラブルデバイス１および携帯情報デバイス６５と通信可能なサーバ装置（行動評価サービスサーバ６３）を使用する。
　行動評価サービスサーバ６３は、ＬＡＮまたはインターネットなどのネットワーク６２内に配置され、かつ、アクセスポイント６１を通じてウェアラブルデバイス１および携帯情報デバイス６５と無線通信できるようになっている。図１４では、無線による通信信号６０ａ、６０ｂを介して、ウェアラブルデバイス１の通信部１６（図１を参照）と、アクセスポイント６１経由で行動評価サービスサーバ６３とが通信を行っている様子を示している。
　かかる行動評価システム（以下、適宜「本システム」という）における一具体例では、ウェアラブルデバイス１は、ステップＳ１９で生成された表情評価点、ステップＳ２２で生成された距離評価点等のデータを、行動評価サービスサーバ６３に送出する。これらデータを受信した行動評価サービスサーバ６３は、上述したステップＳ２５（行動評価結果の記録、保存）以降の処理を代行または並行して実施する。また、行動評価結果の積算値は、行動評価サービスサーバ６３のメモリ媒体（ＨＤＤなど）に保存され、保存された行動評価結果は、管理人６４が携帯情報デバイス６５を用いて監視することができる。
　以下、行動評価サービスサーバ６３（以下、適宜「サーバ」と略称する）に保存され携帯情報デバイス６５によって監視される行動評価結果、および本システムの利用の流れ等について、図１５および図１６を参照して説明する。ここで、図１５は、行動評価結果のデータ構成を説明する図である。また、図１６は、行動評価結果を監視する場合のシーケンス図である。
　本システムでは、サービスを利用する人には、予め登録したＵＳｅｒｎａｍｅを入力してネットワーク６２内のサーバにログインすると、サービスＩＤ（Ｓｅｒｖｉｃｅ　ＩＤ）が付与される。図１５に示すＳｅｒｖｉｃｅ　ＩＤは、「550e8400-e29b・・・」と長いものであり、この場合、サービス利用者（この例では管理人６４）は、付与されたＳｅｒｖｉｃｅ　ＩＤ（「550e8400-e29b・・・」）をドラッグ＆ドロップ等の操作で入力することにより、図１５に示すようなデータ表示画面７０が携帯情報デバイス６５の表示部に表示される。
　図１５に示す例では、ウェアラブルデバイス１の装着者の行動評価を蓄積したデータセットが複数（データセット７１とデータセット７２の２つ）表示されている。以下、データセット７１、７２の順に、データ構成を説明する。
　データ構成の先頭には、行動評価点（Ｓｃｏｒｅ）が表示される。ここで、データセット７１は、既に算出処理が完了した（言い換えると上述したステップＳ２６の正規化が行われた）行動評価結果の値として、Ｓｃｏｒｅ「７１」が表示されている。
　また、行動評価点（Ｓｃｏｒｅ）の下の欄には、行動評価の開始時（Ｓｔａｒｔ　Ｔｉｍｅ）と終了時（Ｓｔｏｐ　Ｔｉｍｅ）が表示される。データセット７１では、Ｓｔａｒｔ　Ｔｉｍｅとして２０２１年１月２６日午前９時１５分３７秒、Ｓｔｏｐ　Ｔｉｍｅとして同年同日の午後１２時０分１２秒、が表示されている。したがって、サービス利用者（管理人６４）は、装着者の何時の時間帯の行動が評価されたのかを知ることができる。
　さらに、Ｓｔｏｐ　Ｔｉｍｅの下の欄には、表情評価点および距離評価点の組が、一定間隔（図５中のＴを参照）毎の時系列に記録されている。以上のデータが一まとまりとなってデータセット７１が構成されている。一例では、このデータセット７１は、図５中に示す期間ＮＴに対応する。
　図１５に示す例では、上述したデータセット７１の下にデータセット７２が続く。なお、データセット７２のデータ構造も、データセット７１と同様であるため、以下は異なる点を説明する。
　データセット７２は、行動評価結果が未だ確定していないため、Ｓｃｏｒｅの数値が表示されていない。具体的には、データセット７２は、データセット７１の時間帯の次に評価された行動評価結果のデータであり、Ｓｔａｒｔ　Ｔｉｍｅとして２０２１年１月２６日１３時２２分４６秒が表示されているが、Ｓｔｏｐ　Ｔｉｍｅとして「Ｒｕｎｎｉｎｇ」すなわち進行中であり評価が未完了である旨が示されている。
　したがって、サービス利用者（管理人６４）は、携帯情報デバイス６５の表示部に表示されたデータ表示画面７０中のデータセット７１を見ることで、装着者の午前中の行動評価および結果を閲覧することができる。また、管理人６４は、データ表示画面７０中に現在進行中で表示（更新）されているデータセット７２を見ることで、午後からの装着者の行動評価をリアルタイムで監視することができる。
　一具体例では、行動評価サービスサーバ６３への接続後に、携帯情報デバイス６５は、サービス利用者（管理人６４）の所定の操作（例えば日付を指定する操作）により、指定された日における行動時間の開始時間の一覧表（リスト）を行動評価サービスサーバ６３から取得して表示部に表示する。この場合、携帯情報デバイス６５は、リスト中のいずれかの開始時間を指定することにより、図１５に示すようなデータ表示画面７０を表示することができる。なお、上記のように、リスト中のいずれかの開始時間を指定する場合に、当該開始時間に対応するデータセットのみ（例えば、図１５中のデータセット７１またはデータセット７２の一方だけ）を取得および表示する構成としてもよい。
　他の側面からは、行動評価サービスサーバ６３は、携帯情報デバイス６５（外部装置）により指定された行動時間の開始時刻に対応するデータ表示画面７０のデータ（行動評価点、および該行動評価点の要素である表情評価点と前記距離評価点）を、携帯情報デバイス６５に送信する。
　上記のような構成とすることにより、サービス利用者（管理人６４）は、行動時間の開始時刻を検索のインデックスとして、表情評価点、距離評価点、および行動評価点を携帯情報デバイス６５に表示して閲覧することができる。
　他の例として、行動時間の開始時刻を検索のインデックスとして、図１５に示すようなデータ表示画面７０（図１５に示すようなデータセット７１、７２の両方または一方だけ）を、ウェアラブルデバイス１の画像表示部１３で表示する構成としてもよい。
　次に、図１６を参照して、管理人６４が携帯情報デバイス６５を用いて装着者の行動評価をリアルタイムで監視する場合の処理の流れを説明する。図１６中、符号Ｔ１０～Ｔ１９は、携帯情報デバイス６５に予め格納（インストール）されているアプリケーション（以下「アプリ」と略称する）を起動してからサービス利用を終了（ログアウト）するまでの時刻を示す。
　まず、管理人６４は、携帯情報デバイス６５を操作して、上記のアプリを立ち上げる（時刻Ｔ１０）。このアプリが立ち上がると、携帯情報デバイス６５（処理主体は携帯情報デバイス６５のプロセッサ、以下同じ）は、時刻Ｔ１１において、予め設定されているＵｓｅｒｎａｍｅとＰａｓｓｗｏｒｄを行動評価サービスサーバ６３に送出し、続く時刻Ｔ１２で行動評価サービスサーバ６３から、ＳｅｒｖｉｃｅＩＤ（適宜、図１５を参照）取得するとともに、図示しない設定入力画面を受信する。
　この設定入力画面は、時刻Ｔ１３で携帯情報デバイス６５の表示部に表示される。続く時刻Ｔ１４で、管理人は、設定パラメータ（図中の「設定Ｐ」）を入力する。入力された設定パラメータは、時刻Ｔ１５で行動評価サービスサーバ６３に送信される。一具体例では、設定パラメータは、監視したいデータセットのＳｔａｒｔ　Ｔｉｍｅであり、この場合、直接入力、もしくはプルダウンメニューで選択する。また、設定パラメータは、監視の表示形式を選択するパラメータを含めてもよい。監視の表示形式の選択例としては、例えば図１５のデータセット７２のような表形式の表示、あるいは図５に示すようなグラフィカルな表示などを選択可能とすることが挙げられる。
　かくして、上述のような設定パラメータを受信した行動評価サービスサーバ６３は、かかる設定パラメータに対応した行動評価結果画面のデータを送出する（時刻Ｔ１６）。かかる行動評価結果画面のデータを受信した携帯情報デバイス６５は、時刻Ｔ１７で自機の表示部に行動評価結果画面を表示する（適宜、図１５を参照）。管理人６４は、この行動評価結果画面の監視を終了すると、当該アプリを終了させるべく、携帯情報デバイス６５を操作してログアウトの処理を行う（時刻Ｔ１８）。行動評価サービスサーバ６３は、このログアウトの信号を受信すると（時刻Ｔ１９）、当該サービスおよび携帯情報デバイス６５との接続を終了する。
　以上説明したように、実施の形態３によれば、上述した実施の形態１および２で得られる効果のみならず、管理人６４がオンラインで装着者の行動評価結果を確認さらにはリアルタイムで監視等できるという特徴がある。
　［実施の形態４］
　図１７～図２０を参照して、本開示の実施の形態４について説明する。
　図１７は、複数の対象人が存在する場面を説明する図である。図１７では、装着者３と対象人４との関係を示しており、ここでは対象人４が複数（この例では、符号４ａ、４ｂ、４ｃ、４ｄで示す４人）いる事例を前提とする。
　一の具体例としては、例えば、保育所において、保育士が複数の園児の世話を行っていて、園児に対する保育士の行動を評価するような事例が挙げられる。この場合、保育士がウェアラブルデバイス１（ＨＭＤ）の装着者３となり、各々の園児４（４ａ～４ｄ）が対象人となり、対象人は何も装着等する必要はない。
　他の具体例としては、例えば、介護施設における介護者（装着者３）と被介護者、教育現場における教員（装着者３）と生徒、店舗における店員（装着者３）と客（被接客者）などに応用してもよい。
　図１８は、実施の形態４におけるウェアラブルデバイス１が実行する処理の一例を示すフローチャートである。図１８では、図４に示した実施の形態１の処理フローと同様の処理を行うステップには同一の番号を付与している。
　図１８が図４と異なる点は、顔画像データベースＤＢ１を使用している点である。すなわち、実施の形態４では、対象人すべての顔データを、予め顔画像データベースＤＢ１に保存しておく。
　そして、ステップＳ１１でカメラ画像を取得した後の顔認識ステップ（ステップＳ１２Ａ）において、メインプロセッサ１７は、取得されたカメラ画像で捉えている顔に対して、予め顔画像データベースＤＢ１に登録されている顔データとの比較に基づく顔認識の処理を行う。続くステップＳ１３の処理は図４と同様である。
　同様に、ステップＳ１６でカメラ画像を取得した後の顔認識・人物検知ステップ（ステップＳ１７）において、メインプロセッサ１７は、取得されたカメラ画像で捉えている顔に対して、予め顔画像データベースＤＢ１に登録されている顔データとの比較に基づく顔認識の処理を行う。続くステップＳ１８以降の処理は、図４と同様である。
　なお、より詳細には、メインプロセッサ１７は、ステップＳ１２Ａの顔認証、ステップＳ１７の顔認証・人物検知の処理において、顔画像データベースＤＢ１に登録された対象人の人数分の顔画像データを参照する。そして、メインプロセッサ１７は、ステップＳ１９の表情評価、ステップＳ２２の距離評価、ステップＳ２５の評価記録・積算、ステップＳ２６の評価結果の正規化の各処理では、対象人毎に処理を実行する。
　図１９は、複数の対象人に対応した行動評価結果のデータベースの構成を説明する図である。先に説明した図１５と同様に、図１９に示す例では、ウェアラブルデバイス１の装着者の行動評価を蓄積したデータセットが複数（データセット７３とデータセット７４の２つ）表示されている。理解を容易にするため、データセット７３は、図１５に示すデータセット７１と同一の時間帯すなわち行動評価の開始時（Ｓｔａｒｔ　Ｔｉｍｅ）と終了時（Ｓｔｏｐ　Ｔｉｍｅ）を示している。
　また、図１５と比較して分かるように、図１９に示すデータセット７３において、行動評価結果は、符号７３ａ～７３ｄに示す、対象人Ａ,Ｂ,Ｃ,Ｄ毎のサブデータセットからなる。言い換えると、顔画像データベースＤＢ１を使用する実施の形態４の構成によれば、複数の対象人についての装着者の行動の評価等の処理を、対象人（この例では対象人Ａ,Ｂ,Ｃ,Ｄ）毎に同時並行的に行うことが容易になる。
　さらに、図２０は、実施の形態４における行動評価結果の表示例を示す図である。かかる行動評価結果は、表示画面３０として、コントローラ２１（出力処理装置）の制御信号に基づいて、ウェアラブルデバイス１の画像表示部１３に出力される。なお、ウェアラブルデバイス１のコントローラ２１は、この表示画面３０のデータを、上述したネットワーク６２経由で行動評価サービスサーバ６３に送信してもよい。この場合、表示画面３０は、行動評価サービスサーバ６３に接続した携帯情報デバイス６５の表示部で表示することができる。
　図２０に示す表示画面３０の例では、評価点は対象人（Ａ,Ｂ,Ｃ,Ｄ）毎に表示し（６６，４８，３５，７５点）、対象人毎の評価点の比較結果をグラフで表示している。また、この例では、上記評価点の平均点（Ａｖｅ.）の６５点に対する対象人（Ａ,Ｂ,Ｃ,Ｄ）毎の差分をパーセントで表示している。さらに、この例では、最も評価が低かった対象人Ｃのグラフの色を、他の対象人Ａ,Ｂ,Ｄのグラフとは異なる色で表示している。
　上記のような表示画面３０の表示を行うことにより、例えば、対象人Ｃに対する行動評価が他の対象人（Ａ,Ｂ,Ｄ）と比較して相対的に劣っていることを視覚的にわかりやすく提示することができる。さらに、この例では、総合コメントとして、「対象人Ｃのケアを頑張りましょう」とのアドバイス（メッセージ出力）を提示している。なお、このアドバイス（メッセージ出力）は、代替的または付加的に、音声入出力部１４から音声として出力してもよい。
　表示画面３０の他の例として、例えばユーザによる操作入力部１５の操作に応じたコントローラ２１の制御により、特定の対象人（例えば対象人Ｃ）についての評価点を、複数の行動評価時間に亘って時系列的に表示してもよい。あるいは、例えばユーザによる操作入力部１５の操作に応じたコントローラ２１の制御により、行動時間の開始時刻を検索のインデックスとして、当該開始時間に対応する行動評価の表示画面３０を表示する構成としてもよい。
　このように、評価点（装着者３の行動評価点）を対象人（Ａ,Ｂ,Ｃ,Ｄ）毎に表示する実施の形態４の構成によれば、各々の対象人に対する行動評価が客観的に行え、行動のフィードバックが容易に得られるという特徴がある。また、図２０に示すように、対象人（Ａ,Ｂ,Ｃ,Ｄ）毎の行動評価点をグラフ化して比較可能に一覧表示する構成によれば、例えば表示画面３０を表示する領域が小さい場合であっても、各々の対象人に対する評価結果を容易に把握することができる。加えて、行動評価の総合コメントを出力する構成とすることにより、装着者３にとっての今回の反省点等を速やかに把握することができる。
　なお、本発明は、図１から図２０で説明した実施形態の具体例に限られるものではない。例えば、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
　例えば、ウェアラブルデバイス１のコントローラ２１が担う機能（例えば、被写体画像処理装置、距離画像処理装置、出力処理装置としての機能）のうちの一部を、上述した行動評価サービスサーバ６３に担わせてもよい。
　また、本明細書および図面等で説明した装置の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装してもよい。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。
　１：ウェアラブルデバイス、２：装着具、３：装着者、４、４ａ～４ｄ：対象人（被設定者）、１０：カメラ（撮像装置）、１１：測距装置、１３：画像表示部、１３ｃ：主画面表示部、１４：音声入出力部、１５：操作入力部、１６：通信部、１７：メインプロセッサ、１９：フラッシュＲＯＭ、２１：コントローラ（被写体画像処理装置、距離画像処理装置、出力処理装置）、９２：行動評価プログラム、９３：データ部（データ保存部）、３０：表示画面、５１：距離画像、６３：行動評価サービスサーバ、６４：管理人、６５：携帯情報デバイス、ＤＢ１：顔画像データベース

Claims (14)

  1. 　装着者の前方または周囲の対象人を撮影して被写体画像を生成する撮像装置と、
    　前記装着者と前記対象人との距離を測定して距離データを取得する測距装置と、
    　前記被写体画像内に含まれる前記対象人の検知および顔認識を行い、前記顔認識で得られる前記対象人の顔の表情に基づく表情評価点を前記装着者に付与するように、前記被写体画像を処理する被写体画像処理装置と、
    　前記距離データのマッピングにより得られる距離画像を解析することにより、前記装着者と前記対象人との距離を求め、当該距離に応じた距離評価点を取得する距離画像処理装置と、
    　前記表情評価点、前記距離評価点、および評価対象となった前記装着者の行動時間としての行動評価時間から、前記装着者の行動を評価する行動評価点を求める評価処理を実行し、前記行動評価点を出力する出力処理装置と、
    　を備える、ウェアラブルデバイス。
  2. 　請求項１に記載のウェアラブルデバイスにおいて、
    　前記出力処理装置は、前記対象人を被設定者として設定した第１時点から前記評価処理の実行を開始し、生成された前記被写体画像または取得された前記距離画像から前記被設定者が閾値時間検出されなくなった第２時点までの、前記第１時点から前記第２時点までの期間を前記行動評価時間とし、前記行動評価時間における前記表情評価点および前記距離評価点の積算値に基づく前記行動評価点を出力する、
    　ウェアラブルデバイス。
  3. 　請求項１に記載のウェアラブルデバイスにおいて、
    　前記被写体画像処理装置による前記被写体画像の処理および前記距離画像処理装置による前記距離評価点の取得を、一定周期のタイミングで実行する、
    ウェアラブルデバイス。
  4. 　請求項３に記載のウェアラブルデバイスにおいて、
    　前記出力処理装置は、前記一定周期のタイミング毎に、前記表情評価点および前記距離評価点を積算し、積算された前記表情評価点および前記距離評価点の各々の統計値を算出し、算出された各々の統計値を前記行動評価時間で正規化した値を前記行動評価点とするように、前記評価処理を実行する、
    ウェアラブルデバイス。
  5. 　請求項４に記載のウェアラブルデバイスにおいて、
    　前記統計値は、積算された前記表情評価点および前記距離評価点の各々について加算平均または重み付け平均して求められた平均値である、
    ウェアラブルデバイス。
  6. 　請求項２に記載のウェアラブルデバイスにおいて、
    　前記出力処理装置は、
    　前記表情評価点および前記距離評価点を、一定周期のタイミング毎に積算し、当該積算値が前記行動評価時間の間に累積して得る累積値を行動評価点とするように、前記評価処理を実行する、
    ウェアラブルデバイス。
  7. 　請求項１に記載のウェアラブルデバイスにおいて、
    　前記出力処理装置は、前記行動評価点を含む行動評価結果を示す画面を、表示部に出力する、
    ウェアラブルデバイス。
  8. 　請求項２に記載のウェアラブルデバイスにおいて、
    　前記対象人との前記距離を測定可能な前記測距装置の測定角は、前記撮像装置のカメラ画角よりも広く、
    　前記距離画像処理装置は、前記距離画像内における人物の特徴量を抽出することにより、前記被写体画像に含まれない前記対象人を認識し、前記装着者と前記対象人との距離を求め、当該距離に応じた距離評価点を取得する、
    　ウェアラブルデバイス。
  9. 　請求項２に記載のウェアラブルデバイスにおいて、
    　データ保存部を備え、
    　前記出力処理装置は、前記表情評価点および前記距離評価点を、前記行動評価時間の開始時刻である前記第１時点および終了時刻である前記第２時点とともに、前記データ保存部に記録する、
    ウェアラブルデバイス。
  10. 　請求項２に記載のウェアラブルデバイスにおいて、
    　ネットワークに接続する通信部を備え、
    　前記出力処理装置は、前記表情評価点および前記距離評価点を、前記行動評価時間の開始時刻である前記第１時点および終了時刻である前記第２時点とともに、前記通信部を介してサーバ装置に出力する、
    ウェアラブルデバイス。
  11. 　請求項２に記載のウェアラブルデバイスにおいて、
    　前記被写体画像処理装置は、前記被写体画像内に含まれる複数の前記対象人の検知および顔認識を行い、各々の前記対象人に前記表情評価点を付与するように、前記被写体画像を処理し、
    　前記距離画像処理装置は、前記距離画像を解析して、各々の前記対象人との距離を求め、各々の距離に応じた距離評価点を取得し、
    　前記出力処理装置は、前記装着者の行動を評価する行動評価点を求める評価処理を、前記対象人の各々に対して実行する、
    ウェアラブルデバイス。
    　ウェアラブルデバイス。
  12. 　請求項１１に記載のウェアラブルデバイスにおいて、
    　前記出力処理装置は、前記行動評価点を前記対象人毎に出力する、
    ウェアラブルデバイス。
  13. 　請求項１に記載のウェアラブルデバイスと、
    　前記出力処理装置から出力される前記行動評価点を取得し、取得された前記行動評価点を、前記対象人の関係者が保有する外部装置に提供するサーバ装置と、を含む、
    　行動評価システム。
  14. 　請求項１３に記載の行動評価システムにおいて、
    　前記サーバ装置は、前記外部装置により指定された行動時間の開始時刻に対応する前記行動評価点、および該行動評価点の要素である前記表情評価点および前記距離評価点を、前記外部装置に送信する、
    　行動評価システム。
PCT/JP2021/047711 2021-12-22 2021-12-22 ウェアラブルデバイスおよび行動評価システム WO2023119526A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047711 WO2023119526A1 (ja) 2021-12-22 2021-12-22 ウェアラブルデバイスおよび行動評価システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047711 WO2023119526A1 (ja) 2021-12-22 2021-12-22 ウェアラブルデバイスおよび行動評価システム

Publications (1)

Publication Number Publication Date
WO2023119526A1 true WO2023119526A1 (ja) 2023-06-29

Family

ID=86901595

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047711 WO2023119526A1 (ja) 2021-12-22 2021-12-22 ウェアラブルデバイスおよび行動評価システム

Country Status (1)

Country Link
WO (1) WO2023119526A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114063A1 (en) * 2016-10-26 2018-04-26 Orcam Technologies Ltd. Providing a social media recommendation based on data captured by a wearable device
WO2019045022A1 (ja) * 2017-08-30 2019-03-07 メドケア株式会社 指導支援システム、指導支援方法及び指導支援プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114063A1 (en) * 2016-10-26 2018-04-26 Orcam Technologies Ltd. Providing a social media recommendation based on data captured by a wearable device
WO2019045022A1 (ja) * 2017-08-30 2019-03-07 メドケア株式会社 指導支援システム、指導支援方法及び指導支援プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HACHISU TAKU, YADONG PAN, TADAYUKI TONE, BAPTISTE BOURREAU, KENJI SUZUKI: "Wearable Device for Measuring Face-to-Face Behavior via Infrared Communication", NIHON BACHARU RIARITY GAKKAI RONBUNSHI - TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, NIHON BACHARU RIARITI GAKKAI, TOKYO, JP, vol. 22, no. 1, 1 March 2017 (2017-03-01), JP , pages 11 - 18, XP093073268, ISSN: 1344-011X, DOI: 10.18974/tvrsj.22.1_11 *

Similar Documents

Publication Publication Date Title
US11937929B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
US20190216333A1 (en) Thermal face image use for health estimation
US9795324B2 (en) System for monitoring individuals as they age in place
CN103561652B (zh) 用于辅助患者的方法和系统
US20220054092A1 (en) Eyewear with health assessment, risk monitoring and recovery assistance
US20160345832A1 (en) System and method for monitoring biological status through contactless sensing
KR20210047373A (ko) 이미지를 분석하기 위한 웨어러블기기 및 방법
US20130245396A1 (en) Mental state analysis using wearable-camera devices
US9723992B2 (en) Mental state analysis using blink rate
US10019625B2 (en) Wearable camera for reporting the time based on wrist-related trigger
JP2010061265A (ja) 人物検索登録システム
JP7504476B2 (ja) モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム
CN106462895A (zh) 用于监测头戴式设备的配戴者的监测系统
CN107077214A (zh) 用于在医院中使用的通信的方法和系统
JP2020512120A (ja) ユーザーの健康状態を評価するシステム
US11751813B2 (en) System, method and computer program product for detecting a mobile phone user's risky medical condition
US11687849B2 (en) Information processing apparatus, information processing method, and program
EP3897388B1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
JP2020120908A (ja) 精神状態推定システム、精神状態推定方法、及び、プログラム
JP2020522828A (ja) コンピュータービジョンベースの監視システムおよび方法
WO2023119526A1 (ja) ウェアラブルデバイスおよび行動評価システム
JP7266984B2 (ja) サーバ装置
Hwang et al. A rapport and gait monitoring system using a single head-worn IMU during walk and talk
KR20210070119A (ko) 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템
WO2023037348A1 (en) System and method for monitoring human-device interactions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968963

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023568910

Country of ref document: JP

Kind code of ref document: A