WO2019168162A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019168162A1
WO2019168162A1 PCT/JP2019/008133 JP2019008133W WO2019168162A1 WO 2019168162 A1 WO2019168162 A1 WO 2019168162A1 JP 2019008133 W JP2019008133 W JP 2019008133W WO 2019168162 A1 WO2019168162 A1 WO 2019168162A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
person
unit
estimation
persons
Prior art date
Application number
PCT/JP2019/008133
Other languages
English (en)
French (fr)
Inventor
大森　隆司
徹志 山田
Original Assignee
学校法人玉川学園
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人玉川学園 filed Critical 学校法人玉川学園
Priority to US16/977,060 priority Critical patent/US20210406526A1/en
Publication of WO2019168162A1 publication Critical patent/WO2019168162A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 a technique has been proposed in which problem content having difficulty or importance corresponding to a learning level is presented to a person who receives education or childcare in a field of education or childcare (for example, Patent Document 1). reference).
  • the present invention has been made in view of such circumstances, and an object thereof is to appropriately estimate the mental state and developmental characteristics of a subject who receives education and childcare.
  • an information processing apparatus of one embodiment of the present invention provides: An acquisition means for acquiring a behavior observation result of a person for each of a plurality of units for each of a plurality of persons, with a predetermined place in a predetermined time zone as one unit; Interest-of-interest estimation means for estimating an interest of an individual based on the obtained behavior observation results for each of the plurality of persons and the plurality of units; Based on the estimation results of the interested object estimating means for each of the plurality of persons and the plurality of units, from among one or more types of fields formed by a group and one or more types of fields formed by a specific individual, A field classification means for classifying each of a plurality of units into one or more types of fields; Is provided.
  • FIG. 1 shows the configuration of an information processing system according to an embodiment of the present invention.
  • the information processing system shown in FIG. 1 is applied when providing the following service (hereinafter referred to as “the present service”).
  • the present service mental characteristics and developmental characteristics of a person to be observed (hereinafter referred to as “target person”) are estimated.
  • the present service can be applied in various areas (scenes), but in this embodiment, an example applied in the childcare / education area will be described. Specifically, this service is applied at educational facilities, educational research institutions, educational administrative institutions (hereinafter simply referred to as “educational facilities”), and is a person who receives childcare or education (hereinafter referred to as “target person”).
  • the characteristics such as the mental characteristics and developmental characteristics are appropriately estimated.
  • the manager of the educational facility will be referred to as a “client” and will be described.
  • the manager of the educational facility includes not only the staff who operates the school but also teachers (teachers) who teach and educate the target person in the classroom, that is, childcare workers.
  • the information processing system in FIG. 1 is configured to include a server 1, a client terminal 2, and an imaging device 3.
  • the server 1 and the client terminal 2 are connected to each other via a predetermined network N such as the Internet.
  • the server 1 is managed by a provider of this service.
  • the client terminal 2 is managed by a client.
  • the imaging device 3 is composed of a video camera, for example, and is arranged in an educational facility.
  • FIG. 2 is an explanatory diagram for explaining an overview of a service according to an embodiment of the present invention.
  • a plurality of children, etc. exist as target persons in a predetermined place of an educational facility, for example, “classroom”, and various actions of a plurality of target persons (for example, target persons A to D).
  • target persons for example, target persons A to D.
  • the imaging device 3 is arranged in a “classroom” in the example of FIG. 2 and outputs captured image data in a predetermined time zone.
  • the captured image data is transmitted to the server 1 via the client terminal 2.
  • the data of the captured image includes, for example, various data related to the image captured by the imaging device 3 and various data related to the time when the captured image was captured. That is, the server 1 acquires captured image data with a predetermined location in a predetermined time zone as one unit.
  • one unit is displayed by being divided into a plurality of rectangles as “measurement scenes” in FIG. Therefore, such a unit is hereinafter also referred to as a “scene”. That is, in the example of FIG. 2, the first scene is specified by the time zone “00 (minute): 10 (second) to 00 (minute): 29 (second)” and the place “classroom”.
  • Data of the captured image of the first scene is acquired by the server 1.
  • the second scene is specified by the time zone “00 (minute): 30 (second) to 00 (minute): 59 (second)” and the place “classroom”.
  • Data of the captured image of the second scene is acquired by the server 1.
  • the third scene is specified by the time zone “01 (minute): 00 (second) to 01 (minute): 29 (second)” and the place “classroom”.
  • Data of the captured image of the third scene is acquired by the server 1.
  • the fourth scene is specified by the time zone “01 (minutes): 30 (seconds) to 01 (minutes): 59 (seconds)” and the place “classroom”. Data of the captured image of the fourth scene is acquired by the server 1.
  • the server 1 acquires the behavior observation result of the target person for each “scene” for each of the plurality of target persons A to D based on the captured image data of each “scene”. Then, the server 1 estimates the object of interest of the individual based on the obtained behavior observation results for each of the plurality of subjects A to D and each “scene”.
  • an individual's object of interest is one or more of three elements: a person (for example, a childcare person in the “classroom”), a thing (for example, a toy that exists in the classroom), and a thing (an event other than a person). Estimated from That is, with respect to the target person A, an individual's object of interest is estimated for each of the first to fourth scenes.
  • an individual object of interest is estimated for each of the first to fourth scenes.
  • the individual's interest is estimated for each of the first to fourth scenes.
  • the subject D the individual's interest is estimated for each of the first to fourth scenes.
  • the server 1 extracts action feature amounts and environment information based on data of each captured image for each of a plurality of subjects A to D and each “scene”.
  • the behavior observation result includes at least behavior feature amounts and environment information of a plurality of subjects A to D.
  • the behavior feature amount is a feature amount related to the behavior of the target person. Position, orientation, posture, acceleration, facial expression, utterance (voice), response time, and the like can be acquired as action feature quantities.
  • the environment information is information classified into three, “people”, “things”, and “things”, and is information indicating the external environment where the target person is placed in each “scene”. That is, for the target person A, the behavior feature amount and the environment information are extracted for each of the first scene to the fourth scene.
  • the behavior feature quantity and the environment information image are extracted for each of the first scene to the fourth scene.
  • the behavior feature quantity and the environment information are extracted for each of the first to fourth scenes.
  • the behavior feature amount and the environment information are extracted for each of the first to fourth scenes.
  • the server 1 estimates the object of interest of the individual based on the behavior feature amount and the environment information for each of the plurality of subjects A to D and each “scene”. Specifically, for example, as environmental information, a childcare person (“person”) and a toy (“thing”) are extracted as environmental information for the target person A in the first scene, and are included in the behavior feature amount of the target person A. If the posture is toward the childcare worker, the individual's object of interest is presumed to be the childcare worker ("person").
  • any period and any place may be adopted as a scene (1 unit), but by setting a short period (several seconds to several hours) for the period, more detailed estimation of the object of interest can be performed. Can be realized. Further, details of estimating each object of interest of a plurality of subjects will be described later with reference to FIG.
  • the server 1 uses one or more types of “places” and specific individuals formed by the group based on the results of “estimation of individual interest” for each of the plurality of subjects A to D and each “scene”.
  • Each “scene” is classified into one or more types of “fields” from one or more types of “fields” formed by the above.
  • each “scene” has six types (first classification to sixth classification) based on the occurrence frequency and distribution of the individual interests estimated for each of the plurality of target persons A to D. ) Is classified into one or more types.
  • the “field” of the first to third classifications is a type of “field” formed by a group.
  • the “category” of the first category is a type in which the interest of a plurality of subjects is gathered on “person”.
  • the “category” of the second category is a type in which the interests of a plurality of subjects gather in “things”.
  • the “category” of the third category is a type in which the interests of a plurality of subjects are gathered in “thing”.
  • the “fields” of the fourth to sixth categories are types of “fields” formed by specific individuals.
  • the fourth category “place” is a type in which “person” is interested in a specific individual (specific target person).
  • the fifth category “place” is a type in which the interest of a specific individual (specific target person) is more suitable for “thing”.
  • the “category” of the sixth category is a type in which a particular individual (a specific target person) is interested in “things”. For example, in the first scene, when it is estimated that the target of interest of three subjects A, B, and C among the subjects A to D is a childcare person (“person”), the first scene is It is classified into one category of “place”. Furthermore, in the first scene, when the object of interest of the subject D is an image (“thing”), the first scene is also classified into a “class” of the fifth classification. That is, a “scene” can be classified not only into one “place” but also into a plurality of “places”.
  • the server 1 can estimate a wide range of interests from individuals to a large group, and can classify a predetermined “scene” into a single or multiple “fields”.
  • a series of processes for classifying a predetermined “scene” into a single or a plurality of “fields (first classification to sixth classification)” are collectively referred to as “field classification”.
  • field classification For the classification of “scenes”, for example, various methods related to machine learning such as deep learning and deep learning can be used. Details of the “scene” classification will be described later with reference to FIGS.
  • the server 1 estimates the mental characteristics of each subject based on the results of “field classification” for each of the subjects A to D and each “scene”. Specifically, for example, in the present embodiment, the individual's interest target estimated for each of the plurality of target persons A to D, the individual behavior feature amount for each of the plurality of target persons A to D at the time of estimation, and each “field” ”Is analyzed probabilistically for each of a plurality of subjects A to D. Furthermore, in this embodiment, mental characteristics are analyzed by analyzing the individual behavior feature amounts for each of a plurality of subjects A to D and the deviation from the average value of the behavior feature amounts in each “place”. An estimate is made.
  • the estimation of mental characteristics includes estimation of developmental disorder, bullying, stress tolerance, and the like.
  • various methods related to machine learning such as deep learning and deep learning can be used. Details of estimation of mental characteristics and development characteristics will be described later with reference to FIGS.
  • FIG. 3 is a block diagram showing a hardware configuration of the server 1 in the information processing system of FIG.
  • the server 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an output unit 16, and an input unit 17.
  • the CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 18 to the RAM 13.
  • the RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.
  • the CPU 11, ROM 12 and RAM 13 are connected to each other via a bus 14.
  • An input / output interface 15 is also connected to the bus 14.
  • An output unit 16, an input unit 17, a storage unit 18, a communication unit 19, and a drive 20 are connected to the input / output interface 15.
  • the output unit 16 includes various liquid crystal displays and the like, and outputs various information.
  • the input unit 17 includes various hardware and inputs various information.
  • the storage unit 18 includes a hard disk, a DRAM (Dynamic Random Access Memory), and the like, and stores various data.
  • the communication unit 19 controls communication performed with another device (the client terminal 2 in the example of FIG. 1) via the network N including the Internet.
  • the drive 20 is provided as necessary.
  • a removable medium 21 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 20.
  • the program read from the removable medium 21 by the drive 20 is installed in the storage unit 18 as necessary.
  • the removable medium 21 can also store various data stored in the storage unit 18 in the same manner as the storage unit 18.
  • the configuration of the client terminal 2 is basically the same as the configuration of the server 1, their description is omitted here.
  • Such a service can be provided by executing a series of processes in cooperation with various hardware and software of the server 1 and the client terminal 2 in FIG.
  • the client terminal 2 transmits captured image data captured by the client to the server 1.
  • the transmission timing of the captured image data to the server 1 may be arbitrary, but may be automatically transmitted at a predetermined timing (for example, every day).
  • the server 1 When the server 1 acquires the captured image data transmitted from the client terminal 2, the server 1 analyzes the captured image data. Then, as described above, the server 1 estimates the interests of each target person in each of a plurality of “scenes” based on the captured image data, and converts the “scenes” into six types of “places”. Classify and estimate mental and developmental characteristics of each subject. Then, the server 1 transmits the estimated various pieces of estimation information to the client terminal 2.
  • the client terminal 2 When the client terminal 2 receives various estimation information from the server 1, the client terminal 2 presents the information to the client.
  • FIG. 4 is a functional block diagram illustrating a functional configuration example of the server 1, the client terminal 2, and the imaging device 3 in FIG.
  • a captured image management unit 211 and an output information acquisition unit 212 function.
  • the captured image management unit 211 of the client terminal 2 executes control for transmitting captured image data captured by the imaging device 3 to the server 1 via the communication unit 22. Note that data of a captured image captured by the imaging device 3 is transmitted from the imaging device 3 to the client terminal 2 by a wired or wireless communication method.
  • the output information acquisition unit 212 of the client terminal 2 acquires various information related to the mental characteristics and developmental characteristics of the target person (hereinafter referred to as “output information”) transmitted from the server 1 via the communication unit 22. .
  • the output information acquisition unit 212 executes control for causing the display unit 24 to display the acquired output information.
  • a captured image acquisition unit 111 In the CPU 11 of the server 1, a captured image acquisition unit 111, a captured image analysis unit 112, an observation result acquisition unit 113, an interest target estimation unit 114, a field classification unit 115, a mental characteristic estimation unit 116, and development characteristics
  • the estimation unit 117, the output data generation unit 118, and the output data presentation unit 119 function.
  • the captured image acquisition unit 111 of the server 1 acquires the data of the captured image transmitted from the client terminal 2 via the communication unit 19 with a predetermined place in a predetermined time zone as one unit.
  • the captured image analysis unit 112 of the server 1 analyzes the captured image data acquired by the captured image acquisition unit 111. Specifically, the captured image analysis unit 112 associates the acquired image data with the “scene (for example, the first scene)” based on the captured image data acquired by the captured image acquisition unit 111. Do.
  • the observation result acquisition unit 113 of the server 1 extracts a behavior observation result of a person for each of a plurality of units for each of a plurality of persons, with a predetermined place in a predetermined time zone as one unit. That is, the observation result acquisition unit 113 obtains a plurality of behavior observation results of the target person for each “scene” based on the captured image data of each “scene (for example, the first scene to the fourth scene)”. Extracted for each of the subjects A to D.
  • the interested object estimation unit 114 of the server 1 estimates the interested object of the individual based on the obtained behavior observation result for each of the plurality of persons and the plurality of units. That is, the interest target estimation unit 114 performs behavior feature amounts and environment information extracted by the observation result acquisition unit 113 for each of a plurality of subjects A to D and each “scene (for example, first scene to fourth scene)”. Based on the above, an individual's object of interest is estimated for each of a plurality of subjects. The details of the method of estimating the object of interest will be described later with reference to FIG.
  • the field classification unit 115 of the server 1 is formed by one or more types of fields formed by a group and specific individuals based on the estimation results of the interested object estimation means for each of the plurality of persons and the plurality of units. Each of the plurality of units is classified into one or more types of fields from the types of fields or more.
  • the field classification unit 115 includes a plurality of subjects (for example, subjects A to D) estimated by the target of interest estimation unit 114 and “individuals” (for example, first scene to fourth scene). Based on the result of “estimation of interest of”, each “scene” is classified into one or more “fields” from one or more types of fields formed by a group and one or more types of fields formed by a specific individual.
  • Classify into Specifically, the field classification unit 115 assigns each “scene” to six types (first classification to sixth classification) from the occurrence frequency and distribution of individual interest objects estimated for each of a plurality of subjects. It is classified into one or more types of “places”. Further, the field classification unit 115 stores the result of the “field classification” in the classification DB 500. Details of the “field classification” method will be described later with reference to FIG.
  • the mental characteristic estimation unit 116 of the server 1 is configured such that when the target of interest of a predetermined person in a predetermined unit is estimated by the target of interest estimation unit, the behavior observation result of the predetermined person and the behavior of other persons in the predetermined unit. Based on the difference from the average value of the observation results, the mental characteristics of the predetermined person are estimated. That is, the mental characteristic estimation unit 116 estimates the mental characteristics of each subject based on the “field classification result” with the plurality of subjects A to D and each “scene”.
  • an individual's object of interest estimated for each of a plurality of subjects A to D an individual behavior feature amount for each of the plurality of subjects A to D at the time of estimation, and each “place”
  • the mental characteristics are probabilistically estimated for each of the plurality of subjects A to D.
  • the mental characteristic estimation unit 116 stores the result of estimation of the mental characteristic estimated for each of the plurality of subjects A to D in the mental characteristic DB 600.
  • the mental characteristics estimated by the mental characteristic estimation unit 116 are, for example, “openness”, “aggressiveness”, “diligence”, “stability”, “adaptability”, and “leadership”. Includes one nature. Details of the mental characteristic estimation method will be described later with reference to FIG.
  • the development characteristic estimation unit 117 of the server 1 includes a long-term transition characteristic of a predetermined person's mental characteristic estimated by the mental characteristic estimation means and a long-term transition characteristic of a standard mental characteristic. Based on the difference, the development characteristics of the predetermined person are estimated. Specifically, for example, in the present embodiment, the development characteristic estimation unit 117 determines the long-term trend of the mental characteristics of each subject estimated for each of the subjects A to D and the respective “fields”. Based on the difference between the average mental characteristics and the long-term trend, the development characteristics of each of the subjects A to D are estimated.
  • the output data generation unit 118 of the server 1 estimates the mental characteristics as a result of the “classification of the field” classified by the field classification unit 115 as a result of the estimation of the target of interest of each target person estimated by the target-of-interest estimation unit 114. Output data is generated based on the result of estimation of the mental characteristics of each subject estimated by the unit 116 and the result of estimation of the development characteristics of each subject estimated by the development characteristic estimation unit 117. Further, the output data generation unit 118 stores the generated output data in a database (not shown) installed in the storage unit 18.
  • the output data presentation unit 119 of the server 1 executes control for transmitting the output data generated by the output data generation unit 118 to the client terminal 2 via the communication unit 19.
  • FIG. 5 is a flowchart for explaining the flow of the characteristic information estimation process executed by the server 1.
  • step S ⁇ b> 1 the captured image acquisition unit 111 acquires captured image data transmitted from the client terminal 2 via the communication unit 19, with a predetermined place in a predetermined time period as one unit.
  • step S2 the captured image data acquired in step S1 is analyzed. Specifically, the captured image analysis unit 112 associates the acquired image data with the “scene (for example, the first scene)” based on the captured image data acquired by the captured image acquisition unit 111. Do.
  • step S3 the observation result acquisition unit 113 extracts a behavior observation result of a person for each of a plurality of units for each of a plurality of persons, with a predetermined place in a predetermined time zone as one unit. That is, the observation result acquisition unit 113 obtains a plurality of behavior observation results of the target person for each “scene” based on the captured image data of each “scene (for example, the first scene to the fourth scene)”. Extracted for each of the subjects A to D.
  • step S ⁇ b> 4 the interested object estimation unit 114 estimates an individual object of interest based on the obtained behavior observation result for each of the plurality of persons and the plurality of units. That is, the interest target estimation unit 114 is based on the behavior feature amount and the environment information extracted in step S3 for each of a plurality of subjects A to D and each “scene (for example, the first scene to the fourth scene)”. Thus, an individual object of interest is estimated for each of a plurality of subjects.
  • FIG. 6 is a diagram for explaining an example of an object of interest.
  • FIG. 6 shows an example of estimation of each subject's interest in a scene where a child is active in a kindergarten or the like (childcare scene).
  • the interest object of a child in the scene K1 (measurement time 1, classroom), is “43%”, “26%”, and “31%”. It is shown.
  • details of the object of interest it is shown that they are “friend A”, “friend B”, “friend C”, and “homeroom teacher”.
  • the estimation of the target of interest is related to the “position”, “direction”, “distance”, “time” (related to the “person”, “thing”, “thing” identified by the environmental information. Etc.) ”, etc.
  • the distance between the subject and the childcare worker or friend is close, and the childcare worker or friend is looking closer. It is possible to estimate the subject of interest from the accompanying posture of the subject such as the head and shoulders and the length of the duration of the line of sight. In addition, the stay time of the subject becomes longer near the subject of interest. When these are put together, that is, the subject of interest is estimated based on the behavior feature amount generated when the subject turns his attention to the subject concerned with his / her own intention. Moreover, such estimation of the object of interest can be realized by acquiring short-term information of about several seconds to several hours.
  • the field classification unit 115 determines one or more types of fields formed by a group based on the estimation results of the plurality of persons and the unit of interest estimation unit for each of the plurality of units. In addition, each of the plurality of units is classified into one or more types of fields from one or more types of fields formed by a specific individual. In other words, the field classifying unit 115 selects a plurality of target persons (for example, target persons A to D) estimated in step S4 and “individual objects of interest” for each “scene (for example, first to fourth scenes)”. Each “scene” is classified into one or more types of “fields” from one or more types of fields formed by a group and one or more types of fields formed by a specific individual based on the result of .
  • FIGS. 7 and FIG. 8 are diagrams for explaining an example of the “field classification” method.
  • FIG. 7 shows an example of actually classifying a predetermined “scene K (time: 0030 (seconds) to 0059 (seconds), place: classroom)” into “places” of types (first classification to sixth classification).
  • the classification of “places” into categories is performed based on behavioral characteristics (for example, position and orientation) and environmental information (for example, arrangement of objects and persons) obtained at the same time as the estimation of each subject's interest. Is called.
  • the classification of the “field” into the type of “field” of the group in which the objects of interest of multiple people converge first classification to third classification
  • the type of the individual “field” (first classification). (4th classification to 6th classification) can also be determined by object recognition or the like.
  • the children C1 to C4 show behavioral characteristics such as sitting at a position easy to see in the picture-story show with their eyes on the childcare person T, and the children C1 to C4 are interested in “person” (childcare) It is estimated that In such a case, the “scene G (time: 0030 (second) to 0059 (second), place: classroom)” in which the children C1 to C4 participate is classified into the first classification.
  • scene G time: 0030 (second) to 0059 (second), place: classroom
  • the posture of the child C5 stands upright, faces the picture-story show, and becomes closer to the object of interest (the elephant in the picture-story show). Therefore, from these behavior feature quantities, in this “scene”, it is possible to identify that the object of interest of the child C5 (one subject) is “thing” (an elephant in a picture-story show). Therefore, the “scene G (time: 0030 (second) to 0059 (second), place: classroom)” in which the child C5 participates is classified into the fifth classification. Thus, even in the same “scene G (time: 0030 (second) to 0059 (second), place: classroom)” where the children C1 to C5 participate, a plurality of classifications (for example, the first classification and the first classification) 5)) “fields”.
  • a plurality of classifications for example, the first classification and the first classification
  • the “scene” is determined by a predetermined time (time unit) and a predetermined place. For this reason, even in the same scene (childcare scene), the classification of “scenes” changes with time.
  • this service it is possible to estimate an object of interest from an individual to a large group and classify the “scene” (“field classification”) for each of a plurality of “scenes”.
  • field classification for example, various methods related to machine learning such as deep learning and deep learning can be used.
  • step S ⁇ b> 6 the mental characteristic estimation unit 116, when the target of interest of the predetermined person in the predetermined unit is estimated by the target of interest estimation unit, the behavior observation result of the predetermined person, Based on the difference from the average value of the behavior observation results of other persons in a predetermined unit, the mental characteristics of the predetermined person are estimated. That is, the mental characteristic estimation unit 116 estimates the mental characteristics of each subject based on the “field classification result” with the plurality of subjects A to D and each “scene”.
  • FIGS. 9 and 10 are diagrams for explaining an example of a method for estimating mental characteristics.
  • the mental characteristics are composed of, for example, six factors (openness, positiveness, diligence, stability, adaptability, and leadership).
  • Openness is one of the factors of mental characteristics and is the property of acting with curiosity. For example, various “persons”, “things”, and “things” can be a target when they are widely estimated as an object of interest, for example, when they immediately notice anything and go to see them.
  • the width of the object of interest is estimated from the difference between the uniformity / concentration of the frequency distribution of the object of interest of each object person and the average of the objects of interest in each “field”.
  • the characteristic of openness is that the variation (width) of the object of interest is large (frequency distribution of the object of interest in each “field”). Note that if the variation is too large, it may be a distraction tendency. Therefore, the larger the variation, the better.
  • Aggression is one of the factors of mental traits and the nature of acting with confidence. For example, it may be a target when there is an active action such as answering a question immediately, imitating a childcare person's movement immediately, lining up early, or heading to a locker immediately in the morning.
  • This aggressiveness is estimated by, for example, the speed and posture toward the object of interest. For example, when the aggressiveness is estimated, the speed toward the object of interest increases, the posture turns forward, the chest is stretched, and the stride is large.
  • the reaction time for the action from the object of interest (question: imitation of movement or question) is accelerated.
  • the speed and posture (response) toward the object of interest are estimated from the difference between the response of the subject and the average of responses in each “field”. That is, the characteristic of aggressiveness is that the response to the object of interest is fast and the response (response speed to acceleration, posture, speech, and action) is fast.
  • Diligence is one of the factors of mental traits, the nature of concentration and patience. Specifically, diligence is estimated by the duration of watching a picture-story show, drawing a picture at the time of drawing, listening to a nursery teacher, sitting and waiting, studying at a desk, and so on. When there is diligence, the orientation and position of the head and body with respect to the object of interest are maintained for a certain period of time by concentrating on the object of interest and being patient. This duration of interest is estimated from the difference between the duration of each subject and the average duration in the “scene”. That is, the characteristic of diligence is that the position, line of sight, posture, and duration of convergence to the average object of interest in the “place” are long.
  • Stability is one of the factors of mental characteristics, and is a property that calms down with peace of mind. For example, it is determined based on criteria such as participating in an activity with a smile, crying and fighting, continuing to hold the hands and clothes of a childcare worker, walking around suddenly, and making loud voices. This stability becomes lower as the difference (deviation) from the average of each “place” of the behavior of the subject in each “place” is larger. On the other hand, if the behavior of the subject in each “field” is close to the average in each “field” and the variance is small, it can be said that the stability is higher.
  • the stability feature is that there is little dispersion (loss value) of action feature values (position, orientation, distance, acceleration, facial expression, etc.) in the “field”.
  • the stability when the stability is low, such as when the degree of anxiety is high, the subject shows attachment behavior to a specific “person” or “thing”.
  • the subject if you are not good at waiting, the subject will have a momentum (acceleration) or voicing (loudness) that heals a specific “person” by walking or fighting, and the behavior feature value is highly dispersed. Become.
  • the stability is high, the behavior feature amount is close to the average and the variance is small.
  • the variance of the behavior feature amount is estimated from the difference (deviation) from the average of the behavior feature amount of all the subjects in the “field (classified) field” where each subject person participates.
  • Adaptability is one of the factors of mental characteristics, and is the property of trying to read the surrounding air (inferring the situation from the atmosphere of the place). For example, it can be a target when there is an action such as watching a picture-story show or picture book, taking a class in a group, waiting in line, or starting a cleanup to infer the situation.
  • This adaptability is estimated, for example, from the proximity of the likelihood distance from the main features (average of posture, orientation, etc. in the “field” reading the picture-story show) in the “field” of the group. That is, the adaptability feature is that the likelihood distance (position, orientation, distance) between the individual feature vector and the average of the feature vectors in the “field” of the group is small.
  • Leadership is one of the factors of mental characteristics and the nature of trying to create a situation. For example, it may be a target when there are behaviors such as grouping a relay, organizing a group, and a troubled child asking for help (coming to know something you don't understand).
  • This leadership is estimated from the frequency of interest of others in the “place” of the group.
  • a target person who has leadership is relied on from the surroundings by speaking to the group or suggesting an opinion, and is frequently targeted by others (that is, the position, orientation, etc. of the other person).
  • Behavioral features tend to be more suitable for the target person). That is, the characteristic of leadership is that the frequency (the position, orientation, and utterance of others) of interest from others is high in the “place” of the group.
  • the mental characteristic estimation unit 116 stores data on the estimated mental characteristics of each subject (hereinafter referred to as “mental characteristic data”) in the mental characteristic DB 600.
  • the server 1 can use various methods related to machine learning such as deep learning and deep learning, and further improvement in estimation accuracy is expected.
  • the development characteristic estimation unit 117 determines the long-term transition characteristics of the predetermined person's mental characteristics estimated by the mental characteristic estimation means and the standard mental characteristics. Based on the difference from the long-term transition characteristics, the development characteristics of the predetermined person are estimated. Specifically, for example, in the present embodiment, the development characteristic estimation unit 117 has a tendency of long-term transition of the mental characteristics of each subject estimated for each of the plurality of subjects A to D, and each “field”. The developmental characteristics of each of a plurality of subjects A to D are estimated based on the difference between the average mental characteristics and the long-term trend of transition.
  • FIG. 11 is a diagram for explaining an example of estimation of development characteristics.
  • the development characteristics are classified into, for example, three aspects (a psychological development characteristic aspect, a physical development characteristic aspect, and an intelligent development characteristic aspect).
  • the estimation of development characteristics will be described with particular reference to FIG.
  • a standard development model may be constructed based on an overall average, and an individual (subject) deviation may be estimated from the standard development model.
  • an individual (subject) deviation may be estimated from the standard development model.
  • the development characteristic estimation unit 117 is different from the conventional development index, and it can be expected that the individual characteristic development characteristic is estimated by long-term measurement of the mental characteristic.
  • the emotional development characteristic aspect represents the ability related to civilization (personality) such as non-cognitive ability and social emotional skill.
  • Such developmental characteristics are expected to be applied to, for example, intelligence tests and physical fitness tests, and in addition to intelligence tests and physical fitness tests, it is also possible to synchronize with existing medical records, results tables, SNS information, and other external data. Derivation of comprehensive human development indicators is also expected. Further, the target for estimating the development characteristic is not necessarily limited to the child, and an application of outputting a very long-term change in the development characteristic of the individual from an adult to an elderly person is also possible.
  • step S8 the output data generation unit 118 determines the result of the “field classification” classified in step S5 as a result of the estimation of each subject's interest estimated in step S4. Output data is generated based on the result of estimation of the mental characteristics of each subject estimated in S6 and the result of estimation of the development characteristics of each subject estimated in Step S7. Further, the output data generation unit 118 stores the generated output data in a database (not shown) installed in the storage unit 18.
  • step S9 the server 1 determines whether or not there is an instruction to end the process.
  • the process termination instruction is not particularly limited, but in the present embodiment, a so-called power-off instruction for the server 1 is employed. That is, unless the server 1 is instructed to shut off the power, it is determined NO in step S9, the process returns to step S1, and the subsequent processes are repeated. On the other hand, when the server 1 is instructed to shift to the sleep state or the like, it is determined as YES in step S9, and the characteristic information estimation process executed by the server 1 ends.
  • the annotation processing executed in this service is not necessarily performed manually, and may be performed semi-automatically. Specifically, for example, specifications that semi-automatically add information such as the subject's name and sex, captured image, tracking data, behavior observation results, etc., and display a dialog that allows editing of the behavior feature amount It is good. Further, for example, this dialog may be provided with an input form capable of registering, for example, “interest / target of interest”, “line of sight”, “body orientation”, “facial expression”, and the like as behavior feature quantities.
  • FIG. 12 is a diagram illustrating an example of data processing when a client (childcare worker) in an educational facility reads a picture book to a target person (child) as a specific example of this service.
  • a plan view of an educational facility to which the present service is applied is drawn.
  • the client childcare worker
  • the positions of 18 subjects (children) and the direction of the line of sight are image processing. Is shown as result information. That is, a plurality of points C (1 to 18) indicating the respective positions of 18 subjects (children) and a line D (1 to 18) indicating the direction of the line of sight of each subject (children) are shown.
  • a point B indicates an intersection on an extension line of the plurality of lines D.
  • the line D is not shown, it is a client (caregiver) etc., for example, and has shown the position of persons other than a subject person (child).
  • the frames E are dense in the area EA, and the area of the area F showing the variation of the points B is also small.
  • the point C also converges around a certain target.
  • the line of sight of 18 subjects (children) is suitable for a client (caregiver) who is reading a story, and almost all interests of each child are reading a story. It is presumed that the client is a childcare worker.
  • a region 12-2 surrounded by a broken line in FIG. 12 shows a captured image obtained by capturing the target educational facility from a plurality of angles.
  • a region 12-3 surrounded by a broken line in FIG. 12 a graph indicating the interest targets of 18 subjects (children) is displayed.
  • FIG. 13 is a diagram showing an example when the target educational facility is free time as a specific example of this service.
  • the plan view of the target educational facility includes point C, line D, point B, and frame E. And are displayed.
  • the points C indicating the positions of the 18 subjects (children) are discrete, and the area F of the region F indicating the variation of the points B is also large.
  • the frame E is also discrete. That is, in the example of FIG. 13, each of the 18 subjects (children) spends free time, so each of them looks in a different direction, and the subject of interest also varies. Guessed.
  • a region 13-2 surrounded by a broken line in FIG. 13 shows a captured image obtained by capturing the target educational facility from a plurality of angles, similarly to the region 12-2 in FIG.
  • a graph showing the interests of 18 subjects (children) is displayed as in the region 12-3 of FIG. ), “Relationships with childcare workers”, “Relationships with children (friends)”, “Relationships with the whole (collar)”, “Relationship of“ people ”not related to group childcare activities ”,“ Relationship with “things”, and “I am bored”. According to this graph, it can be seen that the interests of the 18 subjects (children) vary.
  • FIG. 14 is a diagram illustrating an example of a technique for calculating a likelihood distance that is a basis for supporting the principle of interest estimation.
  • the likelihood distance is calculated based on the subject of interest (children) recorded (descripted) by the client (caregiver) and action observation results (for example, data of captured images over 20,736 seconds). Based on the probability distribution of the angle between the objects of interest created from the behavior observation result based on (1).
  • the “angle” shown in FIG. 14 means an “angle” on a two-dimensional plane, but this is merely an example.
  • an “angle” means “an angle in a three-dimensional space. "Angle” may mean.
  • the probability distribution of the angle between the objects of interest can be represented by a graph representing the distribution of the angle of the head (f (xHead)) with respect to the object of interest, for example, as shown on the right side of FIG. That is, as shown in the graph of FIG. 14, when the head angle (f (xHead)) of the subject (child) at a certain moment is “0 (zero)” or an angle in the vicinity thereof, the subject (child) It can be seen that there is an object of interest ahead of the line of sight.
  • FIG. 15 is a table showing the correct rate of interest estimation.
  • the graph shown in FIG. 14 represents the distribution of the head angle (f (xHead)) of the subject (child) with respect to the object of interest at a certain moment.
  • the correct answer rate (reliability) of the target of interest is estimated.
  • the correct answer rate (reliability) of the object of interest estimated as the first candidate is as shown in FIG. The average is “24.1%”.
  • the correct answer rate (reliability) when including up to the third candidate is “48.8%” on average.
  • the correct answer rate (reliability) of the target of interest estimated as the first candidate is The average is “30.7%”.
  • the correct answer rate (reliability) when including the third candidate is “61.2%” on average.
  • the correct answer rate (reliability) of the target of interest estimated as the first candidate is The average is “32.7%”, which is 2 points higher than when maintained for 1 second.
  • the correct answer rate (reliability) when including up to the third candidate is “65.1%” on average, which is about 4 points higher than when maintained for 1 second.
  • the correct answer rate (reliability) of the target of interest estimated as the first candidate is The average is “33.5%”, which is about 1 point higher than the case of maintaining for 2 seconds.
  • the correct answer rate (reliability) when including up to the third candidate is “67.0%” on average, which is about 2 points higher than the case where the second candidate is maintained for 2 seconds.
  • FIG. 16 is a diagram illustrating an example of an analysis technique using the likelihood distance.
  • an area 16-1 shown by the broken line in FIG. 16 “classification by person”, that is, the average of the entire object of interest of the subject (child) by a person having skilled skills such as a client (caregiver).
  • a graph showing the likelihood distance from is shown.
  • an area 16-2 indicated by a broken line in FIG. 16 is a graph representing the likelihood distance from the average of the action occurrence probability at each moment, which is created based on the “automatic classification”, that is, the action observation result. It is shown.
  • the vertical axis represents each subject (child), and the horizontal axis represents time-series changes for each extracted situation.
  • the distance from the average of the objects of interest of the respective subjects (children) is indicated by shades of white and black.
  • a region 16-3 indicated by a broken line in FIG. 16 a specific example of the situation of the subject (child) automatically classified based on the behavior observation result is shown. Specifically, situations such as “listening to a childcare person's explanation”, “singing a good morning song with a childcare person”, “waiting for the next activity”, “singing a song with a childcare person” are shown.
  • the individual characteristics of the target person (child) can be estimated based on the result of automatic classification by this service.
  • the object person (child) and group (for example, class) which should be careful as a client (caregiver), for example can be grasped efficiently.
  • the client (caregiver) It becomes possible to grasp the behavior distribution according to the scene.
  • the client (caregiver) can determine the target person (child) or group (for example, class) to be noted based on the likelihood distance of the action calculated from the action distribution.
  • the client grasps the friendship of the target person (child) from the estimated results of the characteristics of the target person (child), and determines the degree of caution of the target person (child) belonging to the group. Can be estimated. Further, the client (caregiver) can grasp the roughness and concentration of the entire group (for example, class) from the estimation results of the characteristics of the plurality of subjects (children). In other words, the air (atmosphere) of the entire group (eg, class) can be quantified and compared with other groups. In addition, the client (caregiver) can form a population to which a plurality of subjects (children) who lead a group (for example, class) belong. This also makes it possible to control the quality of a group (for example, a class).
  • the object of interest can be estimated based on the amount of exercise of each subject (child) and the position where the subject is staying.
  • the degree of participation in the activity of the subject can also be estimated by measuring the synchronization of motion between the subjects (children) or between the subject (children) and the teacher.
  • by combining the classification of the target person (children) with the classification of group behavior there are multiple aspects including aspects such as what activities are enthusiastic or enthusiastic and what are good or weak. It is possible to grasp the individuality.
  • the present service can also be applied in other areas.
  • this service may be applied to the medical / nursing care area, the marketing area, or the robot service area.
  • this service is applied in the medical / nursing care field, “dementia estimation judgment (early detection of dementia, estimation of progression)”, “mental health estimation (patient, staff stress management)”, etc. Application is expected.
  • These application examples can be executed in, for example, “medical facilities”, “care facilities”, “corporate personnel”, and the like.
  • the description has been made by adopting the method of classifying into “types” of six types (first classification to sixth classification), but is not particularly limited thereto.
  • the server 1 may adopt any method other than the above-described six types of “places”. For example, it may be classified into eight types of “fields”, or the concept of the above six types of “fields” may be changed as appropriate.
  • the six types are large, and the “field” of the first classification to the third classification is used as the type of “field” formed by the group. Is defined as a type of “place” formed by a specific individual, but is not particularly limited thereto. That is, the server 1 can classify the “field” by defining the type of “field” using any other concept.
  • “1 unit” described in the claims is described as “scene”.
  • the server 1 is described as “1 unit” as described above. Any concept can be adopted, including “scenes”.
  • the server 1 may adopt the concept of “a short time of about 1 second” as “one unit”. Specifically, the server 1 classifies an individual object of interest every short time of about 1 second, and estimates the object of interest of a group in about 1 second or about 10 seconds that is a little longer. Then, it is also possible to adopt a method of determining a “field” composed of a group estimated from there, and dividing continuously captured images into “1 unit” with the change points.
  • the “one unit” described in the claims does not necessarily have a fixed width and is not fixed, but the group's interests, and thus the activities being performed there continue. It is good also as a division
  • the program installed in the server 1 when executed, the characteristic information estimation process shown in FIG. 5 is executed, and this service is realized.
  • the program for realizing the service is not installed and executed on the server 1 but may be installed and executed on the client terminal 2, for example.
  • the behavior observation results of each of a plurality of subjects are acquired by image analysis processing based on captured image data (moving image data).
  • the method is not limited to this.
  • a sensor such as a visual sensor (camera) or an acceleration sensor directly to each target person
  • the behavior observation result of each target person is acquired based on the detection information of the sensor attached to each target person It is good.
  • the method for calculating the likelihood distance is not limited to the above-described embodiment.
  • automatic classification of scenes and likelihood distance of the subject can be calculated using a Topic (topic) model.
  • Topic topic
  • the “Topic model” refers to a model that assumes that a document is generated based on a plurality of potential Topic.
  • each word constituting the document is assumed to appear according to a probability distribution of a predetermined Topic.
  • the Topic model can analyze the similarity between Topic and its meaning by assuming the distribution of the appearance frequency of words constituting the document. This Topic model is used for automatic scene classification and likelihood distance calculation in this service.
  • the group to which the target person (children) belongs is “English class”, first, “English songs”, “interests”, and “things” distributed as Topic Correspondence between "interest in” and each action of the target person (child).
  • the behavior of each subject (child) is classified.
  • category of the action based on each object person (child) position and speed is not specifically limited.
  • an unsupervised clustering method using HDP-HMM Hierarchical Dirichlet Process Hidden Markov Model
  • the likelihood distance of the behavior of the subject (child) can be calculated based on the probability distribution of behavior for each class using unsupervised clustering by LDA (potential Dirichlet distribution method), for example.
  • the depression angle is illustrated as the “direction” of the subject (child), but the present invention is not limited to this, and an elevation angle may be included. That is, the subject (child) may include not only the operation of tilting the head and body horizontally to the left and right but also the operation of tilting the head and body vertically.
  • the information processing system of the present invention is configured by the server 1 and the client terminal 2, but is merely an example for achieving the object of the present invention and is not particularly limited. That is, in the example of FIG. 1, only one client terminal 2 is illustrated for convenience of explanation, but the number of client terminals 2 can be set as appropriate according to the number of clients that receive provision of this service.
  • the captured image data is transmitted to the server 1 through the client terminal 2 through the predetermined network N. However, the captured image data is wired from the imaging device 3 to the server 1 in a wired manner. It may be input directly.
  • the client terminal 2 and the imaging device 3 are provided separately.
  • the client terminal 2 includes an imaging unit (for example, a video camera unit) (the client terminal 2 and the imaging unit 3). May be configured integrally). Furthermore, in the above-described embodiment, one imaging device 3 is connected to one client terminal 2, but this is not a limitation. That is, in this service, a plurality of imaging devices 3 may be connected to one client terminal 2, or one imaging device 3 may be connected to a plurality of client terminals 2. Therefore, for example, the client terminal 2 can simultaneously receive images (moving images) from a plurality of imaging devices.
  • an imaging unit for example, a video camera unit
  • each hardware configuration shown in FIG. 3 is merely an example for achieving the object of the present invention, and is not particularly limited.
  • the functional block diagram shown in FIG. 4 is merely an example, and is not particularly limited. That is, it is sufficient that the information processing system has a function capable of executing the above-described series of processing as a whole, and what kind of functional block is used to realize this function is not particularly limited to the example of FIG. . That is, the characteristic information estimation process shown in FIG. 5 may be realized by a single information processing apparatus (for example, server 1) or by an information processing system including a plurality of information processing apparatuses (server 1, client terminal 2). It may be realized. Further, the characteristic information estimation process shown in FIG. 5 may be executed as part of an application program installed in the client terminal 2.
  • the location of the functional block is not limited to that shown in FIG.
  • at least a part of the functional blocks on the server 1 side may be provided on the client terminal 2 side, or vice versa.
  • One functional block may be constituted by hardware alone or in combination with software alone.
  • a program constituting the software is installed on a computer or the like from a network or a recording medium.
  • the computer may be a computer incorporated in dedicated hardware.
  • the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose smartphone or personal computer other than a server.
  • the recording medium including such a program is not only constituted by a removable medium distributed separately from the apparatus main body in order to provide the program to each client, but is also pre-installed in the apparatus main body to each client. It is composed of a provided recording medium or the like.
  • the steps for describing the program recorded on the recording medium are not limited to the processing performed in time series according to the order, but may be performed in parallel or individually even if not necessarily performed in time series.
  • the process to be executed is also included.
  • the information processing apparatus to which the present invention is applied can take various embodiments having the following configurations. That is, an information processing apparatus to which the present invention is applied An acquisition means (for example, the observation result acquisition unit 113 in FIG. 4) that acquires a behavior observation result of a person for each of a plurality of units for each of a plurality of persons, with a predetermined place in a predetermined time zone as one unit; Interest object estimation means (for example, the interest object estimation unit 114 in FIG.
  • a field classification means for example, the field classification unit 115 in FIG. 4 for classifying each of a plurality of units into one or more types of fields; It is enough to have By this, it is possible to appropriately estimate what the scene (the scene formed by the group or the scene formed by a specific individual) is when the subject of interest (person) is interested. it can.
  • the interested object estimating means can estimate the interested object of a predetermined person in a predetermined unit from one or more elements among the three elements of a person, a thing, and this. This makes it possible to estimate the type of subject of interest (person).
  • the interested object estimation means when the interest target of the predetermined person in the predetermined unit is estimated by the interested object estimation means, the difference between the behavior observation result of the predetermined person and the average value of the behavior observation results of other persons in the predetermined unit Based on this, it is possible to further include mental characteristic estimation means (for example, the mental characteristic estimation unit 116 in FIG. 4) for estimating the mental characteristic of the predetermined person. Thereby, the mental characteristic of a subject person (person) can be estimated appropriately.
  • mental characteristic estimation means for example, the mental characteristic estimation unit 116 in FIG. 4
  • the mental characteristics may be composed of six factors: openness, positiveness, diligence, stability, adaptability, and leadership. Thereby, the mental characteristics of the target person (person) can be analyzed from various perspectives.
  • a development characteristic estimation means for estimating the development characteristic (for example, the development characteristic estimation unit 117 in FIG. 4) can be further provided. Thereby, the development characteristic of an object person (person) can be estimated appropriately.
  • the acquisition means includes A behavior observation result including information on at least one of the position and orientation of a person for each of a plurality of units can be acquired for each of the plurality of persons.
  • the scene (whether it is formed by a group or a scene formed by a specific individual) is the scene when the target of interest (person) is interested. It is possible to appropriately estimate based on the position or orientation of or the position and orientation.
  • the present invention can also be applied to an information processing method and program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

教育や保育を受ける対象者の心的状態や発達特性を適切に推定すること。　観察結果取得部１１３は、所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に抽出する。関心対象推定部１１４は、複数の人物及び複数の単位毎に、夫々取得された行動観察結果に基づいて、個人の関心対象を推定する。場分類部１１５は、複数の人物及び複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、複数の単位の夫々を１種類以上の場に分類する。心的特性推定部１１６は、関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、所定人物の行動観察結果と、所定単位における他の人物の行動観察結果の平均値との差異に基づいて、所定人物の心的特性を推定する。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
　従来から、教育や保育の現場において、教育や保育を受ける対象者に対して、学習レベルに応じた難易度や重要度の問題コンテンツを提示するという技術が提案されている（例えば、特許文献１参照）。
特開２０１５－１０２５５６号公報
　しかしながら、現在では、教育や保育を受ける対象者に対して、最適な教育や保育を施すためには、単に学習レベルだけではなく、対象者の心的状態や発達特性が考慮されることが要求されている。特許文献１を含む従来の技術では、このような要求に十分に応えられていない状況である。
　本発明は、このような状況に鑑みてなされたものであり、教育や保育を受ける対象者の心的状態や発達特性を適切に推定することを目的とする。
　上記目的を達成するため、本発明の一態様の情報処理装置は、
　所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に取得する取得手段と、
　前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する関心対象推定手段と、
　前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、前記複数の単位の夫々を１種類以上の場に分類する場分類手段と、
　を備える。
　本発明によれば、教育や保育を受ける対象者の心的状態や発達特性を適切に推定することができる。
本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の一実施形態に係るサービスの概要を説明するための説明図である。 図１の情報処理システムのうち、本発明の一実施形態のサーバのハードウェア構成を示すブロック図である。 図３のサーバ、クライアント端末の機能的構成例を示す機能ブロック図である。 図４のサーバが実行する特性情報推定処理の流れを説明するフローチャートである。 関心対象の一例を示すための説明図である。 場の分類の一例を示すための説明図である。 場の分類の一例を示すための説明図である。 心的特性の推定の一例を示すための説明図である。 心的特性の推定の一例を示すための説明図である。 発達特性の推定の一例を示すための説明図である。 本サービスの具体例として、教育施設におけるクライアント（保育者）が、対象者（子ども）に絵本の読み聞かせを行った場合の例を示す図である。 本サービスの具体例として、対象となる教育施設が自由時間になった場合の例を示す図である。 関心推定の原理を裏付けるための根拠となる尤度距離を算出する手法の一例を示す図である。 関心推定の正答率を示す表である。 尤度距離を利用した解析の手法の一例を示す図である。
　以下、本発明の実施形態について、図面を用いて説明する。
（情報処理システムの概要）
　図１は、本発明の一実施形態に係る情報処理システムの構成を示している。
　図１に示す情報処理システムは、以下に示すサービス（以下、「本サービス」と呼ぶ）を提供する際に適用される。
　本サービスでは、観察の対象となる人物（以下、「対象者」と呼ぶ）についての心的特性や発達特性が推定される。
　本サービスは、種々の領域（場面）において適用可能であるが、本実施形態では、保育・教育領域において適用される例について説明する。具体的には、本サービスは、教育施設、教育研究機関、教育行政機関等（以下、単に「教育施設」と呼ぶ）において適用されることで、保育や教育を受ける者（以下、「対象者」と呼ぶ）の心的特性や発達特性といった特性が適切に推定される。
　なお、以降の説明では、教育施設の管理者等を「クライアント」と呼び、説明を行う。教育施設の管理者等とは、学校の運営を行う職員のほか、教室で対象者を指導、教育する教師（先生）、即ち、保育者等を含む。
　図１の情報処理システムは、サーバ１と、クライアント端末２と、撮像装置３とを含むように構成される。サーバ１と、クライアント端末２とはインターネット等の所定のネットワークＮを介して相互に接続されている。
　サーバ１は、本サービスの提供者により管理される。クライアント端末２は、クライアントにより管理される。撮像装置３は、例えばビデオカメラ等で構成され、教育施設に配置される。
（本サービスの概要）
　次に、図２を参照して、本サービスの概要について説明する。
　図２は、本発明の一実施形態に係るサービスの概要を説明するための説明図である。
　図２の例では、図示はしないが、教育施設の所定場所、例えば「教室」において、複数の児童等が対象者として存在し、複数の対象者（例えば、対象者Ａ～Ｄ）の各種行動が、撮像装置３により撮像されて観察されるものとする。
　即ち、撮像装置３は、図２の例では「教室」に配置されており、所定時間帯における撮像画像のデータを出力する。撮像画像のデータは、クライアント端末２を介してサーバ１に送信される。
　ここで、撮像画像のデータとは、例えば、撮像装置３で撮像された画像に関する各種データと、当該撮像画像が撮像された時間に関する各種データを含むものである。
　即ち、サーバ１は、撮像画像のデータを、所定時間帯における所定場所を１単位として取得する。ここで、１単位は、図２においては「計測場面」として、複数の長方形で区分されて表示されている。そこで、このような１単位を、以下「場面」とも呼ぶ。
　即ち、図２の例では、第１場面は、時間帯「００（分）：１０（秒）～００（分）：２９（秒）」及び場所「教室」により特定される。第１場面の撮像画像のデータがサーバ１に取得される。
　同様に、第２場面は、時間帯「００（分）：３０（秒）～００（分）：５９（秒）」及び場所「教室」により特定される。第２場面の撮像画像のデータがサーバ１に取得される。
　第３場面は、時間帯「０１（分）：００（秒）～０１（分）：２９（秒）」及び場所「教室」により特定される。第３場面の撮像画像のデータがサーバ１に取得される。
　第４場面は、時間帯「０１（分）：３０（秒）～０１（分）：５９（秒）」及び場所「教室」により特定される。第４場面の撮像画像のデータがサーバ１に取得される。
　次に、サーバ１は、各「場面」の撮像画像のデータに基づいて、各「場面」毎の対象者の行動観察結果を、複数の対象者Ａ～Ｄ毎に取得する。
　そして、サーバ１は、複数の対象者Ａ～Ｄ及び各「場面」毎に、夫々取得された行動観察結果に基づいて、個人の関心対象を推定する。
　ここで、個人の関心対象は、ひと（例えば「教室」にいる保育者）、もの（例えば教室に存在するおもちゃ）、及びこと（ひとともの以外の事象）の３要素のうち１以上の要素から推定される。
　即ち、対象者Ａについて、第１場面～第４場面の夫々について、個人の関心対象が推定される。同様に、対象者Ｂについて、第１場面～第４場面の夫々について、個人の関心対象が推定される。対象者Ｃについて、第１場面～第４場面の夫々について、個人の関心対象が推定される。対象者Ｄについて、第１場面～第４場面の夫々について、個人の関心対象が推定される。
　より具体的には例えば、サーバ１は、複数の対象者Ａ～Ｄ及び各「場面」毎に、夫々の撮像画像のデータに基づいて、行動特徴量と環境情報とを抽出する。つまり、行動観察結果とは、少なくとも複数の対象者Ａ～Ｄの行動特徴量と環境情報を含んでいる。
　ここで、行動特徴量とは、対象者の行動に関する特徴量である。位置、向き、姿勢、加速度、表情、発話（音声）、応答時間等が、行動特徴量として取得可能である。
　また、環境情報とは、「ひと」、「もの」、「こと」の３つに分類される情報であり、対象者が各「場面」において置かれている外部環境を示す情報である。
　即ち、対象者Ａについて、第１場面～第４場面の夫々について、行動特徴量と環境情報が抽出される。同様に、対象者Ｂについて、第１場面～第４場面の夫々について、行動特徴量と環境情報象が抽出される。対象者Ｃについて、第１場面～第４場面の夫々について、行動特徴量と環境情報が抽出される。対象者Ｄについて、第１場面～第４場面の夫々について、行動特徴量と環境情報が抽出される。
　そして、サーバ１は、複数の対象者Ａ～Ｄ及び各「場面」毎に、行動特徴量と環境情報とに基づいて、個人の関心対象を推定する。
　具体的には例えば、環境情報として、第１場面の対象者Ａについて、環境情報として保育者（「ひと」）とおもちゃ（「もの」）が抽出され、対象者Ａの行動特徴量に含まれる姿勢が保育者に対して向いている場合、個人の関心対象は、保育者（「ひと」）であると推定される。
　なお、どのような期間とどのような場所を場面（１単位）として採用してもよいが、期間については短期間（数秒～数時間）を設定することにより、より詳細な関心対象の推定を実現することができる。
　また、複数の対象者の夫々の関心対象を推定する詳細については、図６を参照して後述する。
　次に、サーバ１は、複数の対象者Ａ～Ｄ及び各「場面」毎の「個人の関心対象の推定」の結果に基づいて、集団により形成される１種類以上の「場」及び特定個人により形成される１種類以上の「場」の中から、各「場面」の夫々を１種類以上の「場」に分類する。
　具体的には例えば本実施形態では、複数の対象者Ａ～Ｄ毎に推定された個人の関心対象の発生頻度と分布から、各「場面」は、６つの類型（第１分類～第６分類）の「場」のうち１類型以上に分類される。
　第１分類～第３分類の「場」は、集団により形成される「場」の類型である。第１分類の「場」は、「ひと」に複数の対象者の関心が集まる類型である。第２分類の「場」は、「もの」に複数の対象者の関心が集まる類型である。第３分類の「場」は、「こと」に複数の対象者の関心が集まる類型である。
　第４分類～第６分類の「場」は、特定個人により形成される「場」の類型である。第４分類の「場」は、「ひと」に特定個人（特定の対象者）の関心が向く類型である。第５分類の「場」は「もの」に特定個人（特定の対象者）の関心が向く類型である。第６分類の「場」は「こと」に特定個人（特定の対象者）の関心が向く類型である。
　例えば、第１場面において、対象者Ａ～Ｄのうち、３人の対象者Ａ，Ｂ，Ｃの関心対象が保育者（「ひと」）であると推定された場合、第１場面は、第１分類の「場」に分類される。さらに、第１場面において、対象者Ｄの関心対象が像（「もの」）である場合、第１場面は、第５分類の「場」にも分類される。
　即ち、「場面」は、１つの「場」のみならず、複数の「場」にも分類され得るものである。
　このように、サーバ１は、個人から大集団までの幅広い関心対象を推定し、また、所定の「場面」を単一又は複数の「場」に分類することを可能とする。ここで、このような所定の「場面」毎に単一又は複数の「場（第１分類～第６分類）」に分類する一連の処理を合わせて、「場の分類」と呼ぶ。
　なお、この「場面」の分類には、例えば、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができる。また、「場面」の分類の詳細については、図７、図８を参照して後述する。
　次に、サーバ１は、複数の対象者Ａ～Ｄ及び各「場面」毎の「場の分類」の結果に基づいて、各対象者の心的特性を推定する。
　具体的に例えば、本実施形態では、複数の対象者Ａ～Ｄ毎に推定された個人の関心対象及び推定時における複数の対象者Ａ～Ｄ毎に個人の行動特徴量と、夫々の「場」における行動特徴量の平均値からのズレを分析することで、複数の対象者Ａ～Ｄ毎に心的特性が確率的に推定される。
　さらに言えば本実施形態では、複数の対象者Ａ～Ｄ毎に個人の行動特徴量と、夫々の「場」における、行動特徴量の平均値からのズレを分析することで、心的特性の推定がなされる。
　したがって心的特性の推定には、例えば数日～数か月の中期的な情報の蓄積が望ましく、このようなデータの蓄積により推定精度の向上が期待される。なお、心的特性の推定とは、例えば、発達障害、いじめ、ストレス耐性等の推定を含む。
　なお、この心的特性の推定においても、例えば、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができる。
　また、心的特性の推定及び発達特性の詳細については、図９乃至図１１を参照して後述する。
　以上が、本サービスの概要である。次に、上記した本サービスを実現するための本実施形態における情報処理システムのハードウェア構成および機能ブロック図について説明する。
（情報処理システムのハードウェア構成）
　図３は、図１の情報処理システムのうちサーバ１のハードウェア構成を示すブロック図である。
　サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
　ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
　ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
　ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。
　出力部１６は、各種液晶ディスプレイ等で構成され、各種情報を出力する。
　入力部１７は、各種ハードウェア等で構成され、各種情報を入力する。
　記憶部１８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
　通信部１９は、インターネットを含むネットワークＮを介して他の装置（図１の例では、クライアント端末２）との間で行う通信を制御する。
　ドライブ２０は、必要に応じて設けられる。ドライブ２０には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。またリムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することが出来る。
　クライアント端末２の構成は、サーバ１の構成と基本的に同様であるので、ここではそれらの説明は省略する。
　このような図３のサーバ１、クライアント端末２の各種ハードウェアと各種ソフトウェアとの協働により、一連の処理が実行されることで上記した本サービスの提供が可能となる。
　すなわち、クライアント端末２は、クライアントにより撮影された撮像画像のデータをサーバ１に送信する。
　なお、サーバ１への撮像画像のデータの送信タイミングは、任意でよいが、所定のタイミング（例えば、１日毎）に自動で送信されるものとしてもよい。
　サーバ１は、クライアント端末２から送信された撮像画像のデータを取得すると、当該撮像画像のデータを解析する。そして、上述したように、サーバ１は、撮像画像のデータに基づいて、複数の「場面」の夫々において各対象者の関心対象を推定し、当該「場面」を６つの類型の「場」に分類し、各対象者の心的特性、発達特性を推定する。そして、サーバ１は、推定したこれらの各種推定情報をクライアント端末２に送信する。
　クライアント端末２は、サーバ１からの各種推定情報を受信すると、当該情報をクライアントに提示する。
（情報処理システムの機能ブロック図）
　以上説明したような一連の処理を実現すべく、サーバ１、クライアント端末２を含む情報処理システムは、図４に示すような機能的構成を有している。
　図４は、図１のサーバ１、クライアント端末２、撮像装置３の機能的構成例を示す機能ブロック図である。
　クライアント端末２のＣＰＵ２１においては、撮像画像管理部２１１と、出力情報取得部２１２とが機能する。
　クライアント端末２の撮像画像管理部２１１は、撮像装置３によって撮像された撮像画像のデータを、通信部２２を介してサーバ１へ送信するための制御を実行する。
　なお、撮像装置３によって撮像された撮像画像のデータは、撮像装置３からクライアント端末２に対して、有線又は無線の通信方式により、送信されてくる。
　クライアント端末２の出力情報取得部２１２は、通信部２２を介してサーバ１から送信されてくる対象者の心的特性や発達特性に関する各種情報等（以下、「出力情報」と呼ぶ）を取得する。
　また、出力情報取得部２１２は、取得した出力情報を、表示部２４に表示させる制御を実行する。
　サーバ１のＣＰＵ１１においては、撮像画像取得部１１１と、撮像画像解析部１１２と観察結果取得部１１３と、関心対象推定部１１４と、場分類部１１５と、心的特性推定部１１６と、発達特性推定部１１７と、出力データ生成部１１８と、出力データ提示部１１９とが機能する。
　サーバ１の撮像画像取得部１１１は、所定時間帯における所定場所を１単位として、クライアント端末２から送信されてくる撮像画像のデータを通信部１９を介して取得する。
　サーバ１の撮像画像解析部１１２は、撮像画像取得部１１１により取得された撮像画像のデータを解析する。
　具体的には、撮像画像解析部１１２は、撮像画像取得部１１１により取得された撮像画像のデータに基づいて、取得された画像のデータと「場面（例えば第１場面）」との紐づけを行う。
　サーバ１の観察結果取得部１１３は、所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に抽出する。
　即ち、観察結果取得部１１３は、各「場面（例えば、第１場面～第４場面）」の撮像画像のデータに基づいて、各「場面」毎の、対象者の行動観察結果を、複数の対象者Ａ～Ｄ毎に抽出する。
　サーバ１の関心対象推定部１１４は、前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する。
　即ち、関心対象推定部１１４は、複数の対象者Ａ～Ｄ及び、各「場面（例えば第１場面～第４場面）」毎に、観察結果取得部１１３により抽出された行動特徴量と環境情報とに基づいて、複数の対象者の夫々について個人の関心対象を推定する。なお、関心対象を推定する方法の詳細については、図６等を用いて後述する。
　サーバ１の場分類部１１５は、前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、前記複数の単位の夫々を１種類以上の場に分類する。
　即ち、場分類部１１５は、関心対象推定部１１４により推定された複数の対象者（例えば、対象者Ａ～Ｄ）及び各「場面（例えば、第１場面～第４場面）」毎の「個人の関心対象の推定」の結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、各「場面」を１種類以上の「場」に分類する。
　具体的には、場分類部１１５は、複数の対象者毎に推定された個人の関心対象の発生頻度と分布から、各「場面」を、６つの類型（第１分類～第６分類）の「場」のうち１類型以上に分類する。
　さらに、場分類部１１５は、この「場の分類」の結果を、分類ＤＢ５００に格納する。なお、「場の分類」の方法の詳細については、図８等を用いて後述する。
　サーバ１の心的特性推定部１１６は、前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動観察結果と、当該所定単位における他の人物の行動観察結果の平均値との差異に基づいて、当該所定人物の心的特性を推定する。
　即ち、心的特性推定部１１６は、複数の対象者Ａ～Ｄ及び各「場面」との「場の分類の結果」に基づいて、各対象者の心的特性を推定する。
　具体的に例えば本実施形態では、複数の対象者Ａ～Ｄ毎に推定された個人の関心対象及び推定時における複数の対象者Ａ～Ｄ毎に個人の行動特徴量と、夫々の「場」における行動特徴量の平均値からのズレを分析することで、複数の対象者Ａ～Ｄ毎に心的特性が確率的に推定される。
　また、心的特性推定部１１６は、複数の対象者Ａ～Ｄ毎に推定した心的特性の推定の結果を心的特性ＤＢ６００に格納する。
　ここで、心的特性推定部１１６により推定される心的特性とは、例えば、「開放性」、「積極性」、「勤勉性」、「安定性」、「適応性」、「リーダーシップ」の６つの性質が含まれる。この心的特性の推定の方法の詳細は、図９等を用いて後述する。
　サーバ１の発達特性推定部１１７は、前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する。
　具体的に例えば本実施形態では、発達特性推定部１１７は、複数の対象者Ａ～Ｄ毎に推定された各対象者の心的特性の長期的な推移の傾向と、夫々の「場」における平均的な心的特性の長期的な推移傾向との差異に基づいて、複数の対象者Ａ～Ｄの夫々の発達特性を推定する。
　サーバ１の出力データ生成部１１８は、関心対象推定部１１４で推定された各対象者の関心対象の推定の結果、場分類部１１５で分類された「場の分類」の結果、心的特性推定部１１６で推定された各対象者の心的特性の推定の結果、発達特性推定部１１７で推定された各対象者の発達特性の推定の結果等に基づいて、出力データを生成する。
　さらに、出力データ生成部１１８は、生成した出力データを記憶部１８に設置された図示せぬデータベースに、その情報を格納する。
　サーバ１の出力データ提示部１１９は、出力データ生成部１１８で生成された出力データを通信部１９を介してクライアント端末２へ送信する制御を実行する。
（特性情報推定処理）
　次に、図５を参照して、図４の機能的構成を有するサーバ１が実行する特性情報推定処理について説明する。
　図５は、サーバ１が実行する特性情報推定処理の流れを説明するフローチャートである。
　ステップＳ１において、撮像画像取得部１１１は、所定時間帯における所定場所を１単位として、クライアント端末２から送信されてくる撮像画像のデータを通信部１９を介して取得する。
　ステップＳ２において、ステップＳ１で取得された撮像画像のデータを解析する。
　具体的には、撮像画像解析部１１２は、撮像画像取得部１１１により取得された撮像画像のデータに基づいて、取得された画像のデータと「場面（例えば第１場面）」との紐づけを行う。
　ステップＳ３において、観察結果取得部１１３は、所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に抽出する。
　即ち、観察結果取得部１１３は、各「場面（例えば、第１場面～第４場面）」の撮像画像のデータに基づいて、各「場面」毎の、対象者の行動観察結果を、複数の対象者Ａ～Ｄ毎に抽出する。
　ステップＳ４において、関心対象推定部１１４は、前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する。
　即ち、関心対象推定部１１４は、複数の対象者Ａ～Ｄ及び、各「場面（例えば第１場面～第４場面）」毎に、ステップＳ３で抽出された行動特徴量と環境情報とに基づいて、複数の対象者の夫々について個人の関心対象を推定する。
（関心対象の推定）
　ここで、上記したステップＳ４における関心対象の推定の詳細について図６を参照して説明する。
　図６は、関心対象の一例を説明するための図である。
　図６は、子どもが幼稚園などで活動するシーン（保育のシーン）における各対象者の関心対象の推定の一例を示す。
　図６の例では、場面Ｋ１（計測時間１、教室）における、ある子供（対象者）の関心対象が、ひと「４３％」、もの「２６％」、こと「３１％」であったことを示されている。また、関心対象の詳細としては、「友達Ａ」、「友達Ｂ」、「友達Ｃ」、「担任」であることが示されている。
　この関心対象の推定は、具体的に例えば、環境情報により識別された「ひと」、「もの」、「こと」への対象者の「位置」、「向き」、「距離」、「時間（関わる対象を注視している時間等）」等により行われる。
　さらに具体的には、例えば、担任の保育者へ親しみをもつ場合や仲の良い友達である場合には、対象者と保育者や友達との距離が近く、保育者や友達に視線が向くため、随伴する頭、肩などの対象者の姿勢や、視線の持続時間の長さから、関心対象であることを推定可能となる。また、関心対象の近くでは、対象者の滞在時間も長くなる。
　これらをまとめると、即ち、対象者が自身の意思でかかわりの対象へ注意を向けるときに生じる行動特徴量によって関心対象が推定される。また、このような関心対象の推定は、数秒から数時間程度の短期的な情報の取得によって実現が可能である。
　説明は図５に戻り、ステップＳ５において、場分類部１１５は、前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、前記複数の単位の夫々を１種類以上の場に分類する。
　即ち、場分類部１１５は、ステップＳ４で推定された複数の対象者（例えば、対象者Ａ～Ｄ）及び各「場面（例えば、第１場面～第４場面）」毎の「個人の関心対象の推定」の結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、各「場面」を１種類以上の「場」に分類する。
（「場」の分類）
　ここで、上記したステップＳ４における「場の分類」の方法の詳細について、図７及び図８等を参照しつつ、説明する。図７、図８は、「場の分類」の方法の一例を説明するための図である。
　図７は、実際に所定の「場面Ｋ（時間：００３０（秒）～００５９（秒）、場所：教室）」を類型（第１分類～第６分類）の「場」へ分類する場合の例を示している。
　ここで、「場」の類型への分類は、各対象者の関心対象の推定と同時に得られた行動特徴（例えば、位置や向き）、環境情報（例えば、物体や人物の配置等）から行われる。
　また、この「場」の類型への分類は、複数人の関心対象が収束する集団の「場」の類型（第１分類～第３分類）であるか、個人の「場」の類型（第４分類～第６分類）であるかを、物体認識等で判別することもできる。
　続いて、図８を参照しつつ、幼稚園での紙芝居の読み聞かせのシーン（保育のシーン）を例に、「場の分類」の具体的な方法について説明していく。
　「場の分類」では、まず集団により形成される関心の「場」（第１分類～第３分類）と個人により形成される関心の「場」（第４分類～第６分類）のいずれであるかが判別される。
　例えば、図８の例では、保育者Ｔは紙芝居の読み聞かせを行っているため、多くの対象者（子供Ｃ１～Ｃ４）の関心は、保育者Ｔに向いていると推定される。
　具体的には、子供Ｃ１～Ｃ４は、視線を保育者Ｔへと向けて、紙芝居の見やすい位置に座る等の行動特徴を示しており、子供Ｃ１～Ｃ４の関心対象は、「ひと」（保育者Ｔ）であると推定される。このような場合、子供Ｃ１～Ｃ４が参加する当該「場面Ｇ（時間：００３０（秒）～００５９（秒）、場所：教室）」は、第１分類に分類される。
　一方で、同様の場面Ｇであっても、紙芝居の中の象へ関心を向け、立ち歩き大きな声で「象だよ！」と叫ぶ子供Ｃ５がいるとする。
　この時、図８に示す通り、子供Ｃ５の姿勢は、直立し、紙芝居へと向き、関心対象（紙芝居の中の象）との距離が近くなる。
　このため、これらの行動特徴量から、この「場面」においては、子供Ｃ５（一人の対象者）の関心対象が「もの」（紙芝居の中の象）であると識別できる。したがって、子供Ｃ５が参加する当該「場面Ｇ（時間：００３０（秒）～００５９（秒）、場所：教室）」は、第５分類に分類される。
　このように、子供Ｃ１～Ｃ５が参加する同一の「場面Ｇ（時間：００３０（秒）～００５９（秒）、場所：教室）」であっても、複数の分類（例えば、第１分類と第５分類）の「場」に分類され得る。
　また、この「場面」は、所定時間（時間単位）と所定場所により決定される。そのため、同一のシーン（保育のシーン）であっても、時間経過によって「場面」の分類も変遷していくことになる。
　このように、本サービスでは、複数の「場面」の夫々に対して、個人から大集団までの関心対象の推定と当該「場面」の分類（「場の分類」）とが可能となる。
　ここで、上述の通り、このような「場」の分類では、例えば、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができる。
　説明は図５に戻り、ステップＳ６において、心的特性推定部１１６は、前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動観察結果と、当該所定単位における他の人物の行動観察結果の平均値との差異に基づいて、当該所定人物の心的特性を推定する。
　即ち、心的特性推定部１１６は、複数の対象者Ａ～Ｄ及び各「場面」との「場の分類の結果」に基づいて、各対象者の心的特性を推定する。
（心的特性の推定）
　ここで、上記したステップＳ６における関心対象の推定の詳細について図９、図１０を参照しつつ、説明する。
　図９、図１０は、心的特性の推定の方法の一例を説明するための図である。図９及び図１０を見ると、心的特性は、例えば、６つの要因（開放性、積極性、勤勉性、安定性、適応性、リーダーシップ）から構成される。
　開放性とは、心的特性の要因の一つであり、好奇心を持ち行動する性質である。例えば、何にでもすぐに気がつき見に行くなど、様々な「ひと」、「もの」、「こと」が幅広く関心対象として推定される場合に対象となり得る。
　この関心対象の幅広さは、各対象者の関心対象の頻度分布の均一／集中の関係と、各「場」における関心対象の平均との差から推定される。即ち、開放性の特徴は、関心対象のバラつき（幅広さ）が大きい点である（各「場」における関心対象の頻度分布）。
　なお、バラつきが大きすぎる場合には注意散漫傾向であるとも考えられるため、必ずしもバラつきが大きいほど良いということにはならない。
　積極性とは、心的特性の要因の一つであり、自信を持ち行動する性質である。例えば、質問に対してすぐに答える、直ぐに保育者の動きをまねる、並ぶのが早い、朝すぐにロッカーに向かい身仕度をする等の積極的な行動がみられるような場合に対象となり得る。
　この積極性は、例えば、関心対象へと向かう速度や姿勢により推定される。例えば、積極性が推定される場合とは、関心対象へ向かう速度は上がり、姿勢は前のめり、胸を張る、歩幅が大きいというような場合である。
　また、積極性があると推定される場合には、関心対象からの働きかけ（問いかけ：動きの模倣や質問）に対する反応時間は早くなる。この関心対象へと向かう速度や姿勢（レスポンス）は、対象者のレスポンスと、各「場」におけるレスポンスの平均との差から推定される。
　即ち、積極性の特徴は、関心対象との応答が早い、レスポンス（加速度、姿勢、発話、行動に対する反応速度）が早い点である。
　勤勉性とは、心的特性の要因の一つであり、集中したり、我慢をしたりする性質である。
　具体的には、紙芝居を見る、お絵かきの時間に絵を描く、保育者の話を聞く、座って待つ、机で勉強するなどの持続時間により、勤勉性が推定される。勤勉性が有る場合には、関心対象に対して集中したり、我慢したりすることで、関心対象に対する頭や体の向き、位置は一定時間持続する。この関心対象への持続時間は、各対象者の持続時間と、「場面」における持続時間の平均との差から推定される。即ち、勤勉性の特徴は、「場」における平均的な関心対象に収束する位置、視線、姿勢とその持続時間が長い点である。
　安定性とは、心的特性の要因の一つであり、安心して落ち着いている性質である。例えば、笑顔で活動に参加する、泣く・喧嘩する、保育者の手や服を握り続ける、突然歩き回る、大声を出す等の基準を基に対象となるか否かが判断される。
　この安定性は、各「場」における対象者の行動の各「場」における平均との差（ズレ）が大きい程、低くなる。一方で、各「場」における対象者の行動が各「場」における平均に近く分散が小さい場合、より安定性は高いと言える。即ち、安定性の特徴は、「場」における行動特徴量（位置、向き、距離、加速度、表情等）の分散（ハズレ値）が少ない点である。
　なお、不安度が高い場合のように安定性が低い場合には、対象者は、特定の「ひと」や「もの」に愛着行動を示す。また、待つことが苦手な場合には、対象者は、立ち歩いたり、ケンカをすれば特定の「ひと」に治する運動量（加速度）や発声（大声）が生じ、行動特徴量の分散が大きくなる。反対に、安定性が高い場合には、行動特徴量は平均に近く分散が小さくなる。この行動特徴量の分散は、各対象者の参加する「場（分類された）場」における全対象者の行動特徴量の平均との差（ズレ）から推定される。
　適応性とは、心的特性の要因の一つであり、周りの空気を読もうとする（その場の雰囲気方から状況を推察する）性質である。例えば、紙芝居や絵本を見る、集団で授業を受ける、並んで待つ、片付けをはじめる等のその場の雰囲気から状況を推察する等の行動がみられるような場合に対象となり得る。
　この適応性は、例えば、集団の「場」において、主となる特徴（紙芝居を読む「場」での姿勢、向き等の平均）からの尤度距離の近さ等から推定される。
　即ち、適応性の特徴は、個人の特徴ベクトルと集団の「場」における特徴ベクトルの平均との間の尤度距離（位置、向き、距離）が小さいという点である。
　なお、適応性は、安定性と類似した特性を持つが、集団（社会）の「場」に対する適応のしやすさを推定することに主眼を置いている。
　リーダーシップとは、心的特性の要因の一つであり、状況を作ろうとする性質である。例えば、リレーのチーム決めなど、グループをとりまとめる、困った子が助けを求める（わからないことを聞きにくる）等の行動がみられるような場合に対象となり得る。
　このリーダーシップは、集団の「場」において、他者の関心対象となる頻度から推定される。つまり、リーダーシップを有する対象者は、集団に語りかけたり意見を提案したりすることで、周囲から頼られ、他者からの関心対象となる頻度が高い（つまり、他者の位置、向き、などの行動特徴量が対象者に向く傾向が高い）。
　即ち、リーダーシップの特徴は、集団の「場」において他者からの関心対象となる頻度（他者の位置、向き、発話）が高い点である。
　なお、心的特性推定部１１６は、推定した各対象者の心的特性に関するデータ（以下、「心的特性データ」と呼ぶ）を心的特性ＤＢ６００に格納する。
　以上のように、心的特性として６つの要因が推定されるが、この推定は、数日から数か月の中期的なデータ分析に基づいて行われることが特に望ましい。このような、心的特性の推定データが蓄積されることにより、推定精度の向上が期待される。
　さらに、上述のとおり、サーバ１では、ディープラーニングや深層学習等の機械学習に係る各種手法を利用することができ、これにより推定精度の更なる向上が期待される。
　説明は図５に戻り、ステップＳ７において、発達特性推定部１１７は、前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する。
　具体的に例えば、本実施形態では、発達特性推定部１１７は、複数の対象者Ａ～Ｄ毎に推定された各対象者の心的特性の長期的な推移の傾向と、夫々の「場」における平均的な心的特性の長期的な推移傾向との差異に基づいて、複数の対象者Ａ～Ｄの夫々の発達特性を推定する。
（発達特性の推定）
　ここで、上記したステップＳ７における発達特性の推定の詳細について図１１を参照して説明する。
　図１１は、発達特性の推定の一例を説明するための図である。
　図１１に示すように、発達特性は、例えば、３つの側面（心情的発達特性側面、身体的発達特性側面、知能的発達特性側面）に分類される。
　ここで、特に図１１を参照しつつ、発達特性の推定について説明する。
　発達特性の推定を行うには、数年の長期的計測より蓄積された心的特性のビックデータから標準発達モデルの構築を行うことが特に好ましい。このため、大量のデータの収集に基づいて、全体平均による標準発達モデルの構築が行われ、さらにその標準発達モデルからの個人（対象者）のズレの推定が行われてもよい。
　具体的に例えば、図１１の例では、子どもの出生から７年間（保育園入園から小学校入学まで）の発達特性を模した例であり、「心情的発達特性側面」、「身体的発達側面」、「知能的発達側面」の三側面を描いている。換言すれば、「こころ」「からだ」「あたま」の育ちの可視化である。
　即ち、発達特性推定部１１７により推定される発達特性は、従来の発達指標とは異なり、心的特性の長期的計測により個々人の個性の発達の特性の推定が期待できる。
　なお、ここでは、心情的発達特性側面を非認知能力、社会情動的スキルといった人間性（パーソナリティ）に関する能力を表すものとする。
　このような発達特性は、例えば、知能テストや体力テストへの応用等が期待され、また、知能テストや体力テスト以外にも既存の医療カルテ、成績表、ＳＮＳ情報等の外部データとの同期により包括的な人の発達指標の導出等も期待される。
　また、発達特性を推定する対象は、必ずしも子供に限られるものではなく、成人から高齢者までといった非常に長期的な個人の発達特性の推移の変化を出力するといった応用も可能である。
　説明は図５に戻り、ステップＳ８において、出力データ生成部１１８は、ステップＳ４で推定された各対象者の関心対象の推定の結果、ステップＳ５で分類された「場の分類」の結果、ステップＳ６で推定された各対象者の心的特性の推定の結果、ステップＳ７で推定された各対象者の発達特性の推定の結果等に基づいて、出力データを生成する。
　さらに、出力データ生成部１１８は、生成した出力データを記憶部１８に設置された図示せぬデータベースに、その情報を格納する。
　ステップＳ９において、サーバ１は、処理の終了指示があったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではサーバ１のいわゆる電源等の遮断指示が採用されている。つまり、サーバ１において電源の遮断指示がなされない限り、ステップＳ９においてＮＯであると判断されて処理はステップＳ１に戻され、それ以降の処理が繰り返される。
　これに対して、サーバ１においてスリープ状態等への移行指示がなされると、ステップＳ９においてＹＥＳであると判断されて、サーバ１の実行する特性情報推定処理は終了になる。
　以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。
　また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
　ここで、図示はしないが、本サービスにおいて、実行されるアノテーション処理は、必ずしも手動で行われる必要はなく、半自動で実行されてもよい。
　具体的に例えば、対象者の氏名や性別等の属性、撮像画像、追跡データ、行動観察結果等の情報を、半自動的に付加し、行動特徴量を編集可能なダイアログが表示されるような仕様としてもよい。また、例えば、このダイアログには、行動特徴量として、例えば「興味・関心の対象」、「視線」、「身体の向き」、「表情」等を登録可能とする入力フォームを設けてもよい。
　（本サービスの具体例）
　次に、図１２を参照しつつ、上述の実施形態におけるデータ処理について、具体的な事例について、説明する。
　図１２は、本サービスの具体例として、教育施設におけるクライアント（保育者）が、対象者（子ども）に絵本の読み聞かせを行った場合のデータ処理の一例を示す図である。
　図１２の破線で囲まれた領域１２－１には、本サービスが適用される教育施設の平面図が描画されている。
　図１２の例では、クライアント（保育者）が１８人の対象者（子ども）に対して、読み聞かせを行った場合の、１８人の対象者（子ども）の位置や視線の方向が、画像処理の結果の情報として、示されている。
　即ち、１８人の対象者（子ども）の夫々の位置を示す複数の点Ｃ（１乃至１８）と、夫々の対象者（子ども）の視線の向きを示す線Ｄ（１乃至１８）とが示されている。なお、点Ｂは、複数の線Ｄの延長線上の交点を示している。
　また、線Ｄが示されていない点については、例えば、クライアント（保育者）等であり、対象者（子ども）以外の者の位置を示している。
　図１２の例では、領域ＥＡに枠Ｅが密集しており、点Ｂのバラつきを示す領域Ｆの面積も小さい。また、点Ｃも一定の対象の周辺に収束している。つまり、図１２の例では、１８人の対象者（子ども）の視線が読み聞かせをしているクライアント（保育者）に向いており、夫々の子供のほとんどすべての関心対象が、読み聞かせをしているクライアント（保育者）になっていることが推測される。
　図１２の破線で囲まれた領域１２－２には、対象となる教育施設を複数の角度から撮像した撮像画像が示されている。
　図１２の破線で囲まれた領域１２－３には、１８人の対象者（子ども）の関心対象を示すグラフが表示されている。
　図１３は、本サービスの具体例として、対象となる教育施設が自由時間になった場合の例を示す図である。
　図１３の破線で囲まれた領域１３－１には、図１２の領域１２－１と同様に、対象となる教育施設の平面図に、点Ｃと、線Ｄと、点Ｂと、枠Ｅとが表示されている。
　図１３の例では、１８人の対象者（子ども）の夫々の位置を示す点Ｃが離散しており、点Ｂのバラつきを示す領域Ｆの面積も大きい。また、枠Ｅも離散している。
　つまり、図１３の例では、１８人の対象者（子ども）の夫々は、自由時間を過ごしているため、夫々が異なる方向に視線を向けており、関心対象にもバラツキが生じていることが推測される。
　図１３の破線で囲まれた領域１３－２には、図１２の領域１２－２と同様に、対象となる教育施設を複数の角度から撮像した撮像画像が示されている。
　破線で囲まれた領域１２－３には、図１２の領域１２－３と同様に、１８人の対象者（子ども）の関心対象を示すグラフが表示されており、１８人の対象者（子ども）の夫々の関心対象として、「保育者との関わり」、「子ども（友達）との関わり」、「全体（ことがら）との関わり」、「集団の保育活動に関連しない「ひと」の関わり」、「「もの」との関わり」、「飽きている」が項目として挙げられている。このグラフによると、１８人の対象者（子ども）の関心対象にバラつきが生じていることがわかる。
　ここで、上述の通り、対象者（子ども）が視線を向けているということが、その子供の関心対象であるという点について、図１４及び図１５を参照しつつ、簡単に補足する。
　図１４は、関心推定の原理を裏付けるための根拠となる尤度距離を算出する手法の一例を示す図である。
　尤度距離は、図１４の左側に示すように、クライアント（保育者）により記録（記述）された対象者（子ども）の関心対象と、行動観察結果（例えば２０，７３６秒にわたる撮像画像のデータに基づく行動観察結果）から作成された関心対象間の角度の確率分布とに基づいて算出することができる。
　なお、図１４で示している「角度」とは、二次元平面上の「角度」を意味しているが、これはあくまでも例示であり、例えば、「角度」とは、三次元空間上の「角度」を意味していてもよい。
　関心対象間の角度の確率分布は、例えば図１４の右側に示すように、関心対象に対する頭の角度（ｆ（ｘＨｅａｄ））の分布を表すグラフで示すことができる。
　即ち、図１４のグラフに示すように、ある瞬間の対象者（子ども）の頭の角度（ｆ（ｘＨｅａｄ））が「０（ゼロ）」又はその付近の角度のときに、対象者（子ども）の視線の先に関心対象があることがわかる。
　図１５は、関心推定の正答率を示す表である。
　上述したように、図１４に示すグラフは、ある瞬間における対象者（子ども）の、関心対象に対する頭の角度（ｆ（ｘＨｅａｄ））の分布を表している。これに対し、図１５の表に示すように、「瞬間」ではなく「連続する時間（例えば１秒、２秒等）」で捉えた場合には、関心対象の推定の正答率（信頼性）に違いが生じる。
　例えば、ある「瞬間」における対象者（子ども）の頭の角度に基づいて関心対象を推定すると、図１５に示すように、第１候補として推定された関心対象の正答率（信頼性）は、平均で「２４．１％」となる。また、第３候補まで含めた場合の正答率（信頼性）は、平均で「４８．８％」となる。
　また、対象者（子ども）の頭の角度が所定の角度で連続して１秒間維持された場合の関心対象を推定すると、第１候補として推定された関心対象の正答率（信頼性）は、平均で「３０．７％」となる。また、第３候補まで含めた場合の正答率（信頼性）は、平均で「６１．２％」となる。
　また、対象者（子ども）の頭の角度が所定の角度で連続して２秒間維持された場合の関心対象を推定すると、第１候補として推定された関心対象の正答率（信頼性）は、平均で「３２．７％」となり、１秒間維持された場合よりも２ポイント上昇する。また、第３候補まで含めた場合の正答率（信頼性）は、平均で「６５．１％」となり、１秒間維持された場合よりも約４ポイント上昇する。
　また、対象者（子ども）の頭の角度が所定の角度で連続して３秒間維持された場合の関心対象を推定すると、第１候補として推定された関心対象の正答率（信頼性）は、平均で「３３．５％」となり、２秒間維持された場合よりも約１ポイント上昇する。また、第３候補まで含めた場合の正答率（信頼性）は、平均で「６７．０％」となり、２秒間維持された場合よりも約２ポイント上昇する。
　このように、対象者（子ども）の頭の角度が所定の角度で連続して１秒間以上維持された場合には、「瞬間」の場合よりも飛躍的に正答率（信頼性）が向上することがわかる。
　図１６は、尤度距離を利用した解析の手法の一例を示す図である。
　図１６の破線で示された領域１６－１には、「人による分類」、即ち、クライアント（保育者）等の熟練したスキルを持つ者によって、対象者（子ども）の関心対象の全体の平均からの尤度距離を示すグラフが示されている。
　他方、図１６の破線で示された領域１６－２には、「自動分類」、即ち、行動観察結果に基づいて作成された、各瞬間の行動発生確率の平均からの尤度距離を表すグラフが示されている。
　図１６の例では、縦軸に夫々の対象者（子ども）、横軸に抽出された状況毎の時系列的な変化が示されている。また、図１６の例では、白と黒の濃淡によって、夫々の対象者（子ども）の関心対象の平均からの距離が示されている。
　具体的に例えば、領域１６－１の下段の１番の対象者（子ども）の例を見ると、特に白い点線で囲っている場面（２０番：「エリカ読み聞かせ」、２３番：「自由時間」、２５番：「次の活動を待つ」）において、他の子供とは大きく異なる（尤度距離の遠い）関心対象を示していることが分かる。
　このような１番の対象者（子ども）の傾向は、領域１６－２示す「自動分類」においても同様である。
　即ち、図１６例では、熟練したスキルを持つ者による「人による分類」と、上述の実施形態を含む、本サービスに関連する各種手法を用いた「自動分類」とが、例えば、１番の対象者が（子ども）が、他とは異なる関心対象を示しているという点において、同様の結果を示しているということを意味しており、本サービスに関連する各種手法を用いた「自動分類」の妥当性を支持するものである。
　換言すれば、これらのデータは、対象者（子ども）の関心対象は、対象者（子ども）の位置と向きとに基づいて推定することができるということを示唆するものである。
　図１６の破線で示された領域１６－２には、「自動分類」、即ち、行動観察結果に基づいて自動作成された、各瞬間の行動発生確率の平均からの尤度距離を表すグラフが示されている。
　図１６の破線で示された領域１６－３には、行動観察結果に基づいて自動的に分類される、対象者（子ども）の状況の具体例が示されている。具体的には、「保育者の説明を聞く」、「保育者とおはようの歌を歌う」、「次の活動を待つ」、「保育者と歌をうたう」、といった状況が示されている。
　さらに、本サービスによる自動分類の結果に基づいて、対象者（子ども）の個々の特性を推定することもできる。
　これにより、例えばクライアント（保育者）として注意しなければならない対象者（子ども）や集団（例えば学級）を効率よく把握することができる。
　集団（例えば学級）から外れがちな対象者（子ども）がいる場合、その「外れ方」はいろいろあり、その原因も様々であるが、本サービスによる自動分類によれば、クライアント（保育者）は場面に応じた行動分布を把握することが可能となる。これにより、クライアント（保育者）は、行動分布から算出された行動の尤度距離に基づいて、注意すべき対象者（子ども）や集団（例えば学級）を判断することができる。また、注意すべき対象者（子ども）や集団（例えば学級）の保護者と協調していくことが可能となる。
　具体的には、クライアント（保育者）は、対象者（子ども）の特性の推定結果から、対象者（子ども）の友達関係を把握して、集団に属する対象者（子ども）の要注意度を推定することができる。
　また、クライアント（保育者）は、複数の対象者（子ども）の特性の推定結果から、集団（例えば学級）全体のざわつき度や集中度を把握することができる。換言すると、集団（例えば学級）全体の空気（雰囲気）を定量化して、他の集団と比較することができる。
　また、クライアント（保育者）は、集団（例えば学級）をリードする複数の対象者（子ども）が属する母集団を形成させることもできる。これにより、集団（例えば学級）の品質をコントロールすることも可能となる。
　さらに、本サービスによれば、次に掲げることを実現させることもできる。
　即ち、対象者（子ども）の夫々の運動量、及び滞在している位置に基づいて、関心対象を推定することもできる。
　また、クライアント（保育者）を注目しない対象者（子ども）や、注目しすぎる対象者（子ども）を推定することができる。
　また、対象者（子ども）同士、又は対象者（子ども）と先生との間における、物理的・心的な近さを推定することもできる。
　また、対象者（子ども）同士、又は対象者（子ども）と先生との間で動作の同期を測ることで、対象者の活動への参加の度合いを推定することもできる。
　また、対象者（子ども）の分類と、集団行動の分類とを組合せることにより、どんな活動に熱心又は不熱心になっているか、何を得意又は不得意とするかといった見地を含む、多元的な個性の把握を可能とすることができる。
　ここで、本発明の一実施形態に係る情報処理システムの応用例について、簡単に説明する。
　上述した実施形態のように、本サービスが保育・教育領域において適用される場面においては、「子供の発達障害の早期発見（縦段的な発達研究）」、「学習への意欲の推定（教育効果の検証等）」、「教育活動のリスク要因の推定（事故、いじめの予防等）」、「適切な職業タスクの推定（教育適性の推定等）」等に応用が期待される。
　なお、これらの応用例は、例えば、「保育、教育施設」、「教育研究機関」、「教育行政機関」等で実行され得る。
　また、上述の実施形態では、本サービスが保育・教育領域において適用される例について説明したが、本サービスは、他の領域においても適用することができる。具体的には、本サービスは、医療・介護領域、マーケティング領域、あるいはロボットサービス領域に適用してもよい。
　例えば、本サービスが医療・介護領域において適用される場合においては、「認知症推定判断（認知症の早期発見、進行度推定）」、「精神健康度推定（患者、職員のストレスマネジメント）」等に応用が期待される。
　なお、これらの応用例は、例えば、「医療施設」、「介護施設」、「企業人事」等で実行され得る。
　また、同様に、例えば、本サービスがマーケティング領域において適用される場面においては、「顧客の心的状態の評価（顧客のニーズの抽出）」、「関心を反映した設計提案（設備配置等の最適化推定）」等に応用が期待される。
　なお、これらの応用例は、例えば、「商業施設」、「設計事業」等で実行され得る。
　また、同様に、例えば、本サービスがロボットサービス領域において、適用される場面においては、「家庭、介護、職場ロボットによる人の感情推定」、即ち、ロボットによる接客、生活支援、ストレス緩和等に応用が期待される。
　なお、これらの応用例は、ロボットを開発する企業やロボットが利用される現場（例えば、個人、法人等）等で実行され得る。
　例えば、上述の実施形態において、６つの類型（第１分類～第６分類）の「場」に分類する方法を採用して説明を行ったが、特にこれに限定されない。
　即ち、サーバ１では、上述の６つの類型の「場」に分類する以外のあらゆる方法を採用してもよい。例えば、８つの類型の「場」に分類してもよいし、上述の６つの類型の「場」の概念を適宜変更してもよい。
　また、上述の実施形態では、６つの類型を大きく、第１分類～第３分類の「場」を、集団により形成される「場」の類型として、第４分類～第６分類の「場」を、特定個人により形成される「場」の類型として規定したが、特にこれに限定されない。
　即ち、サーバ１では、他のあらゆる概念を用いて「場」の類型を規定して、「場」の分類を行うことができる。
　さらに言えば、上述の実施形態では、特許請求の範囲に記載された「１単位」を、「場面」として説明したが、特にこれに限定されず、サーバ１は、「１単位」として、上述の「場面」を含む、あらゆる概念を採用することができる。例えば、サーバ１は、「１単位」として、「１秒程度の短い時間」という概念を採用してもよい。
　具体的には、サーバ１は、個人の関心対象の分類を１秒程度の短い時間ごとに行い、それを合わせて集団の関心対象を、１秒程度、あるいはもう少し長い１０秒程度で推定する。そして、そこから推定される集団で構成される「場」を決め、その変化点を持って、連続して撮像された画像を「１単位」毎に区切るという手法を採ることもできる。
　即ち、特許請求の範囲に記載された「１単位」とは、必ずしも一定期間という幅があって固定されている訳ではなく、集団の関心対象、ひいてはそこで行われている活動が続いている間を意味し、その変化する点をもって当該「１単位」の区切りとしてもよい。
　上述の実施形態では、サーバ１にインストールされたプログラムが実行されることにより、図５に示す特性情報推定処理が実行され、本サービスが実現するものとした。しかし、本サービスを実現するためのプログラムは、サーバ１にインストールされて実行されるものではなく、例えばクライアント端末２にインストールされて実行されるものとしてもよい。
　また、上述の実施形態では、撮像画像のデータ（動画像データ）に基づいて、画像解析処理により、複数の対象者の夫々の行動観察結果が取得されるものとしたが、行動観察結果の取得方法はこれに限るものではない。例えば、各対象者に直接、視覚センサ（カメラ）や加速度センサ等のセンサを取り付けることにより、各対象者に取り付けられたセンサの検知情報に基づいて各対象者の行動観察結果が取得されるものとしてもよい。
　また、尤度距離を算出する手法は、上述の実施形態に限定されない。例えばＴｏｐｉｃ（トピック）モデルを用いて、場面の自動分類と対象者（子ども）の尤度距離を算出することもできる。
　ここで、「Ｔｏｐｉｃモデル」とは、複数の潜在的なＴｏｐｉｃに基づいて文書が生成されると仮定したモデルのことをいう。また、Ｔｏｐｉｃモデルにおいて、文書を構成する各単語は、所定のＴｏｐｉｃが持つ確率分布に従って出現すると仮定される。即ち、Ｔｏｐｉｃモデルでは、文書を構成する単語の出現頻度の分布を想定することで、Ｔｏｐｉｃ間の類似性やその意味を解析することができる。
　このＴｏｐｉｃモデルを、本サービスにおける場面の自動分類と尤度距離の算出とに用いる。具体的には例えば、対象者（子ども）が属する集団が「英語のクラス」である場合には、まず、Ｔｏｐｉｃとして分布している「英語の歌」、「人への関心」、及び「物への関心」と、対象者（子ども）の各行動とを対応付ける。次に、行動観察結果から得られる対象者（子ども）の夫々の位置と速度に基づいて、対象者（子ども）夫々の行動を分類する。なお、対象者（子ども）夫々の位置と速度に基づく行動の分類の具体的手法は特に限定されない。例えばＨＤＰ－ＨＭＭ（階層ディリクレ過程隠れマルコフモデル）による教師なしのクラスタリングによる手法を用いることができる。そして、例えばＬＤＡ（潜在的ディリクレ配分法）による教師なしのクラスタリングを用いたクラス毎の行動の確率分布に基づいて、対象者（子ども）の行動の尤度距離を算出することができる。
　また、上述の実施形態では、対象者（子ども）の「向き」として、俯角のみが例示されているが、これに限定されず、仰角が含まれてもよい。即ち、対象者（子ども）が頭や体を、水平方向に左右に傾ける動作のみならず、垂直方向に上下に傾ける動作が含まれてもよい。
　また、上述の実施形態では、本発明の情報処理システムは、サーバ１、クライアント端末２により構成されていたが、本発明の目的を達成するための例示に過ぎず、特に限定されない。
　即ち、図１の例では、説明の便宜上、クライアント端末２を１つしか記載していないが、本サービスの提供を受けるクライアント数に応じて、クライアント端末２の数を適宜設定することができる。
　また、上述の実施形態では、クライアント端末２を介して所定のネットワークＮによって撮像画像のデータがサーバ１に送信されるものとしたが、撮像画像のデータは、撮像装置３からサーバ１へ有線で直接入力されてもよい。
　また、上述の実施形態では、クライアント端末２と、撮像装置３が別々に設けられるものとしたが、クライアント端末２が撮像部（例えば、ビデオカメラ部）を備える（クライアント端末２と撮像部３とが一体に構成される）ものとしてもよい。
　さらに言えば、上述の実施形態では、１つのクライアント端末２に対して、１つの撮像装置３が接続されるものとしたが、特にこれに限定されない。即ち、本サービスでは、一つのクライアント端末２に対して複数の撮像装置３が接続されてもよいし、複数のクライアント端末２に対して１つの撮像装置３が接続されてもよい。
　したがって、例えば、クライアント端末２が複数の撮像装置から同時に画像（動画）を受けることも可能である。
　また、図３に示す各ハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
　また、図４に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図４の例に限定されない。すなわち、図５に示す特性情報推定処理は、単一の情報処理装置（例えばサーバ１）によって実現されてもよいし、複数の情報処理装置（サーバ１、クライアント端末２）からなる情報処理システムによって実現されてもよい。また、図５に示す特性情報推定処理は、クライアント端末２にインストールされるアプリケーションプログラムの一部として実行されるものであってもよい。
　また、機能ブロックの存在場所も、図４に限定されず、任意で良い。例えばサーバ１側の機能ブロックの少なくとも一部をクライアント端末２の側に設けても良いし、その逆でも良い。
　そして、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体との組み合わせで構成しても良い。
　各機能ブロックの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであっても良い。
　このようなプログラムを含む記録媒体は、各クライアントにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各クライアントに提供される記録媒体等で構成される。
　なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
　以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
　即ち、本発明が適用される情報処理装置は、
　所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に取得する取得手段（例えば、図４の観察結果取得部１１３）と、
　前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する関心対象推定手段（例えば、図４の関心対象推定部１１４）と、
　前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、前記複数の単位の夫々を１種類以上の場に分類する場分類手段（例えば、図４の場分類部１１５）と、
　を備えれば足りる。
　これにより、対象者（人物）に関心対象が生じたときの場面がどのような場面であるのか（集団により形成される場面か、特定個人により形成される場面か）を適切に推定することができる。
　また、前記関心対象推定手段は、ひと、もの、及びことの３要素のうち１以上の要素から、所定単位における所定人物の関心対象を推定する、ことができる。
　これにより、対象者（人物）の関心対象の種類を推定することができる。
　また、前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動観察結果と、当該所定単位における他の人物の行動観察結果の平均値との差異に基づいて、当該所定人物の心的特性を推定する心的特性推定手段（例えば、図４の心的特性推定部１１６）をさらに備える、ことができる。
　これにより、対象者（人物）の心的特性を適切に推定することができる。
　また、前記心的特性は、開放性、積極性、勤勉性、安定性、適応性、およびリーダーシップの６つの要因から成るものとする、ことができる。
　これにより、対象者（人物）の心的特性を多角的に分析することができる。
　また、前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する発達特性推定手段（例えば、図４の発達特性推定部１１７）をさらに備える、ことができる。
　これにより、対象者（人物）の発達特性を適切に推定することができる。
　また、前記取得手段は、
　複数の単位毎の人物の、位置と向きとのうち少なくとも一方に関する情報を含む行動観察結果を、複数の人物毎に取得することができる。
　これにより、対象者（人物）に関心対象が生じたときの場面がどのような場面であるのか（集団により形成される場面か、特定個人により形成される場面か）を、対象者（人物）の位置又は向き、あるいは位置及び向きに基づいて適切に推定することができる。
　また、本発明は、情報処理方法や、プログラムに適用することもできる。
　１・・・サーバ、２・・・クライアント端末、３・・・撮像装置、１１・・・ＣＰＵ、２１・・・ＣＰＵ、２４・・・表示部、１１１・・・撮像画像取得部、１１２・・・撮像画像解析部、１１３・・・観察結果取得部、１１４・・・関心対象推定部、１１５・・・場分類部、１１６・・・心的特性推定部、１１７・・・発達特性推定部、１１８・・・出力データ生成部、１１９・・・情報送信部、２１１・・・撮像画像管理部、２１２・・・出力情報取得部、５００・・・分類ＤＢ、６００・・・心的特性ＤＢ、１２－１～１２－３，１３－１～１３－３，１６－１～１６－３・・・領域、Ｂ・・・対象者の向きを示す線の交点、Ｃ・・・対象者の位置を示す点、Ｄ・・・対象者の向きを示す線、Ｅ・・・対象者の関心対象を示す枠、ＥＡ・・・領域、Ｆ・・・対象者の向きを示す線の交点のバラつきを示す領域

Claims (8)

  1. 　所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に取得する取得手段と、
    　前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する関心対象推定手段と、
    　前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、前記複数の単位の夫々を１種類以上の場に分類する場分類手段と、
    　を備える情報処理装置。
  2. 　前記関心対象推定手段は、ひと、もの、及びことの３要素のうち１以上の要素から、所定単位における所定人物の関心対象を推定する、
    　請求項１に記載の情報処理装置。
  3. 　前記関心対象推定手段により所定単位における所定人物の関心対象が推定されたときに、当該所定人物の行動観察結果と、当該所定単位における他の人物の行動観察結果の平均値との差異に基づいて、当該所定人物の心的特性を推定する心的特性推定手段をさらに備える、
    　請求項２に記載の情報処理装置。
  4. 　前記心的特性は、開放性、積極性、勤勉性、安定性、適応性、およびリーダーシップの６つの要因から成る、
    　請求項３に記載の情報処理装置。
  5. 　前記心的特性推定手段により推定された所定人物の心的特性の長期的な推移の特徴と、標準的な心的特性の長期的な推移の特徴との差異に基づいて、所定人物の発達特性を推定する発達特性推定手段をさらに備える、
    　請求項４に記載の情報処理装置。
  6. 　前記取得手段は、
    　複数の単位毎の人物の、位置と向きとのうち少なくとも一方に関する情報を含む行動観察結果を、複数の人物毎に取得する、
    　請求項１乃至５のうちいずれか１項に記載の情報処理装置。
  7. 　情報処理装置が実行する情報処理方法であって、
    　所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に取得する取得ステップと、
    　前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する関心対象推定ステップと、
    　前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、前記複数の単位の夫々を１種類以上の場に分類する場分類ステップと、
    　を含む情報処理方法。
  8. 　情報処理装置を制御するコンピュータに、
    　所定時間帯における所定場所を１単位として、複数の単位毎の人物の行動観察結果を、複数の人物毎に取得する取得ステップと、
    　前記複数の人物及び前記複数の単位毎に、夫々取得された前記行動観察結果に基づいて、個人の関心対象を推定する関心対象推定ステップと、
    　前記複数の人物及び前記複数の単位毎の前記関心対象推定手段の推定結果に基づいて、集団により形成される１種類以上の場及び特定個人により形成される１種類以上の場の中から、前記複数の単位の夫々を１種類以上の場に分類する場分類ステップと、
    　を含む制御処理を実行させるプログラム。
PCT/JP2019/008133 2018-03-01 2019-03-01 情報処理装置、情報処理方法、及びプログラム WO2019168162A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/977,060 US20210406526A1 (en) 2018-03-01 2019-03-01 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-036546 2018-03-01
JP2018036546 2018-03-01

Publications (1)

Publication Number Publication Date
WO2019168162A1 true WO2019168162A1 (ja) 2019-09-06

Family

ID=67805496

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008133 WO2019168162A1 (ja) 2018-03-01 2019-03-01 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210406526A1 (ja)
JP (1) JP7321437B2 (ja)
WO (1) WO2019168162A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080138A1 (ja) * 2020-10-13 2022-04-21 パナソニックＩｐマネジメント株式会社 関心度推定システム、及び、関心度推定方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7177105B2 (ja) * 2020-01-30 2022-11-22 Kddi株式会社 文書から認知・非認知能力を推定する能力推定プログラム、装置及び方法
JPWO2021172434A1 (ja) * 2020-02-28 2021-09-02
JP2022046952A (ja) * 2020-09-11 2022-03-24 株式会社ヒイラギ 育成支援システム
US20240062675A1 (en) * 2021-02-05 2024-02-22 Panasonic Intellectual Property Management Co., Ltd. Action estimation system and recording medium
JP7263475B1 (ja) 2021-10-13 2023-04-24 株式会社電通 授業支援システム、授業支援方法、授業支援プログラム
JP7378110B1 (ja) * 2022-12-27 2023-11-13 ノーステックテレコム株式会社 子育て支援システム及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162432A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、情報処理装置、情報端末、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0110480D0 (en) * 2001-04-28 2001-06-20 Univ Manchester Metropolitan Methods and apparatus for analysing the behaviour of a subject
JP4868360B2 (ja) * 2006-08-14 2012-02-01 株式会社国際電気通信基礎技術研究所 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム
JP2013101319A (ja) * 2011-10-12 2013-05-23 Masao Fukuda 乳幼児用の言語学習教材及び乳幼児の言語学習を補助するための表示体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162432A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、情報処理装置、情報端末、プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIDA, RYOMA ET AL.: "Development of Interest estimation Tool for effective HAI", PROCEEDINGS OF THE 5TH INTERNATIONAL CONFERENCE ON HUMAN AGENT INTERACTION, 17 October 2017 (2017-10-17), pages 483 - 486, XP055635410 *
JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE: "Development of Human Behavior Sensing and Analysis Tool for Quantifying Child Care Quality", 31ST ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 23 May 2017 (2017-05-23) *
OMORI TAKASHI,ET AL.: "Nurturing AI: Possibility of AI that understand mental development", 30TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 6 June 2016 (2016-06-06) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080138A1 (ja) * 2020-10-13 2022-04-21 パナソニックＩｐマネジメント株式会社 関心度推定システム、及び、関心度推定方法
JP7482433B2 (ja) 2020-10-13 2024-05-14 パナソニックＩｐマネジメント株式会社 関心度推定システム、及び、関心度推定方法

Also Published As

Publication number Publication date
JP7321437B2 (ja) 2023-08-07
JP2019153303A (ja) 2019-09-12
US20210406526A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
WO2019168162A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Zaltman Rethinking market research: Putting people back in
Roth Introduction To Psychology: Vol 1
Tomkins et al. What and where are the primary affects? Some evidence for a theory
White et al. Ethnography versus case study‐positioning research and researchers
Kabira et al. ABC of gender analysis
Corrigan et al. Engagement perception and generation for social robots and virtual agents
Revadekar et al. Gauging attention of students in an e-learning environment
Khan Multimodal behavioral analytics in intelligent learning and assessment systems
JP6715410B2 (ja) 評価方法、評価装置、評価プログラム、および、評価システム
Elia et al. Gesture in a kindergarten mathematics classroom
Kowallik et al. Sensor-based technology for social information processing in autism: A review
JP2016177483A (ja) コミュニケーション支援装置、コミュニケーション支援方法及びプログラム
Liang et al. Gaze toward naturalistic social scenes by individuals with intellectual and developmental disabilities: Implications for augmentative and alternative communication designs
Connor Children on the autistic spectrum: Guidelines for mainstream practice
Satchwell et al. The mismeasure of a young man: an alternative reading of autism through a co-constructed fictional story
Lane 32 Enhancing Informal Learning Experiences with Affect-Aware Technologies
McLarty et al. Using video technology in emancipatory research
Morin et al. Self-awareness, inner speech, and theory of mind in typical and ASD individuals: A critical review
Liu et al. Emotion Recognition Through Observer's Physiological Signals
Babiker et al. Towards detection of interest using physiological sensors
Masmoudi et al. Meltdowncrisis: Dataset of autistic children during meltdown crisis
CN112005286A (zh) 一种教学测试项目匹配方法、装置和设备
Cook Exploring inclusion in a therapeutic theater production
Nugraeni et al. Educational values in Finding Dory Movie Script and teaching speaking application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19760223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19760223

Country of ref document: EP

Kind code of ref document: A1