WO2023203961A1 - 心理状態表示システム - Google Patents

心理状態表示システム Download PDF

Info

Publication number
WO2023203961A1
WO2023203961A1 PCT/JP2023/011737 JP2023011737W WO2023203961A1 WO 2023203961 A1 WO2023203961 A1 WO 2023203961A1 JP 2023011737 W JP2023011737 W JP 2023011737W WO 2023203961 A1 WO2023203961 A1 WO 2023203961A1
Authority
WO
WIPO (PCT)
Prior art keywords
psychological state
infrared
psychological
light
display system
Prior art date
Application number
PCT/JP2023/011737
Other languages
English (en)
French (fr)
Inventor
祥三 大塩
充 新田
亮祐 鴫谷
亜紀子 瀧本
博 丸山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023203961A1 publication Critical patent/WO2023203961A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Definitions

  • the present invention relates to a psychological state display system.
  • Patent Document 1 discloses a system (facial expression estimation device) that estimates a facial expression that matches the psychological state and emotion of a person based on the facial expressions and actions of the person shown in an image of the person.
  • an object of the present invention is to provide a psychological state display system that can visualize changes in a person's psychological state while suppressing the influence of illumination light.
  • a psychological state display system includes a near-infrared light source that outputs output light having a first near-infrared ray including a wavelength of 780 nm or more and less than 2500 nm to a plurality of people; an imaging device that receives the first near-infrared rays and captures an infrared image of the plurality of people;
  • the present invention includes a generation device that generates psychological data indicating the psychological state using a trained machine learning model that outputs the psychological state, and a display device that displays temporal changes in the generated psychological data.
  • the psychological state display system of the present invention can visualize changes in a person's psychological state while suppressing the influence of illumination light.
  • FIG. 1 is a diagram showing the configuration of a psychological state display system according to an embodiment.
  • FIG. 2 is a block diagram showing a characteristic functional configuration of the psychological state display system according to the embodiment.
  • FIG. 3 is a schematic diagram of a near-infrared light source and a person according to the embodiment viewed in the vertical direction.
  • FIG. 4 is a schematic diagram of FIG. 3 viewed from the side.
  • FIG. 5 is a flowchart showing a processing procedure in which the psychological state display system according to the embodiment learns a machine learning model.
  • FIG. 6 is a flowchart showing a processing procedure in which the psychological state display system according to the embodiment visualizes a person's psychological state.
  • FIG. 7 is a diagram showing an infrared image captured by the imaging device according to the embodiment.
  • FIG. 8 is an example of psychological data based on the infrared image shown in FIG. 7.
  • FIG. 9 is another example of psychological data based on the infrared image shown in FIG. 7.
  • FIG. 10 is another example of psychological data according to the embodiment.
  • FIG. 11 is a block diagram showing a characteristic functional configuration of a psychological state display system according to a modification of the embodiment.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Further, in each figure, substantially the same configurations are denoted by the same reference numerals, and overlapping explanations may be omitted or simplified.
  • FIG. 1 is a diagram showing the configuration of a psychological state display system 1 according to the present embodiment.
  • FIG. 2 is a block diagram showing a characteristic functional configuration of the psychological state display system 1 according to the present embodiment.
  • the psychological state display system 1 outputs the output light L having the first near-infrared rays to a plurality of people (for example, from several people to several tens of people), and captures infrared images of the plurality of people.
  • the psychological state display system 1 generates psychological data indicating the psychological state of at least one of the plurality of persons based on the captured infrared image, and displays temporal changes in this psychological data.
  • an administrator of the psychological state display system 1 can understand changes in the psychological states of a plurality of people by looking at temporal changes in the displayed psychological data. In other words, the psychological state display system 1 can visualize changes in a person's psychological state.
  • the psychological state display system 1 determines a stimulus based on psychological data, and provides the determined stimulus to a plurality of people. Therefore, it is possible to give the person a stimulus for changing the person's psychological state according to the person's psychological state, so that the psychological state display system 1 can control the psychological state of the person.
  • the psychological states according to this embodiment include, for example, happy, sad, energetic, fearful, angry, depressed, awake, absent-minded, interested, nervous, and concentrated. This means, but is not limited to, the state of
  • the psychological state display system 1 includes a near-infrared light source 100, an imaging device 200, a generation device 300, a display device 400, a control device 500, and a stimulation device 600. Be prepared.
  • the near-infrared light source 100 outputs output light L having a first near-infrared ray including a wavelength of 780 nm or more and less than 2500 nm to a plurality of people. Using such a near-infrared light source 100, a wide space is irradiated with the first near-infrared rays.
  • the imaging device 200 receives the first near-infrared rays of the output light L and captures infrared images of a plurality of people.
  • the imaging device 200 captures infrared images of a plurality of people by receiving first near-infrared rays reflected by the plurality of people.
  • the generation device 300 uses a trained machine learning model 321 that receives the captured infrared image as an input and outputs the psychological state of at least one person among the plurality of people represented by the infrared image, and generates a psychological model indicating the psychological state. Generate data. Furthermore, the generation device 300 determines stimulation to be given to a plurality of people based on the generated psychological data. Note that the generation device 300 may use, for example, the technology described in Japanese Patent No. 6467965.
  • the display device 400 displays temporal changes in the generated psychological data.
  • the control device 500 controls the stimulation device 600 so that the determined stimulation is given to a plurality of people.
  • the stimulation device 600 provides stimulation to multiple people.
  • the psychological state display system 1 is a system used in a space such as an entertainment space, a public space, or a learning space, but is not limited to such spaces. Further, at least the near-infrared light source 100, the imaging device 200, and the stimulation device 600 are installed in the space. The generation device 300, the display device 400, and the control device 500 may be installed in the space, or may be installed in a remote location away from the space.
  • output light L is output to multiple people watching a movie, and infrared images of the multiple people are captured, and the psychological states of the multiple people are captured. Changes over time will be visualized. Furthermore, a stimulus is given to the plurality of people.
  • the near-infrared light source 100 is a light source that outputs output light L having a first near-infrared ray to a plurality of people.
  • the first near-infrared rays are light including a wavelength of 780 nm or more and less than 2500 nm.
  • the first near-infrared rays may include a wavelength in the entire wavelength range of 780 nm or more and less than 2500 nm, but it is sufficient that the first near-infrared rays include a wavelength in at least a part of the range.
  • the first near-infrared rays include a peak wavelength in a wavelength range of 780 nm or more and less than 2500 nm.
  • the first near-infrared rays are preferably (i) light including a wavelength of 780 nm or more and less than 1,700 nm, and (ii) light including a wavelength of 780 nm or more and less than 1,500 nm.
  • the first near-infrared rays are preferably (iii) light including a wavelength of 780 nm or more and less than 900 nm, and (iv) even more preferably light including a wavelength of 800 nm or more and less than 900 nm.
  • the first near-infrared rays preferably include a peak wavelength in the wavelength ranges (i), (ii), (iii), and (iv) above.
  • the near-infrared light source 100 outputs output light L having the above-mentioned first near-infrared rays and visible light.
  • Visible light is light that includes a wavelength of 380 nm or more and less than 780 nm.
  • the visible light may be monochromatic light such as red light, green light, and blue light, but here it is white light.
  • the near-infrared light source 100 independently controls the first near-infrared rays and visible light, and controls at least one of turning on/off and dimming each of the first near-infrared rays and visible light. More specifically, the control unit 110 included in the near-infrared light source 100 independently controls the first near-infrared rays and visible light, and turns on/off and dims each of the first near-infrared rays and visible light. Control at least one of them. For example, the near-infrared light source 100 can control at least one of turning on/off and dimming only the first near-infrared rays while keeping the visible light emission mode constant. Similarly, at least one of turning on/off and dimming only visible light can be controlled while keeping the emission mode of the first near-infrared rays constant.
  • the near-infrared light source 100 includes a near-infrared light source section 120 that emits first near-infrared light, and a white light source section 130 that emits visible light (white light).
  • the control unit 110 controls the near-infrared light source unit 120 to emit first near-infrared light and the white light source unit 130 to emit visible light (white light).
  • the near-infrared light source section 120 includes, for example, a first solid-state light emitting element.
  • the first solid-state light emitting element may be, for example, a laser diode element, but here it is a near-infrared LED element.
  • the near-infrared LED element converts the applied power into light (first near-infrared light) and irradiates the light.
  • the near-infrared light source section 120 includes, as another example, a second solid-state light emitting element and a phosphor member.
  • the second solid-state light emitting element is an element that outputs excitation light, and may be a laser diode element, for example, but here it is a blue LED element. That is, the second solid-state light emitting device outputs blue light as excitation light.
  • the phosphor member is a member that outputs wavelength-converted light as first near-infrared rays based on the output excitation light (blue light).
  • the phosphor member is, for example, a Cr 3+ activated phosphor that is easy to manufacture or a rare earth activated phosphor (in particular, a phosphor activated with at least one selected from Tm 3+ , Er 3+ , Nd 3+ , and Yb 3+ ). body).
  • the first near-infrared ray is light that includes a wavelength of 780 nm or more and less than 2,500 nm, but if it is light that includes wavelengths (i), (ii), (iii), and (iv), commercially available
  • a near-infrared light source section 120 can be used.
  • the commercially available near-infrared light source 120 has a fluorescence peak at any wavelength selected from 780 nm, 850 nm, 940 nm, 980 nm, 1050 nm, 1200 nm, 1300 nm, 1400 nm, 1450 nm, 1500 nm, 1550 nm, 1600 nm, and 1650 nm. is used.
  • the above-mentioned Cr 3+ activated phosphor for example, one having a fluorescence peak at any wavelength selected from 790 nm, 800 nm, 825 nm, 850 nm, 880 nm, 925 nm, 950 nm, 970 nm and 1035 nm is used.
  • the rare earth activated phosphor is as follows.
  • Tm 3+ activated phosphors generally have emission line-like fluorescence peak wavelengths at wavelengths of 785 nm, 800 nm, and 820 nm.
  • Er 3+ -activated phosphors generally have emission line-like fluorescence peak wavelengths at wavelengths of 970 nm, 1005 nm, 1470 nm, 1530 nm, 1570 nm, 1615 nm, and 1645 nm.
  • the Nd 3+ activated phosphor has emission line-like fluorescence peak wavelengths at wavelengths of 880 nm, 935 nm, 1060 nm, 1105 nm, 1335 nm, and 1420 nm.
  • the Yb 3+ activated phosphor has emission line-like fluorescence peak wavelengths at wavelengths of 970 nm, 1000 nm, and 1025 nm.
  • the white light source section 130 that emits visible light includes, for example, a yellow phosphor member and a blue LED element.
  • a part of the excitation light, which is blue light output from the blue LED element, is wavelength-converted by the yellow phosphor member and becomes yellow light.
  • This yellow light and the blue light whose wavelength has not been converted are combined to output white light from the white light source section 130.
  • the white light source section 130 is not limited to this configuration as long as it can output visible light such as white light.
  • the near-infrared light source 100 outputs a plurality of output lights L including the first near-infrared light emitted by the near-infrared light source section 120 and the visible light (white light) emitted by the white light source section 130. Output to a person.
  • the output light L continues to be lit while the psychological state display system 1 generates psychological data and displays the temporal change of this psychological data, that is, it is continuously output. has been done.
  • the imaging device 200 can continuously image a plurality of people, and the generation device 300 can continuously generate psychological data. Therefore, since the display device 400 can continuously display the generated psychological data, it is possible to display temporal changes in the psychological data.
  • the output of the first near-infrared rays emitted by the near-infrared light source 100 is 10 W or more and 3 kW or less.
  • the output of the first near-infrared rays may be one of 30W, 100W, 300W, 1kW, and 3kW.
  • the near-infrared light source 100 preferably includes a plurality of near-infrared light source sections 120 so that the first near-infrared light with higher output is output from the near-infrared light source 100.
  • the psychological state display system 1 includes one near-infrared light source 100, but is not limited to this and may include a plurality of near-infrared light sources 100.
  • the near-infrared light source 100 can irradiate the first near-infrared rays to reach a plurality of people located in an area away from the near-infrared light source 100.
  • the psychological state display system 1 is realized that can visualize changes in the psychological states of a plurality of people located in an area away from the near-infrared light source 100.
  • the imaging device 200 is a device that receives the first near-infrared rays included in the output light L output by the near-infrared light source 100 and captures infrared images of a plurality of people, and is an infrared camera as an example. Note that the imaging device 200 preferably captures infrared images at all times while the near-infrared light source 100 is outputting the first near-infrared rays.
  • the imaging device 200 captures infrared images of a plurality of people by receiving first near-infrared rays reflected by the plurality of people.
  • This infrared image is a still image and includes multiple people.
  • the infrared images include at least one of the faces and bodies of a plurality of people.
  • the imaging device 200 captures infrared images at predetermined intervals. That is, the imaging device 200 captures one infrared image, and when a predetermined period of time has passed, captures another infrared image, and repeats this process.
  • the predetermined time is, for example, several seconds or more and several minutes or less, but is not limited thereto.
  • the imaging device 200 captures an infrared image (still image) every 5 seconds.
  • the imaging device 200 may capture an infrared moving image instead of an infrared image (still image), and in this case, each frame image included in the infrared moving image may be used as the infrared image.
  • the imaging device 200 outputs the captured infrared image to the generation device 300.
  • the imaging device 200 repeatedly captures infrared images. For example, after capturing one infrared image and outputting it to the generation device 300, the imaging device 200 further captures the next infrared image and outputs it to the generation device 300. That is, each time the imaging device 200 captures one infrared image, it repeats the process of outputting that one infrared image to the generation device 300. For example, after capturing a plurality of infrared images, the imaging device 200 may output the plurality of infrared images together to the generation device 300.
  • the infrared image captured by the communication unit included in the imaging device 200 is output to the generation device 300.
  • the communication unit is a communication circuit for the imaging device 200 to communicate with the generation device 300.
  • the communication unit is a circuit for performing wireless communication, and specifically, it conforms to communication standards such as BLE (Bluetooth (registered trademark) Low Energy) or Wi-Fi (registered trademark). Therefore, wireless communication is performed.
  • BLE Bluetooth (registered trademark) Low Energy) or Wi-Fi (registered trademark). Therefore, wireless communication is performed.
  • the communication unit may be a circuit for performing wired communication.
  • the intensity of the light-receiving signal of the imaging device 200 will be explained here.
  • the imaging device 200 receives the first near-infrared rays reflected by a plurality of people when the output light L having the first near-infrared rays is output.
  • the light reception signal strength obtained by this light reception is defined as the first light reception signal strength.
  • the first light reception signal intensity is the intensity of the light reception signal according to the charge generated by the imaging device 200 (more specifically, the image sensor included in the imaging device 200) receiving the first near-infrared rays.
  • the second near-infrared rays are near-infrared rays output from a light source different from the near-infrared light source 100.
  • the second near-infrared rays are, for example, near-infrared rays contained in sunlight, but are not limited thereto, and may be near-infrared rays output from a lighting device.
  • a case will be described in which a plurality of people are irradiated with second near-infrared rays when output light L having first near-infrared rays is not output.
  • the imaging device 200 receives second near-infrared rays reflected by a plurality of people.
  • the light reception signal strength obtained by this light reception is defined as the second light reception signal strength.
  • the second light reception signal intensity is the intensity of the light reception signal according to the charge generated by the imaging device 200 (more specifically, the image sensor included in the imaging device 200) receiving the second near-infrared rays.
  • the minimum value of the first received light signal strength is greater than the maximum value of the second received light signal strength.
  • the minimum value of the first light-receiving signal strength is preferably twice or more, more preferably 5 times or more, and even more preferably 10 times or more the maximum value of the second light-receiving signal strength.
  • the minimum value of the first received light signal intensity becomes equal to the second received light signal. Greater than the maximum intensity value.
  • the imaging device 200 can obtain infrared images of a plurality of people with higher precision.
  • the imaging device 200 may include a magnification control mechanism (not shown) that controls the magnification of the captured infrared image.
  • a magnification control mechanism (not shown) that controls the magnification of the captured infrared image.
  • the generation device 300 is a device that generates psychological data indicating a psychological state using a captured infrared image and a trained machine learning model 321. Furthermore, the generation device 300 determines stimulation to be given to a plurality of people based on the generated psychological data.
  • the generation device 300 is, for example, a personal computer, but it may also be a server device connected to a network and having high computing power.
  • the generation device 300 includes a communication section 310, a generation section 320, and a learning section 330.
  • the communication unit 310 is a communication circuit for the generation device 300 to communicate with the imaging device 200, the display device 400, and the control device 500.
  • the communication unit 310 is a circuit for performing wireless communication, and specifically performs wireless communication according to a communication standard such as BLE or Wi-Fi (registered trademark). Note that the communication unit 310 may be a circuit for performing wired communication.
  • the communication unit 310 includes an acquisition unit 311 and an output unit 312.
  • the acquisition unit 311 acquires an infrared image captured and output by the imaging device 200. As described above, since the imaging device 200 repeats the process of capturing and outputting infrared images, the acquisition unit 311 sequentially acquires the output infrared images. In other words, the acquisition unit 311 acquires the plurality of output infrared images. Further, the output unit 312 outputs the generated psychological data to the display device 400 and outputs stimulation data indicating the determined stimulation to the control device 500.
  • the generation unit 320 generates psychological data based on the infrared image acquired by the acquisition unit 311. More specifically, the generation unit 320 has a machine learning model 321, and uses this machine learning model 321 to generate psychological data indicating the psychological state of at least one person among the plurality of people. . Furthermore, each time the generation unit 320 acquires one infrared image, it generates one piece of psychological data corresponding to that one infrared image.
  • psychological state means, for example, states of being happy, sad, energetic, fearful, angry, depressed, awake, absent-minded, interested, and nervous. Not limited.
  • the machine learning model 321 is a trained model that receives the infrared image acquired by the acquisition unit 311 as input and outputs the psychological state of at least one person among the plurality of people shown in the infrared image.
  • the learning unit 330 causes the machine learning model 321 to learn.
  • the psychological data is, for example, data indicating the psychological state of at least one person among a plurality of people, is data for display by the display device 400, and is more specifically digital data.
  • Examples of psychological data include display data such as numeric display data, color display data, pattern display data, graphic symbol display data, pictogram display data, and illustration display data.
  • the psychological data is image data in which at least one of these display data is superimposed on a captured infrared image.
  • the psychological data is image data, a plurality of people captured in the infrared image and their psychological states are displayed on the display device 400 in association with each other.
  • the generation unit 320 determines the stimulation to be given to the plurality of people based on the generated psychological data. For example, the generation unit 320 determines stimulation to be given to a plurality of people based on the generated psychological data and corresponding data stored in a storage unit (not shown) included in the generation device 300.
  • the correspondence data is data in which a psychological state indicated by the psychological data is associated with a stimulus corresponding to the psychological state.
  • the generation unit 320 refers to the corresponding data and determines a stimulus corresponding to the generated psychological data as a stimulus to be given to a plurality of people. It is expected that the stimulation given to a person will change the psychological state of the person.
  • the stimulus data shows the stimuli determined in this way. Thereby, it is possible to determine a stimulus for changing a person's psychological state depending on the psychological state of the person.
  • such a generation unit 320 is realized by a processor that executes a program, a microcomputer, or a dedicated circuit.
  • the learning unit 330 trains the machine learning model 321 using the teacher data.
  • the learning unit 330 is realized by a processor that executes a program, a microcomputer, or a dedicated circuit.
  • the learning unit 330 trains and constructs the machine learning model 321.
  • the learning unit 330 provides the constructed machine learning model 321 to the generating unit 320. Note that the learning unit 330 is not an essential component and does not need to be included in the psychological state display system 1.
  • This machine learning model 321 is a model for generating psychological data.
  • the machine learning model 321 is a model constructed by machine learning using one or more datasets as training data.
  • One data set is composed of a combination of an infrared image captured by the imaging device 200 and the psychological state of the person indicated by the infrared image.
  • the infrared image includes at least one of the person's face and body.
  • the infrared image preferably shows the entire face and body of the person, but is not limited thereto. For example, the infrared image only needs to include a part of the person's face or body.
  • the machine learning model 321 is a machine that uses as training data one or more data sets, each of which is an infrared image and a data set of the psychological state of the person shown by the infrared image.
  • This is a recognition model constructed through learning. More specifically, the machine learning model 321 uses infrared images belonging to each of one or more datasets as the training data as input data, and outputs the psychological state of the person indicated by the infrared images belonging to the dataset. This is a recognition model constructed as data.
  • the learning unit 330 trains the model using machine learning, as described above, as an example. Therefore, in this embodiment, the model is the machine learning model 321.
  • the learning unit 330 may learn the machine learning model 321 using, for example, a neural network, more specifically, a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the learning unit 330 determines the coefficients (weights) of the filter of the convolutional layer by machine learning based on teacher data.
  • the learning unit 330 may cause the machine learning model 321 to learn using an algorithm other than a neural network.
  • the display device 400 displays temporal changes in the psychological data output from the generation device 300. More specifically, each time the generation unit 320 acquires one infrared image, it generates and outputs one piece of psychological data corresponding to the one infrared image, so the display device 400 outputs the psychological data. Obtain and display sequentially. Therefore, the display device 400 displays temporal changes in psychological data.
  • the display device 400 is a light-emitting or non-light-emitting monitor device.
  • the display device 400 is configured with an organic EL (Electro Luminescence) panel that is a light-emitting monitor device, a liquid crystal panel that is a non-light-emitting monitor device, or the like.
  • the display device 400 may be of a stationary type or a portable type. Examples of the stationary display device 400 include a display for a personal computer monitor, and examples of the portable display device include a smartphone or a tablet terminal.
  • the display device 400 is a device that is visually recognized by, for example, the administrator of the psychological state display system 1. By looking at changes in the displayed psychological data over time, the administrator can understand changes in the psychological states of multiple people. In other words, the psychological state display system 1 can visualize changes in a person's psychological state.
  • the administrator looking at the display device 400 can learn the following.
  • a suspicious person may be nervous among the multiple people, or may be depressed and unable to speak due to the presence of many people.
  • the administrator can detect the person who is in the situation at an early stage.
  • the psychological state display system 1 when used in a seminar venue (an example of a learning space) where a course is being held, it is also possible to reveal the psychological state of the course participants, such as their level of interest. In this case, it would be good if the administrator could inform the instructor of the timing of breaks, etc., depending on the student's level of interest.
  • the control device 500 is a device that controls the stimulation device 600, and is, for example, a personal computer, but may also be a server device connected to a network and having a high calculation capacity. Note that the control device 500 may be any other device as long as it can control the stimulation device 600; for example, it may be a dedicated device for controlling the stimulation device 600.
  • the control device 500 acquires the stimulation data output from the generation device 300.
  • Control device 500 controls stimulation device 600 so that stimulation indicated by the acquired stimulation data is given to a plurality of people.
  • the stimulation device 600 is a device that is controlled by the control device 500 and provides stimulation to multiple people.
  • the stimulus is a stimulus that acts on at least one of the senses of sight, hearing, smell, and touch of a plurality of people.
  • the stimulus is, for example, at least one stimulus selected from light, sound, smell, vibration, wind, temperature, and humidity. When the stimulus is light, it also includes the meaning of images.
  • Examples of the stimulation device 600 include, but are not limited to, a light source device, a projector device, a speaker, a vibration device, an air blower, a temperature control device, and a humidity control device.
  • control device 500 preferably controls the stimulation device so that stimulation given to a plurality of people is blocked or suppressed.
  • the control device 500 may block (turn off) or suppress (reduce the amount of light) the light after providing light as a stimulus to a plurality of people.
  • FIG. 3 is a schematic diagram of the near-infrared light source 100 and a person according to the present embodiment viewed in the vertical direction. More specifically, FIG. 3 is a diagram of the near-infrared light source 100 and one of the plurality of persons viewed vertically downward; in other words, the near-infrared light source 100 and the person are viewed from above the person. It is a diagram showing one person. FIG. 4 is a schematic diagram of FIG. 3 viewed from the side.
  • the front direction D1 shown in FIGS. 3 and 4 will be described.
  • the front direction D1 is the direction in which the head of at least one person among the plurality of persons is facing.
  • near-infrared light source 100 outputs output light L to one person from a direction other than the front direction D1 where the head of one person is facing.
  • the first near-infrared rays are irradiated onto the person from a direction that does not create a shadow directly behind the person's face facing forward.
  • the first near-infrared rays that the output light L has are not irradiated from the front direction D1 of the head (face) of the one person, in other words, the first near-infrared rays that the output light L has are not irradiated from the front direction D1 of the head (face) of the one person. , irradiated from the sides (left and right) or diagonally from the sides.
  • the optical axis La is defined as the direction of light that travels toward the angle where the radiation intensity is highest among the first near-infrared rays.
  • the optical axis La and the front direction D1 are not parallel.
  • the optical axis La and the front direction when viewed in the vertical direction as shown in FIG. It may be parallel to D1.
  • the psychological state display system 1 does not require the first near-infrared rays to be irradiated from the front direction D1 of the person's face.
  • the area of the irradiated region irradiated with the first near-infrared rays is 10 m 2 or more and less than 10000 m 2 . Further, the area is preferably 25 m 2 or more, and even more preferably 100 m 2 or more.
  • the upper limit of the area of the irradiated region illuminated by the first near-infrared rays is not particularly limited. The reason for this is that imaging of the first near-infrared rays depends on the amount of light of the first near-infrared rays. Note that if an upper limit is set in consideration of the actual state of illumination technology and imaging technology, it is preferably less than the above-mentioned 10,000 m 2 .
  • the first near-infrared rays can irradiate multiple people in a wide space.
  • the psychological state display system 1 that can visualize changes in the psychological states of a plurality of people in a wide space is realized.
  • the distance R1 is the distance between the near-infrared light source 100 and the person closest to the near-infrared light source 100 among the plurality of people. More specifically, the distance R1 is the distance between the person closest to the near-infrared light source 100 among the plurality of people and the light exit surface of the near-infrared light source 100.
  • the output surface is a surface that outputs the output light L.
  • the distance R1 is preferably 50 cm or more and less than 30 m. Further, the distance R1 is 50 cm or more and less than 3 m (first illumination distance), 3 m or more and less than 5 m (second illumination distance), or 5 m or more and less than 20 m (third illumination distance).
  • distance R1 is the first illumination distance
  • the psychological state of a person in an office, seminar venue, classroom, store, public space (government office, library, etc.), public transportation space (inside a train or bus), etc. is visualized. It's convenient above.
  • the distance R1 is the second illumination distance, it is convenient for visualizing the psychological state of a person in an indoor event venue, a movie theater, a gymnasium, a small outdoor event venue, a relatively narrow area in the city, etc.
  • the distance R1 is the third illumination distance, it is convenient for visualizing the psychological state of a person in a large-scale outdoor event venue, a sports venue, a relatively wide area in the city, etc.
  • the distances between all the people among the plurality of people and the near-infrared light source 100 be within the above range.
  • the first near-infrared light distribution pattern includes narrow-angle light distribution with a light distribution angle of less than 15°, medium-angle light distribution with a light distribution angle of 15° or more and less than 30°, and light distribution pattern with a light distribution angle of 30° or more and less than 90°. You can choose from wide-angle light distribution and Lambertian light distribution.
  • the uniform first near-infrared rays are softly irradiated over a wide range. Therefore, a light distribution pattern that is advantageous in irradiating a wider area with the first near-infrared rays is realized.
  • the near-infrared light source 100 may include a light distribution control mechanism (not shown) that controls the light distribution of the first near-infrared light to be output.
  • the first near-infrared rays can be shaped into a beam through the lens and/or mirror included in the light distribution control mechanism, or can be made to approximate Lambertian light distribution. Therefore, for example, the first near-infrared rays suitable for generating psychological data can be irradiated.
  • the spread angle ⁇ means the range of angles in which the first near-infrared rays are output such that the radiation intensity at the same distance is half of the maximum intensity.
  • the spread angle ⁇ is preferably 30° or more and 180° or less, and more preferably 45° or more and 120° or less.
  • the spread angle ⁇ is within such a range, a wide area that is far from the near-infrared light source 100 can be irradiated with the first near-infrared rays. Therefore, it is possible to save space in the psychological state display system 1.
  • FIG. 5 is a flowchart showing a processing procedure in which the psychological state display system 1 according to the present embodiment trains the machine learning model 321.
  • the learning unit 330 acquires teacher data for making the machine learning model 321 learn (S101).
  • the teacher data is preferably generated by the generation unit 320, but is not limited to this, and may be generated by another processing unit or another device.
  • the teacher data will be explained below.
  • the training data is one or more data sets.
  • One data set is composed of a combination of an infrared image captured by the imaging device 200 and the psychological state of the person indicated by the infrared image.
  • the infrared image includes a person's face and body.
  • the infrared image and one of the psychological states of the person such as happy, sad, energetic, fearful, angry, depressed, awake, absent-minded, interested, nervous, etc. are combined.
  • visible data collected using a visible light sensor under visible light can also be used.
  • step S101 the learning unit 330 causes the machine learning model 321 to learn using the teacher data acquired in step S101 (S102). More specifically, the learning unit 330 causes the machine learning model 321 to learn by machine learning. Further, the learning unit 330 outputs the trained machine learning model 321 to the generating unit 320.
  • the psychological state display system 1 After the process of the flowchart shown in FIG. 5 is performed, the psychological state display system 1 performs a process of visualizing the psychological state of the person.
  • FIG. 6 is a flowchart showing a processing procedure in which the psychological state display system 1 according to the present embodiment visualizes a person's psychological state.
  • the near-infrared light source 100 outputs output light L having a first near-infrared ray to a plurality of people (S201).
  • the imaging device 200 receives the first near-infrared rays included in the output light L output by the near-infrared light source 100, and captures infrared images of a plurality of people (S202).
  • the imaging device 200 captures an infrared image at predetermined time intervals, and when the imaging device 200 captures one infrared image and outputs it to the generation device 300, it further captures the next one infrared image. and outputs it to the generation device 300. That is, the imaging device 200 sequentially outputs the captured infrared images to the generation device 300, and the generation device 300 sequentially acquires the infrared images sequentially output by the imaging device 200.
  • the generation device 300 uses the machine learning model 321 that receives the infrared image as input to generate psychological data indicating the psychological state of at least one person among the plurality of people indicated by the infrared image (S203).
  • the machine learning model 321 when the infrared image acquired by the generation device 300 is input, the psychological state of at least one person among the plurality of people indicated by the infrared image is output.
  • the generation device 300 generates psychological data indicating this psychological state.
  • each time the generation device 300 acquires one infrared image it generates one piece of psychological data corresponding to that one infrared image.
  • the generation device 300 since the generation device 300 sequentially acquires infrared images, the generation device 300 sequentially generates psychological data. Every time the generation device 300 generates psychological data, it outputs the generated psychological data to the display device 400. That is, the display device 400 sequentially acquires the generated psychological data.
  • the display device 400 displays the acquired psychological data (S204). Note that, as described above, since the display device 400 sequentially acquires the generated psychological data, it displays the psychological data sequentially. As described above, the imaging device 200 captures infrared images at predetermined time intervals. Therefore, after one psychological data based on one infrared image is displayed on the display device 400, the next psychological data based on the next one infrared image captured after a predetermined period of time after the one infrared image is displayed. Data is displayed. That is, the display device 400 displays temporal changes in psychological data. In other words, the display device 400 shows how the person's psychological state changes from moment to moment.
  • Patent Document 1 discloses that a person's temporary psychological state is displayed. However, the psychological state of the person before or after the displayed psychological state is unknown. Furthermore, in Patent Document 1, a plurality of images (still images) are extracted from a moving image, an average value of each of the plurality of images is calculated, and one psychological state is displayed based on the calculated average value. is disclosed. Even in this case, since only one psychological state is displayed, it is unclear whether or not there has been a change in the psychological state of the person in the plurality of images.
  • Patent Document 1 It is natural that a person's psychological state changes from moment to moment.
  • a person's temporary psychological state is displayed, but how the person's psychological state changes is not displayed.
  • the psychological state of the person that changes from moment to moment is displayed.
  • the psychological state display system 1 can visualize temporal changes in a person's psychological state.
  • the image used in Patent Document 1 is a visible light image
  • the image is affected by illumination light (visible light) of the space in which the image is captured.
  • the image quality of the image is affected by the emission mode of the illumination light in the space, and as a result, the displayed psychological state is also affected. That is, in Patent Document 1, the displayed psychological state is influenced by the illumination light (visible light) of the space in which the image is captured.
  • first near-infrared rays are used to visualize temporal changes in a person's psychological state. Therefore, the psychological state display system 1 is not easily influenced by the illumination light (visible light) of the space in which the psychological state display system 1 is used when visualizing changes in a person's psychological state. In other words, the psychological state display system 1 is realized that can visualize changes in a person's psychological state while suppressing the influence of illumination light.
  • FIG. 7 is a diagram showing an infrared image P1 captured by the imaging device 200 according to the present embodiment.
  • FIG. 8 is an example of psychological data based on the infrared image P1 shown in FIG. 7.
  • the infrared image P1 shown in FIG. 7 shows a plurality of people, and more specifically, Mr. A, Mr. B, Mr. C, and Mr. D are shown as four people.
  • the machine learning model 321 inputs the infrared image P1, it is sufficient to output the psychological state of at least one of the four people.
  • the psychological state of all participants is output.
  • the psychological data shown in FIG. 8 shows the psychological states of each of the four people.
  • the degree of interest which indicates the degree of interest
  • the psychological state is used as the psychological state.
  • the interest levels of four people are shown as psychological data.
  • the displayed psychological state level is preferably between 2 and 11 levels, and more preferably 6 levels and below.
  • the levels of interest are 5 points, 4 points, 3 points, 2 points, 1 point, 0 points, etc. Is displayed.
  • the level of other psychological states is preferably at least 2 levels and at most 11 levels, and preferably at most 6 levels.
  • psychological data includes, for example, display data such as numeric display data, color display data, pattern display data, graphic symbol display data, pictogram display data, and illustration display data.
  • the psychological data is image data in which at least one of these display data is superimposed on a captured infrared image.
  • the psychological data is image data, a plurality of people captured in the infrared image and their psychological states are displayed on the display device 400 in association with each other.
  • the use of numerical display data is advantageous in displaying psychological states in detail and expressing them numerically.
  • the use of color display data is advantageous in expressing psychological states in color.
  • the use of pattern display data, graphic symbol display data, and pictogram display data is advantageous in expressing psychological states analogically with diagrams and pattern symbols.
  • the form of display using illustration display data is advantageous in expressing psychological states through illustrations.
  • the use of image data is advantageous in representing a person and their psychological state in a connected manner.
  • FIG. 8 shows image data P2 in which color display data is superimposed on the captured infrared image P1.
  • colors corresponding to the psychological states of the four people are displayed, and the darker the color, the higher the level of interest, and the lighter the color, the lower the level of interest.
  • Mr. A, Mr. B, and Mr. C are overlaid with dark colors, indicating that they have a high level of interest
  • Mr. D is overlaid with light colors, indicating that their level of interest is low.
  • the colors corresponding to psychological states are expressed by darkness, but they may be expressed by colors.
  • a person's psychological state it is especially convenient for a person's psychological state to be displayed in color (tone).
  • an excited state when displayed in color, an excited state can be displayed in red, an excited state in yellow, a calm state in green, a calm state in blue, and a depressed state in gray or black.
  • the psychological state display system 1 according to the present embodiment can visualize temporal changes in a person's psychological state using colors. You can intuitively understand the changes over time.
  • the level of the displayed psychological state is 6 levels or less.
  • the psychological state of the person is displayed in rainbow colors, the user will be able to understand the psychological state of the person. It becomes easier to understand temporal changes in a person's psychological state.
  • FIG. 9 is another example of psychological data based on the infrared image P1 shown in FIG. 7. More specifically, FIG. 9 shows image data P3 in which graphic symbol display data is superimposed on a captured infrared image P1.
  • the graphical symbol is a display object, and is a broken line frame shown in FIG. The larger the frame, the higher the degree of interest, and the smaller the frame, the lower the degree of interest. In other words, the degree of interest is indicated by the size of the display body.
  • large frames are superimposed on Mr. A, Mr. B, and Mr. C, indicating that their interest level is high, and a small frame is superimposed on Mr. D, indicating that their interest level is low. Note that the degree of interest may be indicated by other graphical symbols.
  • the psychological state display system 1 when graphic symbol display data is used, the psychological state of the person is displayed with emphasis.
  • the psychological state display system 1 according to the present embodiment can visualize temporal changes in a person's psychological state using graphical symbols. You can intuitively understand changes in status over time.
  • FIG. 10 is another example of psychological data according to this embodiment.
  • FIG. 10 shows image data in which numerical display data is superimposed on a captured infrared image.
  • FIG. 10 is psychological data based on the infrared image P1, and is a diagram showing image data P4 in which numerical display data is superimposed on the captured infrared image P1.
  • FIG. 10B is a diagram showing image data P5 related to psychological data based on an infrared image taken a predetermined time after the infrared image P1 was taken.
  • FIG. 10(c) is a diagram showing image data P6 related to psychological data based on the infrared image taken a predetermined time after the infrared image shown in FIG. 10(b) was taken. That is, FIG. 10 is a diagram showing temporal changes in the psychological data displayed on the display device 400 in step S204 of FIG. 6, for example.
  • the psychological state display system 1 when numerical display data is used, it becomes easy to display the psychological state in detail and express it numerically.
  • the psychological state display system 1 can visualize temporal changes in a person's psychological state using numbers, so that, for example, a user who looks at the display device 400 can You can intuitively understand the changes over time.
  • image data in which at least one of the display data is superimposed on a captured infrared image is used as the psychological data, but the present invention is not limited to this.
  • the psychological data based on the infrared image P1 is ⁇ Mr. A, Mr. B, and Mr. C have an interest level of 5 points, and Mr. D has an interest level of 1 point. It may be document data that includes numbers such as "This is a point.”
  • psychological data indicating the psychological states of each of a plurality of people is displayed, but the present invention is not limited to this.
  • psychological data indicating the average value of the psychological states of a plurality of people may be displayed.
  • data such as "The interest level of a plurality of people is 4 points" may be used as the psychological data corresponding to (a) in FIG. 10.
  • a score indicating the degree of interest may be integrated and displayed. For example, when the scores indicating interest levels shown in (a) to (c) of Figure 10 are integrated, Mr. A and Mr. C have 15 points, Mr. B has 13 points, and Mr. D has 3 points. A numerical value may be displayed on display device 400.
  • the score indicating the degree of interest may be differentiated and displayed.
  • a psychological state display system 1 is realized that can visualize temporal changes in a person's psychological state over a short period of time.
  • the generation device 300 determines the stimulation to be given to the plurality of people based on the generated psychological data (S205). Note that the generating device 300 may decide to give stimulation to all of the plurality of people, or may decide to give stimulation to some of the plurality of people.
  • the generating device 300 when the psychological data generated by the generating device 300 indicates that the psychological state of one or more persons is a predetermined psychological state, the generating device 300 generates one or more psychological states based on the predetermined psychological state. It is a good idea to decide on the stimulus to be given to the person in question.
  • the psychological state display system 1 that can efficiently control the psychological state of the target person is realized.
  • the stimulation device 600 is a light source device that emits the light (more specifically, visible light).
  • the communication unit 310 of the generation device 300 outputs stimulation data indicating the determined stimulation to the control device 500.
  • Control device 500 acquires the output stimulation data.
  • the control device 500 controls the stimulation device 600 based on the output stimulation data (S206).
  • the control device 500 controls the stimulation device, which is a light source device, to emit light toward Mr. D.
  • the stimulation device which is a light source device
  • This is expected to change Mr. D's psychological state and, for example, increase his level of interest.
  • Mr. D there is no need to stimulate Mr. A, Mr. B, and Mr. C.
  • the generation device 300 determines to give a stimulus to some of the plurality of people (that is, Mr. D), and the control device 500 makes sure that the determined stimulus is given to at least some of the plurality of people.
  • the present invention is not limited to this.
  • the generation device 300 determines to provide stimulation to all of the plurality of persons (for example, Mr. A, Mr. B, Mr. C, and Mr. D), and the control device 500 controls the stimulation device 600 to provide stimulation to all of the plurality of persons. may be controlled.
  • the generation device 300 may decide the stimulation to be given to some or all of the plurality of people based on the temporal change in the psychological state indicated by the generated psychological data.
  • the psychological states of Mr. A, Mr. C, and Mr. D did not change over time, and their level of interest remained constant, but Mr. B's psychological state changed over time, and his level of interest fluctuated.
  • the generating device 300 may decide to apply stimulation to Mr. A, Mr. C, and Mr. D, whose psychological states do not change over time, and to apply stimulation to Mr. B, whose psychological state changes over time. may be determined.
  • stimulation that will deter criminal behavior for example, shining a bright light on the suspicious person
  • Lights, sounds such as "Police officers are patrolling” (voice), etc. may be determined.
  • the psychological state display system 1 when used in an entertainment space, if stimuli such as sound and light are controlled according to the level of interest in the psychological state, it can liven up the event, It is possible to evoke great emotion in the people in the space. On the other hand, if a person has difficulty suppressing their emotions, it is best to give them a stimulus to calm down.
  • the display device 400 may display vital information of a person.
  • vital information may be obtained as follows, for example.
  • the imaging device 200 captures infrared images including blood vessel information regarding contraction of blood vessels of each of a plurality of people.
  • the generation device 300 generates vital information indicating the vitals of at least one of the plurality of people based on the blood vessel information included in the captured infrared image.
  • Blood vessel information is, for example, information on the light reflectance of the skin of a person captured in an infrared image.
  • the vitals are, for example, heart rate. Since blood has the property of absorbing light, the light reflectance changes in accordance with the contraction of blood vessels due to pulse waves. Therefore, based on the information on the light reflectance of the person's skin (vascular information), the pulse wave is estimated and the heart rate is calculated.
  • the vital information is information indicating the heart rate (vital) of the person.
  • the display device 400 displays the generated vital information. For example, when displaying the image data P2 shown in FIG. 8, the display device 400 may display vital information superimposed on the image data P2.
  • the psychological state display system 1 can visualize not only the temporal changes in the psychological state of the person, but also the vital information of the person and the temporal changes in the vital information.
  • the psychological state display system 1 is a system used in a space such as an entertainment space, a public space, or a learning space, as an example.
  • a space such as an entertainment space, a public space, or a learning space, as an example.
  • Recreational, public, or learning spaces are often relatively large spaces.
  • the entertainment space includes spaces such as (1) or (2) below.
  • Performance lighting spaces live venues, affordance lighting spaces, etc.
  • Dark spaces and dark spaces where people experience images or sounds (movie theaters, snack bars, karaoke houses, etc.).
  • An affordance lighting space is a lighting space that creates a sense of liveliness in the space by adding movement, changes in brightness, and color to the lighting, while also creating a sense of human psychological state and behavior (such as ⁇ migrating'' and ⁇ staying''). It is an outdoor lighting space that works on the environment.
  • public space includes the space of public moving objects (trains, buses, taxis, airplanes, etc.), and includes, for example, the space (3) below.
  • nighttime movement spaces where external light such as sunlight is repeatedly incident or blocked, and movement spaces where the user moves alternately between dark places (such as tunnel spaces) and bright places (interiors of buses traveling on expressways). Such).
  • a learning space includes a space where a person is learning, such as at home, school, cram school, or seminar venue, where there is a person who is learning, and a person who is instructing the learning (such as a lecturer). It's okay to struggle.
  • the psychological state display system 1 is preferably used in the following space (4) among learning spaces. (4) At least one illumination space illuminated with white illumination light having different light colors (chromaticity, etc.).
  • Entertainment spaces and public spaces are areas where the presence or absence of visible light, its intensity, and color tone are likely to change significantly, and where people in the space 's psychological state is easily shaken.
  • first near-infrared rays (more specifically, infrared images) are used to visualize changes in a person's psychological state.
  • the psychological state display system 1 is susceptible to fluctuations in the psychological state because the first near-infrared rays, which have a different wavelength range from visible light, are used. Changes in a person's psychological state can be easily visualized.
  • a learning space such as (4)
  • a person is illuminated with multiple white illumination lights each having a different chromaticity
  • visible light and a visible light image based on the visible light are used to identify the person.
  • the accuracy of the estimation may decrease depending on the chromaticity.
  • the psychological state display system 1 according to the present embodiment uses the first near-infrared rays, changes in a person's psychological state can be easily visualized. Note that the same effect is expected not only in the learning space but also in spaces such as (4).
  • a psychological state display system 1 that can be visualized is realized. Particularly in these environments, it becomes possible to detect suspicious persons and the like at an early stage, and by using the stimulation device 600, it becomes possible to suppress crimes. Therefore, such a psychological state display system 1 is a system that can be expected to have the effect of resolving social problems, such as revitalizing the economy, eliminating disparities, and creating a safe and secure society.
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2009-87303 discloses a technique for estimating facial expressions such as anxiety or surprise of a driver in a vehicle.
  • Patent Document 3 Japanese Patent Laid-Open No. 2020-48149 discloses a technology for displaying the emotions of participants holding an online conference in a conference room.
  • Patent Document 2 The technology disclosed in Patent Document 2 is applied to narrow spaces such as inside a vehicle, and is applicable to entertainment spaces and public spaces (particularly the spaces (1), (2), and (3) above). , it is difficult to apply it to large spaces.
  • the psychological state display system 1 can be used in an entertainment space, a public space, or a learning space (especially the spaces (1), (2), (3), or (4) above). ), it is also possible to easily visualize changes in a person's psychological state.
  • Modification 1 of the embodiment differs from the embodiment in that the stimulation device is a near-infrared light source 100a.
  • the stimulation device is a near-infrared light source 100a.
  • FIG. 11 A configuration example of a psychological state display system 1a according to modification 1 of the embodiment will be described using FIG. 11.
  • FIG. 11 is a block diagram showing the functional configuration of a psychological state display system 1a according to Modification 1 of the present embodiment.
  • the psychological state display system 1a includes a near-infrared light source 100a, an imaging device 200, a generation device 300, a display device 400, and a control device 500.
  • the stimulation device is a near-infrared light source 100a that outputs output light L having visible light.
  • the generation device 300 determines stimulation to be given to a plurality of people based on the generated psychological data, and the control device 500 controls a stimulation device (near red Control the external light source 100a).
  • visible light output from the near-infrared light source 100a is determined as a stimulus, and the visible light is output toward a plurality of people.
  • the psychological state display system 1 includes a near-infrared light source 100, an imaging device 200, a generating device 300, and a display device 400.
  • the near-infrared light source 100 outputs output light L having a first near-infrared ray including a wavelength of 780 nm or more and less than 2500 nm to a plurality of people.
  • the imaging device 200 receives the first near-infrared rays included in the output light L, and captures infrared images of a plurality of people.
  • the generation device 300 uses a trained machine learning model 321 that receives the captured infrared image as an input and outputs the psychological state of at least one person among the plurality of people represented by the infrared image, and generates a psychological model indicating the psychological state. Generate data.
  • the display device 400 displays temporal changes in the generated psychological data.
  • step S204 in FIG. 6 after one piece of psychological data based on one infrared image is displayed on the display device 400, the next image taken a predetermined time after the one infrared image is displayed on the display device 400.
  • the following one psychological data based on one infrared image of is displayed.
  • the display device 400 shows how the person's psychological state changes from moment to moment.
  • An administrator of the psychological state display system 1 or the like can understand changes in the psychological states of a plurality of people by looking at changes over time in the displayed psychological data.
  • the psychological state display system 1 can visualize changes in a person's psychological state.
  • first near-infrared rays are used to visualize temporal changes in a person's psychological state. Therefore, the psychological state display system 1 is not easily influenced by the illumination light (visible light) of the space in which the psychological state display system 1 is used when visualizing changes in a person's psychological state. In other words, the psychological state display system 1 is realized that can visualize changes in a person's psychological state while suppressing the influence of illumination light.
  • the first near-infrared rays include a peak wavelength in a wavelength range of 780 nm or more and less than 2500 nm.
  • a psychological state display system 1 that can visualize changes in a person's psychological state without giving the person a sense of discomfort.
  • the near-infrared light source 100 includes a first solid-state light emitting element that outputs a first near-infrared ray.
  • the imaging device 200 can obtain infrared images of a plurality of people captured with higher precision. Therefore, the psychological state display system 1 that can visualize changes in a person's psychological state with higher accuracy is realized.
  • the near-infrared light source 100 includes a second solid-state light emitting element that outputs excitation light, and a phosphor member that outputs wavelength-converted light as first near-infrared light based on the output excitation light.
  • the imaging device 200 can obtain infrared images of a plurality of people captured with higher precision. Therefore, the psychological state display system 1 that can visualize changes in a person's psychological state with higher accuracy is realized.
  • the output light L includes visible light.
  • the psychological state display system 1 is realized which is advantageous in recognizing the presence of the near-infrared light source 100 that outputs the first near-infrared rays.
  • the near-infrared light source 100 independently controls the first near-infrared rays and visible light, and controls at least one of turning on/off and dimming each of the first near-infrared rays and visible light.
  • a state psychological state display system 1 is realized.
  • the light reception signal intensity obtained by the imaging device 200 receiving the first near-infrared rays reflected by a plurality of people is used as the first light reception signal. Strength.
  • the second near-infrared rays different from the first near-infrared rays are irradiated onto a plurality of people, and the second near-infrared rays reflected by the plurality of people are captured by an imaging device.
  • the light reception signal strength obtained by the light reception by 200 is defined as the second light reception signal strength.
  • the minimum value of the first received light signal strength is greater than the maximum value of the second received light signal strength.
  • the intensity of the second light reception signal which becomes noise in the signal for recognizing multiple people, becomes sufficiently small. Therefore, since such noise is sufficiently reduced, the imaging device 200 can obtain infrared images of a plurality of people with higher precision. Therefore, the psychological state display system 1 that can visualize changes in a person's psychological state with higher accuracy is realized.
  • the near-infrared light source 100 outputs the output light L to one person from a direction other than the front direction where at least one of the plurality of people's head is facing.
  • the psychological state display system 1 can visualize changes in the person's psychological state. For example, when the psychological state display system 1 is used in a large space and a plurality of people in the large space move in a random manner, the first near-infrared rays are not emitted from the front direction D1 of the person's face. . Even in such a case, the psychological state display system 1 that can visualize changes in a person's psychological state is realized.
  • the infrared image used when the learning unit 330 trains the machine learning model 321 preferably shows the entire face and body of the person, but is not limited to this, for example. It suffices if a part of a person's face or body is captured. Learning is performed using an infrared image showing a part of a person's face or body, so that the psychological state display system 1 can emit first near-infrared rays from the front direction D1 of the person's face. Even without it, changes in a person's psychological state can be visualized.
  • the area of the irradiated region irradiated with the first near-infrared rays is 10 m 2 or more and less than 10000 m 2 .
  • the first near-infrared rays can irradiate multiple people in a wide space.
  • the psychological state display system 1 that can visualize changes in the psychological states of a plurality of people in a wide space is realized.
  • the distance between the person closest to the near-infrared light source 100 among the plurality of people and the near-infrared light source 100 is 50 cm or more and less than 30 m.
  • the distance R1 is 50 cm or more and less than 3 m (first illumination distance), 3 m or more and less than 5 m (second illumination distance), or 5 m or more and less than 20 m (third illumination distance).
  • distance R1 is the first illumination distance
  • the psychological state of a person in an office, seminar venue, classroom, store, public space (government office, library, etc.), public transportation space (inside a train or bus), etc. is visualized. It's convenient above.
  • the distance R1 is the second illumination distance, it is convenient for visualizing the psychological state of a person in an indoor event venue, a movie theater, a gymnasium, a small outdoor event venue, a relatively narrow area in the city, etc.
  • the distance R1 is the third illumination distance, it is convenient for visualizing the psychological state of a person in a large-scale outdoor event venue, a sports venue, a relatively wide area in the city, etc.
  • the horizontal spread angle of the first near-infrared rays is 30° or more and 180° or less.
  • the first near-infrared rays can be irradiated to a region far away from the near-infrared light source 100. Therefore, it is possible to save space in the psychological state display system 1.
  • the generation device 300 determines stimulation to be given to a plurality of people based on the generated psychological data.
  • the psychological state display system 1 includes a control device 500 that controls a stimulation device 600 that provides stimulation to a plurality of people.
  • the control device 500 controls the stimulation device 600 so that the determined stimulation is given to a plurality of people.
  • the psychological state display system 1 includes a stimulation device 600.
  • the control device 500 controls the stimulation device 600 so that the determined stimulation is given to at least some of the plurality of people.
  • the determined stimulus is a stimulus that acts on at least one of the senses of sight, hearing, smell, and touch of a plurality of people.
  • a psychological state display system 1 that can change the psychological state of a plurality of people by stimulating their five senses, excluding taste.
  • control device 500 controls the stimulation device 600 so that stimulation given to a plurality of people is blocked or suppressed.
  • the psychological state display system 1 that can change the psychological states of a plurality of people by relaxing the stimulation given to the plurality of people is realized.
  • the generation device 300 when the generated psychological data indicates that the psychological state of one or more persons is a predetermined psychological state, the generation device 300 generates a stimulus to be applied to the one or more persons based on the predetermined psychological state. Determine.
  • the psychological state display system 1 that can efficiently control the psychological state of the target person is realized.
  • the stimulation device is a near-infrared light source 100a that outputs output light L having visible light.
  • the number of parts of the psychological state display system 1a according to the modification is reduced, and the configuration of the psychological state display system 1a is simplified.
  • the imaging device 200 captures infrared images that include blood vessel information regarding contraction of blood vessels of each of a plurality of people.
  • the generation device 300 generates vital information indicating the vitals of at least one of the plurality of people based on the blood vessel information included in the captured infrared image.
  • Display device 400 displays the generated vital information.
  • the psychological state display system 1 can visualize not only the temporal changes in the psychological state of the person, but also the vital information of the person and the temporal changes in the vital information.
  • the near-infrared light source 100 and the imaging device 200 are installed in an entertainment space, a public space, or a learning space.
  • a psychological state display system 1 that can perform the following is realized.
  • the output light L includes the first near-infrared rays and visible light, but is not limited thereto.
  • the output light L may include only the first near-infrared rays.
  • the output light L may further include electromagnetic waves other than the first near-infrared rays and visible light.
  • electromagnetic waves for example, at least one of ultraviolet rays, mid-infrared rays, and far infrared rays can be used.
  • ultraviolet rays have the property of acting on phosphors and converting them into visible light. Phosphors are found in bleach and other chemicals found in clothing. Therefore, when a person wearing the clothing is irradiated with the output light L having ultraviolet rays, visible light will be output from the clothing. Therefore, for example, a plurality of people or an administrator of the psychological state display system can easily recognize that the output light L having ultraviolet rays and first near-infrared rays is being output.
  • mid-infrared rays and far-infrared rays have a relatively high heating effect. Therefore, when the output light L has mid-infrared rays and far-infrared rays, a psychological state display system having a heating effect, albeit slightly, can be realized in a cold region or the like.
  • the near-infrared light source 100 independently controls the first near-infrared rays, visible light, and electromagnetic waves, and controls at least one of turning on/off and dimming each of the first near-infrared rays, visible light, and electromagnetic waves.
  • the near-infrared light source 100 By controlling the first near-infrared rays, visible light, and electromagnetic waves by the near-infrared light source 100 in this way, it is possible to visualize psychological states based on the first near-infrared rays and freely control light production effects based on visible light and electromagnetic waves. Thus, an advantageous psychological state display system 1 is realized.
  • the communication method between devices described in the above embodiment is an example. There are no particular limitations on the method of communication between devices.
  • the processing executed by a specific processing unit may be executed by another processing unit. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel.
  • components such as the generation unit may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • components such as the generation unit may be realized by hardware.
  • a component such as a generator may be a circuit (or an integrated circuit). These circuits may constitute one circuit as a whole, or may be separate circuits. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • the general or specific aspects of the present invention may be implemented in a system, device, method, integrated circuit, computer program, or computer-readable recording medium such as a CD-ROM.
  • the present invention may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a recording medium.
  • the present invention may be realized as the psychological state display system of the above embodiment, or may be realized as a psychological state display method executed by the psychological state display system.
  • the present invention may be realized as a program for causing a computer to execute such a psychological state display method, or may be realized as a non-temporary recording medium on which such a program is recorded.
  • Such programs include application programs for causing a computer such as a general-purpose information terminal to function as the generation device of the above embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Anesthesiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

心理状態表示システム（１）は、７８０ｎｍ以上２５００ｎｍ未満の波長を含む第１近赤外線を有する出力光を複数の人物に出力する近赤外光源（１００）と、出力された出力光が有する第１近赤外線を受光して、複数の人物の赤外線画像を撮像する撮像装置（２００）と、撮像された赤外線画像を入力とし赤外線画像が示す複数の人物のうち少なくとも１人の人物の心理状態を出力とする学習済みの機械学習モデル（３２１）を用いて、心理状態を示す心理データを生成する生成装置（３００）と、生成された心理データの時間変化を表示する表示装置（４００）と、を備える。

Description

心理状態表示システム
　本発明は、心理状態表示システムに関する。
　近年、人物が写された画像から人物の心理状態（感情）などを推定する技術が知られている。
　例えば、特許文献１には、人物の画像が示す当該人物の表情及び動作に基づいて、当該人物の心理状態感情に適合した表情を推定するシステム（表情推定装置）が開示されている。
特開２０１４－２０６９０３号公報
　ところで、特許文献１に開示されるシステムでは、画像に含まれる人物の一時的な心理状態のみが明らかとなっている。時間の経過に伴って、ヒト（人物）の心理状態には変化が起こる場合が多く、この変化を可視化することが求められている。
　そこで、本発明は、人物の心理状態の変化を、照明光による影響が抑制された状態で可視化することができる心理状態表示システムの提供を目的とする。
　本発明の一態様に係る心理状態表示システムは、７８０ｎｍ以上２５００ｎｍ未満の波長を含む第１近赤外線を有する出力光を複数の人物に出力する近赤外光源と、出力された前記出力光が有する前記第１近赤外線を受光して、前記複数の人物の赤外線画像を撮像する撮像装置と、撮像された前記赤外線画像を入力とし前記赤外線画像が示す前記複数の人物のうち少なくとも１人の人物の心理状態を出力とする学習済みの機械学習モデルを用いて、前記心理状態を示す心理データを生成する生成装置と、生成された前記心理データの時間変化を表示する表示装置と、を備える。
　本発明の心理状態表示システムは、人物の心理状態の変化を、照明光による影響が抑制された状態で可視化することができる。
図１は、実施の形態に係る心理状態表示システムの構成を示す図である。 図２は、実施の形態に係る心理状態表示システムの特徴的な機能構成を示すブロック図である。 図３は、実施の形態に係る近赤外光源と人物とを鉛直方向に見た模式図である。 図４は、図３を側方から見た模式図である。 図５は、実施の形態に係る心理状態表示システムが機械学習モデルを学習させる処理手順を示すフローチャートである。 図６は、実施の形態に係る心理状態表示システムが人物の心理状態を可視化する処理手順を示すフローチャートである。 図７は、実施の形態に係る撮像装置によって撮像された赤外線画像を示す図である。 図８は、図７が示す赤外線画像に基づく心理データの一例である。 図９は、図７が示す赤外線画像に基づく心理データの他の一例である。 図１０は、実施の形態に係る心理データの他の一例である。 図１１は、実施の形態の変形例に係る心理状態表示システムの特徴的な機能構成を示すブロック図である。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。
　（実施の形態）
　［心理状態表示システムの構成］
　本実施の形態に係る心理状態表示システム１の構成に関して説明する。
　図１は、本実施の形態に係る心理状態表示システム１の構成を示す図である。図２は、本実施の形態に係る心理状態表示システム１の特徴的な機能構成を示すブロック図である。
　心理状態表示システム１は、第１近赤外線を有する出力光Ｌを複数の人物（例えば数人以上数十人以下）に出力し、この複数の人物の赤外線画像を撮像する。心理状態表示システム１は、撮像された赤外線画像に基づいて、複数の人物のうち少なくとも１人の人物の心理状態を示す心理データを生成し、この心理データの時間変化を表示する。例えば、心理状態表示システム１の管理者などが、表示された心理データの時間変化を見ることで、複数の人物などの心理状態の変化を理解することができる。つまり、心理状態表示システム１は、人物の心理状態の変化を可視化することができる。
　さらに、心理状態表示システム１は、心理データに基づいて刺激を決定し、決定された刺激を複数の人物に与える。このため、人物の心理状態に応じて、その心理状態を変化させるための刺激を人物に与えることができるので、心理状態表示システム１は、当該人物の心理状態を制御することができる。
　本実施の形態に係る心理状態とは例えば、嬉しい、悲しい、元気、恐れ、怒り、落ち込んでいる、覚醒している、ぼんやりしている、関心がある、緊張している、集中しているなどの状態を意味するがこれに限られない。
　図１及び図２が示すように、心理状態表示システム１は、近赤外光源１００と、撮像装置２００と、生成装置３００と、表示装置４００と、制御装置５００と、刺激装置６００と、を備える。
　近赤外光源１００は、７８０ｎｍ以上２５００ｎｍ未満の波長を含む第１近赤外線を有する出力光Ｌを複数の人物に出力する。このような近赤外光源１００を用いて、第１近赤外線で広い空間が照射される。
　撮像装置２００は、出力された出力光Ｌが有する第１近赤外線を受光して、複数の人物の赤外線画像を撮像する。撮像装置２００は、複数の人物によって反射された第１近赤外線を受光することで、複数の人物の赤外線画像を撮像する。
　生成装置３００は、撮像された赤外線画像を入力とし赤外線画像が示す複数の人物のうち少なくとも１人の人物の心理状態を出力とする学習済みの機械学習モデル３２１を用いて、心理状態を示す心理データを生成する。また、生成装置３００は、生成された心理データに基づいて、複数の人物に与える刺激を決定する。なお、生成装置３００は、例えば、特許第６４６７９６５号公報に記載される技術などを利用すれば足りる。
　表示装置４００は、生成された心理データの時間変化を表示する。
　制御装置５００は、決定された刺激が複数の人物に与えられるように、刺激装置６００を制御する。
　刺激装置６００は、複数の人物に刺激を与える。
　本実施の形態に係る心理状態表示システム１は、一例として、娯楽空間、公共空間又は学習空間などの空間に用いられるシステムであるがこのような空間に限られない。また、少なくとも近赤外光源１００と、撮像装置２００と、刺激装置６００とは、当該空間に設置される。生成装置３００と、表示装置４００と、制御装置５００とは、当該空間に設置されてもよく、当該空間から離れた遠隔地に設置されてもよい。
　図１においては、娯楽空間の一例である映画館において、映画を鑑賞している複数の人物に出力光Ｌが出力され、当該複数の人物の赤外線画像が撮像され、複数の人物の心理状態の時間変化が可視化されることになる。さらに、当該複数の人物に刺激が与えられる。
　ここで、心理状態表示システム１が備える構成要素について説明する。
　近赤外光源１００は、第１近赤外線を有する出力光Ｌを複数の人物に出力する光源である。第１近赤外線は、７８０ｎｍ以上２５００ｎｍ未満の波長を含む光である。なお、第１近赤外線は、７８０ｎｍ以上２５００ｎｍ未満の波長の範囲の全てに波長を含んでもよいが、当該範囲の少なくとも一部に波長を含んでいればよい。さらに、第１近赤外線は、７８０ｎｍ以上２５００ｎｍ未満の波長の範囲に、ピーク波長を含む。
　なお、第１近赤外線は、（ｉ）７８０ｎｍ以上１７００ｎｍ未満の波長を含む光であるとよく、（ｉｉ）７８０ｎｍ以上１５００ｎｍ未満の波長を含む光であるとよりよい。第１近赤外線は、（ｉｉｉ）７８０ｎｍ以上９００ｎｍ未満の波長を含む光であるとさらによく、（ｉｖ）８００ｎｍ以上９００ｎｍ未満の波長を含む光であるとさらによりよい。なお、第１近赤外線は、上記の（ｉ）、（ｉｉ）、（ｉｉｉ）及び（ｉｖ）の波長の範囲に、ピーク波長を含むとよい。
　本実施の形態においては、近赤外光源１００は、上記の第１近赤外線と、可視光とを有する出力光Ｌを出力する。可視光は、３８０ｎｍ以上７８０ｎｍ未満の波長を含む光である。可視光は、赤色光、緑色光及び青色光などの単色光であってもよいが、ここでは、白色光である。
　近赤外光源１００は、第１近赤外線及び可視光をそれぞれ独立して制御し、第１近赤外線及び可視光のそれぞれの、点消灯及び調光の少なくとも一方を制御する。より具体的には、近赤外光源１００が有する制御部１１０が、第１近赤外線及び可視光をそれぞれ独立して制御し、第１近赤外線及び可視光のそれぞれの、点消灯及び調光の少なくとも一方を制御する。例えば近赤外光源１００は、可視光の発光態様を一定に保ったまま、第１近赤外線だけについての点消灯及び調光の少なくとも一方を制御することができる。同様に、第１近赤外線の発光態様を一定に保ったまま、可視光だけについての点消灯及び調光の少なくとも一方を制御することができる。
　本実施の形態に係る近赤外光源１００は、第１近赤外線を照射する近赤外光源部１２０と、可視光（白色光）を照射する白色光源部１３０とを有する。制御部１１０は、近赤外光源部１２０に第１近赤外線を照射させ、白色光源部１３０に可視光（白色光）を照射させるように、制御する。
　近赤外光源部１２０は一例として、第１固体発光素子を有している。第１固体発光素子は、例えばレーザーダイオード素子などであってもよいが、ここでは、近赤外線ＬＥＤ素子である。近赤外線ＬＥＤ素子は、与えられた電力を、光（第１近赤外線）に変換して照射する。
　また、近赤外光源部１２０は、他の例として、第２固体発光素子と、蛍光体部材とを有している。第２固体発光素子は、励起光を出力する素子であって、例えばレーザーダイオード素子などであってもよいが、ここでは、青色ＬＥＤ素子である。つまり、第２固体発光素子は、励起光として青色光を出力する。蛍光体部材は、出力された励起光（青色光）に基づいて、第１近赤外線として波長変換光を出力する部材である。蛍光体部材は、例えば、製造が容易なＣｒ３＋賦活蛍光体、又は、希土類賦活蛍光体（特に、Ｔｍ３＋、Ｅｒ３＋、Ｎｄ３＋、及びＹｂ３＋から選択される少なくとも一つで賦活された蛍光体）を含む。
　さらに、第２固体発光素子及び蛍光体部材を有する近赤外光源部１２０が用いられる場合について説明する。上記の通り、第１近赤外線は、７８０ｎｍ以上２５００ｎｍ未満の波長を含む光であるが、（ｉ）、（ｉｉ）、（ｉｉｉ）及び（ｉｖ）波長を含む光である場合には、市販の近赤外光源部１２０を用いることができる。市販の近赤外光源部１２０としては、７８０ｎｍ、８５０ｎｍ、９４０ｎｍ、９８０ｎｍ、１０５０ｎｍ、１２００ｎｍ、１３００ｎｍ、１４００ｎｍ、１４５０ｎｍ、１５００ｎｍ、１５５０ｎｍ、１６００ｎｍ及び１６５０ｎｍから選択されるいずれかの波長に蛍光ピークを有するものが利用される。また、上記のＣｒ３＋賦活蛍光体としては、例えば、７９０ｎｍ、８００ｎｍ、８２５ｎｍ、８５０ｎｍ、８８０ｎｍ、９２５ｎｍ、９５０ｎｍ、９７０ｎｍ及び１０３５ｎｍから選択されるいずれかの波長に、蛍光ピークを有するものが利用される。また、希土類賦活蛍光体については次の通りである。例えば、Ｔｍ３＋賦活蛍光体は、概ね、７８５ｎｍ、８００ｎｍ及び８２０ｎｍの波長に輝線状の蛍光ピーク波長を有する性質を有する。例えば、Ｅｒ３＋賦活蛍光体は、概ね、９７０ｎｍ、１００５ｎｍ、１４７０ｎｍ、１５３０ｎｍ、１５７０ｎｍ、１６１５ｎｍ及び１６４５ｎｍの波長に輝線状の蛍光ピーク波長を有する性質を有する。例えば、Ｎｄ３＋賦活蛍光体は、８８０ｎｍ、９３５ｎｍ、１０６０ｎｍ、１１０５ｎｍ、１３３５ｎｍ及び１４２０ｎｍの波長に輝線状の蛍光ピーク波長を有する性質を有する。例えば、Ｙｂ３＋賦活蛍光体は、９７０ｎｍ、１０００ｎｍ及び１０２５ｎｍの波長に輝線状の蛍光ピーク波長を有する性質を有する。
　続いて、可視光（白色光）を照射する白色光源部１３０は、例えば、黄色蛍光体部材と、青色ＬＥＤ素子とを有する。青色ＬＥＤ素子から出力された青色光である励起光の一部が、黄色蛍光体部材によって波長変換され、黄色光となる。この黄色光と、波長変換されなかった青色光とが合わさって、白色光源部１３０から白色光が出力される。なお、白色光源部１３０は、白色光などの可視光を出力できれば、このような構成に限られない。
　このように、近赤外光源１００は、近赤外光源部１２０が照射する第１近赤外線と、白色光源部１３０が照射する可視光（白色光）と、を有する出力光Ｌを、複数の人物に出力する。本実施の形態においては、出力光Ｌは、心理状態表示システム１が心理データを生成し、この心理データの時間変化を表示している間においては、点灯し続け、つまりは、連続的に出力されている。
　このような構成とすると、撮像装置２００が複数の人物を絶え間なく撮像でき、生成装置３００が絶え間なく心理データを生成できるようになる。よって、表示装置４００は、生成された心理データを連続的に表示できるため、心理データの時間変化を表示することが可能となる。
　また、近赤外光源１００（より具体的には、近赤外光源部１２０）が照射する第１近赤外線の出力は、１０Ｗ以上３ｋＷ以下の出力である。例えば、第１近赤外線の出力は、３０Ｗ、１００Ｗ、３００Ｗ、１ｋＷ及び３ｋＷのうち１つの出力であるとよい。なお、より高い出力の第１近赤外線が近赤外光源１００から出力されるために、近赤外光源１００は、複数の近赤外光源部１２０を有するとよい。また、本実施の形態においては、心理状態表示システム１は、１つの近赤外光源１００を備えるが、これに限られず複数の近赤外光源１００を備えてもよい。
　これにより、近赤外光源１００は、近赤外光源１００から離れた領域に位置する複数の人物に、第１近赤外線を照射し到達させることができる。つまり、近赤外光源１００から離れた領域に位置する複数の人物についての、心理状態の変化を可視化することができる心理状態表示システム１が実現される。
　撮像装置２００は、近赤外光源１００によって出力された出力光Ｌが有する第１近赤外線を受光して、複数の人物の赤外線画像を撮像する装置であり、一例として赤外線カメラである。なお、撮像装置２００は、近赤外光源１００が第１近赤外線を出力している間は、常時、赤外線画像を撮像するとよい。
　出力光Ｌ（第１近赤外線）が複数の人物に出力されると、当該複数の人物によって第１近赤外線が反射される。撮像装置２００は、複数の人物によって反射された第１近赤外線を受光することで、複数の人物の赤外線画像を撮像する。この赤外線画像は、静止画像であり、複数の人物が写されている。本実施の形態においては、赤外線画像は、複数の人物のそれぞれの顔及び身体の少なくとも一方が写されている。
　また、撮像装置２００は、所定時間ごとに赤外線画像を撮像する。つまり、撮像装置２００は、１つの赤外線画像を撮像し、所定時間が経過すると、さらに１つの赤外線画像を撮像し、これを繰り返す。所定時間は、例えば、数秒以上数分以下であるがこれに限られない。一例として、撮像装置２００は、５秒おきに赤外線画像（静止画像）を撮像する。なお、撮像装置２００は、赤外線画像（静止画）にかえて、赤外線動画像を撮像してもよく、この場合、赤外線動画像が含む各フレーム画像を、赤外線画像として利用するとよい。
　撮像装置２００は、撮像した赤外線画像を生成装置３００へ出力する。上記のように、撮像装置２００は、赤外線画像の撮像を繰り返している。例えば、撮像装置２００は、１つの赤外線画像を撮像して生成装置３００へ出力すると、さらに次の１つの赤外線画像を撮像して生成装置３００へ出力する。つまり、撮像装置２００は、１つの赤外線画像を撮像するごとに、当該１つの赤外線画像を生成装置３００に出力する処理を繰り返す。また例えば、撮像装置２００は、複数の赤外線画像を撮像した後に、複数の赤外線画像をまとめて生成装置３００へ出力してもよい。
　また、本実施の形態においては、撮像装置２００が備える通信部が撮像した赤外線画像を生成装置３００へ出力する。当該通信部は、撮像装置２００が生成装置３００と通信を行うための通信回路である。本実施の形態においては、当該通信部は、無線通信を行うための回路であり、具体的には、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）　Ｌｏｗ　Ｅｎｅｒｇｙ）又はＷｉ－Ｆｉ（登録商標）などの通信規格にしたがって無線通信を行う。なお、当該通信部は、有線通信を行うための回路であってもよい。
　また、ここで、撮像装置２００の受光信号強度について説明する。
　上記の通り、撮像装置２００は、第１近赤外線を有する出力光Ｌが出力されているときに、複数の人物によって反射された第１近赤外線を受光する。この受光により得られる受光信号強度を第１受光信号強度とする。第１受光信号強度とは、撮像装置２００（より具体的には、撮像装置２００が有する撮像素子）が、第１近赤外線を受光することにより発生した電荷に応じた受光信号の強度である。
　また、第１近赤外線とは異なる第２近赤外線が複数の人物に照射される場合もある。第２近赤外線とは、近赤外光源１００とは異なる光源から出力された近赤外線である。第２近赤外線は、例えば、太陽光に含まれる近赤外線であるが、これに限られず、照明装置から出力される近赤外線であってもよい。ここでは、第１近赤外線を有する出力光Ｌが出力されていないときに、第２近赤外線が複数の人物に照射された場合について説明する。撮像装置２００は、複数の人物によって反射された第２近赤外線を受光する。この受光により得られる受光信号強度を第２受光信号強度とする。第２受光信号強度とは、撮像装置２００（より具体的には、撮像装置２００が有する撮像素子）が、第２近赤外線を受光することにより発生した電荷に応じた受光信号の強度である。
　本実施の形態においては、第１受光信号強度の最小値は、第２受光信号強度の最大値よりも大きい。例えば、第１受光信号強度の最小値は、第２受光信号強度の最大値の２倍以上であるとよく、５倍以上であるとよりよく、１０倍以上であるとさらによい。
　なお、第１近赤外線の出力が１０Ｗ以上３ｋＷ以下の出力とすることで、つまりは、第１近赤外線の出力を十分に高めることで、第１受光信号強度の最小値は、第２受光信号強度の最大値よりも大きくなる。
　これにより、複数の人物を認識する信号のノイズとなる第２受光信号の強度が十分に小さくなる。よって、このようなノイズが十分に小さくなるため、撮像装置２００によって、複数の人物がより高精度に撮像された赤外線画像を得ることができる。
　撮像装置２００は、撮像される赤外線画像の倍率を制御する倍率制御機構（図示せず）を備えてもよい。この場合、倍率制御機構が備えるレンズ等によって、複数の人物のそれぞれに焦点を合わせた赤外線画像を得る上で有利である。
　生成装置３００は、撮像された赤外線画像と、学習済みの機械学習モデル３２１を用いて、心理状態を示す心理データを生成する装置である。また、生成装置３００は、生成された心理データに基づいて、複数の人物に与える刺激を決定する。生成装置３００は、例えば、パーソナルコンピュータであるが、ネットワークに接続された計算能力の高いサーバ装置であってもよい。
　ここでは、生成装置３００は、通信部３１０と、生成部３２０と、学習部３３０とを有する。
　通信部３１０は、生成装置３００が、撮像装置２００、表示装置４００及び制御装置５００と通信を行うための通信回路である。本実施の形態においては、通信部３１０は、無線通信を行うための回路であり、具体的には、ＢＬＥ又はＷｉ－Ｆｉ（登録商標）などの通信規格にしたがって無線通信を行う。なお、通信部３１０は、有線通信を行うための回路であってもよい。
　通信部３１０は、取得部３１１と出力部３１２とを含む。取得部３１１は、撮像装置２００によって撮像され出力された赤外線画像を取得する。上記の通り、撮像装置２００は、赤外線画像を撮像する処理と出力する処理とを繰り返しているため、取得部３１１は出力された赤外線画像を順次取得する。換言すると、取得部３１１は、出力された複数の赤外線画像を取得する。また、出力部３１２は、生成された心理データを表示装置４００に、決定された刺激を示す刺激データを制御装置５００に出力する。
　生成部３２０は、取得部３１１により取得された赤外線画像に基づいて、心理データを生成する。より具体的には、生成部３２０は、機械学習モデル３２１を保有しており、この機械学習モデル３２１を用いて、複数の人物のうち少なくとも１人の人物の心理状態を示す心理データを生成する。また、生成部３２０は、１つの赤外線画像を取得するごとに、当該１つの赤外線画像に対応する１つの心理データを生成する。
　上記の通り、心理状態とは、一例として、嬉しい、悲しい、元気、恐れ、怒り、落ち込んでいる、覚醒している、ぼんやりしている、関心がある、緊張などの状態を意味するがこれに限られない。
　機械学習モデル３２１は、取得部３１１により取得された赤外線画像を入力とし、赤外線画像が示す複数の人物のうち少なくとも１人の人物の心理状態を出力とする学習済みのモデルである。本実施の形態においては、学習部３３０が機械学習モデル３２１を学習させる。
　心理データは、例えば、複数の人物のうち少なくとも１人の人物の心理状態を示すデータであり、表示装置４００が表示するためのデータであり、より具体的にはデジタルデータである。心理データとしては、例えば、数字表示データ、色表示データ、図柄表示データ、図記号表示データ、絵文字表示データ及びイラスト表示データなどの表示データが挙げられる。また、本実施の形態においては、心理データは、これらの表示データのうち少なくも１つのデータが、撮像された赤外線画像に重畳された画像データである。心理データが画像データである場合に、赤外線画像に写された複数の人物と、当該人物の心理状態とが紐づけられて表示装置４００に表示される。
　また、生成部３２０は、生成された心理データに基づいて、複数の人物に与える刺激を決定する。例えば、生成部３２０は、生成された心理データと、生成装置３００が有する記憶部（不図示）に記憶されている対応データとに基づいて、複数の人物に与える刺激を決定する。対応データは、心理データが示す心理状態と、当該心理状態に応じた刺激とが対応付けられて示されたデータである。生成部３２０は、対応データを参照して、生成された心理データに対応する刺激を、複数の人物に与える刺激として決定する。なお、人物に刺激が与えられることで、当該人物の心理状態を変化させることが期待される。刺激データには、このように決定された刺激が示されている。これにより、人物の心理状態に応じて、その心理状態を変化させるための刺激を決定することができる。
　このような生成部３２０は、具体的には、プログラムを実行するプロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。
　学習部３３０は、教師データを用いて機械学習モデル３２１を学習させる。学習部３３０は、具体的には、プログラムを実行するプロセッサ、マイクロコンピュータ、又は、専用回路によって実現される。
　学習部３３０は、機械学習モデル３２１を学習させ、構築する。学習部３３０は、構築した機械学習モデル３２１を生成部３２０に提供する。なお、学習部３３０は、必須の構成要素ではなく、心理状態表示システム１に備えられていなくてもよい。
　この機械学習モデル３２１は、心理データを生成するためのモデルである。
　本実施の形態においては、機械学習モデル３２１は、１個以上のデータセットを教師データとした機械学習により構築されたモデルである。１つのデータセットとは、撮像装置２００によって撮像された赤外線画像と、当該赤外線画像が示す人物の心理状態との組み合わせで構成されている。なお、当該赤外線画像には、当該人物の顔及び身体の少なくとも一方が写されている。当該赤外線画像には、当該人物の顔の全体及び身体の全体が写されているとよいが、これに限られない。例えば、当該赤外線画像には、当該人物の顔の一部、又は、身体の一部が写されていればよい。
　言い換えれば、機械学習モデル３２１は、１個以上のデータセットであって、それぞれが赤外線画像及び当該赤外線画像が示す人物の心理状態のデータセットである１個以上のデータセットを教師データとした機械学習により構築された認識モデルである。より具体的には、機械学習モデル３２１は、上記教師データである１個以上のデータセットのそれぞれに属する赤外線画像を入力データとし、当該データセットに属する当該赤外線画像が示す人物の心理状態を出力データとして、構築された認識モデルである。
　学習部３３０は、一例として上記の通り機械学習を用いてモデルを学習させる。このため、本実施の形態においては、モデルは機械学習モデル３２１である。
　また、学習部３３０は、例えば、ニューラルネットワークを用いて、より具体的には、畳み込みニューラルネットワーク（ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ））を用いて、機械学習モデル３２１を学習させてもよい。機械学習モデル３２１が畳み込みニューラルネットワークモデルである場合、学習部３３０は、教師データに基づく機械学習によって、畳み込み層のフィルタの係数（重み）などを決定する。
　また、学習部３３０は、ニューラルネットワーク以外のアルゴリズムを用いて機械学習モデル３２１を学習させてもよい。
　表示装置４００は、生成装置３００から出力される心理データの時間変化を表示する。より具体的には、生成部３２０が１つの赤外線画像を取得するごとに当該１つの赤外線画像に対応する１つの心理データを生成して出力するため、表示装置４００は、出力される心理データを順次取得して表示する。このため、表示装置４００は、心理データの時間変化を表示する。
　表示装置４００は、発光型又は非発光型のモニタ装置である。表示装置４００は、発光型のモニタ装置である有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、又は、非発光型のモニタ装置である液晶パネルなどによって構成される。表示装置４００は、据置型であっても、携帯型であってもよい。据え置き型の表示装置４００としては、例えばパソコンモニター用ディスプレイなどがあり、携帯型の表示装置としては、例えばスマートフォン又はタブレット端末などがある。
　表示装置４００は、例えば、心理状態表示システム１の管理者などによって視認される装置である。当該管理者が表示された心理データの時間変化を見ることで、複数の人物などの心理状態の変化を理解することができる。つまり、心理状態表示システム１は、人物の心理状態の変化を可視化することができる。
　このように人物の心理状態の変化が可視化されることで、例えば、表示装置４００を見ている管理者は、以下のことを知得することができる。
　心理状態表示システム１が複数の人物がいる空間で使用されているときに、複数の人物の中で、緊張している不審者、又は、多くの人物がいるため発言することができず落ち込んでいる人物を、管理者は早期発見することができる。
　また、心理状態表示システム１が講座が行われているセミナー会場（学習空間の一例）で使用されているときに、講座の受講者の関心度などの心理状態を明らかにすることもできる。この場合、関心度に合わせて、管理者から講師へ休憩のタイミングなどが伝えられるとよい。
　制御装置５００は、刺激装置６００を制御する装置であり、例えば、パーソナルコンピュータであるが、ネットワークに接続された計算能力の高いサーバ装置であってもよい。なお、制御装置５００は、刺激装置６００を制御することができれば他の装置であってもよく、例えば、刺激装置６００を制御するための専用装置であってもよい。
　制御装置５００は、生成装置３００から出力された刺激データを取得する。制御装置５００は、取得した刺激データが示す刺激が複数の人物に与えられるように、刺激装置６００を制御する。
　これにより、人物の心理状態に応じて、その心理状態を変化させるための刺激を人物に与えることができるので、当該人物の心理状態を制御することができる心理状態表示システム１が実現される。
　刺激装置６００は、制御装置５００によって制御され、複数の人物に刺激を与える装置である。当該刺激は、複数の人物の、視覚、聴覚、嗅覚及び触覚の少なくとも１つに作用する刺激である。刺激は、例えば、光、音、におい、振動、風、温度及び湿度から選択される少なくとも１つの刺激である。刺激が光である場合には、映像の意味も含む。刺激装置６００は、一例として、光源装置、プロジェクタ装置、スピーカ、加振装置、送風装置、調温装置及び調湿装置などであるがこれらに限られない。
　なお、制御装置５００は、複数の人物に与えられた刺激が遮断又は抑制されるように、刺激装置を制御するとよい。例えば、制御装置５００は、刺激装置６００が光源である場合に、複数の人物に刺激として光を与えた後に、当該光を遮断（消灯）又は抑制（光量低下）してもよい。
　ここで、図３及び図４を用いて、近赤外光源１００と人物との関係について説明する。
　図３は、本実施の形態に係る近赤外光源１００と人物とを鉛直方向に見た模式図である。より具体的には、図３は、近赤外光源１００と、複数の人物のうち１人の人物とを鉛直下向きに見た図であり、換言すると、人物の頭上から近赤外光源１００と１人の人物とを見た図である。図４は、図３を側方から見た模式図である。
　ここで、図３及び図４が示す正面方向Ｄ１について説明する。正面方向Ｄ１は、複数の人物のうち少なくとも１人の人物の頭部が向いている方向である。本実施の形態においては、近赤外光源１００は、１人の人物の頭部が向いている正面方向Ｄ１以外から、出力光Ｌを１人の人物に出力する。第１近赤外線は、正面を向いた当該１人の人物の顔の真後ろに影が生じない方向から、当該１人の人物に照射される。つまり、出力光Ｌが有する第１近赤外線は、当該１人の人物の頭部（顔）の正面方向Ｄ１からは照射されず、換言すると、当該１人の人物の顔の上方若しくは下方、又は、側方（左方右方）若しくは斜め側方から照射される。
　ここで、光軸Ｌａを、第１近赤外線のうち放射強度が最も高い角度に向けて進む光の方向とする。出力光Ｌが有する第１近赤外線が当該１人の人物の顔の側方又は斜め側方から照射される場合には、光軸Ｌａと正面方向Ｄ１とは平行とならない。また、出力光Ｌが有する第１近赤外線が当該１人の人物の顔の上方又は下方から照射される場合には、図３が示すように鉛直方向に見た場合に光軸Ｌａと正面方向Ｄ１とは平行となってもよい。
　このように、本実施の形態に係る心理状態表示システム１は、人物の顔の正面方向Ｄ１から第１近赤外線が照射されなくてもよい。
　また、第１近赤外線によって照射される被照射領域の面積は、１０ｍ２以上１００００ｍ２未満である。また、当該面積は、２５ｍ２以上であるとよりよく、１００ｍ２以上であるとさらによい。
　ここで、第１近赤外線が照らす被照射領域の面積の上限は、特に限定されるものでない。その理由は第１近赤外線の撮像が第１近赤外線の光量に依存することによる。なお、照明技術及び撮像技術の実状を考慮して、あえて上限を設定するとした場合、上記の１００００ｍ２未満程度がよい。
　これにより、第１近赤外線は、広い空間にいる複数の人物を照射することができる。つまり、広い空間にいる複数の人物の心理状態の変化を可視化することができる心理状態表示システム１が実現される。
　また、図４が示す距離Ｒ１について説明する。
　距離Ｒ１は、複数の人物のうち近赤外光源１００に最も近い位置にいる人物と、近赤外光源１００との距離である。より具体的には、距離Ｒ１は、複数の人物のうち近赤外光源１００に最も近い位置にいる人物と、近赤外光源１００が備える光出射面との距離である。出力面とは、出力光Ｌを出力する面である。
　距離Ｒ１は、５０ｃｍ以上３０ｍ未満であるとよい。また、距離Ｒ１は、５０ｃｍ以上３ｍ未満（第１照明距離）、３ｍ以上５ｍ未満（第２照明距離）又は５ｍ以上２０ｍ未満（第３照明距離）である。
　距離Ｒ１が第１照明距離である場合には、オフィス、セミナー会場、教室、店舗、公共空間（役所及び図書館など）及び公共移動空間（電車内及びバス内）などにおける人物の心理状態を可視化する上で都合よい。距離Ｒ１が第２照明距離である場合には、屋内イベント会場、映画館、体育館、小規模屋外イベント会場、街中の比較的狭いエリアなどにおける人物の心理状態を可視化する上で都合よい。距離Ｒ１が第３照明距離である場合には、大規模屋外イベント会場、スポーツ会場、街中の比較的広いエリアなどにおける人物の心理状態を可視化する上で都合よい。
　また、複数の人物のうち全ての人物のそれぞれと近赤外光源１００との距離が、上記範囲であるとよい。
　第１近赤外線の配光パターンは、配光角が１５°未満の狭角配光、配光角が１５°以上３０°未満の中角配光、配光角が３０°以上９０°未満の広角配光、及び、ランバーシアン配光から選択できる。
　配光パターンが狭角配光に近づくほど、第１近赤外線がビーム状になる。このため、近赤外光源１００から遠方の領域を第１近赤外線が照射する上で有利な配光パターンが実現される。
　一方、配光パターンがランバーシアン配光に近づくほど、均一な第１近赤外線が広範囲を柔らかく照射される。このため、より広い領域を第１近赤外線が照射する上で有利な配光パターンが実現される。
　なお近赤外光源１００は、出力する第１近赤外線の配光を制御する配光制御機構（図示せず）を有していてもよい。この場合、配光制御機構が備えるレンズ及び／又はミラーを通して第１近赤外線をビーム状にしたり、ランバーシアン配光に近づけたりし得る。よって、例えば心理データの生成に適した第１近赤外線を照射することができる。
　また、図３が示すように鉛直方向から近赤外光源１００を見たときの、出力光Ｌが有する第１近赤外線の水平方向の広がり角θについて説明する。
　広がり角θとは、同一距離における放射強度が最大強度の半分となる第１近赤外線が出力される角度の範囲を意味する。本実施の形態においては、広がり角θは、３０°以上１８０°以下であるとよく、４５°以上１２０°以下であるとよりよい。広がり角θがこのような範囲にあると、近赤外光源１００から遠方の領域であって、広い領域に、第１近赤外線が照射されることができる。このため、心理状態表示システム１の省スペース化が可能となる。
　［心理状態可視化方法の処理手順］
　続いて、心理状態表示システム１が実行する心理状態可視化方法における具体的な処理手順について説明する。
　図５は、本実施の形態に係る心理状態表示システム１が機械学習モデル３２１を学習させる処理手順を示すフローチャートである。
　まず、学習部３３０は、機械学習モデル３２１に学習させるための教師データを取得する(Ｓ１０１)。なお、教師データは、生成部３２０によって生成されているとよいが、これに限られず他の処理部又は他の装置によって生成されていてもよい。
　以下、教師データについて説明する。
　上記の通り、教師データは、１個以上のデータセットである。
　１つのデータセットとは、撮像装置２００によって撮像された赤外線画像と、当該赤外線画像が示す人物の心理状態との組み合わせで構成されている。例えば、当該赤外線画像には人物の顔及び身体が写されている。また、当該赤外線画像と、当該人物の心理状態である嬉しい、悲しい、元気、恐れ、怒り、落ち込んでいる、覚醒している、ぼんやりしている、関心がある、緊張などのうち１つと、が組み合わされている。
　なお、教師データは、可視光の下で可視光センサを利用して収集した可視データを利用することもできる。
　ステップＳ１０１が行われた後に、学習部３３０は、ステップＳ１０１で取得された教師データを用いて機械学習モデル３２１を学習させる（Ｓ１０２）。より具体的には、学習部３３０は、機械学習により機械学習モデル３２１を学習させる。さらに、学習部３３０は、学習済みの機械学習モデル３２１を生成部３２０に出力する。
　図５が示すフローチャートの処理が行われた後、心理状態表示システム１によって人物の心理状態を可視化する処理が行われる。
　図６は、本実施の形態に係る心理状態表示システム１が人物の心理状態を可視化する処理手順を示すフローチャートである。
　近赤外光源１００は、第１近赤外線を有する出力光Ｌを複数の人物に出力する（Ｓ２０１）。
　撮像装置２００は、近赤外光源１００によって出力された出力光Ｌが有する第１近赤外線を受光して、複数の人物の赤外線画像を撮像する（Ｓ２０２）。本動作例では、撮像装置２００は所定時間ごとに赤外線画像を撮像しており、撮像装置２００は、１つの赤外線画像を撮像して生成装置３００へ出力すると、さらに次の１つの赤外線画像を撮像して生成装置３００へ出力する。つまり撮像装置２００は撮像された赤外線画像を生成装置３００に順次出力し、生成装置３００は撮像装置２００によって順次出力された赤外線画像を順次取得する。
　生成装置３００は、赤外線画像を入力とする機械学習モデル３２１とを用いて、当該赤外線画像が示す複数の人物のうち少なくとも１人の人物の心理状態を示す心理データを生成する（Ｓ２０３）。
　機械学習モデル３２１においては、生成装置３００によって取得された赤外線画像が入力されると、当該赤外線画像が示す複数の人物のうち少なくとも１人の人物の心理状態が出力される。生成装置３００は、この心理状態を示す心理データを生成する。
　なお、生成装置３００は、１つの赤外線画像を取得するごとに、当該１つの赤外線画像に対応する１つの心理データを生成する。上記の通り、生成装置３００は赤外線画像を順次取得するため、生成装置３００は、心理データを順次生成する。生成装置３００は、心理データを生成するごとに、生成された心理データを表示装置４００に出力する。つまり、表示装置４００は、生成された心理データを順次取得する。
　表示装置４００は、取得した心理データを表示する（Ｓ２０４）。なお、上記の通り、表示装置４００は、生成された心理データを順次取得するため、心理データを順次表示することとなる。上記の通り、撮像装置２００が所定時間ごと赤外線画像を撮像している。このため、表示装置４００には、１つの赤外線画像に基づく１つの心理データが表示された後に、当該１つの赤外線画像の所定時間後に撮像された次の１つの赤外線画像に基づく次の１つの心理データが表示される。つまり、表示装置４００は、心理データの時間変化を表示する。換言すると、表示装置４００には、人物の心理状態が時々刻々と変化する様子が示されている。
　ここで、本実施の形態に係る心理状態表示システム１と、特許文献１に開示される技術とを比較する。
　特許文献１では、人物の一時的な心理状態が表示されることが開示されている。しかし、表示された心理状態の、前又は後の当該人物の心理状態は不明である。また、特許文献１では、動画像から複数の画像（静止画像）を抽出し、複数の画像のそれぞれの平均値を算出して、算出された平均値に基づいて１つの心理状態を表示することが開示されている。この場合でも、１つの心理状態しか表示されないため、当該複数の画像において、人物の心理状態に変化があったか否かは不明である。
　ヒト（人物）の心理状態は時々刻々と変化することが当然である。特許文献１では、人物の一時的な心理状態が表示されるが、人物の心理状態がどのように変化するかは表示されない。
　本実施の形態においては、例えば、図６のステップＳ２０４が示すように、時々刻々と変化する人物の心理状態が表示されている。つまりは、本実施の形態に係る心理状態表示システム１は、人物の心理状態の時間変化を可視化することができる。
　また、特許文献１で使用される画像が可視光画像である場合は、当該画像は、画像が撮像された空間の照明光（可視光）に影響を受ける。例えば、当該画像の画質等は、当該空間の照明光の発光態様によって影響を受け、結果として、表示される心理状態にも影響が与えられる。つまり、特許文献１においては、表示される心理状態は、当該画像が撮像された空間の照明光（可視光）に影響を受ける。
　一方で、本実施の形態に係る心理状態表示システム１においては、第１近赤外線（より具体的には、赤外線画像）が用いられて、人物の心理状態の時間変化を可視化する。よって、心理状態表示システム１は、人物の心理状態の変化を可視化する際に、心理状態表示システム１が使用される空間の照明光（可視光）の影響を受けにくい。つまりは、人物の心理状態の変化を、照明光による影響が抑制された状態で可視化することができる心理状態表示システム１が実現される。
　ここで、図７及び図８を用いて心理データについてより詳細に説明する。
　図７は、本実施の形態に係る撮像装置２００によって撮像された赤外線画像Ｐ１を示す図である。
　図８は、図７が示す赤外線画像Ｐ１に基づく心理データの一例である。
　図７が示す赤外線画像Ｐ１には、複数の人物が写されており、より具体的には、４人の人物として、Ａ氏、Ｂ氏、Ｃ氏及びＤ氏が写されている。
　上記の通り、機械学習モデル３２１において、赤外線画像Ｐ１を入力とすると、４人の人物のうち少なくとも１人の人物の心理状態が出力されればよいが、ここでは、４人の人物（つまりは全員）の心理状態が出力される。つまり、図８が示す心理データは、４人の人物のそれぞれの心理状態を示す。
　ここでは、心理状態として、関心の程度を示す関心度が用いられている。図８では、心理データとして、４人の人物のそれぞれの関心度が示されている。
　なお、表示される心理状態の水準は２水準以上１１水準以下であるとよく、６水準以下であるとよりよい。例えば、関心度の水準が６水準であると、関心度が高い順に、関心度５点、関心度４点、関心度３点、関心度２点、関心度１点及び関心度０点などと表示される。また、関心度の水準に限られず、他の心理状態の水準（例えば喜びの水準）も２水準以上１１水準以下であるとよく、６水準以下であるとよい。
　このように、表示される水準が上記範囲であると、複数の人々のそれぞれの心理状態について、大雑把に把握されることができ、また、取り扱うデータ容量も小さくできる。このため、心理状態表示システム１に利用する機器の小型化や、データ処理速度の向上に有利なものになる。
　また、上記の通り、心理データとしては、例えば、数字表示データ、色表示データ、図柄表示データ、図記号表示データ、絵文字表示データ及びイラスト表示データなどの表示データが挙げられる。また、本実施の形態においては、心理データは、これらの表示データのうち少なくも１つのデータが、撮像された赤外線画像に重畳された画像データである。心理データが画像データである場合に、赤外線画像に写された複数の人物と、当該人物の心理状態とが紐づけられて表示装置４００に表示される。
　数字表示データが用いられると、心理状態を細かく表示したり、数字表現する上で有利になる。色表示データが用いられると、心理状態を色表現する上で有利になる。図柄表示データ、図記号表示データ及び絵文字表示データが用いられると、心理状態を図や文様記号で喩えて表現する上で有利になる。イラスト表示データで表示する形態は、心理状態をイラスト表現する上で有利になる。また、画像データが用いられると、人物と当該人物の心理状態とが結び付けられて表現する上で有利になる。
　ここで、図８を用いて、色表示データが用いられた例について説明する。
　図８には、色表示データが、撮像された赤外線画像Ｐ１に重畳された画像データＰ２が示されている。
　図８が示す心理データにおいては、４人の人物のそれぞれの心理状態に対応する色が表示されており、当該色が濃いほど関心度が高く、当該色が薄いほど関心度が低く図示されている。図８では、Ａ氏、Ｂ氏及びＣ氏には濃い色が重畳され、関心度が高いことが示され、Ｄ氏には薄い色が重畳され、関心度が低いことが示されている。なお、図８においては、心理状態に対応する色が濃さで表現されているが、カラーで表現されてもよい。
　このように、人物の心理状態は、特に、色（色調）で表示されることが都合よい。特にカラーで表示されると、興奮状態を赤、興奮気味状態を黄、冷静気味状態を緑、冷静状態を青、落ち込み状態を灰色又は黒で区分表示することができる。このように、本実施の形態に係る心理状態表示システム１は、人物の心理状態の時間変化を色によって可視化することができるため、例えば、表示装置４００を見たユーザは、当該人物の心理状態の時間変化を感覚的に理解することができる。
　また、上記の通り、表示される心理状態の水準は６水準以下であるとよいが、例えば、６水準である場合には、人物の心理状態が虹色で表示されると、ユーザは、当該人物の心理状態の時間変化をより理解し易くなる。
　さらに、心理データの他の例について図９を用いて説明する。
　図９は、図７が示す赤外線画像Ｐ１に基づく心理データの他の一例である。より具体的には、図９には、図記号表示データが、撮像された赤外線画像Ｐ１に重畳された画像データＰ３が示されている。
　図９が示す心理データにおいては、４人の人物のそれぞれの心理状態に対応する図記号が表示されている。図記号とは、表示体であり、図９に示される破線の枠である。当該枠が大きいほど関心度が高く、当該枠が小さいほど関心度が低く図示されている。つまり、表示体の面積の大小によって、関心度が示されている。図９では、Ａ氏、Ｂ氏及びＣ氏には大きな枠が重畳され、関心度が高いことが示され、Ｄ氏には小さな枠が重畳され、関心度が低いことが示されている。なお、他の図記号で関心度が示されてもよい。
　図９のように、図記号表示データが用いられると、人物の心理状態が強調されて表示される。このように、本実施の形態に係る心理状態表示システム１は、人物の心理状態の時間変化を図記号によって可視化することができるため、例えば、表示装置４００を見たユーザは、当該人物の心理状態の時間変化を感覚的に理解することができる。
　さらに、心理データの他の例について図１０を用いて説明する。
　図１０は、本実施の形態に係る心理データの他の一例である。
　より具体的には、図１０には、数字表示データが、撮像された赤外線画像に重畳された画像データが示されている。なお、図１０の（ａ）は、赤外線画像Ｐ１に基づく心理データであって、数字表示データが、撮像された赤外線画像Ｐ１に重畳された画像データＰ４を示す図である。図１０の（ｂ）は、赤外線画像Ｐ１が撮像された所定時間後に撮像された赤外線画像に基づく心理データに係る画像データＰ５を示す図である。図１０の（ｃ）は、図１０の（ｂ）に係る赤外線画像が撮像された所定時間後に撮像された赤外線画像に基づく心理データに係る画像データＰ６を示す図である。つまり、図１０は、例えば、図６のステップＳ２０４で表示装置４００に表示される心理データの時間変化を示す図である。
　図１０が示す心理データにおいては、４人の人物のそれぞれの心理状態に対応する数字が表示されている。なお、ここでは、心理状態である関心度の水準が６水準で示されており、関心度が高い順に、関心度５点、関心度４点、関心度３点、関心度２点、関心度１点及び関心度０点と表示される。図１０の（ａ）及び（ｃ）では、Ａ氏、Ｂ氏及びＣ氏には「関心度５点」が重畳され、関心度が高いことが示され、Ｄ氏には「関心度１点」が重畳され、関心度が低いことが示されている。図１０の（ｂ）では、Ａ氏及びＣ氏には「関心度５点」が重畳され、関心度が高いことが示され、Ｂ氏には「関心度３点」が重畳され、関心度が中程度であることが示され、Ｄ氏には「関心度１点」が重畳され、関心度が低いことが示されている。
　図１０のように、数字表示データが用いられると、心理状態を細かく表示したり、数字表現することが容易となる。このように、本実施の形態に係る心理状態表示システム１は、人物の心理状態の時間変化を数字によって可視化することができるため、例えば、表示装置４００を見たユーザは、当該人物の心理状態の時間変化を感覚的に理解することができる。
　また、図８～図１０では、心理データとして、表示データのうち少なくも１つのデータが、撮像された赤外線画像に重畳された画像データが用いられたが、これに限られない。
　例えば、心理データとして、数字表示データのみが用いられた場合には、赤外線画像Ｐ１に基づく心理データは、「Ａ氏、Ｂ氏及びＣ氏は関心度５点であり、Ｄ氏は関心度１点である。」などの数字を含む文書データであってもよい。
　また、本実施の形態においては、複数の人物のそれぞれの心理状態を示す心理データが表示されるが、これに限られない。例えば、複数の人物の心理状態の平均値を示す心理データが表示されてもよい。この場合、図１０の（ａ）に相当する心理データとして、「複数の人物の関心度は、４点である。」などのデータが用いられてもよい。
　このようにすると、複数の人物の平均的な心理状態の時間変化を可視化することができる心理状態表示システム１が実現される。
　さらに、心理データとして、数字表示データが用いられた場合には、関心度を示す点数が、積分されて表示されてもよい。例えば、図１０の（ａ）～（ｃ）に示される関心度を示す点数が積分されると、Ａ氏及びＣ氏は１５点、Ｂ氏は１３点、Ｄ氏は３点となり、これらの数値が表示装置４００に表示されてもよい。
　このようにすると、一定期間における人物の心理状態を可視化することができる心理状態表示システム１が実現される。
　さらに、心理データとして、数字表示データが用いられた場合には、関心度を示す点数が、微分されて表示されてもよい。
　このようにすると、短い時間における人物の心理状態の時間変化を可視化することができる心理状態表示システム１が実現される。
　ここで、図６に戻り、さらなる処理について説明する。
　生成装置３００は、生成された心理データに基づいて、複数の人物に与える刺激を決定する（Ｓ２０５）。なお、生成装置３００は、複数の人物の全てに刺激を与えるように決定してもよく、複数の人物の一部に刺激を与えるように決定してもよい。
　またさらに、生成装置３００によって生成された心理データが、１以上の人物の心理状態が所定の心理状態であることを示す場合に、生成装置３００は、当該所定の心理状態に基づいて、１以上の人物に与える刺激を決定するとよい。
　これにより、刺激を与えて心理状態を変える対象となる人物が限定され、複数の人物のうち対象とならない人物に刺激を与える必要が無くなる。よって、対象となる人物の心理状態を効率よく制御することができる心理状態表示システム１が実現される。
　ここで所定の心理状態と刺激とについて説明する。
　例えば、所定の心理状態が「関心度が１点以下」である場合に、当該１以上の人物に与える刺激は光である。図１０が示すように、１人の人物であるＤ氏の心理状態は「関心度が１点以下」であり、この場合に、生成装置３００は、Ｄ氏に与える刺激として光を決定する。なお、この場合、刺激装置６００は、当該光（より具体的には、可視光）を放つ光源装置である。
　生成装置３００の通信部３１０は、決定された刺激を示す刺激データを制御装置５００に出力する。制御装置５００は、出力された刺激データを取得する。
　制御装置５００は、出力された刺激データに基づいて、刺激装置６００を制御する（Ｓ２０６）。例えば、制御装置５００は、光源装置である刺激装置に、Ｄ氏に向けて光を照射させるように制御する。これにより、Ｄ氏の心理状態を変化させ、例えば、関心度が向上することが期待される。この場合、Ａ氏、Ｂ氏及びＣ氏に刺激を与える必要はない。つまり、Ｄ氏にのみ効率よく刺激を与えることができる。
　また、上記の例は、生成装置３００が複数の人物の一部（つまりはＤ氏）に刺激を与えるように決定し、制御装置５００は、決定された刺激が複数の少なくとも一部に与えられるように、刺激装置６００を制御した例であるが、これに限られない。生成装置３００が複数の人物の全て（例えばＡ氏、Ｂ氏、Ｃ氏及びＤ氏）に刺激を与えるように決定し、制御装置５００は複数の人物の全てに刺激を与えるように刺激装置６００を制御してもよい。
　なお、生成装置３００は、生成された心理データが示す心理状態の時間変化に基づいて、複数の人物のうち一部又は全部に与える刺激を決めてもよい。図１０においては、Ａ氏、Ｃ氏及びＤ氏の心理状態に時間変化はなく、関心度は常に一定であったが、Ｂ氏の心理状態には時間変化があり、関心度が変動した。この場合例えば生成装置３００は、心理状態に時間変化がないＡ氏、Ｃ氏及びＤ氏に刺激を与えるように決定してもよく、心理状態に時間変化があったＢ氏に刺激を与えるように決定してもよい。
　なお、上記では、心理状態は「関心度が１点以下」である場合に刺激として光が用いられたがこれに限られない。例えば、以下に他の例を説明する。
　他の例としては、上記のように、心理状態が「緊張している状態」となっている不審者がいる場合には、犯罪行為を抑制させるような刺激（例えば、当該不審者を明るく照らす光、「警察官が巡回しています」などの音（音声））などが決定されるとよい。
　また、他の例としては、心理状態表示システム１が娯楽空間で使用されているときに、心理状態の関心度に応じて、音及び光などの刺激が制御されると、イベントを盛り上げたり、当該空間にいる人物に大きな感動を呼び起こしたりすることができる。なお、その逆に、感情抑制が困難な状態になった人物には、冷静になるような刺激が与えられるとよい。
　また、本実施の形態に係る表示装置４００は、人物のバイタル情報を表示してもよい。例えば、図６が示すステップＳ２０４で、心理データと人物のバイタル情報とが表示されるとよい。この場合、バイタル情報は例えば以下にように得られるとよい。撮像装置２００は、複数の人物のそれぞれの血管の収縮に関する血管情報を含む赤外線画像を撮像する。生成装置３００は、撮像された赤外線画像が含む血管情報に基づいて、複数の人物のうち少なくとも１人の人物のバイタルを示すバイタル情報を生成する。
　血管情報とは、例えば、赤外線画像に写された人物の肌の光反射率の情報である。また、バイタルとは、例えば心拍数である。血液は、光を吸収する性質を有するため、当該光反射率は脈波による血管の収縮に応じて変化する。よって、人物の肌の光反射率の情報（血管情報）に基づいて、脈波が推定され、心拍数が算出される。バイタル情報は、当該人物の心拍数（バイタル）が示された情報である。
　さらに、表示装置４００は、生成されたバイタル情報を表示する。表示装置４００は、一例として、図８が示す画像データＰ２を表示する際に、バイタル情報を画像データＰ２に重畳して表示するとよい。
　これにより、心理状態表示システム１は、人物の心理状態の時間変化を可視化するだけでなく、当該人物のバイタル情報及びバイタル情報の時間変化も可視化することができる。
　ここで、心理状態表示システム１が使用される空間と、その空間において得られる効果とについてより詳細に説明する。
　上記の通り、心理状態表示システム１は、一例として、娯楽空間、公共空間又は学習空間などの空間に用いられるシステムである。娯楽空間、公共空間又は学習空間は、比較的広い空間である場合が多い。
　なお、娯楽空間とは、下記の（１）又は（２）などの空間を含む。（１）可視光による照明状態がめまぐるしく変化する演出照明空間（ライブ会場又はアフォーダンス照明空間など）。（２）人物が映像又は音響を体験する暗闇空間及び暗がり空間（映画館、スナック及びカラオケハウスなど）。なお、アフォーダンス照明空間とは、照明の光について動き、明暗及び色の変化を加えることで、空間のにぎわい感を演出しながら、ヒトの心理状態と行動（「回遊」及び「滞留」など）とに働きかける屋外演出照明空間である。
　また、公共空間は、公共の移動体（電車、バス、タクシー及び飛行機など）の空間を含む意味であり、例えば、下記（３）の空間を含む。（３）太陽光などの外部光の入射又は遮断が繰り返される夜間の移動空間、及び、暗所（トンネル空間など）と明所とを交互に移動する移動空間（高速道路を走行するバスの車内など）。
　さらに、学習空間とは、自宅、学校、学習塾又はセミナー会場などにおいて人物が学習している空間を含み、当該空間には学習している人物がおり、さらに学習を指導する人物（講師など）がいてもよい。心理状態表示システム１は、学習空間のなかでも、特に下記（４）の空間に使用されるとよい。（４）光色（色度など）が異なる白色照明光で照らされた少なくとも１つの照明空間。
　娯楽空間及び公共空間（特に、上記（１）、（２）及び（３）が示す空間）は、当該空間における可視光の有無、強弱及び色調が大きく変化しやすく、かつ、当該空間にいる人物の心理状態が揺り動かされやすい。本実施の形態においては、第１近赤外線（より具体的には、赤外線画像）が用いられて人物の心理状態の変化が可視化されている。つまり、当該空間において可視光の有無、強弱及び色調が大きく変化しても、可視光とは波長域の異なる第１近赤外線が用いられるため、心理状態表示システム１は、心理状態が揺り動かされやすい人物の心理状態の変化を、容易に可視化することができる。
　また、特に（４）のような学習空間においては、例えば、それぞれ色度が異なる複数の白色照明光で人物が照射された場合に可視光及び当該可視光に基づく可視光画像を用いて人物の心理状態の推定が行われると、推定の精度が色度に応じて低下する場合がある。このような学習空間においても、本実施の形態に係る心理状態表示システム１は、第１近赤外線が用いられるため、人物の心理状態の変化を、容易に可視化することができる。なお、学習空間に限られず、（４）のような空間では、同様の効果が期待される。
　このように、可視光の有無、強弱及び色調が大きく変化しやすく空間、又は、それぞれ色度が異なる複数の白色照明光で人物が照射された空間においても、人物の心理状態の変化を容易に可視化することができる心理状態表示システム１が実現される。特に、これらの環境において、不審者などを早期に発見することが可能となり、刺激装置６００が使用されることで、犯罪を抑制することが可能となる。よって、このような心理状態表示システム１は、経済の活性化、格差解消、安全安心な社会づくりなど、社会問題の解消効果を期待できるシステムである。
　さらに、従来技術と本実施の形態に係る心理状態表示システム１との比較を行う。
　例えば、特許文献２（特開２００９－８７３０３号公報）には、車両内の運転者の不安や驚きなどの表情を推定する技術が開示されている。また、特許文献３（特開２０２０－４８１４９号公報）には、会議室にてオンライン会議を行う参加者の感情を表示する技術が開示されている。
　特許文献２に開示される技術は、車両内などの狭い空間に適用されるものであり、娯楽空間及び公共空間（特に上記の（１）、（２）及び（３）の空間）のように、広い空間に応用することは困難である。
　また、特許文献３に開示される技術が用いられている会議室などは一般的な白色照明空間である場合が多いため、特許文献３に開示される技術は、上記（４）のような空間に応用することは困難である。
　しかしながら、本実施の形態に係る心理状態表示システム１は、上記の通り、娯楽空間、公共空間、又は、学習空間（特に上記の（１）、（２）、（３）又は（４）の空間）においても人物の心理状態の変化を、容易に可視化することができる。
　［変形例］
　ここで、実施の形態の変形例について説明する。実施の形態の変形例１では、刺激装置は、近赤外光源１００ａである点が、実施の形態と相違する。以下では、実施の形態との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
　実施の形態の変形例１に係る心理状態表示システム１ａの構成例について図１１を用いて説明する。
　図１１は、本実施の形態の変形例１に係る心理状態表示システム１ａの機能構成を示すブロック図である。
　心理状態表示システム１ａは、近赤外光源１００ａと、撮像装置２００と、生成装置３００と、表示装置４００と、制御装置５００と、を備える。
　本変形例においては、刺激装置は、可視光を有する出力光Ｌを出力する近赤外光源１００ａである。また、生成装置３００は、生成された心理データに基づいて、複数の人物に与える刺激を決定し、制御装置５００は、決定された刺激が複数の人物に与えられるように、刺激装置（近赤外光源１００ａ）を制御する。ここでは、近赤外光源１００ａが出力する可視光が刺激として決定され、複数の人物に向けて、当該可視光が出力される。
　これにより、本変形例に係る心理状態表示システム１ａの部品点数が減少し、心理状態表示システム１ａの構成が単純化する。
　［効果など］
　本実施の形態に係る心理状態表示システム１は、近赤外光源１００と、撮像装置２００と、生成装置３００と、表示装置４００と、を備える。近赤外光源１００は、７８０ｎｍ以上２５００ｎｍ未満の波長を含む第１近赤外線を有する出力光Ｌを複数の人物に出力する。撮像装置２００は、出力された出力光Ｌが有する第１近赤外線を受光して、複数の人物の赤外線画像を撮像する。生成装置３００は、撮像された赤外線画像を入力とし赤外線画像が示す複数の人物のうち少なくとも１人の人物の心理状態を出力とする学習済みの機械学習モデル３２１を用いて、心理状態を示す心理データを生成する。表示装置４００は、生成された心理データの時間変化を表示する。
　これにより、例えば、図６のステップＳ２０４が示すように、表示装置４００には、１つの赤外線画像に基づく１つの心理データが表示された後に、当該１つの赤外線画像の所定時間後に撮像された次の１つの赤外線画像に基づく次の１つの心理データが表示される。つまり、表示装置４００には、人物の心理状態が時々刻々と変化する様子が示されている。心理状態表示システム１の管理者などが表示された心理データの時間変化を見ることで、複数の人物などの心理状態の変化を理解することができる。つまり、心理状態表示システム１は、人物の心理状態の変化を可視化することができる。
　また、本実施の形態に係る心理状態表示システム１においては、第１近赤外線（より具体的には、赤外線画像）が用いられて、人物の心理状態の時間変化を可視化する。よって、心理状態表示システム１は、人物の心理状態の変化を可視化する際に、心理状態表示システム１が使用される空間の照明光（可視光）の影響を受けにくい。つまりは、人物の心理状態の変化を、照明光による影響が抑制された状態で可視化することができる心理状態表示システム１が実現される。
　また例えば、第１近赤外線は、７８０ｎｍ以上２５００ｎｍ未満の波長の範囲に、ピーク波長を含む。
　これにより、ヒト（人物）の眼に見えない近赤外線の光成分が多い第１近赤外線が照射される。このため、人物に違和感を与えずに、人物の心理状態の変化を可視化することができる心理状態表示システム１が実現される。
　また例えば、近赤外光源１００は、第１近赤外線を出力する第１固体発光素子を有する。
　これにより、電気エネルギーをそのまま第１近赤外線（光エネルギー）に変換することができるため、強い第１近赤外線を得ることが容易になる。よって、撮像装置２００によって、複数の人物がより高精度に撮像された赤外線画像を得ることができる。このため、人物の心理状態の変化をより高精度に可視化することができる心理状態表示システム１が実現される。
　また例えば、近赤外光源１００は、励起光を出力する第２固体発光素子と、出力された励起光に基づいて、第１近赤外線として波長変換光を出力する蛍光体部材と、を有する。
　これにより、第１近赤外線の分光分布及び強度のむらが減少する。よって、撮像装置２００によって、複数の人物がより高精度に撮像された赤外線画像を得ることができる。このため、人物の心理状態の変化をより高精度に可視化することができる心理状態表示システム１が実現される。
　また例えば、出力光Ｌは、可視光を有する。
　これにより、ヒト(人物）の眼で見える可視光を有する出力光Ｌが照射される。このため、第１近赤外線が出力されている近赤外光源１００の存在の認知に有利な心理状態表示システム１が実現される。
　また例えば、近赤外光源１００は、第１近赤外線及び可視光をそれぞれ独立して制御し、第１近赤外線及び可視光のそれぞれの、点消灯及び調光の少なくとも一方を制御する。
　近赤外光源１００が第１近赤外線及び可視光をこのように制御することで、第１近赤外線に基づく心理状態の可視化と可視光に基づく光演出効果を自在に制御する上で有利な心理状態の心理状態表示システム１が実現される。
　また例えば、第１近赤外線を有する出力光Ｌが出力されているときに、複数の人物によって反射された第１近赤外線を撮像装置２００が受光することで得られる受光信号強度を第１受光信号強度とする。第１近赤外線を有する出力光Ｌが出力されていないときに、第１近赤外線とは異なる第２近赤外線が複数の人物に照射され、複数の人物によって反射された第２近赤外線を撮像装置２００が受光することで得られる受光信号強度を第２受光信号強度とする。第１受光信号強度の最小値は、第２受光信号強度の最大値よりも大きい。
　これにより、複数の人物を認識する信号のノイズとなる第２受光信号の強度が十分に小さくなる。よって、このようなノイズが十分に小さくなるため、撮像装置２００によって、複数の人物がより高精度に撮像された赤外線画像を得ることができる。このため、人物の心理状態の変化をより高精度に可視化することができる心理状態表示システム１が実現される。
　また例えば、近赤外光源１００は、複数の人物のうち少なくとも１人の人物の頭部が向いている正面方向以外から、出力光Ｌを１人の人物に出力する。
　このように人物の顔の正面方向Ｄ１から第１近赤外線が照射されなくても、心理状態表示システム１は、人物の心理状態の変化を可視化することができる。例えば心理状態表示システム１が広い空間で使用され、当該広い空間にいる複数の人物のそれぞれがてんでばらばらの動きをする場合には、人物の顔の正面方向Ｄ１から第１近赤外線が照射されない。このような場合でも、人物の心理状態の変化を可視化することができる心理状態表示システム１が実現される。
　なお、上記の通り、学習部３３０が機械学習モデル３２１を学習させる際に用いられる赤外線画像には、人物の顔の全体及び身体の全体が写されているとよいが、これに限られず、例えば人物の顔の一部又は身体の一部が写されていればよい。人物の顔の一部又は身体の一部が写されている赤外線画像を用いて学習が行われることで、心理状態表示システム１は、人物の顔の正面方向Ｄ１から第１近赤外線が照射されなくても、人物の心理状態の変化を可視化することができる。
　また例えば、第１近赤外線によって照射される被照射領域の面積は、１０ｍ２以上１００００ｍ２未満である。
　これにより、第１近赤外線は、広い空間にいる複数の人物を照射することができる。つまり、広い空間にいる複数の人物の心理状態の変化を可視化することができる心理状態表示システム１が実現される。
　また例えば、複数の人物のうち近赤外光源１００に最も近い位置にいる人物と、近赤外光源１００との距離は、５０ｃｍ以上３０ｍ未満である。
　また、距離Ｒ１は、５０ｃｍ以上３ｍ未満（第１照明距離）、３ｍ以上５ｍ未満（第２照明距離）又は５ｍ以上２０ｍ未満（第３照明距離）である。
　距離Ｒ１が第１照明距離である場合には、オフィス、セミナー会場、教室、店舗、公共空間（役所及び図書館など）及び公共移動空間（電車内及びバス内）などにおける人物の心理状態を可視化する上で都合よい。距離Ｒ１が第２照明距離である場合には、屋内イベント会場、映画館、体育館、小規模屋外イベント会場、街中の比較的狭いエリアなどにおける人物の心理状態を可視化する上で都合よい。距離Ｒ１が第３照明距離である場合には、大規模屋外イベント会場、スポーツ会場、街中の比較的広いエリアなどにおける人物の心理状態を可視化する上で都合よい。
　また例えば、鉛直方向から近赤外光源１００を見たときに、第１近赤外線の水平方向の広がり角は、３０°以上１８０°以下である。
　広がり角θがこのような範囲にあると、近赤外光源１００から遠方の領域であって、範囲領域に、第１近赤外線が照射されることができる。このため、心理状態表示システム１の省スペース化が可能となる。
　また例えば、生成装置３００は、生成された心理データに基づいて、複数の人物に与える刺激を決定する。
　これにより、人物の心理状態に応じて、その心理状態を変化させるための刺激を決定することができる。
　また例えば、心理状態表示システム１は、複数の人物に刺激を与える刺激装置６００を制御する制御装置５００を備える。制御装置５００は、決定された刺激が複数の人物に与えられるように、刺激装置６００を制御する。
　これにより、人物の心理状態に応じて、その心理状態を変化させるための刺激を人物に与えることができるので、当該人物の心理状態を制御することができる心理状態表示システム１が実現される。
　また例えば、心理状態表示システム１は、刺激装置６００を備える。制御装置５００は、決定された刺激が複数の人物の少なくとも一部に与えられるように、刺激装置６００を制御する。
　これにより、複数の人物のうち少なくとも一部の人物に刺激を与えることができるので、当該一部の人物の心理状態を制御することができる心理状態表示システム１が実現される。
　また例えば、決定された刺激は、複数の人物の、視覚、聴覚、嗅覚及び触覚の少なくとも１つに作用する刺激である。
　これにより、複数の人物の味覚を除いた五感に刺激を与えることで、当該複数の人物の心理状態を変化させることができる心理状態表示システム１が実現される。
　また例えば、制御装置５００は、複数の人物に与えられた刺激が遮断又は抑制されるように、刺激装置６００を制御する。
　これにより、複数の人物に与えられている刺激が緩和されることで、当該複数の人物の心理状態を変化させることができる心理状態表示システム１が実現される。
　また例えば、生成された心理データが、１以上の人物の心理状態が所定の心理状態であることを示す場合に、生成装置３００は、所定の心理状態に基づいて、１以上の人物に与える刺激を決定する。
　これにより、刺激を与えて心理状態を変える対象となる人物が限定され、複数の人物のうち対象とならない人物に刺激を与える必要が無くなる。よって、対象となる人物の心理状態を効率よく制御することができる心理状態表示システム１が実現される。
　また例えば、変形例においては、刺激装置は、可視光を有する出力光Ｌを出力する近赤外光源１００ａである。
　これにより、変形例に係る心理状態表示システム１ａの部品点数が減少し、心理状態表示システム１ａの構成が単純化する。
　また例えば、撮像装置２００は、複数の人物のそれぞれの血管の収縮に関する血管情報を含む赤外線画像を撮像する。生成装置３００は、撮像された赤外線画像が含む血管情報に基づいて、複数の人物のうち少なくとも１人の人物のバイタルを示すバイタル情報を生成する。表示装置４００は、生成されたバイタル情報を表示する。
　これにより、心理状態表示システム１は、人物の心理状態の時間変化を可視化するだけでなく、当該人物のバイタル情報及びバイタル情報の時間変化も可視化することができる。
　また例えば、近赤外光源１００及び撮像装置２００は、娯楽空間、公共空間又は学習空間に設置される。
　これにより、可視光の有無、強弱及び色調が大きく変化しやすく空間、又は、それぞれ色度が異なる複数の白色照明光で人物が照射された空間においても、人物の心理状態の変化を容易に可視化することができる心理状態表示システム１が実現される。
　（その他の実施の形態）
　以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。
　なお、上記実施の形態及び変形例においては、出力光Ｌは、第１近赤外線と、可視光とを有したが、これに限られない。出力光Ｌは、第１近赤外線だけを有してもよい。また、出力光Ｌは、第１近赤外線及び可視光以外の電磁波を、さらに有してもよい。
　なお、このような電磁波としては、例えば、紫外線、中赤外線及び遠赤外線のうち少なくとも１つを利用することができる。
　例えば、紫外線は、蛍光体に作用して可視光に変換される特性を有する。蛍光体は、衣類に含まれる漂白剤などに含まれる。このため、紫外線を有する出力光Ｌが上記衣類を身に着ける人物に照射されると、上記の衣類から可視光が出力されることとなる。よって、例えば、複数の人物又は心理状態表示システムの管理者が、紫外線及び第１近赤外線を有する出力光Ｌが出力されていることを認知し易くなる。
　また、例えば、中赤外線及び遠赤外線は、比較的高い暖房効果を持つ。このため、出力光Ｌが中赤外線及び遠赤外線を有すると、寒冷地などにおいて、僅かながらでも暖房効果を有する心理状態表示システムが実現される。
　近赤外光源１００は、第１近赤外線、可視光及び電磁波をそれぞれ独立して制御し、第１近赤外線、可視光及び電磁波のそれぞれの、点消灯及び調光の少なくとも一方を制御する。
　近赤外光源１００が第１近赤外線、可視光及び電磁波をこのように制御することで、第１近赤外線に基づく心理状態の可視化と可視光及び電磁波に基づく光演出効果を自在に制御する上で有利な心理状態表示システム１が実現される。
　また、上記実施の形態で説明した装置間の通信方法は、一例である。装置間の通信方法については特に限定されるものではない。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、生成部などの構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、生成部などの構成要素は、ハードウェアによって実現されてもよい。例えば、生成部などの構成要素は、回路（又は集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本発明の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。例えば、本発明は、上記実施の形態の心理状態表示システムとして実現されてもよいし、心理状態表示システムが実行する心理状態表示方法として実現されてもよい。本発明は、このような心理状態表示方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録された非一時的な記録媒体として実現されてもよい。このようなプログラムには、汎用の情報端末などのコンピュータを、上記実施の形態の生成装置として機能させるためのアプリケーションプログラムが含まれる。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　１、１ａ　心理状態表示システム
　１００、１００ａ　近赤外光源
　２００　撮像装置
　３００　生成装置
　３２１　機械学習モデル
　４００　表示装置
　５００　制御装置
　６００　刺激装置
　Ｌ　出力光

Claims (20)

  1. 　７８０ｎｍ以上２５００ｎｍ未満の波長を含む第１近赤外線を有する出力光を複数の人物に出力する近赤外光源と、
    　出力された前記出力光が有する前記第１近赤外線を受光して、前記複数の人物の赤外線画像を撮像する撮像装置と、
    　撮像された前記赤外線画像を入力とし前記赤外線画像が示す前記複数の人物のうち少なくとも１人の人物の心理状態を出力とする学習済みの機械学習モデルを用いて、前記心理状態を示す心理データを生成する生成装置と、
    　生成された前記心理データの時間変化を表示する表示装置と、を備える
    　心理状態表示システム。
  2. 　前記第１近赤外線は、７８０ｎｍ以上２５００ｎｍ未満の波長の範囲に、ピーク波長を含む
    　請求項１に記載の心理状態表示システム。
  3. 　前記近赤外光源は、前記第１近赤外線を出力する第１固体発光素子を有する
    　請求項１に記載の心理状態表示システム。
  4. 　前記近赤外光源は、
    　　励起光を出力する第２固体発光素子と、
    　　出力された前記励起光に基づいて、前記第１近赤外線として波長変換光を出力する蛍光体部材と、を有する
    　請求項１に記載の心理状態表示システム。
  5. 　前記出力光は、可視光を有する
    　請求項１に記載の心理状態表示システム。
  6. 　前記近赤外光源は、
    　　前記第１近赤外線及び前記可視光をそれぞれ独立して制御し、
    　　前記第１近赤外線及び前記可視光のそれぞれの、点消灯及び調光の少なくとも一方を制御する
    　請求項５に記載の心理状態表示システム。
  7. 　前記第１近赤外線を有する前記出力光が出力されているときに、前記複数の人物によって反射された前記第１近赤外線を前記撮像装置が受光することで得られる受光信号強度を第１受光信号強度とし、
    　前記第１近赤外線を有する前記出力光が出力されていないときに、前記第１近赤外線とは異なる第２近赤外線が前記複数の人物に照射され、
    前記複数の人物によって反射された第２近赤外線を前記撮像装置が受光することで得られる受光信号強度を第２受光信号強度とし、
    　前記第１受光信号強度の最小値は、前記第２受光信号強度の最大値よりも大きい
    　請求項１に記載の心理状態表示システム。
  8. 　前記近赤外光源は、前記複数の人物のうち少なくとも１人の人物の頭部が向いている正面方向以外から、前記出力光を前記１人の人物に出力する
    　請求項１～７のいずれか１項に記載の心理状態表示システム。
  9. 　前記第１近赤外線によって照射される被照射領域の面積は、１０ｍ２以上１００００ｍ２未満である
    　請求項８に記載の心理状態表示システム。
  10. 　前記複数の人物のうち前記近赤外光源に最も近い位置にいる人物と、前記近赤外光源との距離は、５０ｃｍ以上３０ｍ未満である
    　請求項８に記載の心理状態表示システム。
  11. 　鉛直方向から前記近赤外光源を見たときに、
    　前記第１近赤外線の水平方向の広がり角は、３０°以上１８０°以下である
    　請求項８に記載の心理状態表示システム。
  12. 　前記生成装置は、生成された前記心理データに基づいて、前記複数の人物に与える刺激を決定する
    　請求項１に記載の心理状態表示システム。
  13. 　前記複数の人物に刺激を与える刺激装置を制御する制御装置を備え、
    　前記制御装置は、決定された前記刺激が前記複数の人物に与えられるように、前記刺激装置を制御する
    　請求項１２に記載の心理状態表示システム。
  14. 　前記刺激装置を備え、
    　前記制御装置は、決定された前記刺激が前記複数の人物の少なくとも一部に与えられるように、前記刺激装置を制御する
    　請求項１３に記載の心理状態表示システム。
  15. 　決定された前記刺激は、前記複数の人物の、視覚、聴覚、嗅覚及び触覚の少なくとも１つに作用する刺激である
    　請求項１３に記載の心理状態表示システム。
  16. 　前記制御装置は、前記複数の人物に与えられた前記刺激が遮断又は抑制されるように、前記刺激装置を制御する
    　請求項１３～１５のいずれか１項に記載の心理状態表示システム。
  17. 　生成された前記心理データが、１以上の前記人物の前記心理状態が所定の心理状態であることを示す場合に、
    　前記生成装置は、前記所定の心理状態に基づいて、前記１以上の人物に与える刺激を決定する
    　請求項１２に記載の心理状態表示システム。
  18. 　前記刺激装置は、可視光を有する前記出力光を出力する前記近赤外光源である
    　請求項１４に記載の心理状態表示システム。
  19. 　前記撮像装置は、前記複数の人物のそれぞれの血管の収縮に関する血管情報を含む前記赤外線画像を撮像し、
    　前記生成装置は、撮像された前記赤外線画像が含む前記血管情報に基づいて、前記複数の人物のうち少なくとも１人の人物のバイタルを示すバイタル情報を生成し、
    　前記表示装置は、生成された前記バイタル情報を表示する
    　請求項１に記載の心理状態表示システム。
  20. 　前記近赤外光源及び前記撮像装置は、娯楽空間、公共空間又は学習空間に設置される
    　請求項１に記載の心理状態表示システム。
PCT/JP2023/011737 2022-04-18 2023-03-24 心理状態表示システム WO2023203961A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022068534 2022-04-18
JP2022-068534 2022-04-18

Publications (1)

Publication Number Publication Date
WO2023203961A1 true WO2023203961A1 (ja) 2023-10-26

Family

ID=88419637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/011737 WO2023203961A1 (ja) 2022-04-18 2023-03-24 心理状態表示システム

Country Status (1)

Country Link
WO (1) WO2023203961A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2018138155A (ja) * 2017-02-24 2018-09-06 沖電気工業株式会社 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
WO2019073661A1 (ja) * 2017-10-13 2019-04-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム
JP2019115561A (ja) * 2017-12-27 2019-07-18 国立大学法人滋賀医科大学 心理状態判定方法、判定装置、判定システムおよび判定プログラム
JP2021052812A (ja) * 2018-01-26 2021-04-08 久和 正岡 感情分析システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2018138155A (ja) * 2017-02-24 2018-09-06 沖電気工業株式会社 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
WO2019073661A1 (ja) * 2017-10-13 2019-04-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、表示装置及び予約システム
JP2019115561A (ja) * 2017-12-27 2019-07-18 国立大学法人滋賀医科大学 心理状態判定方法、判定装置、判定システムおよび判定プログラム
JP2021052812A (ja) * 2018-01-26 2021-04-08 久和 正岡 感情分析システム

Similar Documents

Publication Publication Date Title
CN110113836B (zh) 场景式教室智能照明系统、控制装置及控制方法
KR101468901B1 (ko) 인공 분위기를 생성하기 위한 조명 시스템, 이미징 시스템, 제어 시스템, 이미지 디스플레이 방법 및 컴퓨터 판독가능한 매체
CN112689359A (zh) 幼儿园一体教室情景式自适应照明系统
JP5134617B2 (ja) 光による光生物学的効果の制御
JP6688549B2 (ja) 人の覚醒を改善するためのライティングシステム及び方法
JP2009519489A5 (ja)
CN105872748A (zh) 基于视频参数的灯光调节方法及装置
CN110062498B (zh) 基于分区可控吸顶灯的公共宿舍混合照明系统、方法
US10706820B2 (en) Methods and apparatus for producing a multimedia display that includes olfactory stimuli
Perz et al. Stroboscopic effect: contrast threshold function and dependence on illumination level
CN110708610B (zh) 一种线下直播互动系统及方法
CN109874217B (zh) 基于各向对称吸顶灯的公共宿舍混合照明方法
WO2023203961A1 (ja) 心理状態表示システム
CN110115110A (zh) 用于防止入室盗窃的安全装置
Aliakseyeu et al. Peripheral interaction with light
US10631382B2 (en) Lighting apparatus facilitating reading
CN113826445A (zh) 基于相机的照明控制
Al-Qatawneh et al. Exploring the use of light and colour to detract and enhance the plot of 3D rendered scenes
CN112254098A (zh) 一种具有情绪识别功能照明系统及方法
Almena Transcendence: Can live performance art in combination with interactive technology induce altered states of consciousness?
CN114009148A (zh) 亮度分布确定
US11961410B1 (en) Systems and methods to measure and affect focus and engagement
JP2003175109A (ja) 照明装置、照明制御装置および照明制御方法
van Bommel TOPICS IMPORTANT FOR THE UP-TO-DATE INTERIOR LIGHTING PROFESSIONAL.
Salter The question of thresholds: immersion, absorption, and dissolution in the environments of audio-vision

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23791614

Country of ref document: EP

Kind code of ref document: A1