WO2022131212A1 - 情報通知装置、情報通知方法及びプログラム - Google Patents

情報通知装置、情報通知方法及びプログラム Download PDF

Info

Publication number
WO2022131212A1
WO2022131212A1 PCT/JP2021/045832 JP2021045832W WO2022131212A1 WO 2022131212 A1 WO2022131212 A1 WO 2022131212A1 JP 2021045832 W JP2021045832 W JP 2021045832W WO 2022131212 A1 WO2022131212 A1 WO 2022131212A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
content
status information
communication
Prior art date
Application number
PCT/JP2021/045832
Other languages
English (en)
French (fr)
Inventor
泰佑 熊岡
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to JP2022543770A priority Critical patent/JPWO2022131212A1/ja
Publication of WO2022131212A1 publication Critical patent/WO2022131212A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to an information notification device, an information notification method and a program.
  • Patent Document 1 describes a technique for detecting whether a situation requires notification to an HMD user and notifying the user if notification is required.
  • the user wearing the HMD cannot recognize the surrounding situation when playing the content while wearing the HMD, when another person communicates with the user, the user's shoulder is worn. It is common to touch the user's body, such as by hitting it. However, depending on the situation in which the user is placed, it may not be desirable to receive communication from another person or the like. Therefore, it is required to limit communication to the user wearing the HMD depending on the situation.
  • An object of the present embodiment is to provide an information notification device, an information notification method, and a program capable of restricting communication to a user wearing an HMD depending on the situation.
  • the information notification device is a situation information setting that sets status information indicating whether or not a user using the head mount display can receive communication without going through the head mount display.
  • the unit and the notification control unit that notifies the surroundings of information indicating that communication is prohibited to the user when the status information is information that the user cannot receive communication. ,including.
  • the information notification method includes a step of setting status information indicating whether or not a user using a head-mounted display can receive communication without going through the head-mounted display.
  • the status information includes a step of notifying the surroundings of information indicating that the user is prohibited from communicating when the information is such that the user cannot receive communication.
  • the program according to one aspect of the present embodiment includes a step of setting status information indicating whether or not a user using the head-mounted display can receive communication without going through the head-mounted display, and the situation.
  • the computer is executed with a step of notifying the surroundings of information indicating that communication with the user is prohibited. Let me.
  • communication to the user wearing the HMD can be restricted depending on the situation.
  • FIG. 1 is a schematic view of a display device according to the present embodiment.
  • FIG. 2 is a schematic block diagram of the display device according to the present embodiment.
  • FIG. 3 is a flowchart for explaining a flow for selecting information used for setting status information.
  • FIG. 4 is a flowchart illustrating the notification process in the case of the auto mode.
  • FIG. 1 is a schematic view of a display device according to the present embodiment.
  • the display device 1 as the information notification device according to the present embodiment is a display device for displaying an image.
  • the display device 1 is a so-called HMD (Head Mount Display) mounted on the head of the user U.
  • HMD Head Mount Display
  • the display unit 12 is attached to a position facing the eyes of the user U, and the voice output unit 14 is attached to the user's ear.
  • the display device 1 causes the display unit 12 to display an image and causes the audio output unit 14 to output audio to provide the user U with the content.
  • the configuration of the display device 1 shown in FIG. 1 is an example.
  • the user U can enjoy the content by immersing himself in the VR space or the AR space because the user U is shielded from the visual information and the audio information from the outside by wearing the display device 1 and viewing the content.
  • the user U receives communication from the outside without going through the display device 1, for example, he / she may be directly called out, he / she may not notice that he / she is receiving communication. Therefore, when communicating with the user U wearing the display device 1, he / she often comes into contact with the user U, for example, by hitting the shoulder of the user U. However, depending on the situation of the user U, it may not be desirable to receive communication without going through the display device 1.
  • the display device 1 of the present embodiment notifies the surroundings of information as to whether or not the user U may communicate, thereby urging another person to restrict communication to the user U, and as a result, the user U of the display device 1. It is possible to limit communication to the user U depending on the situation.
  • the configuration and processing contents of the display device 1 will be specifically described.
  • FIG. 2 is a schematic block diagram of the display device according to the present embodiment.
  • the display device 1 according to the present embodiment includes an input unit 10, a display unit 12, a voice output unit 14, a user state detection unit 16, a notification unit 18, and a storage unit 20. Includes a control unit 22.
  • the input unit 10 is a device that accepts the operation of the user U.
  • the operation method of the display device 1 by the user U may be arbitrary, and examples thereof include at least one of a touch operation, a voice operation, and a line-of-sight operation.
  • the input unit 10 may be a touch panel, a physical button, or the like.
  • the input unit 10 may be a microphone that detects the voice of the user U.
  • the input unit 10 may be a display.
  • the display unit 12 is a display for displaying an image, and is attached to the eyes of the user U in the present embodiment.
  • the voice output unit 14 is a speaker that outputs voice, and is attached to the ear of the user U in the present embodiment.
  • the user state detection unit 16 is a sensor that detects the user state, which is the state of the user U.
  • the user state is information indicating the state of the user.
  • the user state may be arbitrary information, but in the present embodiment, it is information indicating the degree of concentration of the user U on the content.
  • the user state includes at least one of the line of sight of the user U, the facial expression of the user U, and the voice emitted by the user U.
  • the user state detection unit 16 may be an image pickup device that detects the line of sight of the user U.
  • the user state detection unit 16 may be an imaging device that detects the facial expression of the user U.
  • the user state detection unit 16 may be a microphone that detects the voice of the user U.
  • the user state may be the biometric information of the user U.
  • the biometric information of the user U is preferably information about the autonomic nerve of the user U, that is, information whose value changes regardless of the intention of the user U. Examples of the biological information include the heart rate of the user U.
  • the user state detection unit 16 may be a microphone that detects the heart rate of the user U.
  • the notification unit 18 is an output device that notifies the surroundings of information indicating the status of the user U.
  • the notification unit 18 may be a light source such as an LED, which is exposed to the outside of the display device 1 as shown in FIG. In this case, for example, the notification unit 18 notifies the surroundings of information by irradiating with light.
  • the notification unit 18 may notify the information well by any method.
  • the notification unit 18 may be a speaker that outputs voice toward the surroundings, or may be a display device that displays characters, images, and the like.
  • the storage unit 20 is a memory that stores various information such as calculation contents and programs of the control unit 22, and is, for example, a RAM (Random Access Memory), a main storage device such as a ROM (Read Only Memory), and an HDD (Attachment 20). Includes at least one of external storage devices such as Hard Disk Drive).
  • the program for the control unit 22 stored by the storage unit 20 may be stored in a recording medium readable by the display device 1. Further, the content data provided by the display device 1 may be stored in the storage unit 20, or may be stored in a device different from the display device 1 and provided to the display device 1 by wired or wireless communication. ..
  • the control unit 22 is an arithmetic unit, that is, a CPU (Central Processing Unit).
  • the control unit 22 includes a display control unit 30, a detection information acquisition unit 32, a status information setting unit 34, and a notification control unit 36.
  • the control unit 22 realizes a display control unit 30, a detection information acquisition unit 32, a status information setting unit 34, and a notification control unit 36 by reading a program (software) from the storage unit 20 and executing the program (software). Execute the process.
  • the control unit 22 may execute these processes by one CPU, or may include a plurality of CPUs and execute the processes by the plurality of CPUs. Further, at least a part of the display control unit 30, the detection information acquisition unit 32, the status information setting unit 34, and the notification control unit 36 may be realized by hardware.
  • the display control unit 30 controls the display unit 12 to display an image on the display unit 12.
  • the display control unit 30 acquires the image data of the content data and causes the display unit 12 to display the image related to the content based on the image data. Further, the display control unit 30 controls the audio output unit 14 to cause the audio output unit 14 to output audio.
  • the display control unit 30 acquires the audio data of the content data, and causes the audio output unit 14 to output the audio related to the content based on the audio data.
  • the display control unit 30 may acquire the content data stored in the storage unit 20 in advance, or may acquire the content data from an external device via a communication unit (not shown).
  • the detection information acquisition unit 32 controls the user state detection unit 16 to cause the user state detection unit 16 to detect the user state.
  • the detection information acquisition unit 32 acquires the user state detected by the user state detection unit 16. Details of the processing of the detection information acquisition unit 32 will be described later.
  • the status information setting unit 34 sets the status information.
  • the status information is information indicating the status of the user U. Furthermore, the status information is information indicating whether or not the user U using the display device 1 can receive communication without going through the display device 1. In other words, it can be said that the status information setting unit 34 determines whether the user U is in a state of being able to receive communication without going through the display device 1. The details of the processing of the status information setting unit 34 will be described later.
  • the notification control unit 36 controls the notification unit 18 to cause the notification unit 18 to notify the surroundings of information indicating the status of the user U.
  • the notification control unit 36 provides information indicating that the user U is prohibited from communicating with the surroundings (a person other than the user U). Notify to.
  • the notification control unit 36 communicates with the user U when the status information setting unit 34 determines that the user U is not in a state where communication can be received without going through the display device 1. Notify the surroundings of information indicating that it is prohibited. Details of the processing of the notification control unit 36 will be described later.
  • the notification control unit 36 uses information indicating whether or not surrounding people can communicate with the user U as information indicating the status of the user U based on the status information set by the status information setting unit 34. Notify the notification unit 40. For example, the notification control unit 36 causes the user U to be notified to the surroundings of the prohibition information indicating that the user U is prohibited from communicating when the situation information is such that the user U cannot receive communication. .. On the other hand, when the notification control unit 36 is the status information that the user U can receive the communication, the notification control unit 36 notifies the surroundings of the permission information indicating that the user U is permitted to communicate.
  • the prohibited information may be any content as long as it indicates content different from the permitted information.
  • the notification control unit 36 may notify the prohibition information by blinking the red light, and may notify the permission information by turning on the blue light. Further, for example, the notification control unit 36 may output voice, characters, images, etc. indicating prohibition information and permission information.
  • FIG. 3 is a flowchart for explaining a flow for selecting information used for setting status information.
  • the status information setting unit 34 sets the status information based on the setting of the user U (whether the status information is set manually) according to the setting mode, or is based on the content information which is the content information and the user status. To decide whether to set the status information (whether to set the status information automatically). As shown in FIG. 3, when the status information setting unit 34 is set to the manual mode in which the status information is set by the user U (step S10; Yes), the status information setting unit 34 is based on the setting of the user U. Information is set (step S12).
  • the status information setting unit 34 is not set to the manual mode (step S10; No), that is, when the setting mode is set to the auto mode for automatically setting the status information, the status information setting unit 34 is set.
  • the status information is automatically set based on the content information and the user state without using the setting of the user U (step S14).
  • the setting mode may be set by any method, but in the present embodiment, it is set by the user U. That is, for example, when the user U inputs to the input unit 10 that the display device 1 sets the manual mode, the display device 1 sets the setting mode to the manual mode, and the user U sets the input unit 10 to the auto mode. If entered, set the setting mode to auto mode.
  • the status information setting unit 34 acquires the status information set by the user U in the manual mode.
  • the user U sets the status information by inputting the information indicating that the user U can receive the communication or the information indicating that the user U cannot receive the communication into the input unit 10. .
  • the situation information setting unit 34 sets the fact that the user U can receive the communication as the situation information.
  • the notification control unit 36 causes the permission information to be notified to the surroundings.
  • the situation information setting unit 34 sets that the user U cannot receive the communication as the situation information.
  • the notification control unit 36 causes the prohibited information to be notified to the surroundings.
  • the manual mode it is preferable that the content to be notified to the surroundings is not changed until the user U updates the status information setting, but the display device 1 is, for example, every predetermined time. May provide the user U with a notification to reset the status information.
  • FIG. 4 is a flowchart illustrating the notification process in the case of the auto mode.
  • the status information setting unit 34 sets the status information based on the content information and the user status. Specifically, as shown in FIG. 4, the status information setting unit 34 acquires the content information (step S20), and the user U can receive communication based on the content information of the content being played. (Step S22).
  • the content information is information indicating the content of the content being reproduced by the display device 1.
  • the status information setting unit 34 determines that the content being played is the content that the user U can be communicated with.
  • the status information setting unit 34 determines that the content being played is the content that the user U cannot receive communication.
  • the content being played includes a tense scene
  • the user U may be surprised, so that the content communicates. It is said that the content cannot be received.
  • the content information is preset and included in the content data. That is, in the present embodiment, the content data includes data (flag) indicating the content information in addition to the image data and the audio data. For example, when the content includes a scene where the content is tense, such as a horror movie, a flag indicating the content information is set as the content that cannot be communicated.
  • the status information setting unit 34 reads the content information from the content data and is a flag indicating that the content information is the content that can be communicated, the user U is communicated with the content being played. Judge that it is the content to be.
  • the status information setting unit 34 is a flag indicating that the read content information cannot receive communication
  • the content being played is the content that the user U cannot receive communication. Judge.
  • the content information is not limited to the flag indicating whether or not the content cannot be communicated, and may be any information indicating the content of the content.
  • the content information may be an index indicating the degree of urgency of the content
  • the situation information setting unit 34 may indicate that the index indicating the degree of urgency included in the read content information is higher than a predetermined threshold value.
  • the content being played may be determined to be content that the user U cannot receive communication.
  • the situation information setting unit 34 may determine that the content being played is the content that the user U can receive communication with.
  • the content includes a flag indicating whether or not the content includes a scene where the content is tense, or an index indicating the degree of tension of the content, and the status information setting unit 34 determines whether the content includes the flag.
  • the index included in the content is higher than a predetermined threshold, it can be said that the situation information that communication cannot be received may be set.
  • the content when the content is a video, the content changes according to the playback time.
  • the content information may be set for each predetermined playback time.
  • content information (flags and indicators in the above example) may be set for each scene of the content.
  • the status information setting unit 34 reads out the content information corresponding to the current playback time and the scene, and determines whether or not the content can be communicated. That is, the status information setting unit 34 sets the status information for each content when the content information is set for each content, and sets the status information for each playback time when the content information is set for each playback time. If the content information is set for each scene, the status information is set for each scene.
  • the status information setting unit 34 acquires at least one of the image data and the audio data of the content as the content information, and detects the content of the reproduced content based on at least one of the image data and the audio data of the content. , User U may determine whether or not the content cannot be communicated.
  • the status information setting unit 34 may acquire image data or audio data by detecting the image or audio currently being played, or the image data and audio data of the content stored in advance in the storage unit 20. May be obtained.
  • the detection information acquisition unit 32 acquires the user state information detected by the user state detection unit 16 (step S24). ). Then, the status information setting unit 34 determines from the latest user state of the user U acquired by the detection information acquisition unit 32 whether the user U can receive communication (step S26). More specifically, the status information setting unit 34 determines from the user state whether the user U is concentrated on the content, and if the user U is concentrated on the content, the user U cannot receive communication. Judge that. On the other hand, the status information setting unit 34 determines that the user U is in a state of being able to receive communication when the user U is not concentrated on the content.
  • the status information setting unit 34 may determine whether the user U is concentrating on the content by any method based on the user state. For example, in the situation information setting unit 34, when the user state is information indicating the line of sight of the user U, the line of sight of the user U is concentrated on the same object in the content, or the number of blinks per unit time is determined. If it is less than or equal to a predetermined value, it may be determined that the user U is concentrating on the content. Further, for example, when the user state is information indicating the facial expression of the user U, it may be determined that the user U is concentrated on the content when the degree of change in the facial expression of the user U is small.
  • the user state is the voice emitted by the user U
  • the voice emitted by the user U matches the content of the content
  • the user state is information indicating the biological information of the user U
  • the heart rate per unit time of the user U is equal to or higher than a predetermined value
  • the status information setting unit 34 sets the status information to the effect that the communication can be received (step S28), that is, the communication can be received.
  • the notification control unit 36 causes the notification unit 40 to notify the permission information (step S30).
  • the notification unit 40 continuously notifies the permission information.
  • the status information setting unit 34 sets the status information indicating that communication cannot be received (step S32), that is, communication.
  • the notification control unit 36 causes the notification unit 40 to notify the prohibited information (step S34).
  • step S22 determines that the content being played cannot receive communication (step S22; No)
  • the process proceeds to step S32, and the status information setting unit 34 provides status information indicating that communication cannot be received.
  • the notification control unit 36 causes the notification unit 40 to notify the prohibited information (step S34).
  • the notification unit 40 continuously notifies the prohibited information.
  • step S36 After executing the process of step S30 or step S34, if the process is not completed (step S36; No), in other words, if the user U does not end the use of the display device 1, the process returns to step S20 and the predetermined time is set. Each time the process elapses, the process from step S20 is repeated to update the information to be notified to the notification unit 40. On the other hand, when the process ends (step S36; Yes), in other words, when the user U ends the use of the display device 1, the present process ends.
  • the display device 1 according to the present embodiment determines whether or not to communicate with the user U based on the content of the content and the state of the user U, and according to the determination result, Have the user U notify the outside of information (prohibition information or permission information) indicating whether or not communication is acceptable. Therefore, the display device 1 according to the present embodiment can appropriately notify the user U of information as to whether or not to communicate with the user U according to the situation of the user U. Therefore, according to the display device 1 according to the present embodiment, it is possible to urge other people to restrict communication to user U and to restrict communication to user U according to the situation of user U.
  • the notification control unit 36 obtains the permission information when the status information indicating that the communication can be received is set by the status information setting unit 34 (when the status information setting unit 34 determines that the communication can be received). I have notified, but notification of permission information is not mandatory. If the notification control unit 36 notifies the prohibition information at least when the status information to the effect that communication cannot be received is set by the status information setting unit 34 (when the status information setting unit 34 determines that communication cannot be received). good. Communication from another person to the user U can be restricted by notifying the prohibited information without notifying the permission information.
  • the status information setting unit 34 may determine whether the content can receive communication based on the content information and the user information indicating the user's attribute.
  • the user information is information about the user U set in advance, and can be said to be information indicating the attributes of the user U.
  • the user information may be, for example, at least one of the gender and age of the user U.
  • the detection information acquisition unit 32 may acquire user information by any method.
  • the user information is stored in the storage unit 20 in advance, and the detection information acquisition unit 32 may read it out. Further, for example, the detection information acquisition unit 32 may acquire user information from an external device (for example, a device that stores save data of a game including user information) by communication.
  • an external device for example, a device that stores save data of a game including user information
  • the display device 1 is provided with a sensor for detecting the user U, and the detection information acquisition unit 32 may set the user information based on the detection result of the user U by the sensor.
  • the sensor that detects the user U may be arbitrary, but may be, for example, a camera that captures the user U.
  • the detection information acquisition unit 32 estimates the user information of the user U from the captured image of the user U. And set the user information. Whether or not the content can be communicated may change depending on the attributes of the user U. Therefore, the accuracy of the determination can be improved by determining whether the content can be communicated based on the content information and the user information.
  • the situation information setting unit 34 determines that even if the content information indicates that the content can be communicated, if the age of the user U is lower than the predetermined value, the content cannot be communicated. You can do it.
  • the threshold value of the index indicating the degree of urgency may be changed according to the user attribute. Further, as the content progresses, the degree of surprise from the user's heart rate or the like may be accumulated or updated as a user attribute to change the threshold value of the index indicating the degree of urgency. As a result, an appropriate threshold value is set for each user, so that the accuracy of judgment can be improved.
  • the detection information acquisition unit 32 acquires at least one of the gender or age information of the user U as user information, and the status information setting unit 34 cannot receive communication when the age is lower than a predetermined value. It can be said that the status information to that effect may be set, or a predetermined threshold for comparing the index indicating the degree of urgency of the content may be changed based on the user information.
  • step S22 of FIG. 4 when it is determined that the content cannot receive communication (step S22; No), the prohibited information is notified regardless of the user status.
  • the display device 1 may notify the permission information if it is determined that the user state is in a state where communication can be received. In this case, the display device 1 notifies the prohibited information when it is determined that the content cannot receive communication and the user state is determined to be in a state where communication cannot be received.
  • the status information setting unit 34 sets the status information based on the user U setting, the content information, and the user status, but the present invention is not limited to the user U setting, the content information, and the user status. And at least one of the user states may be used to set the status information in any way.
  • the display device 1 which is an HMD executes the processing described with reference to FIGS. 3 and 4 while providing the content. That is, the display device 1 has a function as an HMD for providing contents and a function as an information notification device for executing the processes described with reference to FIGS. 3 and 4.
  • the information notification device that executes the process described with reference to FIGS. 3 and 4 may be a device different from the display device 1 that is the HMD.
  • the information notification device may include the user state detection unit 16, the notification unit 18, the storage unit 20, the detection information acquisition unit 32, the status information setting unit 34, and the notification control unit 36 shown in FIG. ..
  • the information notification device includes a status information setting unit 34 and a notification control unit 36.
  • the status information setting unit 34 sets status information indicating whether or not the user U using the HMD (display device 1) can receive communication without going through the HMD.
  • the notification control unit 36 is the situation information that the user U cannot receive the communication
  • the notification control unit 36 provides the prohibition information indicating that the user U is prohibited from communicating with the surroundings (a person other than the user U). To notify.
  • the status information setting unit 34 is based on at least one of the setting by the user U, the information of the content being played by the HMD (display device 1) (content information), and the status of the user U (user status). To set.
  • the information notification device it is determined from at least one of the user setting, the content information, and the user state whether the user U is in a state of being able to receive communication. Therefore, according to the present embodiment, it is possible to appropriately reflect the situation of the user U and limit the communication to the user U.
  • the status information setting unit 34 sets the status information to the effect that communication cannot be received when the content indicates that the content cannot be communicated as the content information. According to the present embodiment, it is possible to appropriately limit communication to the user U according to the content of the content that the user U is viewing.
  • the status information setting unit 34 sets the status information that communication cannot be received in the case of the user state indicating that the user U is concentrated. According to the present embodiment, it is possible to appropriately limit communication to the user U according to the degree of concentration of the user U on the content.
  • the status information setting unit 34 sets the status information to the effect that the user U cannot receive the communication when it is determined that the content can be communicated as the content. According to the present embodiment, it is possible to appropriately limit communication to the user U according to the content of the content being viewed by the user U and the degree of concentration of the user U on the content.
  • the embodiments are not limited by the contents of these embodiments.
  • the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those in a so-called equal range.
  • the above-mentioned components can be combined as appropriate, and the configurations of the respective embodiments can be combined. Further, various omissions, replacements or changes of the components can be made without departing from the gist of the above-described embodiment.
  • the information notification device, information notification method, and program of the present embodiment can be used, for example, for image display.
  • Display device information notification device
  • Display unit 14
  • Voice output unit 16
  • User status detection unit 18
  • Notification unit 32
  • Detection information acquisition unit 34
  • Status information setting unit 36

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

状況に応じて、ＨＭＤを装着しているユーザへのコミュニケーションを制限する。情報通知装置は、ヘッドマウントディスプレイを利用しているユーザが、ヘッドマウントディスプレイを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定する状況情報設定部（３４）と、状況情報は、ユーザがコミュニケーションを受けられない旨の情報である場合に、ユーザに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲に通知させる通知制御部（３６）と、を含む。

Description

情報通知装置、情報通知方法及びプログラム
　本発明は、情報通知装置、情報通知方法及びプログラムに関する。
　近年、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）用のコンテンツの発展や、安価なデバイスの実現に伴い、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）が普及してきた。ユーザは、頭部にＨＭＤを装着してコンテンツを再生するだけで、気軽に自分が別の空間に居るかのような体験をすることができる。例えば特許文献１には、ＨＭＤのユーザに通知が必要な状況であるかを検出して、通知が必要である場合はユーザに通知する技術が記載されている。
特開２０１９－１９７４９７号公報
　ここで、ＨＭＤを装着しているユーザは、ＨＭＤを装着しつつコンテンツを再生している際には周囲の状況を認識できないため、他の人がユーザとコミュニケーションする際には、ユーザの肩を叩くなど、ユーザの体に触れることが一般的である。しかし、ユーザがおかれている状況によっては、他の人などからコミュニケーションを受けることが望ましくない場合もある。そのため、状況に応じて、ＨＭＤを装着しているユーザへのコミュニケーションを制限することが求められている。
　本実施形態は、状況に応じて、ＨＭＤを装着しているユーザへのコミュニケーションを制限可能な情報通知装置、情報通知方法及びプログラムを提供することを目的とする。
　本実施形態の一態様にかかる情報通知装置は、ヘッドマウントディスプレイを利用しているユーザが、前記ヘッドマウントディスプレイを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定する状況情報設定部と、前記状況情報は、前記ユーザがコミュニケーションを受けられない旨の情報である場合に、前記ユーザに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲に通知させる通知制御部と、を含む。
　本実施形態の一態様にかかる情報通知方法は、ヘッドマウントディスプレイを利用しているユーザが、前記ヘッドマウントディスプレイを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定するステップと、前記状況情報は、前記ユーザがコミュニケーションを受けられない旨の情報である場合に、前記ユーザに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲に通知するステップと、を含む。
　本実施形態の一態様にかかるプログラムは、ヘッドマウントディスプレイを利用しているユーザが、前記ヘッドマウントディスプレイを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定するステップと、前記状況情報は、前記ユーザがコミュニケーションを受けられない旨の情報である場合に、前記ユーザに対してコミュニケーションをとることを禁止する旨を示す情報を、前記周囲に通知するステップと、を、コンピュータに実行させる。
　本実施形態によれば、状況に応じて、ＨＭＤを装着しているユーザへのコミュニケーションを制限できる。
図１は、本実施形態に係る表示装置の模式図である。 図２は、本実施形態に係る表示装置の模式的なブロック図である。 図３は、状況情報の設定に用いる情報を選択するフローを説明するためのフローチャートである。 図４は、オートモードの場合の通知処理を説明するフローチャートである。
　以下に、本実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
　（表示装置）
　図１は、本実施形態に係る表示装置の模式図である。本実施形態に係る情報通知装置としての表示装置１は、画像を表示する表示装置である。図１に示すように、表示装置１は、ユーザＵの頭部に装着される、いわゆるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）である。例えば、表示装置１は、ユーザＵの眼に面した位置に表示部１２が装着され、ユーザの耳に音声出力部１４が装着される。そして、表示装置１は、表示部１２に画像を表示させつつ音声出力部１４で音声を出力させて、ユーザＵにコンテンツを提供する。なお、図１に示した表示装置１の構成は一例である。
　ユーザＵは、表示装置１を装着してコンテンツを視聴することで、外部からの視覚情報や音声情報から遮断されるため、ＶＲ空間やＡＲ空間に没入してコンテンツを楽しむことができる。一方、ユーザＵは、例えば直接声を掛けられるなど、表示装置１を経由せずに外部からコミュニケーションを受けた場合には、コミュニケーションを受けていることに気が付かない場合がある。そのため、表示装置１を装着しているユーザＵにコミュニケーションを図る際には、例えばユーザＵの肩を叩くなど、ユーザＵに接触することが多い。しかし、ユーザＵの状況によっては、表示装置１を経由せずにコミュニケーションを受けることが望ましくない場合がある。例えば、ユーザＵがコンテンツに集中しており邪魔をされたくない場合や、コンテンツ上で精密な動作を行っている場合や、コンテンツ上で緊迫した場面に遭遇している場合などには、コミュニケーションを受けることが望ましくない。
　このように、ユーザＵの状況によってはコミュニケーションを受けることが望ましく無い場合もあるため、ユーザＵの状況に応じて、ユーザＵへのコミュニケーションを制限することが求められている。しかしながら、他の人はユーザＵの状況を把握できないため、ユーザＵへのコミュニケーションを制限することが困難な場合がある。それに対し、本実施形態の表示装置１は、ユーザＵにコミュニケーションしてよいかの情報を周囲に通知することで、他の人にユーザＵへのコミュニケーションの制限を促し、結果として、ユーザＵの状況に応じて、ユーザＵへのコミュニケーションを制限することを可能としている。以下、表示装置１の構成及び処理内容について具体的に説明する。
　（表示装置の構成）
　図２は、本実施形態に係る表示装置の模式的なブロック図である。図２に示すように、本実施形態に係る表示装置１は、入力部１０と、表示部１２と、音声出力部１４と、ユーザ状態検出部１６と、通知部１８と、記憶部２０と、制御部２２とを含む。
　入力部１０は、ユーザＵの操作を受け付ける装置である。ユーザＵによる表示装置１の操作方法は任意であってよいが、例えばタッチによる操作、音声による操作、及び視線による操作のうちの少なくとも１つなどが挙げられる。タッチによる操作がされる場合には、入力部１０は、タッチパネルや物理ボタンなどであってよい。また、音声による操作がされる場合には、入力部１０は、ユーザＵの音声を検出するマイクであってよい。また、視線による操作がされる場合には、入力部１０は、ディスプレイであってよい。
　表示部１２は、画像を表示するディスプレイであり、本実施形態ではユーザＵの眼に装着される。音声出力部１４は、音声を出力するスピーカであり、本実施形態ではユーザＵの耳に装着される。
　ユーザ状態検出部１６は、ユーザＵの状態であるユーザ状態を検出するセンサである。ユーザ状態は、ユーザの状態を示す情報である。ユーザ状態は、任意の情報であってよいが、本実施形態では、ユーザＵのコンテンツへの集中度合いを示す情報である。例えば、ユーザ状態としては、ユーザＵの視線、ユーザＵの表情、及びユーザＵが発する音声のうちの少なくとも１つなどが挙げられる。ユーザＵの視線を検出する場合には、ユーザ状態検出部１６は、ユーザＵの視線を検出する撮像装置であってよい。ユーザＵの表情を検出する場合には、ユーザ状態検出部１６は、ユーザＵの表情を検出する撮像装置であってよい。ユーザＵが発する音声を検出する場合には、ユーザ状態検出部１６は、ユーザＵの音声を検出するマイクであってよい。なお、ユーザ状態検出部１６と、他の装置（入力部１０や表示部１２）とが同じ機能を有する場合には、同じ装置で両者を兼用することができる。なお、ユーザ状態は、ユーザＵの生体情報であってもよい。ユーザＵの生体情報とは、ユーザＵの自律神経に関する情報、すなわちユーザＵの意思にかかわらず値が変化する情報であることが好ましい。生体情報としては、例えばユーザＵの心拍数などが挙げられる。ユーザＵの心拍数を検出する場合には、ユーザ状態検出部１６は、ユーザＵの心拍数を検出するマイクであってよい。
　通知部１８は、ユーザＵの状況を示す情報を周囲に通知する出力装置である。例えば、通知部１８は、図１に示すように表示装置１の外部に露出して設けられる、ＬＥＤなどの光源であってもよい。この場合例えば、通知部１８は、光を照射することで、情報を周囲に通知する。ただし、通知部１８は、任意の方法で情報を周知に通知するものであってもよい。例えば、通知部１８は、周囲に向けて音声を出力するスピーカであってもよいし、文字や画像などを表示する表示装置であってもよい。
　記憶部２０は、制御部２２の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２０が保存する制御部２２用のプログラムは、表示装置１が読み取り可能な記録媒体に記憶されていてもよい。また、表示装置１が提供するコンテンツのデータは、記憶部２０に記憶していてもよいし、表示装置１とは異なる装置に記憶されて有線または無線通信により表示装置１に提供されてもよい。
　制御部２２は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。制御部２２は、表示制御部３０と、検出情報取得部３２と、状況情報設定部３４と、通知制御部３６とを含む。制御部２２は、記憶部２０からプログラム（ソフトウェア）を読み出して実行することで、表示制御部３０と検出情報取得部３２と状況情報設定部３４と通知制御部３６とを実現して、それらの処理を実行する。なお、制御部２２は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、表示制御部３０と検出情報取得部３２と状況情報設定部３４と通知制御部３６との少なくとも一部を、ハードウェアで実現してもよい。
　表示制御部３０は、表示部１２を制御して表示部１２に画像を表示させる。表示制御部３０は、コンテンツのデータのうちの画像データを取得して、画像データに基づき、コンテンツに関する画像を表示部１２に表示させる。また、表示制御部３０は、音声出力部１４を制御して音声出力部１４に音声を出力させる。表示制御部３０は、コンテンツのデータのうちの音声データを取得して、音声データに基づき、コンテンツに関する音声を音声出力部１４に出力させる。なお、表示制御部３０は、予め記憶部２０に記憶されていたコンテンツのデータを取得してもよいし、図示しない通信部を介して、外部の装置からコンテンツのデータを取得してもよい。
　検出情報取得部３２は、ユーザ状態検出部１６を制御してユーザ状態検出部１６にユーザ状態を検出させる。検出情報取得部３２は、ユーザ状態検出部１６が検出したユーザ状態を取得する。検出情報取得部３２の処理の詳細は後述する。
　状況情報設定部３４は、状況情報を設定する。状況情報とは、ユーザＵの状況を示す情報である。さらに言えば、状況情報とは、表示装置１を利用しているユーザＵが、表示装置１を経由せずにコミュニケーションを受けられる状態か否かを示す情報である。言い換えれば、状況情報設定部３４は、ユーザＵが、表示装置１を経由せずにコミュニケーションを受けられる状態であるかを判断するといえる。状況情報設定部３４の処理の詳細は後述する。
　通知制御部３６は、通知部１８を制御して、通知部１８に、ユーザＵの状況を示す情報を周囲に通知させる。通知制御部３６は、ユーザＵがコミュニケーションを受けられない旨を示す状況情報である場合に、ユーザＵに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲（ユーザＵ以外の人）に向けて通知させる。言い換えれば、通知制御部３６は、ユーザＵが、表示装置１を経由せずにコミュニケーションを受けられる状態でないと状況情報設定部３４によって判断された場合に、ユーザＵに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲に向けて通知させる。通知制御部３６の処理の詳細は後述する。
　（表示装置の処理）
　次に、ユーザＵの状況を示す情報を周囲に通知する処理について説明する。通知制御部３６は、状況情報設定部３４が設定した状況情報に基づき、周囲の人がユーザＵに対してコミュニケーションをとってよいか否かを示す情報を、ユーザＵの状況を示す情報として、通知部４０に通知させる。例えば、通知制御部３６は、ユーザＵがコミュニケーションを受けられない旨の状況情報である場合に、ユーザＵに対してコミュニケーションをとることを禁止する旨を示す禁止情報を、周囲に向けて通知させる。一方、通知制御部３６は、ユーザＵがコミュニケーションを受けられる旨の状況情報である場合に、ユーザＵに対してコミュニケーションをとることを許可する旨を示す許可情報を、周囲に向けて通知させる。なお、禁止情報は、許可情報と異なる内容を示すものであれば、任意の内容であってよい。例えば、通知制御部３６は、赤色の光を点滅させることで、禁止情報を通知し、青色の光を点灯させることで、許可情報を通知してもよい。また例えば、通知制御部３６は、禁止情報や許可情報を示す音声、文字、画像などを出力してもよい。
　図３は、状況情報の設定に用いる情報を選択するフローを説明するためのフローチャートである。状況情報設定部３４は、設定モードに応じて、ユーザＵの設定に基づいて状況情報を設定するか（マニュアルで状況情報を設定するか）、コンテンツの情報であるコンテンツ情報とユーザ状態とに基づいて状況情報を設定するか（自動で状況情報を設定するか）を、決定する。図３に示すように、状況情報設定部３４は、設定モードとして、状況情報をユーザＵが設定するマニュアルモードに設定される場合には（ステップＳ１０；Ｙｅｓ）、ユーザＵの設定に基づいて状況情報を設定する（ステップＳ１２）。一方、状況情報設定部３４は、マニュアルモードに設定されていない場合には（ステップＳ１０；Ｎｏ）、すなわち、設定モードとして、状況情報を自動で設定するオートモードに設定されている場合には、ユーザＵの設定を用いず、コンテンツ情報とユーザ状態とに基づいて、自動で状況情報を設定する（ステップＳ１４）。なお、設定モードは、任意の方法で設定されてよいが、本実施形態ではユーザＵによって設定される。すなわち例えば、表示装置１は、ユーザＵによって入力部１０にマニュアルモードとする旨が入力された場合には、設定モードをマニュアルモードに設定し、ユーザＵによって入力部１０にオートモードとする旨が入力された場合には、設定モードをオートモードに設定する。
　（マニュアルモードの場合の通知処理）
　状況情報設定部３４は、マニュアルモードである場合には、ユーザＵが設定した状況情報を取得する。この場合例えば、ユーザＵは、ユーザＵがコミュニケーションを受けられる旨を示す情報、又は、ユーザＵがコミュニケーションを受けられない旨を示す情報を、入力部１０に入力することで、状況情報を設定する。状況情報設定部３４は、ユーザＵによって、コミュニケーションを受けられる旨を示す情報が設定された場合には、ユーザＵがコミュニケーションを受けられる旨を、状況情報として設定する。この場合、通知制御部３６は、許可情報を、周囲に向けて通知させる。一方、状況情報設定部３４は、ユーザＵによって、コミュニケーションを受けられない旨を示す情報が設定された場合には、ユーザＵがコミュニケーションを受けられない旨を、状況情報として設定する。この場合、通知制御部３６は、禁止情報を、周囲に向けて通知させる。なお、マニュアルモードに設定されている場合は、ユーザＵにより状況情報の設定が更新されるまでは、周囲に向けて通知させる内容を変化させないことが好ましいが、表示装置１は、例えば所定時間毎に、状況情報を再設定する旨の通知をユーザＵに提供してもよい。
　（オートモードの場合の通知処理）
　図４は、オートモードの場合の通知処理を説明するフローチャートである。状況情報設定部３４は、オートモードである場合には、コンテンツ情報とユーザ状態とに基づいて状況情報を設定する。具体的には、図４に示すように、状況情報設定部３４は、コンテンツ情報を取得し（ステップＳ２０）、再生しているコンテンツのコンテンツ情報に基づき、ユーザＵがコミュニケーションを受けられる内容であるかを判断する（ステップＳ２２）。コンテンツ情報とは、表示装置１が再生しているコンテンツの内容を示す情報である。状況情報設定部３４は、コンテンツ情報がコミュニケーションを受けられる内容であることを示す場合には、再生しているコンテンツは、ユーザＵがコミュニケーションを受けられる内容であると判断する。一方、状況情報設定部３４は、コンテンツ情報がコミュニケーションを受けられない内容であることを示す場合には、再生しているコンテンツは、ユーザＵがコミュニケーションを受けられない内容であると判断する。なお、例えば、再生しているコンテンツが、緊迫した場面を含むものである場合には、そのコンテンツの再生中にユーザＵがコミュニケーションを受けると、ユーザＵが驚く場合があるため、そのコンテンツは、コミュニケーションを受けられない内容とされる。
　本実施形態では、コンテンツ情報は、予め設定されており、コンテンツのデータに含まれている。すなわち、本実施形態では、コンテンツのデータは、画像データや音声データに加えて、コンテンツ情報を示すデータ（フラグ）を含んでいる。例えば、ホラー映画であるなど、コンテンツが緊迫する場面を含む場合には、コンテンツ情報を示すフラグが、コミュニケーションを受けられない内容として設定される。状況情報設定部３４は、コンテンツのデータからコンテンツ情報を読み出して、コンテンツ情報がコミュニケーションを受けられる内容であることを示すフラグである場合には、再生しているコンテンツは、ユーザＵがコミュニケーションを受けられる内容であると判断する。一方、状況情報設定部３４は、読み出したコンテンツ情報がコミュニケーションを受けられない内容であることを示すフラグである場合には、再生しているコンテンツは、ユーザＵがコミュニケーションを受けられない内容であると判断する。
　なお、コンテンツ情報は、コミュニケーションを受けられない内容であるか否かを示すフラグに限られず、コンテンツの内容を示す情報であればよい。例えば、コンテンツ情報は、コンテンツの緊迫度合いを示す指標であってもよく、状況情報設定部３４は、読み出したコンテンツ情報に含まれている緊迫度合いを示す指標が、所定の閾値より高い場合には、再生しているコンテンツは、ユーザＵがコミュニケーションを受けられない内容と判断してよい。状況情報設定部３４は、緊迫度合いを示す指標が所定の閾値以下である場合には、再生しているコンテンツは、ユーザＵがコミュニケーションを受けられる内容と判断してよい。以上をまとめると、例えば、コンテンツは、コンテンツが緊迫する場面を含むか否かを示すフラグ、または、コンテンツの緊迫度合いを示す指標を含み、状況情報設定部３４は、コンテンツがフラグを含むか、またはコンテンツが含む指標が所定の閾値より高い場合に、コミュニケーションを受けられない旨の状況情報を設定してよいといえる。
　なお例えば、コンテンツが動画である場合などでは、再生時間に応じて内容が変わる。このような場合には、例えば、所定の再生時間毎にコンテンツ情報が設定されてよい。また例えば、コンテンツ情報（上述の例ではフラグや指標）が、コンテンツのシーンごとに設定されていてもよい。状況情報設定部３４は、現在の再生時間やシーンに対応したコンテンツ情報を読み出して、コミュニケーションを受けられる内容であるかを判断する。すなわち、状況情報設定部３４は、コンテンツ単位でコンテンツ情報が設定される場合は、コンテンツ毎に状況情報を設定し、再生時間単位でコンテンツ情報が設定される場合は、再生時間毎に状況情報を設定し、シーン単位でコンテンツ情報が設定される場合は、シーン毎に状況情報を設定する。
　また、状況情報設定部３４は、コンテンツの画像データ及び音声データの少なくとも一方をコンテンツ情報として取得し、コンテンツの画像データ及び音声データの少なくとも一方に基づき、再生しているコンテンツの内容を検出して、ユーザＵがコミュニケーションを受けられない内容か否かを判断してもよい。状況情報設定部３４は、現在再生されている画像や音声を検出することで、画像データや音声データを取得してもよいし、記憶部２０に予め記憶されていたコンテンツの画像データ及び音声データを取得してもよい。
　再生しているコンテンツがコミュニケーションを受けられる内容であると判断された場合（ステップＳ２２；Ｙｅｓ）、検出情報取得部３２は、ユーザ状態検出部１６が検出したユーザ状態の情報を取得する（ステップＳ２４）。そして、状況情報設定部３４は、検出情報取得部３２が取得したユーザＵの最新のユーザ状態から、ユーザＵがコミュニケーションを受けられる状態かを判断する（ステップＳ２６）。より詳しくは、状況情報設定部３４は、ユーザ状態から、ユーザＵがコンテンツに集中しているかを判断し、ユーザＵがコンテンツに集中している場合には、ユーザＵがコミュニケーションを受けられない状態であると判断する。一方、状況情報設定部３４は、ユーザＵがコンテンツに集中していない場合には、ユーザＵがコミュニケーションを受けられる状態であると判断する。
　状況情報設定部３４は、ユーザ状態に基づいた任意の方法で、ユーザＵがコンテンツに集中しているかを判断してもよい。例えば、状況情報設定部３４は、ユーザ状態がユーザＵの視線を示す情報である場合には、ユーザＵの視線がコンテンツ内の同じ対象物に集中していたり、単位時間当たりの瞬きの回数が所定値以下であったりする場合に、ユーザＵがコンテンツに集中していると判断してよい。また例えば、ユーザ状態がユーザＵの表情を示す情報である場合には、ユーザＵの表情の変化度合いが少ない場合に、ユーザＵがコンテンツに集中していると判断してよい。また例えば、ユーザ状態がユーザＵの発する音声である場合には、ユーザＵの発する音声がコンテンツの内容に合っている場合には、ユーザＵがコンテンツに集中していると判断してよい。また例えば、ユーザ状態がユーザＵの生体情報を示す情報である場合には、ユーザＵの単位時間当たりの心拍数が所定値以上である場合には、ユーザＵがコンテンツに集中していると判断してよい。
　ユーザＵがコミュニケーションを受けられる状態と判断した場合には（ステップＳ２６；Ｙｅｓ）、状況情報設定部３４は、コミュニケーションを受けられる旨の状況情報を設定し（ステップＳ２８）、すなわちコミュニケーションを受けられると判断し、通知制御部３６は、通知部４０に許可情報を通知させる（ステップＳ３０）。通知部４０は、許可情報を継続して通知させ続ける。一方、ユーザＵがコミュニケーションを受けられない状態と判断した場合には（ステップＳ２６；Ｎｏ）、状況情報設定部３４は、コミュニケーションを受けられない旨の状況情報を設定し（ステップＳ３２）、すなわちコミュニケーションを受けられないと判断し、通知制御部３６は、通知部４０に禁止情報を通知させる（ステップＳ３４）。また、再生しているコンテンツがコミュニケーションを受けられない内容と判断された場合（ステップＳ２２；Ｎｏ）にも、ステップＳ３２に進み、状況情報設定部３４は、コミュニケーションを受けられない旨の状況情報を設定し、通知制御部３６は、通知部４０に禁止情報を通知させる（ステップＳ３４）。通知部４０は、禁止情報を継続して通知させ続ける。
　ステップＳ３０又はステップＳ３４の処理を実行後、処理が終了しない場合には（ステップＳ３６；Ｎｏ）、言い換えればユーザＵが表示装置１の使用を終了しない場合には、ステップＳ２０に戻り、所定時間が経過する毎に、ステップＳ２０からの処理を繰り返して、通知部４０に通知させる情報を更新する。一方、処理が終了する場合には（ステップＳ３６；Ｙｅｓ）、言い換えればユーザＵが表示装置１の使用を終了した場合には、本処理を終了する。
　以上説明したように、本実施形態に係る表示装置１は、コンテンツの内容やユーザＵの状態に基づいて、ユーザＵにコミュニケーションをとってよいか否かを判断し、その判断結果に応じて、ユーザＵにコミュニケーションをとってよいか否かを示す情報（禁止情報や許可情報）を外部に通知させる。そのため、本実施形態に係る表示装置１は、ユーザＵの状況に応じて、ユーザＵにコミュニケーションしてよいかの情報を外部に適切に通知することが可能となる。従って、本実施形態に係る表示装置１によると、他の人にユーザＵへのコミュニケーションの制限を促し、ユーザＵの状況に応じて、ユーザＵへのコミュニケーションを制限することを可能としている。
　（他の例）
　なお、以上の説明では、通知制御部３６は、状況情報設定部３４によってコミュニケーションを受けられる旨の状況情報が設定されたら（状況情報設定部３４がコミュニケーションを受けられると判断したら）、許可情報を通知したが、許可情報の通知は必須ではない。通知制御部３６は、少なくとも、状況情報設定部３４によってコミュニケーションを受けられない旨の状況情報が設定されたら（状況情報設定部３４がコミュニケーションを受けられないと判断したら）、禁止情報を通知すればよい。許可情報を通知しなくても禁止情報を通知すれば、他の人からユーザＵへのコミュニケーションを制限することができる。
　また、状況情報設定部３４は、図４に示したステップＳ２２において、コンテンツ情報と、ユーザの属性を示すユーザ情報とに基づき、コンテンツがコミュニケーションを受けられる内容であるかを判断してもよい。ユーザ情報とは、予め設定されたユーザＵに関する情報であり、ユーザＵの属性を示す情報といえる。ユーザ情報は、例えばユーザＵの性別及び年齢の少なくとも一方の情報であってもよい。検出情報取得部３２は、任意の方法でユーザ情報を取得してよい。例えば、ユーザ情報は、予め記憶部２０に記憶されており、検出情報取得部３２がそれを読み出してよい。また、例えば、検出情報取得部３２は、通信により外部の装置（例えばユーザ情報が含まれているゲームのセーブデータを記憶している装置など）からユーザ情報を取得してよい。また例えば、表示装置１に、ユーザＵを検出するセンサが設けられており、検出情報取得部３２は、そのセンサによるユーザＵの検出結果に基づき、ユーザ情報を設定してよい。ユーザＵを検出するセンサは任意であってよいが、例えばユーザＵを撮像するカメラであってよく、この場合例えば、検出情報取得部３２は、ユーザＵの撮像画像からユーザＵのユーザ情報を推定して、ユーザ情報を設定する。コンテンツがコミュニケーションを受けられる内容であるかは、ユーザＵの属性に応じて変わる場合もある。そのため、コンテンツ情報とユーザ情報とに基づき、コンテンツがコミュニケーションを受けられる内容であるかを判断することで、判断の精度を向上できる。例えば、状況情報設定部３４は、コンテンツ情報が、コミュニケーションを受けられる内容であることを示すものであっても、ユーザＵの年齢が所定値より低い場合には、コミュニケーションを受けられない内容と判断してよい。さらに、ユーザ属性に応じて、緊迫度合いを示す指標の閾値を変更してもよい。また、コンテンツの進行に伴って、ユーザの心拍数などから驚く度合いをユーザ属性として蓄積したり、更新したりして、緊迫度合いを示す指標の閾値を変更してもよい。これらにより、ユーザごとに適切な閾値が設定されるため、判断の精度を向上できる。以上をまとめると、検出情報取得部３２は、ユーザＵの性別または年齢の少なくとも一方の情報をユーザ情報として取得し、状況情報設定部３４は、年齢が所定値より低い場合にコミュニケーションを受けられない旨の状況情報を設定するか、または、コンテンツの緊迫度合いを示す指標を比較する所定の閾値を、ユーザ情報に基づいて変更してよいといえる。
　また、以上の説明では、図４のステップＳ２２に示したように、コンテンツがコミュニケーションを受けられない内容と判断された場合には（ステップＳ２２；Ｎｏ）、ユーザ状態に関わらず、禁止情報が通知されるが、それに限られない。例えば、表示装置１は、コンテンツがコミュニケーションを受けられない内容と判断された場合であっても、ユーザ状態がコミュニケーションを受けられる状態であると判断されれば、許可情報を通知させてよい。この場合、表示装置１は、コンテンツがコミュニケーションを受けられない内容と判断され、かつ、ユーザ状態がコミュニケーションを受けられない状態と判断された場合に、禁止情報を通知する。
　また、上記の説明では、状況情報設定部３４は、ユーザＵの設定、コンテンツ情報、及びユーザ状態に基づいて、状況情報を設定していたが、それに限られず、ユーザＵの設定、コンテンツ情報、及びユーザ状態の少なくとも１つを用いて、任意の方法で状況情報を設定してよい。
　また、以上の説明では、ＨＭＤである表示装置１が、コンテンツを提供しつつ、図３及び図４で説明した処理を実行する。すなわち、表示装置１が、コンテンツを提供するＨＭＤとしての機能と、図３及び図４で説明した処理を実行する情報通知装置としての機能とを有している。ただし、図３及び図４で説明した処理を実行する情報通知装置を、ＨＭＤである表示装置１と別の装置にしてもよい。この場合例えば、情報通知装置は、図２に示すユーザ状態検出部１６、通知部１８、記憶部２０、検出情報取得部３２、状況情報設定部３４及び通知制御部３６を含むものであればよい。
　（効果）
　以上説明したように、本実施形態に係る情報通知装置は、状況情報設定部３４と、通知制御部３６とを含む。状況情報設定部３４は、ＨＭＤ（表示装置１）を利用しているユーザＵが、ＨＭＤを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定する。通知制御部３６は、ユーザＵがコミュニケーションを受けられない旨の状況情報である場合に、ユーザＵに対してコミュニケーションをとることを禁止する旨を示す禁止情報を、周囲（ユーザＵ以外の人）に通知させる。本実施形態に係る情報通知装置によると、ユーザＵの状況に応じて、ユーザＵにコミュニケーションしてよいかの情報を外部へ適切に通知することが可能となる。従って、本実施形態によると、他の人にユーザＵへのコミュニケーションの制限を促し、ユーザＵの状況に応じて、ユーザＵへのコミュニケーションを制限することが可能となる。
　状況情報設定部３４は、ユーザＵによる設定、ＨＭＤ（表示装置１）で再生されているコンテンツの情報（コンテンツ情報）、及びユーザＵの状態（ユーザ状態）との少なくとも１つに基づき、状況情報を設定する。本実施形態に係る情報通知装置によると、ユーザ設定、コンテンツ情報、及びユーザ状態の少なくとも１つから、ユーザＵがコミュニケーションを受けられる状態にあるかを判断する。そのため、本実施形態によると、ユーザＵの状況を適切に反映して、ユーザＵへのコミュニケーションを制限することが可能となる。
　状況情報設定部３４は、コンテンツ情報として、コンテンツがコミュニケーションを受けられない内容であることを示す場合に、コミュニケーションを受けられない旨の状況情報を設定する。本実施形態によると、ユーザＵが視聴しているコンテンツの内容に応じて、ユーザＵへのコミュニケーションを適切に制限することが可能となる。
　状況情報設定部３４は、ユーザＵが集中していることを示すユーザ状態の場合に、コミュニケーションを受けられない旨の状況情報を設定する。本実施形態によると、ユーザＵのコンテンツへの集中度合いに応じて、ユーザＵへのコミュニケーションを適切に制限することが可能となる。
　状況情報設定部３４は、コンテンツとして、コミュニケーションを受けられる内容であるものの、ユーザＵがコミュニケーションを受けられない状態にあると判断した場合には、コミュニケーションを受けられない旨の状況情報を設定する。本実施形態によると、ユーザＵが視聴しているコンテンツの内容とユーザＵのコンテンツへの集中度合いとに応じて、ユーザＵへのコミュニケーションを適切に制限することが可能となる。
　以上、本実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態の情報通知装置、情報通知方法及びプログラムは、例えば画像表示に利用することができる。
　１　表示装置（情報通知装置）
　１２　表示部
　１４　音声出力部
　１６　ユーザ状態検出部
　１８　通知部
　３２　検出情報取得部
　３４　状況情報設定部
　３６　通知制御部

Claims (8)

  1. 　ヘッドマウントディスプレイを利用しているユーザが、前記ヘッドマウントディスプレイを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定する状況情報設定部と、
    　前記状況情報は、前記ユーザがコミュニケーションを受けられない旨の情報である場合に、前記ユーザに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲に通知させる通知制御部と、
    　を含む、情報通知装置。
  2. 　前記状況情報設定部は、前記ユーザによる設定、前記ヘッドマウントディスプレイで再生されているコンテンツの情報、及び前記ユーザの状態との少なくとも１つに基づき、前記状況情報を設定する、請求項１に記載の情報通知装置。
  3. 　前記状況情報設定部は、前記コンテンツの情報として、前記コンテンツがコミュニケーションを受けられない内容であることを示す場合に、コミュニケーションを受けられない旨の前記状況情報を設定する、請求項２に記載の情報通知装置。
  4. 　前記状況情報設定部は、前記ユーザが集中していることを示す場合に、コミュニケーションを受けられない旨の前記状況情報を設定する、請求項２又は請求項３に記載の情報通知装置。
  5. 　前記コンテンツは、前記コンテンツが緊迫する場面を含むか否かを示すフラグ、または前記コンテンツの緊迫度合いを示す指標を含み、
    　前記状況情報設定部は、前記フラグを含むか、または前記指標が所定の閾値より高い場合に、コミュニケーションを受けられない旨の前記状況情報を設定する、請求項３に記載の情報通知装置。
  6. 　前記ユーザの性別または年齢の少なくとも一方の情報をユーザ情報として取得する検出情報取得部をさらに備え、
    　前記状況情報設定部は、前記年齢が所定値より低い場合にコミュニケーションを受けられない旨の前記状況情報を設定するか、または前記コンテンツの緊迫度合いを示す指標を比較する前記所定の閾値を前記ユーザ情報に基づいて変更する、請求項５に記載の情報通知装置。
  7. 　ヘッドマウントディスプレイを利用しているユーザが、前記ヘッドマウントディスプレイを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定するステップと、
    　前記状況情報は、前記ユーザがコミュニケーションを受けられない旨の情報である場合に、前記ユーザに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲に通知するステップと、
    　を含む、情報通知方法。
  8. 　ヘッドマウントディスプレイを利用しているユーザが、前記ヘッドマウントディスプレイを経由せずにコミュニケーションを受けられるか否かを示す状況情報を設定するステップと、
    　前記状況情報は、前記ユーザがコミュニケーションを受けられない旨の情報である場合に、前記ユーザに対してコミュニケーションをとることを禁止する旨を示す情報を、周囲に通知するステップと、
    　を、コンピュータに実行させる、プログラム。
PCT/JP2021/045832 2020-12-18 2021-12-13 情報通知装置、情報通知方法及びプログラム WO2022131212A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022543770A JPWO2022131212A1 (ja) 2020-12-18 2021-12-13

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-210634 2020-12-18
JP2020210634 2020-12-18

Publications (1)

Publication Number Publication Date
WO2022131212A1 true WO2022131212A1 (ja) 2022-06-23

Family

ID=82059196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045832 WO2022131212A1 (ja) 2020-12-18 2021-12-13 情報通知装置、情報通知方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022131212A1 (ja)
WO (1) WO2022131212A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム

Also Published As

Publication number Publication date
JPWO2022131212A1 (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
US10712998B2 (en) Information processing device, information processing method, and program
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
TWI378262B (ja)
US11828940B2 (en) System and method for user alerts during an immersive computer-generated reality experience
JP6094190B2 (ja) 情報処理装置および記録媒体
CN108700982B (zh) 信息处理设备、信息处理方法以及程序
WO2014156389A1 (ja) 情報処理装置、提示状態制御方法及びプログラム
JP2008067219A (ja) 撮像装置、撮像方法
US20180027162A1 (en) Augmented Video Processing
US20180185753A1 (en) Information processing device, information processing method, and program
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
US11487354B2 (en) Information processing apparatus, information processing method, and program
JP2005318973A (ja) 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP5086711B2 (ja) 映像表示装置
JP5904246B2 (ja) 頭部装着型表示装置、表示方法
CN111213375B (zh) 信息处理装置、信息处理方法以及程序
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10297136B2 (en) Head-mounting display, notification apparatus, notification system, notification method, and program
WO2017022769A1 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
WO2022131212A1 (ja) 情報通知装置、情報通知方法及びプログラム
JPWO2020016970A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20180045644A (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
WO2019044135A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023037348A1 (en) System and method for monitoring human-device interactions
CN110998673A (zh) 信息处理装置、信息处理方法和计算机程序

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022543770

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906574

Country of ref document: EP

Kind code of ref document: A1