WO2014156389A1 - 情報処理装置、提示状態制御方法及びプログラム - Google Patents

情報処理装置、提示状態制御方法及びプログラム Download PDF

Info

Publication number
WO2014156389A1
WO2014156389A1 PCT/JP2014/054047 JP2014054047W WO2014156389A1 WO 2014156389 A1 WO2014156389 A1 WO 2014156389A1 JP 2014054047 W JP2014054047 W JP 2014054047W WO 2014156389 A1 WO2014156389 A1 WO 2014156389A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
external
unit
notification
Prior art date
Application number
PCT/JP2014/054047
Other languages
English (en)
French (fr)
Inventor
厚史 泉原
麻紀 井元
宏二 井原
繁 川田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/779,303 priority Critical patent/US20160054565A1/en
Publication of WO2014156389A1 publication Critical patent/WO2014156389A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Definitions

  • the present disclosure relates to an information processing apparatus, a presentation state control method, and a program.
  • VR virtual reality
  • AR augmented reality
  • Patent Document 1 discloses a technique related to a shielded HMD device that can display a better image by preventing dust such as dust from entering a lens barrel in which a display screen is disposed. Is disclosed.
  • the present disclosure proposes an information processing apparatus, a presentation state control method, and a program that enable a user and an external person to communicate more smoothly.
  • the notification state control unit that switches the notification state of the external information representing the external situation of the user to the user, and the information indicating the reaction to the external information of the user based on the switched notification state
  • An information processing apparatus includes a presentation state control unit that switches a presentation state to be presented to the outside of a user.
  • the present invention provides a presentation state control method including switching a presentation state to be presented to the outside.
  • the function of switching the notification state of the external information representing the external situation of the user to the user on the computer and the reaction of the user to the external information based on the switched notification state are shown.
  • a program for realizing a function of switching a presentation state in which information is presented to the outside of a user is provided.
  • the notification state control unit switches the notification state of the external information representing the user's external situation to the user.
  • the presentation state control unit switches the presentation state for presenting information indicating the user's reaction to the external information to the outside of the user based on the notification state of the switched external information to the user. In this way, information indicating a reaction to the external information of the user is presented to the external person, so that the external person can recognize the user's state with respect to the external information, and is appropriate according to the user's state. Can take a good response.
  • a user and an external person can communicate more smoothly.
  • FIG. 3 is a functional block diagram illustrating a hardware configuration of a shielded HMD device according to first and second embodiments of the present disclosure.
  • FIG. 3 is a functional block diagram illustrating a hardware configuration of a shielded HMD device according to first and second embodiments of the present disclosure.
  • First embodiment 1-1 Appearance of shielding type HMD device 1-2. Configuration of shielding type HMD device 1-3. Specific example of notification status 1-3-1. In case of high necessity 1-3-2. When the degree of necessity is medium 1-3-3. When the necessity is low 1-4. 1. Processing procedure of notification state control method Second embodiment 2-1. Appearance of shielding type HMD device 2-2. Configuration of shielding type HMD device 2-3. Specific example of presentation state 2-4. Specific examples of notification state and presentation state 2-5. 2. Processing procedure of presentation state control method Hardware configuration Summary
  • FIG. 1A and 1B are perspective views illustrating an appearance example of a shielded HMD device according to a first embodiment of the present disclosure.
  • the side facing the user is also referred to as the inner side or the inner side of the shielding type HMD device with reference to the user wearing the shielding type HMD device, and the side that does not face the user. Also referred to as the outside or outside of the shielded HMD device.
  • FIG. 1A is a perspective view showing a state in which the shielded HMD 10 according to the first embodiment is viewed from the outside.
  • FIG. 1B is a perspective view showing the shield HMD 10 according to the first embodiment viewed from the inside.
  • the shielded HMD 10 includes a main body part 310 and a band part 320.
  • the main body 310 has a goggle-like shape, is positioned in front of the user's eyes when worn by the user, and shields the field of view of the user from the outside.
  • the main body 310 processes various types of information and controls the driving of the shielded HMD 10, and controls the shielded HMD device 10 such as a control unit that integrally controls the driving of the shielded HMD 10 and a display unit that visually notifies the user of various types of information. It has various functions.
  • the band part 320 is a belt-like member that is attached to the user's head and fixes the main body part 310 in front of the user's eyes. The length and angle of the band unit 320 may be adjustable so that the position of the main body unit 310 is fixed in front of the user's eyes.
  • a camera 311 and a microphone 312 are provided outside the main body 310.
  • the camera 311 captures an external state of the user in the form of a moving image or a still image.
  • the microphone 312 records a situation outside the user.
  • the image information about the image captured by the camera 311 and the sound information about the sound recorded by the microphone 312 are transmitted to the control unit of the main body unit 310.
  • information representing a user's external situation such as the image information and the sound information is referred to as external information.
  • the camera 311 and the microphone 312 have a function of detecting external information.
  • the camera 311 and the microphone 312 may always detect external information, or may detect the changed external information when the external information changes.
  • a change in external information may be a change in a person or an object within the frame of the camera 311, and in the case of audio information, a change in sound recorded by a microphone 312. Good.
  • internal display units 313 a and 313 b and line-of-sight sensor units 314 a and 314 b are provided on the inner side of the main body 310.
  • the internal display units 313a and 313b are provided in a part located in front of the user's eyes when the shielded HMD device 10 is worn by the user, and various information can be displayed in various formats such as images, text, graphs, and tables. Display on the display screen to visually notify the user.
  • one internal display unit 313a and 313b is provided at a position corresponding to the left eye and the right eye of the user, respectively, and can provide a three-dimensional image (3D image) to the user.
  • the user can enjoy content such as movies or perform various operations using word processing software, spreadsheet software, or the like.
  • the display screens of the internal display units 313a and 313b are not designed to allow the external appearance to be observed, and the user's field of view wearing the shielded HMD device 10 is viewed by the internal display units 313a and 313b. Shielded from. Therefore, the user can concentrate on the information displayed on the display screens of the internal display units 313a and 313b, and can be immersed in the work.
  • the shielding type HMD device 10 has a pair of internal display units 313a and 313b.
  • the shielded HMD device 10 may have an internal display unit consisting of one display screen.
  • the line-of-sight sensor units 314a and 314b are sensor devices that detect the state of the user's eyes.
  • the eye state may be any state relating to the user's eyes, such as the open / closed state of the eyelid, the state of the pupil, and the state of the line of sight.
  • the line-of-sight sensor units 314a and 314b are respectively provided at positions corresponding to the user's left eye and right eye, and can detect the state of the user's left and right eyes, respectively.
  • Information about the eye state of the user detected by the line-of-sight sensor units 314a and 314b (hereinafter referred to as line-of-sight information) is transmitted to the control unit of the main body unit 310.
  • the internal information is information (hereinafter referred to as user information) and / or information other than external information that indicates the state of the user and is notified to the user (hereinafter referred to as content information). Name).
  • the line-of-sight information is included in the user information. Accordingly, the line-of-sight sensor units 314a and 314b have a function of detecting internal information. Details of the internal information will be described later in detail with reference to FIG.
  • the line-of-sight sensor units 314a and 314b may always detect internal information, or may detect the changed internal information when the internal information changes.
  • the shielded HMD device 10 may include an audio output unit such as an earphone device or a speaker device that audibly notifies the user of various types of information.
  • the shielded HMD device 10 may include various sensor devices for detecting user information, such as an acceleration sensor device, a GPS (Global Positioning System) sensor device, and a biosensor device.
  • movement information representing user movement, user position information, user biological information, and the like may be detected as internal information.
  • the shielded HMD device 10 has a configuration for detecting external information represented by the camera 311 and the microphone 312.
  • the shielding HMD device 10 has a configuration for detecting internal information, represented by the line-of-sight sensor units 314a and 314b.
  • the shielded HMD device 10 has a configuration for notifying the user of various types of information, such as internal display units 313a and 313b and an audio output unit.
  • the degree of necessity for notifying the user of the external information is determined based on the detected external information by the control unit provided in the main body 310, and the degree of necessity is determined. Based on this, the notification state of the external information to the user is switched. For example, the control unit displays external information on the internal display units 313a and 313b to notify the user according to the necessity, or displays external information on the internal display units 313a and 313b step by step. To notify the user.
  • notifying the user of information means displaying the information as an image on the display screens of the internal display units 313a and 313b, or outputting the information as audio from the audio output unit. This information may be notified audibly or audibly.
  • the shielded HMD device 10 is a notification state control device that controls the notification state of various types of information to the user.
  • a series of processing in the notification state control performed by the shielding HMD device 10 is referred to as notification state control processing.
  • the shielded HMD device 10 since the shielded HMD device 10 performs various types of information processing in the notification state control process, the shielded HMD device 10 is also referred to as the information processing device 10.
  • FIG. 2 is a functional block diagram illustrating a configuration example of the shielded HMD device 10 according to the first embodiment of the present disclosure.
  • the shielded HMD device 10 according to the first embodiment includes an external information detection unit 110, an internal information detection unit 120, an internal notification unit 130, and a control unit 140.
  • the external information detection unit 110 detects external information representing the external situation of the user.
  • the external information detection unit 110 corresponds to, for example, the camera 311 and the microphone 312 illustrated in FIG. 1A.
  • the external information is information representing a situation outside the user, and the external information includes various types of information outside the user.
  • the external information may be image information, audio information, or the like representing a situation outside the user.
  • the external information may include not only image information about an image based on visible light but also image information about an image based on light in other wavelength bands such as infrared light.
  • the external information may include various types of information representing the environment outside the user, such as distance information with objects around the user and temperature information of objects around the user. More specifically, for example, external information is included in the image information, information indicating that an external person is approaching the user, and an external person is speaking to the user (speaking).
  • the external information includes information on the content of the utterance of an external person and / or information on an alarm sound such as a siren or a buzzer included in the audio information.
  • the shielded HMD device 10 includes a communication unit that transmits and receives information to and from other external devices
  • the external information includes information about the other devices detected via the communication unit ( Hereinafter, it may be referred to as device information).
  • the device information includes, for example, ID information for specifying a person who owns the other device.
  • the external information is image information representing the external situation of the user, audio information representing the external situation of the user, and / or equipment information acquired by communication with other equipment external to the user, etc.
  • Various types of information representing the situation outside the user may be included.
  • the external information detection unit 110 is configured by a device that detects various types of external information as described above.
  • the external information detection unit 110 includes an imaging device such as a camera for acquiring image information, a recording device such as a microphone for acquiring audio information, and / or a communication device for acquiring device information.
  • the external information detection unit 110 may include various sensor devices that detect an external environment such as an infrared sensor device, a distance sensor device, and a temperature sensor device. The external information detection unit 110 transmits the detected external information to the control unit 140.
  • the internal information detection unit 120 detects internal information that is information about the user.
  • the internal information detection unit 120 corresponds to, for example, the line-of-sight sensor units 314a and 314b illustrated in FIG. 1B.
  • the internal information is information regarding the user, and the internal information includes various types of information regarding the user wearing the shielding HMD device 10.
  • the internal information includes information (user information) indicating the state of the user and / or information other than external information and notified to the user (content information).
  • the user information includes at least one of movement information representing the movement of the user, user position information, user biometric information, and user action schedule.
  • the movement information is information detected by a sensor device that detects the movement or posture of an object such as an acceleration sensor device or a gyro sensor device, and the movement (for example, standing, sitting, walking, etc.) Part inclination).
  • the position information is information detected by a sensor device that detects the position of an object such as a GPS sensor device, for example, and is information that represents a user's position (for example, in a company, at home, in a train, etc.).
  • the biological information is various kinds of information related to the user's life activity, and is information representing the user's pulse, heartbeat, respiratory rate, eye state, and the like.
  • the line-of-sight information described in [Appearance of Shielded HMD Device] is included in the biological information.
  • the information about the user's action schedule is information acquired from, for example, the user's schedule information recorded on a recording medium accessible by the shielded HMD device 10.
  • the specific time is the work time for the user.
  • Information such as whether there is a break or not is included.
  • the content information is information other than external information that is notified to the user.
  • the information notified to the user is external information and / or content information
  • the control of the notification state is a control for switching the information notified to the user. That may be.
  • the content information includes moving image information such as movies and TV programs, information on work using word processing software, spreadsheet software, and the like, information on a website browsed by browser software, and the like.
  • the content information may be information notified to the user when the user wears the shielded HMD device 10 (shielded HMD device 10) and performs various processes.
  • a state in which content information is notified to the user and the user is performing various processes based on the content information is also referred to as a state in which the user is working.
  • the internal information detection unit 120 is configured by a device that detects various types of internal information as described above.
  • the internal information detection unit 120 includes an acceleration sensor device, a gyro sensor device, a GPS sensor device, a biological sensor device, and the like for acquiring various types of user information.
  • the internal information detection unit 120 has a configuration for detecting various types of content information, that is, a configuration for detecting information other than external information among information notified to the user.
  • the internal information detection unit 120 transmits the detected external information to the control unit 140.
  • the internal notification unit 130 is controlled by the control unit 140 to notify the user of various types of information in various formats.
  • the notification of information to the user includes visual notification and audible notification.
  • the internal notification unit 130 has a display screen, displays various types of information on the display screen in various formats such as images, text, graphs, and tables, and visually notifies the user.
  • the internal notification unit 130 includes a sound output device such as a speaker or an earphone, and outputs various types of information as sound from the sound output device, and audibly notifies the user.
  • the internal notification unit 130 can have a function as a display unit that displays various types of information on the display screen and a function as a voice output unit that outputs various types of information as audio.
  • the configuration of the internal notification unit 130 as a display unit corresponds to, for example, the internal display units 313a and 313b illustrated in FIG. 1B.
  • the internal notification unit 130 notifies the user of the content information by displaying a content image, which is image information included in the content information, on the display screen.
  • the internal notification unit 130 is controlled by the control unit 140 to be driven and displays an external image, which is image information included in the external information, on the display screen, thereby notifying the user of the external information.
  • the internal notification unit 130 may display only one of the content image and the external image on the display screen, or may display both the content image and the external image on the display screen.
  • the internal notification unit 130 when the internal notification unit 130 has a configuration as an audio output unit, the internal notification unit 130 outputs content audio that is audio information included in the content information, thereby providing the content information to the user. Notice.
  • the internal notification unit 130 is controlled by the control unit 140 to output the external audio that is audio information included in the external information, thereby notifying the user of the external information.
  • the internal notification unit 130 may output only one of content audio and external audio, or may output both content audio and external audio.
  • the control unit 140 controls the shielded HMD device 10 in an integrated manner, and performs various types of information processing in the notification state control process according to the present embodiment.
  • the function and configuration of the control unit 140 will be described in detail.
  • the control unit 140 includes a necessity determination unit 141, a notification state control unit 142, and an internal information acquisition unit 143.
  • the necessity determination unit 141 determines the necessity of notifying the user of the external information based on the external information representing the external situation of the user. Specifically, the necessity level determination unit 141 acquires the external information detected by the external information detection unit 110, and based on the external information, the necessity level for notifying the user of the external information (notification necessity level) ). As described above, the necessity determination unit 141 can analyze the content of the acquired external information and determine the necessity based on the content. For example, a table in which the type of external information and the necessary level are associated with each other is prepared, and the necessary level determining unit 141 may determine the required level by referring to the table. Further, for example, a predetermined score is assigned to each type of external information, and the necessity determination unit 141 may determine the necessity by calculating the score for the detected external information.
  • FIG. 3 is an explanatory diagram for explaining an example of a determination method of the necessity degree of external information notification by the necessity degree determination unit 141 according to the present embodiment. Note that the example shown in FIG. 3 corresponds to the method using the table described above.
  • the type of external information is described in the top row and the leftmost column of the table, and the degree of necessity is determined by the combination of the external information.
  • “approach of person”, “utterance of person”, “specific gesture”, and “communication between devices” are described as examples of external information.
  • “Person approach” and “specific gesture” are information acquired from image information included in external information, and an external person has approached the user wearing the shielded HMD device 10. And doing a specific gesture.
  • the specific gesture is a gesture that expresses an intention to communicate with the user, such as extending an arm or waving a hand.
  • “Person's utterance” is information acquired from audio information included in external information, and means that an external person has spoken to a user wearing the shielded HMD device 10.
  • “Communication between devices” is information acquired from device information included in external information, and an external person having a device (device) that can communicate with the shielded HMD device 10 approaches the user. Means at least a predetermined range within which communication is possible.
  • “existence of acquaintance” and “no acquaintance” are described as examples of external information.
  • This "with acquaintance” and “no acquaintance” is based on the external information described in the top row, for those who approach the user, those who are gesturing the user, and the user It means the presence or absence of the user's acquaintance with the person who talked to.
  • the presence / absence of an acquaintance may be determined based on ID information representing the owner of the other device included in the device information, for example, when the device information is included in the external information.
  • the presence or absence of acquaintance is determined by recognizing an individual based on the face image when image information is included in the external information and the image information includes an external human face image, for example. Good.
  • the degree of necessity is determined in three stages: “high”, “medium”, and “low”.
  • the necessity level determination unit 141 performs an interview with an external person who has caused these actions. Regardless of the presence or absence, the necessity of the external information is judged as “high”. This means that if an outside person talks to a user or makes a specific gesture, the outside person who has taken these actions will have a clear willingness to communicate with the user Because.
  • the necessity determination unit 141 is in contact with an external person who has caused these actions. Is determined to be “medium”, and if the user is not acquainted with the external person who took these actions, the necessity of the external information is determined to be “low”. This means that if “approach of a person” or “communication between devices” is acquired as external information, even if an external person is approaching the user, the external person who took these actions This is because there is a possibility that the user may accidentally pass near the user for other purposes. And if the outside person is someone who is acquainted with the user, there is a high possibility that he or she is trying to communicate with the user. This is because there is a high possibility of leaving without taking.
  • the necessity determination unit 141 can determine that the necessity for notifying the user of the external information is “high”.
  • the specific information is external information indicating an emergency such as a siren, an alarm, or a human cry. Since the external information indicating such an emergency situation needs to be surely notified to the user, the necessity determination unit 141 determines that the necessity is “high”. Note that what kind of information is specifically used as the specific information may be appropriately set by the user. That is, the user can arbitrarily set the notification necessity for specific external information.
  • FIG. 3 has been described, and an example of how the necessity determination unit 141 determines the necessity of notification of external information has been described.
  • the necessity determination unit 141 determines the necessity to notify the user of the external information according to the combination of the external information. Can do.
  • the necessity determination unit 141 specifies various types of information obtained from external information, such as specifying the owner of the device based on the device information, or specifying an external person from the face image included in the image information. The necessary degree can be determined based on the information.
  • the process of obtaining various types of information from these external information may be performed by the necessity determination unit 141, or performed by the external information detection unit 110, and the obtained information is also included as part of the external information. It may be transmitted to the determination unit 141.
  • the necessity determination method by the necessity determination unit 141 is not limited to the example shown in FIG.
  • the degree of necessity is determined in three stages, but the number of stages for classifying the degree of necessity is not limited to three, and may be smaller or larger.
  • the degree-of-necessity determination unit 141 may calculate the degree of necessity by adding the scores attached to the plurality of detected external information.
  • the necessity determination unit 141 may determine the necessity according to the person. For example, if the person you ’re trying to communicate with is a person in a business relationship, like a company colleague or boss, or someone from another company you ’re working with, Since it is considered that there is a high possibility that the communication that the person is trying to take is related to work, the necessity determination unit 141 may determine the necessity high.
  • the necessity determination unit 141 may determine that the necessity is medium or low.
  • the relationship between the user and the person who is trying to communicate with the user can communicate with the storage unit (not shown) of the shielded HMD device 10 or the shielded HMD device 10, for example.
  • the determination can be made based on information representing the user's friendship stored in another user-owned device (for example, a mobile phone, a personal computer (PC), etc.).
  • the information representing the user's friendship is, for example, information on the user's phone book or address book stored in the shielded HMD device 10 and other devices owned by the user, or the SNS to which the user belongs. It may be information on friend registration in (Social Networking Service).
  • the necessity level determination unit 141 transmits the determined level of necessity and the external information detected by the external information detection unit 110 to the notification state control unit 142.
  • the notification state control unit 142 switches the notification state of the external information to the user based on the necessity determined by the necessity determination unit 141.
  • notifying the user of information means displaying the information as an image on the display screen of the internal notification unit 130 or outputting the information as a sound from the audio output unit of the internal notification unit 130. In contrast, the information may be notified visually or audibly.
  • the control of the notification state may be control for controlling the driving of the internal notification unit 130 and switching the notification state of information notified to the user. For example, at the time of work, a content image is displayed on the display screen of the internal notification unit 130, content audio is output from the audio output unit of the internal notification unit 130, and the user refers to the notified content information While doing various work.
  • the notification state control unit 142 When external information is detected by the external information detection unit 110 in this state, the notification state control unit 142 notifies the user of the external information based on the degree of necessity of notification of the external information determined by the necessity determination unit 141. Switch the information notification status. Specifically, in the present embodiment, the notification state control unit 142 controls display of the display screen of the internal notification unit 130 and / or the output of the audio output unit of the internal notification unit 130 based on the degree of necessity. By controlling, the notification state of external information to the user is switched.
  • the notification state control unit 142 needs to determine the level or level of necessity for switching the notification state. For example, the notification state control unit 142 determines the level or level of necessity based on the result of comparing the necessity determined by the necessity determination unit 141 with a predetermined threshold, and notifies the user of external information. The state may be switched. For example, the notification state control unit 142 can determine that the degree of necessity is high when the degree of necessity is equal to or greater than the first threshold value. In addition, for example, the notification state control unit 142 requires the necessity when the degree of necessity is less than the first threshold and greater than or equal to the second threshold smaller than the first threshold. It can be determined that the degree is moderate.
  • the notification state control unit 142 can determine that the necessity is low when the degree of necessity is less than the second threshold value.
  • the conditions for determining the level of necessity are not limited to the above example, and may be changed as appropriate by the user. For example, “more than” and “less than” that define the number of thresholds (that is, the number of necessary steps), and specific values and ranges of the first threshold value and the second threshold value. Changing the expression to “excess” and “below” or the like may be appropriately adjusted by the user. For example, when the degree of necessity is expressed in several stages as illustrated in FIG. 3, the notification state control unit 142 transmits the necessity degree without comparing the threshold value with the threshold value. On the basis of the information on the necessary degree, the stage to which the necessary degree belongs may be determined.
  • expressions such as “high”, “medium”, and “low” are used for convenience to indicate the level or level of necessity determined by the necessity determination unit 141.
  • the expression may be based on a comparison result with the above-described predetermined threshold values (for example, the first threshold value and the second threshold value), and is necessary as in the example shown in FIG. It may indicate a degree level.
  • the notification state control unit 142 notifies the user of external information. Specifically, when the degree of necessity determined by the degree-of-necessity determination unit 141 is “high”, the notification state control unit 142 immediately notifies the user of external information. Note that to immediately notify the user of the external information means to notify the user of the external information without placing a stage, that is, without interposing the display of other screens, audio output, or the like.
  • the notification state control unit 142 may switch the display of the display screen and the audio output of the internal notification unit 130 from the content image and the content audio to the external image and the external audio.
  • the notification state control unit 142 may cause the internal notification unit 130 to notify both the content information and the external information. That is, both the content image and the external image may be displayed on the display screen of the internal notification unit 130, and both the content audio and the external audio may be output from the audio output unit of the internal notification unit 130.
  • the display screen may be divided into two, and these images may be displayed respectively. An image may be displayed superimposed.
  • the notification state control unit 142 determines that the degree of necessity determined by the necessity degree determination unit 141 is “medium” (for example, less than the first threshold value and the first threshold value). If the second threshold value is smaller than the second threshold value), the external information is notified to the user step by step.
  • the external information is notified to the user step by step, for example, if the external information is image information and audio information representing the external situation of the user, the notification state control unit 142 superimposes the audio information on the content information. Then, the image information may be superimposed and notified.
  • the notification state control unit 142 displays and outputs the content image and the content sound to the user who is working while viewing the content image and the content sound, and first, only the external sound is included in the external information. It is also possible to output by superimposing and then displaying the external image superimposed.
  • the notification state control unit 142 detects external information. The user is notified of predetermined information indicating that. In other words, the notification state control unit 142 does not notify the user who is working while viewing the content image and the content sound while notifying the content image and the content sound and not the external information as it is. Only the information detected may be notified.
  • the notification state control unit 142 performs an internal notification unit.
  • the display on the display screen 130 and the audio output are not changed, that is, the external information may not be notified to the user.
  • the control of the notification state of the external information by the notification state control unit 142 may include a state in which the external information is not notified.
  • a specific example of notification state control by the notification state control unit 142 will be described in [1-3. Specific example of notification state] will be described in detail.
  • the internal information acquisition unit 143 acquires internal information that is information about the user. Specifically, the internal information acquisition unit 143 acquires the internal information detected by the internal information detection unit 120. The internal information acquisition unit 143 may acquire internal information from the internal information detection unit 120 at any time, or issue an instruction to the internal information detection unit 120 to detect internal information as necessary, thereby obtaining the internal information. It may be acquired at a predetermined timing. The internal information acquisition unit 143 transmits the acquired internal information to the necessity determination unit 141.
  • the necessity determination unit 141 determines the necessity of notification of the external information based on the external information, but the necessity determination unit 141 may determine the necessity based on the internal information. it can. Specifically, the necessity determination unit 141 sends the external information to the user based on the external information detected by the external information detection unit 110 and the internal information acquired by the internal information acquisition unit 143. Determine the necessity of notification (necessity of notification). Thus, the necessity determination unit 141 can analyze the contents of the acquired external information and internal information and determine the necessity based on the contents.
  • the necessity determination unit 141 may determine the necessity based on the position information. For example, when a user is at a company, various people try to communicate with the user regardless of whether or not they are acquainted. It is unlikely that you are an unfamiliar person. Therefore, if the necessity determination unit 141 determines that the user is at home based on the position information included in the internal information, the necessity determination unit 141 determines the necessity because the person trying to communicate is an acquaintance person. can do. Further, for example, when the user is in the company, the necessity of the necessity determination unit 141 is based on the same external information because there is a high possibility that the content of communication that an external person wants to take is related to work.
  • the necessity determination unit 141 determines the location of the user, for example, at home, at the office, in the car, or on the train, based on the position information included in the internal information, and determines the necessity according to the location. be able to.
  • the necessity determination unit 141 may determine the necessity based on the motion information. For example, when a user stands up from a sitting state or starts walking, the user is likely to stop working and take another action, and need to notify the user of external information. It is considered that the nature is high. As described above, the necessity determination unit 141 can determine the necessity high when it is determined that the user interrupts the work based on the motion information included in the internal information.
  • the necessity determination unit 141 may determine the necessity based on the information about the user's action schedule. For example, the necessity determination unit 141 determines that the necessity of notifying external information is relatively low when it is determined that the user is working, based on information about the user's action schedule, Can be determined to be relatively high when it is determined that is in a break.
  • the necessity determination unit 141 may determine the necessity based on the content information. For example, the necessity determination unit 141 determines the importance of the work that the user is performing based on the content information notified to the user. If the importance of the work is high, the user's work is prevented as much as possible. Therefore, it is possible to determine the necessity of notifying external information relatively low, and to determine the necessity of notifying external information relatively high when the importance of work is low. Note that the correspondence between the content information and the importance level of the work may be set as appropriate by the user.
  • the content information when the content information is moving image information such as a movie, the content information may include information about each scene, and the necessity determination unit 141 is based on the information about each scene.
  • the degree of excitement of the scene of the moving image information notified to the user may be determined to determine the necessity level of notifying external information.
  • the information about each scene is, for example, information that the scene is a scene in which scenery is mainly displayed, information that the scene is mainly a scene composed of characters' conversations, and the like. Or information indicating the “rising degree” for each scene.
  • the degree of excitement is set relatively low if the scene of the video is mainly a scene, so it is not considered an important scene in the story.
  • the necessity level determination unit 141 determines the scene of the moving image that the user is viewing from the content information, and determines that the necessity level of notifying external information is relatively high when the excitement level is low, If is low, the necessity of notifying external information can be determined to be relatively low.
  • the necessity determination unit 141 may determine the degree of user immersion with respect to the content information notified to the user based on the internal information, and may determine the necessity based on the degree of immersion further.
  • the determination of the degree of immersion may be performed based on, for example, motion information, biological information, content information, and the like included in the internal information.
  • the degree of immersion may be determined based on information about the user's posture (for example, the tilt of the neck), the movement of the head, and the like acquired from the movement information.
  • the degree of immersion may be determined based on information such as the user's pulse, heartbeat, and line-of-sight information acquired from the biological information.
  • the degree of immersion may be determined based on the above-described information about each scene acquired from the content information and information on the “rising degree”.
  • the configuration example of the shielding HMD device 10 according to the first embodiment of the present disclosure has been described in detail above with reference to FIG.
  • Each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • a CPU Central Processing Unit
  • the control unit 140 a CPU (Central Processing Unit) or the like may perform all of the functions of the respective constituent elements. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • the hardware configuration of the shielded HMD device 10 is described in ⁇ 3. Hardware configuration> will be described in detail.
  • the necessity determination unit 141 notifies the user of the external information based on the external information indicating the external situation of the user.
  • the degree of necessity is determined.
  • the notification state control unit 142 switches the notification state of the external information to the user based on the determined degree of necessity. In this way, the necessity of notifying the user of external information is determined, and the external information is notified based on the determined necessity, so that the user can recognize that the external information has been detected. Therefore, it is possible to take an appropriate response to the external information, and to communicate more smoothly with external people.
  • the necessity when the necessity is high, external information is immediately notified to the user, so the user immediately recognizes the external information and quickly responds to an external person who is trying to communicate with the user. can do.
  • the degree of necessity is medium or low, the external information is notified to the user step by step or the information that the external information is detected is notified to the user. It is possible to prioritize the work being performed at that time, to respond to the outside immediately after the work is interrupted, or to select a response according to the situation, which improves the convenience for the user.
  • the notification state in the internal notification unit 130 is controlled based on the degree of necessity and may be appropriately switched by an operation input by the user. . Therefore, the user who is notified of the external information or the predetermined information indicating that the external information has been detected by the notification state control based on the necessity level appropriately instructs the notification state control unit 142 according to the content. By inputting, the notification state in the internal notification unit 130 can be changed. For example, the notification state in the internal notification unit 130 may be switched between a state in which content information is notified and a state in which external information is notified by an operation input by the user.
  • the notification state in the internal notification unit 130 may be switched to a state in which content information and external information are superimposed and notified by an operation input by the user.
  • the user may select an appropriate notification state according to the situation after the notification state control based on the degree of necessity notifies the external information or the predetermined information indicating that the external information is detected. it can. For example, when the user determines from the notified information that external information needs to be handled immediately, the user switches the notification state in the internal notification unit 130 to a state in which external information is notified, and Appropriate action can be taken.
  • the user when the user determines from the notified information that the external information can be left for the time being, the user switches the notification state in the internal notification unit 130 to the state in which the content information is notified, and works Can continue. Further, for example, when the user cannot determine from the notified information whether the external information should be handled immediately, the notification state in the internal notification unit 130 is notified by superimposing the content information and the external information. You can switch to the state and continue the work while checking the external situation.
  • the operation input by the user for switching the notification state control may be performed by, for example, a button or a switch, or by performing a predetermined gesture toward the camera of the external information detection unit 110 illustrated in FIG. May be.
  • the determination criterion may be appropriately set by the user.
  • the necessity determination unit 141 may determine the necessity higher when the approaching external person is a person familiar with the user (acquaintance of the user). By making such settings, the user immediately confirms the external image for the time being when his / her acquaintance approaches, and then performs an operation of switching the display screen of the internal notification unit 130 and the audio output device as appropriate. Whether to continue, communicate with an external person, or communicate while continuing work can be selected depending on the situation.
  • the shielded HMD device 10 includes the external information detection unit 110, the internal information detection unit 120, the internal notification unit 130, and the control unit 140.
  • the present embodiment is limited to such an example.
  • the shielded HMD device 10 is mutually connected with an input unit for a user to input various information, a storage unit for storing various information processed in the shielded HMD device 10, and other external devices. You may further have structure, such as a communication part for transmitting / receiving various information.
  • the shielded HMD device 10 may not be configured by a single device, and each function provided in the shielded HMD device 10 may be arbitrarily separated into a plurality of devices.
  • the device worn by the user includes only the external information detection unit 110, the internal information detection unit 120, and the internal notification unit 130, and the control unit 240 may be another device, such as a smartphone owned by the user, A device installed on an arbitrary information processing device such as a tablet PC and a server installed elsewhere, and a device mounted on a user and an information processing device mounted with a control unit 140 are connected to an arbitrary communication network (network).
  • Various processes in the shielded HMD device 10 described above may be performed by transmitting and receiving various types of information to and from each other.
  • notification state control by the notification state control unit 142 will be described in detail with reference to FIGS. 4A to 4E, FIG. 5, and FIGS. 6A to 6C. In the following, specific examples of notification state control by the notification state control unit 142 will be described for cases where the degree of necessity determined by the necessity degree determination unit 141 is high, medium, and low.
  • 4A to 4E are explanatory diagrams for describing a specific example of notification state control by the notification state control unit 142 when the necessity is high.
  • the display screen 510 of the internal notification unit 130 is illustrated in the upper and lower stages.
  • the content image 520 is displayed on the display screen 510 of the internal notification unit 130, that is, the display screen in a state where the user is working before external information is notified to the user.
  • the situation is illustrated.
  • a state where the external image 530 is displayed on the display screen 510 of the internal notification unit 130, that is, a state of the display screen 510 in a state where the external information is notified to the user is illustrated.
  • the external information is information indicating that “a person is approaching”, and as notification to the user of the external information, the image information obtained by capturing the external situation and the external situation are included.
  • the case where the recorded audio information is displayed as an external image and external audio on the display screen of the internal notification unit 130 and output from the audio output device will be described.
  • FIG. 4A a state where the content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user.
  • the display on the display screen 510 is switched to the external image 530 as shown in the lower part.
  • the output from the audio output device is also switched from the content audio to the external audio.
  • the display on the display screen 510 and the output from the audio output device are all switched to the external image 530 and the external audio.
  • FIG. 4B shows another specific example of notification state control.
  • a state where the content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user.
  • the person image (520) included in the external image 530 is displayed in the content image 520 on the display screen 510.
  • the audio output device outputs the external audio superimposed on the content audio.
  • the image of the person included in the external image 530 is superimposed on the content image 520 and displayed on the display screen 510.
  • the external audio is superimposed on the content audio and output.
  • FIG. 4C shows another specific example of the notification state control.
  • a state where the content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user.
  • the display of the content image 520 on the display screen 510 is reduced and the display screen 510 is displayed as shown in the lower part.
  • An external image 530 is displayed in part.
  • the audio output device outputs the external audio superimposed on the content audio.
  • FIG. 4C shows another specific example of the notification state control.
  • a part of the content image 520 and a part of the external image 530 are displayed on the display screen 510, but this embodiment is not limited to such an example, and the content The image 520 and the external image 530 may be displayed on the display screen 510 so as not to overlap each other.
  • the display screen 510 may be divided into two areas, and the content image 520 and the external image 530 may be displayed in the divided areas.
  • the content image 520 and the external image 530 are displayed in different areas of the display screen 510, respectively.
  • the external audio is superimposed on the content audio and output.
  • FIG. 4D shows another specific example of notification state control.
  • a state where a content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user.
  • an external image 530 is displayed in a partial area of the display of the content image 520 on the display screen 510 as shown in the lower part. It is displayed superimposed.
  • the audio output device outputs the external audio superimposed on the content audio.
  • the position where the external image 530 is superimposed on the content image 520 may be, for example, a direction in which a person included in the external image 530 (that is, a person trying to communicate) approaches the content image 520 when viewed from the user.
  • the audio output device may output the external sound to the user so that the external sound can be heard from the direction in which the external sound is generated using the stereophonic sound.
  • the external image 530 is superimposed on the content image 520 and displayed on the display screen 510.
  • the external audio is superimposed on the content audio and output.
  • the external image and the external sound are superimposed so that the direction in which the external information is detected is simultaneously notified.
  • FIG. 4E shows another specific example of the notification state control.
  • the display screen 510 can display various images three-dimensionally.
  • a state in which the content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user. If external information is detected in this state and it is determined that the necessity of the external information is high, the external image 530 is displayed three-dimensionally on the display of the content image 520 on the display screen 510 as shown in the lower part. It is displayed superimposed.
  • the audio output device outputs the external audio superimposed on the content audio.
  • the position where the external image 530 is superimposed and displayed on the content image 520 may be appropriately set by the user.
  • the external image 530 is displayed superimposed on the display on the display screen 510 and the output from the sound output device, and the external sound is superimposed and output.
  • the notification state control unit 142 when the necessity degree determined by the necessity degree determination unit 141 is high has been described above with reference to FIGS. 4A to 4E.
  • the notification state control unit 142 immediately notifies the user of external information. Therefore, since the user can quickly recognize the external information, the user can immediately take various measures against the external person, and can communicate more smoothly with the external person.
  • the notification state may be switched from the state in which the content information is notified to the state in which the external information is notified, or the state in which the content information is notified. A state in which external information is notified may be superimposed.
  • the direction in which the external information is detected may be notified simultaneously with the external information. By simultaneously notifying the direction in which the external information is detected, the user can recognize the external information more quickly.
  • the external image 530 or a part of the external image 530 is displayed superimposed on the content image 520, the external image 530 and a part of the external image 530 are displayed.
  • the image may be in a state where the content image 520 of the overlapped and displayed portion is visible to the user, or the content image 520 of the overlapped and displayed portion is not visible to the user. Good.
  • the specific method of notifying external information when the degree of necessity is high is not limited to the method shown in FIGS. 4A to 4E. In the present embodiment, when the degree of necessity is high, it is sufficient that external information is immediately notified to the user, and the specific notification method may be any method. In addition, the specific method for notifying external information, including the method shown in FIGS. 4A to 4E, may be set as appropriate by the user.
  • the notification state control unit 142 determines that the degree of necessity determined by the necessity degree determination unit 141 is “medium” (for example, less than the first threshold and the first threshold value). If it is equal to or greater than a second threshold value smaller than the value), the external information is notified to the user step by step. This is because the necessity of notifying external information is medium because it is considered that the external information need not be immediately notified to the user.
  • the switching of the display screen of the internal notification unit 130 will be mainly described with respect to the control of the notification state when the external information is notified to the user step by step.
  • FIG. 5 is an explanatory diagram for describing a specific example of notification state control by the notification state control unit 142 when the degree of necessity is medium.
  • FIG. 5 illustrates how the display on the display screen 510 of the internal notification unit 130 is switched in stages.
  • the external information is information indicating that “a person is approaching”, and image information obtained by capturing the external situation and the external situation are recorded as a notification to the user of the external information.
  • audio information is output from the display screen 510 and the audio output device of the internal notification unit 130 as an external image and external audio will be described.
  • the content image 520 is displayed on the display screen 510 of the internal notification unit 130 in the first row, that is, the user is working before external information is notified to the user.
  • the state of the display screen in the state is illustrated. In the state shown in the first stage, the content audio included in the content information is output from the audio output device and notified to the user.
  • the light pattern 540 is superimposed on the area and displayed.
  • the light pattern 540 may be a pattern that emits circular light, for example, and may be blinked on the display screen 510.
  • the light pattern 540 is information indicating that external information has been detected. Therefore, the user can recognize that external information has been detected by visually recognizing the light pattern 540 displayed on the display screen 510.
  • the audio output device When a predetermined time elapses in a state where the light pattern 540 is displayed on the display screen 510, the audio output device is displayed with the light pattern 540 superimposed on the display screen 510 as shown in the third row of FIG. Therefore, the external audio is superimposed on the content audio and output. Therefore, the user can recognize voice information among the external information.
  • the audio pattern is output while the external audio is superimposed on the content audio and output from the audio output device as shown in the fourth row in FIG.
  • the display of 540 disappears, and the external image 530 is displayed superimposed on a partial area of the display of the content image 520 on the display screen 510.
  • the light pattern 540 may continue to be displayed even in the state shown in the fourth row. Therefore, the user can recognize image information and audio information among the external information.
  • the external image 530 may be in a state where the content image 520 of the overlapped and displayed portion is visible to the user, or the content image of the overlapped and displayed portion of the external image 530 is displayed. 520 may not be visible to the user.
  • the notification state control unit 142 when the necessity degree determined by the necessity degree determination unit 141 is medium, notifies the user of external information step by step.
  • the notification state control unit 142 first, information indicating that external information has been detected is notified to the user as a display of the light pattern 540, then external sound is notified, and finally an external image is notified.
  • the time from the stage shown in the second stage to the transition to the stage shown in the third stage and the time from the stage shown in the third stage to the stage shown in the fourth stage may be appropriately set by the user. . Further, in each stage shown in FIG.
  • the notification state of the internal notification unit 130 may be controlled by an operation input from the user. For example, at each stage shown in FIG. 5, the external information notification process is continued as it is according to an operation input from the user, the external information notification process is interrupted at the current stage, or the external information notification process is stopped.
  • the notification state of the internal notification unit 130 may be switched to a state for notifying content information, or the notification state of the internal notification unit 130 may be switched to a state for notifying external information.
  • the operation input by the user for the selection may be performed by, for example, a button or a switch, or may be performed by performing a predetermined gesture toward the camera of the external information detection unit 110 illustrated in FIG.
  • the user can select whether to respond to the external information or to ignore the external information and concentrate on the work according to the situation, and the convenience for the user is improved.
  • the specific method of notifying external information when the degree of necessity is medium is not limited to the method shown in FIG. In the present embodiment, when the degree of necessity is medium, external information is notified to the user step by step, and it is only necessary that the user can select whether to correspond to the external information.
  • the method can be any method.
  • a specific method for notifying external information including the method shown in FIG. 5 may be set as appropriate by the user.
  • the notification state control unit 142 detects external information when the degree of necessity determined by the necessity degree determination unit 141 is “low” (for example, when it is less than the second threshold value). The user is notified of predetermined information indicating that this has been done. This is because the necessity of notifying external information is low because it is considered that the external information need not be immediately notified to the user.
  • switching of the display screen of the internal notification unit 130 is mainly performed for the control of the notification state when the user is notified of the predetermined information indicating that such external information has been detected. Will be described.
  • 6A to 6C are explanatory diagrams for describing a specific example of notification state control by the notification state control unit 142 when the necessity is low.
  • the display screen 510 of the internal notification unit 130 is illustrated in the upper and lower stages.
  • the content image 520 is displayed on the display screen 510 of the internal notification unit 130, that is, the display screen in a state where the user is working before external information is notified to the user. The situation is illustrated.
  • a state in which a predetermined image indicating that external information has been detected is displayed on the display screen 510 of the internal notification unit 130 is illustrated.
  • a state where the content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user.
  • a circle pattern 550 indicated by a broken line is superimposed on the display of the content image 520 on the display screen 510 as shown in the lower part. Displayed. For example, as many circular patterns 550 as the number of detected external information may be displayed in the direction in which the external information is detected when viewed from the user.
  • the circle pattern 550 may be displayed as large as the circle pattern 550 corresponding to the external information detected at a location closer to the user.
  • the user can recognize that some external information has been detected by visually recognizing that the circle pattern 550 is displayed on the display screen 510, and the user can recognize and display the display position of the circle pattern 550.
  • the detection direction and detection distance of the external information can be qualitatively recognized.
  • FIG. 6B a state where the content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user.
  • an elliptical pattern 560 is displayed in the non-display area of the content image 520 on the display screen 510 as shown in the lower part.
  • as many elliptical patterns 560 as the number of detected external information may be displayed in the left and right directions when the external information is detected when viewed from the user.
  • the elliptic pattern 560 may be displayed as large as the elliptic pattern 560 corresponding to the external information detected at a location closer to the user.
  • the user can recognize that some external information has been detected by visually recognizing that the ellipse pattern 560 is displayed on the display screen 510, and the user can recognize and display the display position of the ellipse pattern 560.
  • the detection direction and detection distance of the external information can be recognized qualitatively.
  • a state where the content image 520 included in the content information is displayed on the display screen 510 is illustrated in the upper part.
  • the content audio included in the content information is output from the audio output device and notified to the user.
  • a light pattern 540 is displayed in a partial area of the display of the content image 520 on the display screen 510 as shown in the lower part. It is displayed superimposed.
  • the light pattern 540 is the same as the light pattern 540 described with reference to the second drawing in FIG.
  • the light pattern 540 may be a pattern that emits circular light, for example, and may be blinked on the display screen 510.
  • the light pattern 540 may be displayed in a direction in which external information is detected as viewed from the user, for example.
  • the user can recognize that some external information has been detected by visually recognizing that the light pattern 540 is displayed on the display screen 510, and the user can visually recognize the display position of the light pattern 540.
  • the detection direction of the external information can be recognized qualitatively.
  • the notification state control unit 142 when the necessity degree determined by the necessity degree determination unit 141 is low has been described above with reference to FIGS. 6A to 6C.
  • the notification state control unit 142 notifies the user of predetermined information indicating that external information has been detected.
  • the circle pattern 550, the ellipse pattern 560, or the light pattern 540 is displayed on the display screen 510 as the predetermined information indicating that the external information has been detected. The fact is notified to that.
  • the notification state of the internal notification unit 130 may be controlled by an operation input from the user.
  • a notification process of predetermined information indicating that external information has been detected is continued or an external information has been detected by an operation input from the user. It is appropriately selected whether to stop the notification process of the predetermined information and switch the notification state of the internal notification unit 130 to the state of notifying the content information, or switch the notification state of the internal notification unit 130 to the state of notifying the external information May be.
  • the operation input by the user for the selection may be performed by, for example, a button or a switch, or may be performed by performing a predetermined gesture toward the camera of the external information detection unit 110 illustrated in FIG.
  • the user can select whether to respond to the external information or to ignore the external information and concentrate on the work according to the situation, and the convenience for the user is further improved.
  • the method shown in FIGS. 6A to 6C only predetermined information indicating that external information has been detected is notified to the user, so content information is notified to the user compared to the method shown in FIG. I can't interfere. Therefore, since the user is notified only that external information has been detected without interfering with the user's work, if the user determines that there is no need to respond to the external information, the user can concentrate on the work as it is. can do.
  • the specific method of notifying external information when the degree of necessity is low is not limited to the method shown in FIGS. 6A to 6C.
  • the user when the degree of necessity is low, the user is notified of predetermined information indicating that external information has been detected, and it is only necessary that the user can select whether to correspond to the external information.
  • the specific notification method may be any method.
  • the audio output device of the internal notification unit 130 outputs a predetermined sound such as a buzzer or an alarm superimposed on the content audio output, thereby notifying the user that external information has been detected. May be.
  • a specific notification method that external information has been detected including the method shown in FIGS. 6A to 6C, may be appropriately set by the user.
  • the specific example of the notification state control by the notification state control unit 142 has been described above in detail with reference to FIGS. 4A to 4E, 5, and 6A to 6C.
  • the specific example described above is an example of the notification state control in the present embodiment, and the specific method is not limited to the above method as long as appropriate notification state control according to the degree of necessity is performed.
  • a person who is trying to communicate with a user based on an external person's face image in the image information included in the external information, an external person's ID information in the device information included in the external information, or the like.
  • information such as the name of the person may be displayed superimposed on the person image of the external image 530 displayed on the display screen 510.
  • information representing the SNS for example, the SNS
  • the notification state control by the notification state control unit 142 may be switched based on the detected external information.
  • the above [1-2.
  • the notification state control device when specific external information indicating an emergency situation is detected, the necessity of the external information is determined to be high, but such external information is immediately received by the user. Of course, it is required to be notified more reliably. Accordingly, when specific external information indicating an emergency situation is detected, as shown in FIG. 4A, the display on the display screen 510 of the internal notification unit 130 and the output of the audio output device are immediately converted into an external image and external audio. It may be switched.
  • the notification state control unit 142 notifies the user of predetermined information indicating that external information has been detected.
  • the present embodiment is not limited to such an example.
  • the display on the display screen and the audio output of the internal notification unit 130 are not changed, that is, the external information may not be notified to the user.
  • the degree of necessity is low, whether or not to notify predetermined information indicating that external information has been detected may be appropriately set by the user. Therefore, when the user wants to concentrate on the work, if the necessity is low, the user can be prevented from being notified even that the external information has been detected, and the user's work can be prevented from being disturbed more. be able to.
  • the determination criterion may be appropriately set by the user.
  • the specific notification status of the external information according to the necessity by the notification status control unit 142 depends on the type of the external information. And may be set as appropriate by the user. For example, when specific external information is detected, the user sets a determination criterion in the necessity determination unit 141 so as to determine a high necessity for the notification, and the notification state control unit 142 further sets the specific criterion.
  • the notification state control method may be set as appropriate from FIGS.
  • notification state control unit 142 switches the notification state in the internal notification unit 130 to an external image and an external sound as shown in FIG. 4A.
  • the notification state control unit 142 switches the notification state in the internal notification unit 130 to an external image and an external sound as shown in FIG. 4A.
  • the user wants to check the external appearance for the time being when an acquaintance person (acquaintance) approaches the user is in the case where the external person who has approached is acquainted with the user.
  • the necessity determination unit 141 determines that the necessity is high, and the notification state control unit 142 determines the notification state in the internal notification unit 130 as shown in FIGS. 4B to 4E.
  • the processing in the necessity determination unit 141 and the notification state control unit 142 can be set so that both are displayed and output. Furthermore, in this case, after confirming the external information notified by being superimposed on the content information, the user performs an operation of switching the display screen and the audio output device of the internal notification unit 130 as appropriate, and continues the work or Whether to communicate with a person or to communicate while continuing work may be selected according to the situation.
  • the user can set the notification state according to the necessity criterion in the necessity determination unit 141 and the necessity degree in the internal notification unit 130, so that the detailed notification reflecting the user's intention and intention is reflected. State control can be performed.
  • FIG. 7 is a flowchart illustrating a processing procedure in the notification state control method according to the first embodiment of the present disclosure.
  • the functions and configurations of the external information detection unit 110, the internal information detection unit 120, the internal notification unit 130, and the control unit 140 are described above with reference to FIG. Therefore, detailed description is omitted.
  • step S701 the content information is notified to the user by the internal notification unit 130. Specifically, the content image included in the content information is displayed on the display screen of the internal notification unit 130, and the content audio included in the content information is output by the audio output device of the internal notification unit 130. That is, the state shown in step S701 is a state where the user is working.
  • step S703 it is determined whether or not external information has been detected.
  • the determination may be performed by the necessity determination unit 141 based on external information transmitted from the external information detection unit 110, for example. Further, the determination of whether or not the external information is detected here may be determination of whether or not the external information detected by the external information detection unit 110 has changed. When it is determined that the external information is not detected, the notification of the content information is continued as it is until it is determined that the external information is detected. If it is determined that external information has been detected, the process proceeds to step S705.
  • step S705 the internal information acquisition unit 143 acquires internal information. Specifically, a command is issued from the internal information acquisition unit 143 to the internal information detection unit 120 to detect internal information, and the internal information detected by the internal information detection unit 120 based on the command is The information acquisition unit 143 may acquire the information. However, when the internal information is not used in the necessity determination process by the necessity determination unit 141 in step S707 described later, the process in step S705 may be omitted.
  • the necessity determination unit 141 determines the necessity of notification of the external information to the user based on the external information and / or the internal information.
  • the degree of necessity is as described in [1-2. As described in [Configuration of Notification State Control Device], it may be expressed by several stages such as “high”, “medium”, and “low”, or may be expressed by a score.
  • the notification state control unit 142 controls the notification state in the internal notification unit 130 based on the degree of necessity determined by the necessity degree determination unit 141 in step S707. Specifically, for example, the notification state control unit 142 performs the above [1-3. Notification state control based on the degree of necessity is performed as described in “Specific Example of Notification State”.
  • step S711 various actions are taken on the outside by the user based on the notification state controlled in step S709. Specifically, when the degree of necessity is high, external information is immediately notified to the user, so the user removes the shielded HMD device 10 through the shielded HMD device 10 or to an external person. You can try to communicate. In addition, when the necessity is moderate, external information is notified step by step to the user, so that the user can immediately communicate with an external person or perform his / her own work to some extent. You can select the response depending on the situation, such as trying to communicate with external people after giving priority.
  • the user when the necessity is low, the user is not notified of the external information as it is, but is notified that the external information has been detected, so the user immediately communicates with an external person. You can choose to respond according to the situation, such as trying to do it or ignoring outsiders and continuing your work.
  • Second Embodiment> a second embodiment of the present disclosure will be described. Note that the second embodiment of the present disclosure corresponds to a configuration in which some functions and configurations are added to the first embodiment described above. Therefore, in the following description of the second embodiment, differences from the first embodiment will be mainly described, and detailed description of functions and configurations overlapping with those of the first embodiment will be omitted. .
  • FIG. 8A and FIG. 8B are perspective views illustrating an example of an appearance of a shielded HMD device according to the second embodiment of the present disclosure.
  • FIG. 8A is a perspective view showing the shielded HMD device 20 according to the second embodiment as viewed from the outside.
  • FIG. 8B is a perspective view showing the shielded HMD device 20 according to the second embodiment as viewed from the inside.
  • the shielded HMD device 20 includes a main body part 210 and a band part 320.
  • the shielded HMD device 20 shown in FIGS. 8A and 8B is different from the shielded HMD device 10 shown in FIGS. 1A and 1B in that an external display unit 315 is added outside the goggle-shaped portion of the main body 310. This corresponds to a change in the function of a control unit (not shown) provided in the main body unit 210.
  • FIGS. 1A and 1B the functions and configurations of the camera 311, the microphone 312, the internal display units 313 a and 313 b, the line-of-sight sensor units 314 a and 314 b, and the band unit 320 provided in the main body 310 of the shielded HMD device 20 are illustrated in FIGS. 1A and 1B. Since the functions and configurations of these members in the shielded HMD device 10 described above are the same, detailed description thereof is omitted.
  • an external display unit 315 that visually presents various types of information to the outside is provided on the surface of the main body unit 310 facing the outside of the goggle-shaped part.
  • the external display unit 315 has a display screen facing the outside, and displays various types of information on the display screen in various formats such as images, text, graphs, tables, etc. Present visually.
  • the external display unit 315 only needs to be able to visually present various types of information, and the form of the external display unit 315 is not limited to a form having a display screen as shown in FIG. 8A.
  • the external display unit 315 may be one or a plurality of lamps such as an LED (Light Emitting Diode), and the lamps emit light in different colors, blink at different speeds, emit light at different brightness, Information may be presented by driving the lamp such that only the lamp emits light.
  • the shielded HMD device 20 may include a sound output unit such as a speaker device that audibly presents various types of information to the outside.
  • the shielded HMD device 20 according to the second embodiment includes an external display unit 315, an audio output unit, and the like in addition to the configuration of the shielded HMD device 20 according to the first embodiment. It has a configuration for presenting various types of information.
  • the control unit provided in the main body unit 210 notifies the user of the external information based on the detected external information. The state is switched.
  • the information is displayed as an image on the display screens of the internal display units 313a and 313b, or the information is output as audio from the audio output unit. It may be to notify the information.
  • information indicating the user's reaction to the external information (hereinafter also referred to as user response information) based on the notification state of the external information to the user is external to the user.
  • the presentation state to be presented is switched.
  • Presenting information to the outside of the user means displaying the information as an image on the display screen of the external display unit 315 or outputting the information from the audio output unit to the outside as audio.
  • the information may be presented visually and audibly to the outside.
  • the shielded HMD device 20 is a presentation state control device that controls the presentation state of user reaction information to the outside.
  • a series of processes in the presentation state control performed by the shielding HMD device 20 is referred to as a presentation state control process.
  • the shielded HMD device 20 since various types of information processing in the presentation state control process are performed in the shielded HMD device 20, the shielded HMD device 20 is also referred to as the information processing device 20.
  • FIG. 9 is a functional block diagram illustrating a configuration example of the shielding HMD device 20 according to the second embodiment of the present disclosure.
  • the shielded HMD device 20 according to the second embodiment includes an external information detection unit 110, an internal information detection unit 120, an internal notification unit 130, an external presentation unit 250, and a control unit 240.
  • the function and structure of the external information detection part 110, the internal information detection part 120, and the internal notification part 130 among the structures of the shielding type HMD apparatus 20 it concerns on 1st Embodiment demonstrated with reference to FIG.
  • the external presentation unit 250 is driven by the control unit 240 and presents information indicating a reaction to the user's external information to the outside of the user.
  • the presentation of information to the outside includes visual presentation and auditory presentation.
  • the external presentation unit 250 has a display screen, displays user reaction information on the display screen in various formats such as an image, text, graph, and table, and visually presents the information to the outside of the user.
  • the external presentation unit 250 includes an audio output device such as a speaker, and outputs user reaction information as audio from the audio output device, and presents it audibly to the outside of the user.
  • the external presentation unit 250 may have a function as a display unit that displays the user reaction information on the display screen and a function as a sound output unit that outputs the user reaction information as a sound.
  • the configuration of the external presentation unit 250 as a display unit is a configuration corresponding to the external display unit 315 shown in FIG. Is provided on the surface.
  • the control unit 240 controls the shielded HMD device 20 in an integrated manner and performs various types of information processing in the presentation state control process according to the present embodiment.
  • the function and configuration of the control unit 240 will be described in detail.
  • the control unit 240 includes a necessity determination unit 141, a notification state control unit 142, an internal information acquisition unit 143, a perception level determination unit 244, and a presentation state control unit 245.
  • a necessity determination unit 141 the functions and configurations of the necessity determination unit 141, the notification state control unit 142, and the internal information acquisition unit 143 have been described with reference to FIG.
  • the functions and configurations of the necessity determination unit 141, the notification state control unit 142, and the internal information acquisition unit 143 of the control unit 140 of the shielded HMD device 10 according to the embodiment are the same.
  • the necessity determination unit 141 needs to notify the user of the external information based on the external information representing the external situation of the user.
  • the notification state control unit 142 switches the notification state of the external information to the user based on the determined degree of necessity.
  • the degree of necessity of notifying the user of external information is determined, and the notification state of the external information is controlled based on the determined degree of necessity.
  • the notification state control unit 142 transmits information about the notification state of the external information to the perception level determination unit 244 and the presentation state control unit 245.
  • the internal information acquisition unit 143 may transmit the acquired internal information to the perception level determination unit 244 and the presentation state control unit 245 in addition to the necessity level determination unit 141.
  • the perception level determination unit 244 determines the perception level of the user's external information based on at least one of the notification state switched by the notification state control unit 142 and the internal information acquired by the internal information acquisition unit 143.
  • the degree of perception of external information by the user is an index representing the degree of perception of external information by the user. For example, if the notification state of the external information to the user is a state in which the external information is immediately notified to the user as shown in FIGS. 4A to 4E, the external information is explicitly shown to the user by the internal notification unit 130. Therefore, it is considered that the degree of perception of the external information by the user is relatively high.
  • the perception level determination unit 244 can relatively determine the perception level of the user with respect to the external information based on the notification state of the external information with respect to the user switched by the notification state control unit 142.
  • the perception level determination unit 244 determines the perception level of the user's external information based on the internal information
  • the perception level determination unit 244 may be based on, for example, the user's biological information or line-of-sight information included in the internal information.
  • the perception level can be determined. For example, when information indicating that the user's eyes are closed is detected as the line-of-sight information, even if an external image included in the external information is displayed on the display screen of the internal notification unit 130, the user Therefore, the perception level determination unit 244 can determine that the perception level of the user by the user is relatively low.
  • the user's line of sight is based on the line of sight information.
  • the degree of perception of the external information by the user may be determined based on whether or not the external image is directed to the area where the external image is displayed on the display screen of the internal notification unit 130. For example, when a person trying to communicate with the user is reflected in the external image, the user looks at the external image displayed in a partial area of the display screen 510 of the internal notification unit 130. If the user is not directed, the user can recognize that there is a person who is trying to communicate with him, but cannot recognize who the person is.
  • the perception level determination unit 244 can determine that the perception level of the user with respect to the external information is relatively low.
  • the perception level determination unit 244 can determine that the perception level of the user with respect to the external information is relatively high.
  • the perception level determination unit 244 may determine the perception level based on content information included in the internal information. Specifically, for example, as shown in FIGS. 5 and 6A to 6C, when external information is notified step by step or information indicating that external information has been detected, the user's biometric information In addition, the user's degree of immersion in the content may be determined based on the content information, and the degree of perception of the user's external information may be determined based on the degree of immersion. For example, if the degree of immersion in the content is high, the user is aware of these notifications when the external information is being notified step by step or when information indicating that the external information has been detected is being notified.
  • the perception level determination unit 244 can determine that the perception level of the user's external information is relatively low.
  • the determination of the degree of immersion by the perception level determination unit 244 is the above described [1-2. Similar to the determination of the degree of immersion by the necessity determination unit 141 described in “Configuration of Shielded HMD Device”, for example, the user's posture (for example, the tilt of the neck) obtained from the motion information, the head motion, and the like. It is determined based on information, information such as the user's pulse, heartbeat, and line-of-sight information acquired from biometric information, and / or information on each scene acquired from content information and information on “swelling degree” May be.
  • a table in which the notification state, the type of internal information, and the perception degree are associated is prepared, and the perception degree determination unit 244 stores the table.
  • the degree of perception may be determined by referring to it.
  • a predetermined score is assigned to each notification state and type of internal information, and the perception level determination unit 244 may determine the perception level based on the score.
  • the degree of perception of the external information by the user is judged as several stages or as a score, so that the user not only has a binary state of “perceiving” or “not perceiving” the external information. For example, it is possible to express a more detailed perceived state of the external information by the user, such as “a state in which it is recognized that external information has been detected but has not recognized the content of the external information”.
  • the presentation state control unit 245 switches the presentation state for presenting information indicating a reaction to the external information of the user to the outside of the user based on the notification state switched by the notification state control unit 142.
  • to present the user reaction information to the outside means that the user reaction information is displayed as an image on the display screen of the external presentation unit 250 or is output as a sound from the audio output device of the external presentation unit 250.
  • the user response information may be presented visually or audibly to the outside.
  • the user response information also includes information about whether the user is responding to external information, that is, whether the user is recognizing the external information.
  • the presentation state control may be control for switching the presentation state of the user reaction information to the outside.
  • the notification state control unit 142 performs different notification state control depending on the necessity.
  • the presentation state control unit 245 may control the presentation state according to the difference in the notification state according to the necessity. For example, if the notification state of the external information to the user is a state in which the external information is immediately notified to the user as shown in FIGS. 4A to 4E, the external information is displayed to the user by the display screen of the internal notification unit 130. Therefore, the presentation state control unit 245 displays information on the display screen of the external presentation unit 250 that the user is viewing the external image. In the present embodiment, as information indicating that the user is viewing the external image, for example, a pattern that imitates the user's eyes may be displayed on the display screen of the external presentation unit 250.
  • the presentation state control unit 245 Information indicating that the user is not viewing the external image is displayed on the display screen of the external presentation unit 250.
  • information indicating that the user is not viewing the external image for example, a cross or a character string indicating that may be displayed on the display screen of the external presentation unit 250.
  • the information indicating that the user is viewing or not viewing the external image included in the external information is displayed on the display screen of the external presentation unit 250.
  • the presentation state control unit 245 may switch the presentation state based on the internal information acquired by the internal information acquisition unit 143. Specifically, the presentation state control unit 245 may switch the presentation state based on, for example, the user's line-of-sight information included in the internal information. For example, as described above, when a pattern imitating the user's eyes is displayed on the display screen of the external presentation unit 250 as information indicating that the user is viewing an external image, the presentation state control unit 245 Based on the information, the display of the pattern imitating the eyes may be changed to represent the state of the user's eyes.
  • the display of the pattern simulating the eyes on the display screen of the external presentation unit 250 may change so that the eyelids move up and down (so that the eyes open and close). Further, for example, the display of the pattern imitating the eyes on the display screen of the external presentation unit 250 may change corresponding to the change in the user's line of sight.
  • the display of the pattern imitating the eyes on the display screen of the external presentation unit 250 changes corresponding to the change of the user's line of sight
  • the user is included in the external image displayed on the display screen of the internal notification unit 130 If the line of sight is directed, the pattern imitating the eyes on the display screen of the external presentation unit 250 is also displayed so that the line of sight is directed toward the person.
  • the display screen of the external presentation unit 250 displays a trace of the user's line of sight, so that a person who is trying to communicate with the user from the outside faces the user's line of sight. Therefore, it is possible to recognize whether the user is aware of himself / herself.
  • the presentation state control unit 245 may switch the presentation state according to other information included in the internal information, for example, user information or content information other than the line-of-sight information. For example, the presentation state control unit 245 may switch the presentation state based on whether the user is at home or at the office based on the position information of the user. For example, if the user is at home, the outside person who wants to communicate with the user is considered to be a family member or friend, but if the user is at the office, he tries to communicate with the user. External people are thought to be bosses, customers, etc. who have a working relationship. Accordingly, the presentation state control unit 245 may display the user reaction information that represents the same meaning to the outside even if the outside person feels relatively familiar when presenting at home.
  • the presentation state control unit 245 may display the user reaction information that represents the same meaning to the outside even if the outside person feels relatively familiar when presenting at home.
  • the presentation state control unit 245 may switch the presentation state based on the perception level determined by the perception level determination unit 244. For example, when the pattern imitating the user's eyes is displayed on the display screen of the external presentation unit 250 as information indicating that the user is looking at the external image as described above, the presentation state control unit 245 You may change the display of the pattern which imitated eyes based on the degree. As described above, depending on the degree of perception, for example, the user only has a binary state of “seeing (perceiving)” or “not seeing (not perceiving)” an external image included in the external information. Instead, “a state in which the external image is recognized but not in the content of the external image” can be expressed.
  • a pattern simulating eyes may be clearly displayed on the display screen of the external presentation unit 250 so as to indicate that the user recognizes the external image properly.
  • the degree of perception is relatively low, nothing may be displayed on the display screen of the external presentation unit 250 to indicate that the user does not recognize the external image much.
  • external presentation For example, a pattern that simulates an eye may be displayed in a blurred manner on the display screen of the unit 250 or a pattern that closes the eye may be displayed.
  • the display reflecting the degree of perception of the user is displayed on the display screen of the external presentation unit 250, so that the person who is trying to communicate with the user from the outside recognizes himself / herself. You can know if you are.
  • presentation state control by the presentation state control unit 245 is described in [2-3. Detailed example of presentation state].
  • presentation state control by the notification state control unit 142 is described in [2-3. Detailed example of presentation state].
  • notification state control by the notification state control unit 142 is described in [2-3. Detailed example of presentation state].
  • presentation state control by the presentation state control unit 245 the following [2-4. Specific examples of notification state and presentation state] will be described in detail.
  • the configuration example of the shielded HMD device 20 according to the second embodiment of the present disclosure has been described in detail above with reference to FIG.
  • Each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • about the control part 240, CPU etc. may perform all the functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • the hardware configuration of the shielded HMD device 20 is described in ⁇ 3. Hardware configuration> will be described in detail.
  • the second embodiment based on the notification state of the external information switched by the notification state control unit 142 by the presentation state control unit 245 based on the notification state of the user.
  • the presentation state in which information indicating the reaction to the external information is presented to the outside of the user is switched. Therefore, in the second embodiment, the following effects can be obtained in addition to the effects obtained by the first embodiment. That is, in the second embodiment, since a reaction to the external information of the user is presented to the external person, the external person is trying to communicate with the user by the external information (for example, himself / herself). It is possible to recognize the user's state such as whether or not he / she is aware of it, and to take an appropriate response according to the user's state. Therefore, smoother communication between the user and an external person is realized.
  • the notification state of the external information switched by the notification state control unit 142 by the perception level determination unit 244 and the internal information acquired by the internal information acquisition unit 143 by the notification state control unit 142 is used. Based on this, the degree of perception of the user's external information is determined. And the presentation state control part 245 may switch the presentation state which presents the information which shows the reaction to the said external information of a user with respect to the exterior of a user based on at least any one of internal information and a perception degree.
  • the presentation state reflects, for example, information indicating the user's state, such as line-of-sight information, and the degree of perception of the user's external information, so that an external person can only determine whether the user is aware of the external information.
  • information indicating the user's state such as line-of-sight information
  • the degree of perception of the user's external information so that an external person can only determine whether the user is aware of the external information.
  • communication between the user and external people can be made smoother. .
  • the notification state in the external presentation unit 250 is controlled based on the notification state, the degree of perception, and / or internal information, and the operation input by the user May be switched as appropriate. That is, the display on the display screen of the external presentation unit 250 and the output from the audio output device may be changed by appropriately inputting a command to the presentation state control unit 245 from the user.
  • the operation input by the user for switching the presentation state control may be performed by, for example, a button or a switch, or by performing a predetermined gesture toward the camera of the external information detection unit 110 illustrated in FIG. May be.
  • the presentation state control unit 245 switches the presentation state of the user response information to the outside by displaying a pattern that imitates the user's eyes on the display screen of the external presentation unit 250 .
  • the presentation state control unit 245 may display a more direct message such as characters and symbols on the display screen of the external presentation unit 250, or may display a pattern other than the eyes.
  • the display unit of the external presentation unit 250 has a lamp or the like instead of a display screen, the presentation state of the user reaction information to the outside may be switched by controlling the driving of the lamp.
  • the presentation state control unit 245 may switch the presentation state to the outside by controlling the output of the audio output device of the external presentation unit 250.
  • the presentation state control unit 245 may switch the presentation state to the outside by controlling the output of the audio output device of the external presentation unit 250.
  • a sound indicating a reaction to the user's external information may be output from the sound output device of the external presentation unit 250.
  • the voice may be a voice of a person (for example, a user) or a sound such as a buzzer or an alarm.
  • An external person can recognize the state of the user by listening to the sound output from the sound output device of the external presentation unit 250.
  • the shielded HMD device 20 includes the external information detection unit 110, the internal information detection unit 120, the internal notification unit 130, the external presentation unit 250, and the control unit 240. Is not limited to such an example.
  • the shielded HMD device 20 is mutually connected with an input unit for a user to input various information, a storage unit for storing various information processed in the shielded HMD device 20, and other external devices. You may further have structure, such as a communication part for transmitting / receiving various information.
  • the shielded HMD device 20 may not be configured by a single device, and each function provided in the shielded HMD device 20 may be arbitrarily separated into a plurality of devices.
  • the control unit 240 is owned by another device, for example, the user.
  • a device installed on an arbitrary information processing device such as a smartphone or tablet PC, or a server installed in another location, and a device mounted on the user and an information processing device mounted with the control unit 240 are connected to an arbitrary communication network ( Various processes in the shielded HMD device 20 described above may be performed by transmitting and receiving various types of information to and from each other via a network.
  • FIGS. 10A, 10B, 11, 12A, and 12B show a state in which the human 600 wearing the shielded HMD device 20 according to the second embodiment is viewed from the front.
  • FIG. 10A and FIG. 10B are explanatory diagrams for describing a specific example of control of the display screen of the external presentation unit 250 by the presentation state control unit 245 in a state where external information is not notified to the user.
  • the state where external information is not notified to the user corresponds to, for example, a case where the necessity determination unit 141 illustrated in FIGS. 2 and 9 determines that the necessity of notifying external information is low. ing.
  • a horizontal line is displayed on the display screen 610 facing the outside of the shielded HMD device 20.
  • the display screen 610 corresponds to the display screen of the external presentation unit 250 shown in FIG.
  • a horizontal line is displayed on the display screen 610, so that the external information is displayed to the user.
  • the fact that the information is not notified may be presented to the outside.
  • the external information is information indicating that an external person has approached the user
  • the external person who has approached can recognize that the user has not yet noticed himself.
  • the user can be notified of external information that he / she wants to communicate.
  • a symbol indicating prohibition is displayed on the display screen 610 facing the outside of the shielded HMD device 20 together with the characters “DO NOT DISTURB”.
  • the external information is information that an external person has approached the user, the external person who has approached recognizes that the user has not yet noticed himself and that the user wants to concentrate on the work. Therefore, if it is not urgent, it is possible to take an appropriate response according to the situation, such as trying to contact the user again at an opportunity.
  • a display screen 610 for the outside such as a horizontal line shown in FIG. 10A
  • a display indicating that the user is not aware of the external information may be made.
  • information indicating that the user wants to concentrate on work may be displayed on the display screen 610 as shown in FIG. 10B.
  • FIG. 11 is an explanatory diagram for describing a specific example of control of the display screen of the external presentation unit 250 by the presentation state control unit 245 based on the user's line-of-sight information.
  • external information is notified to the user, and as an example of a display indicating that, a pattern that imitates the user's eyes on the display screen of the external presentation unit 250 shown in FIG. 9. The case where is displayed is shown.
  • a pattern imitating the eyes of the user is displayed on the display screen 610 facing the outside of the shielded HMD device 20. Also, as shown in FIG. 11, the display on the display screen 610 is changed so that the pattern simulating the eyes moves according to the user's line of sight. As described with reference to FIG. 9, this is because the presentation state control unit 245 displays the display screen of the external presentation unit 250 based on the user's line-of-sight information included in the internal information. It corresponds to controlling the display of the pattern imitating eyes. Thus, in a state where external information is notified to the user, a pattern simulating the eyes displayed on the display screen 610 may be displayed so as to move according to the user's line of sight. Therefore, an external person who visually recognizes the display screen 610 can recognize whether or not the user is aware that he / she is approaching, and can also recognize whether or not the user is looking at the user. It is possible to communicate more smoothly with the user.
  • 12A and 12B show another specific example of control of the display screen of the external presentation unit 250 by the presentation state control unit 245 based on the user's line-of-sight information.
  • 12A and 12B are explanatory diagrams for explaining another specific example of the control of the display screen of the external presentation unit 250 by the presentation state control unit 245 based on the user's line-of-sight information.
  • the display screen 610 facing the outside of the shielded HMD device 20 displays a pattern imitating the eyes of the user, but displays a pattern indicating that the eyes are closed. Yes.
  • the display screen 610 displays a pattern that imitates the eyes of the user, but displays a pattern indicating blinking.
  • the display screen 610 may display not only the user's line of sight but also any information representing the eye state, such as the user's eyelid state and eye open / closed state. For example, when the user sheds tears, information indicating that the user is crying may be displayed on the display screen 610. Accordingly, since a person outside can recognize the user's state in more detail, it is possible to communicate more smoothly with the user.
  • various types of information representing the state of the user's eyes may be displayed on the external display screen 610.
  • the importance of the information obtained from the state of the eyes as well as the information obtained by words is pointed out.
  • FIGS. 13 and 14 are explanatory diagrams for describing a specific example of the relationship between the notification state control by the notification state control unit 142 and the presentation state control by the presentation state control unit 245.
  • the display screen of the internal notification unit 130 shown in FIG. 9 is sequentially changed on the left side of the drawing, and the external presentation corresponding to the change of the display screen of the internal notification unit 130 is shown on the right side of the drawing.
  • the state in which the display screen of the unit 250 changes in order is illustrated.
  • FIG. 13 shows an example of the case shown in FIG. 4A, that is, the display on the display screen 510 of the internal notification unit 130 and the output from the audio output device are changed from the content image 520 and the content audio to the external image 530 and The case where it can switch to an external sound is shown.
  • FIG. 14 shows, as a specific example, the case shown in FIG. 4D, that is, the external image 530 is displayed superimposed on a partial area of the display of the content image 520 on the display screen 510 of the internal notification unit 130. The case where external audio is superimposed on content audio and output by an output device is shown.
  • a content image is displayed on the display screen 510 of the internal notification unit 130, and content audio is output from the audio output device of the internal notification unit 130. That is, the state shown in the first row is a state in which content information is notified to the user, and the user is working. In this way, in the state shown in the first row, no external information is detected and no notification is given to the user, so nothing is displayed on the display screen 610 of the external presentation unit 250. Absent.
  • external information for example, information that an external person has approached the user
  • the display on the display screen 510 of the internal notification unit 130 and the output from the audio output device are contents.
  • a transition state in which the image 520 and the content sound are switched to the external image 530 and the external sound is shown.
  • a state in which nothing is displayed on the display screen 510 is a predetermined time in order to indicate to the user that the display screen 510 transitions. It may be provided.
  • the user can recognize that some external information has been detected by switching the display screen 510 to a state in which nothing is displayed.
  • the state shown in the second row is “a state where the user recognizes that external information has been detected but does not recognize the content of the external information” for the user. Therefore, information indicating that may be displayed on the display screen 610 of the external presentation unit 250.
  • information indicating that may be displayed on the display screen 610 of the external presentation unit 250.
  • FIG. 13 in order to indicate that the user is “a state where the user recognizes that the external information has been detected but has not recognized the content of the external information”, as shown in FIG. 12A. A pattern with closed eyes is displayed. By switching the display on the display screen 610 in this manner, an external person approaching the user can recognize that the user has not yet recognized the content of the external information.
  • the display of the display screen 610 for indicating that the user is “a state in which the external information is detected but not in the external information” is displayed in the two rows of FIG. It is not limited to the example shown in the eyes, and other patterns may be displayed as long as it can be presented to an external person.
  • FIG. 13 shows a state immediately after the display on the display screen 510 of the internal notification unit 130 and the output from the audio output device are switched to the external image 530 and the external audio.
  • the user can recognize the external situation.
  • a pattern imitating the user's eyes is displayed on the display screen 610 of the external presentation unit 250 to indicate that the user is viewing the external image 530.
  • the state shown in the third row is a state immediately after the display on the display screen 510 is switched to the external image 530, the user is viewing the entire external image 530, and the person included in the external image 530 is displayed. They are not looking at them.
  • the pattern imitating the eyes displayed on the display screen 610 is displayed to indicate that the user's line of sight is facing the front.
  • the fourth row of FIG. 13 shows a state in which the display on the display screen 510 of the internal notification unit 130 and the output from the audio output device are switched to the external image 530 and the external audio, and the external person who the user is approaching is recognized. ing.
  • the user recognizes that an external person is approaching by visually recognizing the external image 530 displayed on the display screen 510 and directs his / her line of sight to the person in the external image 530.
  • the display screen 610 of the external presentation unit 250 displays a pattern that imitates the user's eyes in order to indicate that the user is viewing the external image 530. As shown, it is displayed facing the direction of an external person approaching (in the example shown in FIG. 13, the right direction when viewed from the user). By switching the display on the display screen 610 in this manner, an external person approaching the user can recognize that the user is looking at him / her.
  • the state shown in the first stage is the same as the state shown in the first stage of FIG. That is, the state shown in the first row is a state in which content information is notified to the user, and nothing is displayed on the display screen 610 of the external presentation unit 250.
  • a pattern with closed eyes as shown in 12A is displayed.
  • the display on the display screen 610 of the external presentation unit 250 is displayed for a predetermined time after the external information is displayed on the display screen 510 of the internal notification unit 130 by the presentation state control unit 245 shown in FIG. May be controlled.
  • FIG. 14 when both the content image 520 and the external image 530 are displayed on the display screen 510 of the internal notification unit 130, at the moment when the external image is displayed on the display screen 510 of the internal notification unit 130.
  • the external image 530 cannot be viewed immediately, and a predetermined time is required to recognize the content of the external image 530. Because it is.
  • the display on the display screen 610 is switched as shown in the second row of FIG. 14, an external person approaching the user recognizes that the user has not recognized the content of the external information. Can do.
  • the display on the display screen 610 indicating that the user is “a state in which the external information has been detected but not the content of the external information” is shown in the two rows of FIG. It is not limited to the example shown in the eyes, and other patterns may be displayed as long as it can be presented to an external person.
  • the external image 530 is superimposed and displayed on a partial area of the display of the content image 520 on the display screen 510 of the internal notification unit 130, and external audio is superimposed on the content audio by the audio output device.
  • a predetermined time has elapsed since the output. Since a predetermined time has elapsed since the external information is displayed on the display screen 510 of the internal notification unit 130, the user is in a state of recognizing the external situation. Accordingly, a pattern imitating the user's eyes is displayed on the display screen 610 of the external presentation unit 250 to indicate that the user is viewing the external image 530.
  • the display on the display screen 510 is switched to the external image 530, the user does not point his / her eyes at the person included in the external image 530. Therefore, the pattern imitating the eyes displayed on the display screen 610 is displayed to indicate that the user's line of sight is facing the front.
  • an external person approaching the user can recognize that the user is looking at the external image, and the user is based on the display position of the pattern that imitates the eyes. Can recognize that he is not looking at himself.
  • the fourth row in FIG. 14 is the same state as the fourth row in FIG. 13, and the display on the display screen 510 of the internal notification unit 130 and the output from the audio output device are switched to the external image 530 and the external audio.
  • the state is shown.
  • the user recognizes that an external person is approaching by visually recognizing the external image 530 displayed on the display screen 510 and directs his / her line of sight to the person in the external image 530.
  • a pattern imitating the user's eyes is displayed on the display screen 610 of the external presentation unit 250 to indicate that the user is looking at the external image 530. Is displayed facing the direction of an external person approaching (in the example shown in FIG. 14, the right direction when viewed from the user). By switching the display on the display screen 610 in this manner, an external person approaching the user can recognize that the user is looking at him / her.
  • the display screen 610 of the external presentation unit 250 displays the user's external information.
  • Information representing the reaction is displayed.
  • the information displayed on the display screen 610 reflects the notification state by the internal notification unit 130, the degree of perception of the user's external information, and / or internal information.
  • the external person can take an appropriate action for communication, for example, waiting for the user's line of sight to face himself / herself before talking.
  • the display on the display screen 510 and the display on the display screen 610 shown in FIGS. 13 and 14 do not necessarily change in the order shown in these drawings, and do not change as a predetermined time elapses. Also good.
  • the display on the display screen 510 and the display on the display screen 610 may be switched as appropriate by an operation input by the user. For example, in the example shown in FIG. 14, the display on the display screen 510 and the display on the display screen 610 are externally notified to the user after the external information is notified to the user in the state shown in the third row. If you want to concentrate on communication with the other party, you may transition to the state shown in the fourth level. If you want to communicate with an external person while continuing the work, the status changes as shown in the third level. It does not have to be.
  • the relationship between the notification state control by the notification state control unit 142 and the presentation state control by the presentation state control unit 245 is not limited to the examples illustrated in FIGS. 13 and 14.
  • the reaction to the external information of the user may be presented to the outside according to whether the external information is notified to the user, and if notified, according to the notification state or the degree of perception by the user,
  • the presentation state may be any state such as a mark, a character, a symbol, or a voice.
  • what information is presented in which case may be appropriately set by the user. That is, for a specific notification state, degree of perception, and internal information, the type of user reaction information presented to the outside and its presentation state may be appropriately set by the user.
  • the user can make detailed settings according to the situation for the presentation state control, the user's intention and intention can be more smoothly transmitted to an external person.
  • the state shown in the second row of FIGS. 13 and 14 above is “a state in which the user recognizes that external information has been detected but does not recognize the content of the external information”. For example, the transition state from the content information when the external information is notified as described above, the state immediately after the external information is notified, the state where the external information is notified stepwise as shown in FIG. 6A--a state in which information indicating that the external information shown in FIG. 6C has been detected has been notified.
  • FIG. 15 is a flowchart illustrating a processing procedure in the presentation state control method according to the second embodiment of the present disclosure.
  • the functions and configurations of the external information detection unit 110, internal information detection unit 120, internal notification unit 130, external presentation unit 250, and control unit 240 will be described with reference to FIG. Detailed description will be omitted.
  • the processes in steps S801 to S809 in FIG. 15 are the same as the processes in steps S701 to S709 of the processing procedure in the notification state control method according to the first embodiment shown in FIG. In the description of the processing procedure of the presenting state control method, detailed description of each processing in steps S801 to S809 is omitted.
  • step S809 the same processes as the processes in steps S701 to S709 of the processing procedure in the notification state control method according to the first embodiment shown in FIG. 7 are performed.
  • the notification state control unit 142 controls the notification state of external information to the user in the internal notification unit 130 based on the necessity determined by the necessity determination unit 141.
  • the internal information acquisition process in step S805 includes the necessity determination process by the necessity determination unit 141 in step S807, the perception degree determination process by the perception degree determination unit 244 in step S811, which will be described later, and / or step S813, which will be described later. If the internal information is not used in the presentation state control processing by the presentation state control unit 245 in FIG. If the notification state of the external information is controlled in step S809, the process proceeds to step S811.
  • step S811 the perception level of the external information of the user is determined based on at least one of the notification state switched by the notification state control unit 142 and the internal information acquired by the internal information acquisition unit 143 by the perception level determination unit 244. To be judged.
  • the degree of perception of the user is determined in several stages based on information such as the notification state of external information in the internal notification unit 130 and the line-of-sight information included in the biological information. Or it may be judged as a score. If the degree of perception is not used in the presentation state control process by the presentation state control unit 245 in step S813 described later, the process in step S811 may be omitted.
  • step S813 a presentation state in which information indicating a response to the user's external information is presented to the outside of the user based on the notification state switched by the notification state control unit 142 by the presentation state control unit 245. Is switched. Further, the switching of the presentation state by the presentation state control unit 245 may be performed based on the internal information acquired in step S805 and / or the perception degree determined in step S811. In addition, the switching of the presentation state by the presentation state control unit 245 is, for example, the above described [2-3. Specific example of presentation state] and [2-4. As described in the specific example of the notification state and the presentation state], various marks, characters, and the like representing the user's reaction to the external information may be displayed on the display screen facing the outside.
  • step S815 various actions are taken for the user by an external person based on the presentation state controlled in step S813.
  • information indicating that the user recognizes external information and also recognizes an external person for example, information indicating that the user is looking at the external person
  • an external person can communicate such as talking to the user.
  • the external person takes further action such as waving his hand to the user and recognizes his / her existence. It is possible to communicate such as talking after receiving.
  • an external person can select an appropriate response according to the situation based on the presentation state controlled in step S813.
  • FIG. 16 is a block diagram for explaining a hardware configuration of the shielded HMD devices 10 and 20 according to the first and second embodiments of the present disclosure.
  • the shielding HMD devices 10 and 20 mainly include a CPU 901, a ROM 903, and a RAM 905.
  • the shielded HMD devices 10 and 20 further include a host bus 907, a bridge 909, an external bus 911, an interface 913, a sensor device 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and A communication device 925 is provided.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and performs all or part of the operations in the shielded HMD devices 10 and 20 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927. Control.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the CPU 901 corresponds to the control units 140 and 240 shown in FIGS. 2 and 9, for example.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus
  • a sensor device 914, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925 are connected to the external bus 911 via an interface 913.
  • the sensor device 914 is a detection unit such as a sensor that detects a user's movement, a sensor that acquires information indicating the current position, and a sensor that detects biometric information of the user.
  • a motion sensor such as a three-axis acceleration sensor including an acceleration sensor, a gravity detection sensor, a fall detection sensor, an angular velocity sensor, a camera shake correction sensor, a geomagnetic sensor, a GPS sensor, and a pulse sensor.
  • a heart rate sensor may include various measuring devices such as a thermometer, an illuminometer, a hygrometer, and a barometer in addition to the above-described ones.
  • the sensor device 914 corresponds to, for example, the internal information detection unit 120 illustrated in FIGS. 2 and 9 in the first and second embodiments. More specifically, the sensor device 914 includes line-of-sight sensor units 314a and 314b shown in FIGS. 1A, 1B, 8A, and 8B, for example.
  • the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, remote control means (so-called remote control) using infrared rays or other radio waves, or may be a mobile phone, a PDA or the like corresponding to the operation of the shielded HMD devices 10 and 20.
  • the external connection device 929 may be used.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example.
  • the user of the shielded HMD devices 10 and 20 can input various data and instruct processing operations to the shielded HMD devices 10 and 20 by operating the input device 915.
  • the display and audio output of the external presentation unit 250 may be controlled.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • Such devices include a CRT display device, a liquid crystal display (LCD) device, a plasma display device, an organic EL display (OELD: Organic Electro-Luminescence Display) device, an inorganic EL display (IELD: Inorganic Electro-Luminescence).
  • OELD Organic Electro-Luminescence Display
  • IELD Inorganic Electro-Luminescence
  • Devices and lamps for example, LED (Light Emitting Diode)
  • audio output devices such as speakers, earphones, and headphones, printer devices, mobile phones, facsimiles, and the like.
  • the output device 917 outputs, for example, results obtained by various processes performed by the shielding HMD devices 10 and 20.
  • the display device displays results obtained by various processes performed by the shielded HMD devices 10 and 20 in various formats such as text and images.
  • the display device corresponds to, for example, the configuration of the display unit in the internal notification unit 130 and the external presentation unit 250 illustrated in FIGS. More specifically, the display device corresponds to, for example, the internal display units 313a and 313b and the external display unit 315 illustrated in FIGS. 1A, 1B, 8A, and 8B.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the voice output device corresponds to, for example, the configuration of the voice output unit in the internal notification unit 130 and the external presentation unit 250 shown in FIGS.
  • the output device 917 may be provided with an earphone jack for connecting an audio output device such as an earphone or a headphone.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the shielded HMD devices 10 and 20.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 919 can store various types of information processed in the notification state control process and the presentation state control process.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the shielded HMD devices 10 and 20.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can also write a record to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory that is mounted.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the drive 921 writes and reads various information processed in the notification state control process and the presentation state control process to various removable recording media 927.
  • the connection port 923 is a port for directly connecting the device to the shielded HMD devices 10 and 20.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the shielded HMD devices 10 and 20 obtain various data directly from the external connection device 929 or provide various data to the external connection device 929.
  • the shielded HMD devices 10 and 20 send various information processed in the notification state control process and the presentation state control process via the connection port 923 to various externally connected devices. 929 can mutually transmit and receive.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to a communication network (network) 931.
  • the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication method (standard) in the communication device 925 includes, for example, 3G (third generation mobile communication system), LTE (Long Term Evolution), Wi-Fi (Wireless Fidelity), FeliCa (registered trademark), NFC (Near). Any communication method such as Field Communication may be applied.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • various types of information processed in the notification state control process and the presentation state control process are performed between the shielded HMD apparatuses 10 and 20 and various external devices by the communication device 925. They may be sent and received from each other.
  • the communication device 925 may correspond to the external information detection unit 110 illustrated in FIGS. 2 and 9 and can transmit and receive information to and from devices owned by external persons. Can be received as external information.
  • the shielded HMD devices 10 and 20 may have the following configuration.
  • the shielding HMD devices 10 and 20 may include an imaging device that acquires an image signal that represents the surrounding state as an image, a recording device that acquires an audio signal that represents the surrounding state as sound, and the like.
  • the imaging device and the recording device correspond to, for example, the external information detection unit 110 illustrated in FIGS. 2 and 9. More specifically, the imaging device and the recording device correspond to, for example, the camera 311 and the microphone 312 illustrated in FIGS. 1A, 1B, 8A, and 8B.
  • the shielded HMD devices 10 and 20 may include a power supply device (battery device) that supplies power to each of the above components of the shielded HMD devices 10 and 20.
  • a power supply device battery device
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing the functions of the shielded HMD devices 10 and 20 according to the first and second embodiments as described above can be produced and mounted on a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the necessity determination unit 141 determines the necessity of notifying the user of the external information based on the external information representing the external situation of the user. Further, the notification state control unit 142 switches the notification state of the external information to the user based on the determined degree of necessity. In this way, the necessity of notifying the user of external information is determined, and the external information is notified based on the determined necessity, so that the user can recognize that the external information has been detected. Therefore, it is possible to take an appropriate response to the external information, and to communicate more smoothly with external people. For example, when the necessity is high, external information is immediately notified to the user, so the user immediately recognizes the external information and quickly responds to an external person who is trying to communicate with the user. can do.
  • the external information is notified to the user step by step or the information that the external information is detected is notified to the user. It is possible to prioritize the work being performed at that time, to respond to the outside immediately after the work is interrupted, or to select a response according to the situation, which improves the convenience for the user.
  • the presentation state control unit 245 based on the notification state of the external information switched by the notification state control unit 142 to the user by the presentation state control unit 245, information indicating the reaction of the user to the external information is transmitted to the user's external device.
  • the presentation state to be presented is switched. In this way, the reaction to the external information of the user is presented to the external person, so the external person is aware of the external information (for example, that he is trying to communicate with the user). It is possible to recognize the state of the user such as whether or not and to take an appropriate response according to the state of the user. Therefore, smoother communication between the user and an external person is realized.
  • the notification state of the external information switched by the notification state control unit 142 by the perception level determination unit 244 and the internal information acquired by the internal information acquisition unit 143 by the notification state control unit 142 is used. Based on this, the degree of perception of the user's external information is determined. And the presentation state control part 245 may switch the presentation state which presents the information which shows the reaction to the said external information of a user with respect to the exterior of a user based on at least any one of internal information and a perception degree.
  • the presentation state reflects, for example, information indicating the user's state, such as line-of-sight information, and the degree of perception of the user's external information, so that an external person can only determine whether the user is aware of the external information.
  • information indicating the user's state such as line-of-sight information
  • the degree of perception of the user's external information so that an external person can only determine whether the user is aware of the external information.
  • communication between the user and external people can be made smoother. .
  • a reaction to the user's external information for example, a pattern imitating the user's eyes is presented to the outside based on the user's line-of-sight information.
  • a reaction to the user's external information for example, information indicating that the user wants to continue working is presented to the outside. Therefore, it is possible to convey the user's intentions and feelings, such as wanting to continue working or to communicate, to an external person who is trying to communicate with the user.
  • shielded HMD devices become more widespread in the future, work currently being performed on information processing devices such as PCs and smartphones with reference to a desktop or hand display screen will be performed with the shielded HMD device attached. It is possible. According to the first embodiment and the second embodiment of the present disclosure, users wearing shielded HMD devices 10 and 20 or users wearing shielded HMD devices 10 and 20 and external persons Smoother communication is realized.
  • a notification state control unit that switches a notification state of the external information representing the external state of the user to the user, and information indicating a reaction to the external information of the user based on the switched notification state
  • a presentation state control unit that switches a presentation state to be presented to the information processing apparatus.
  • An internal information acquisition unit that acquires internal information that is information about the user, and a perception level for determining the perception level of the external information of the user based on at least one of the switched notification state and the internal information
  • the information processing apparatus according to (1), further including a determination unit, wherein the presentation state control unit switches the presentation state based on the degree of perception.
  • the internal information includes line-of-sight information about a user's line-of-sight state, the perception level determination unit determines the perception level based on the line-of-sight information, and the presentation state control unit includes the line-of-sight information
  • the information processing apparatus according to (2) wherein the presentation state is switched based on the degree of perception determined based on.
  • the perception level determination unit determines a user's immersive degree with respect to content information that is information other than the external information and is notified to the user.
  • the information processing apparatus according to (2) or (3) further determining the degree of perception.
  • An internal information acquisition unit that acquires internal information that is information about the user, and the presentation state control unit switches the presentation state based on the internal information.
  • the information processing apparatus according to any one of claims. (6) The information processing apparatus according to (5), wherein the internal information includes line-of-sight information about a user's line-of-sight state, and the presentation state control unit causes the line-of-sight information to be presented to the outside. (7) A necessity determining unit that determines a necessity of notifying the user of the external information based on the external information is further provided, and the notification state control unit switches the notification state based on the necessity. The information processing apparatus according to any one of (1) to (6). (8) The information processing apparatus according to (7), further including an internal information acquisition unit that acquires internal information that is information about the user, wherein the necessity determination unit further determines the necessity based on the internal information. Information processing device.
  • the information processing apparatus according to item. (10) The information processing apparatus according to (9), wherein the user information includes at least one of user position information, user biometric information, and user action schedule.
  • the internal information includes content information that is information other than the external information and is notified to a user, and the perception level determination unit determines the perception level based on the content information.
  • the presentation state control unit When the notification state is a state in which the external information is not notified to the user, the presentation state control unit outputs information that the user has not been notified of the external information to the user.
  • the information processing apparatus according to any one of (1) to (12), which is presented to (14)
  • the external information includes image information representing an external situation of the user by an image, audio information representing the external situation of the user by an audio, and device information acquired by communication with another device external to the user.
  • the information processing apparatus according to any one of (1) to (13), including at least one of the following.
  • a display screen that displays to the user an image representing the external situation of the user included in the external information or an image representing that the external information has been detected;
  • An internal display unit that shields a user's external field of view by a display screen positioned in front of the user's eyes, wherein the external information includes at least image information representing a user's external situation, and the notification state control unit
  • the information processing apparatus according to any one of (1) to (14), wherein a notification state of the external information to a user is switched by switching a display on a display screen of the internal display unit.
  • An external display unit that is controlled by the presentation state control unit and that presents information indicating a user's reaction to the external information on a display screen facing the outside, thereby presenting the user to the outside.
  • the presentation state control unit further includes a display state on the display screen of the external display unit to switch a presentation state to the outside of information indicating a reaction of the user to the external information, according to (15).
  • Information processing device The information indicating the reaction of the user to the external information displayed on the external display unit is line-of-sight information indicating the state of the user's line of sight, and the display screen of the external display unit simulates the user's eyes.
  • the display state control unit displays the pattern imitating the user's eyes according to the user's line of sight by moving the pattern on the display screen of the external display unit and displaying the pattern.
  • the information processing apparatus according to (16), wherein the presentation state is switched.
  • Information indicating a reaction of the user to the external information displayed on the external display unit is text information
  • the presentation state control unit changes the text information displayed on the display screen of the external display unit.
  • the information processing apparatus according to (16), wherein the state of presentation of the character information is switched by causing the character information to be displayed.
  • a presentation state control method comprising: switching a presentation state to be presented.

Abstract

【課題】ユーザと外部の人とがより円滑にコミュニケーションを取ることを可能とする。 【解決手段】ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換える通知状態制御部と、切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える提示状態制御部と、を備える、情報処理装置を提供する。

Description

情報処理装置、提示状態制御方法及びプログラム
　本開示は、情報処理装置、提示状態制御方法及びプログラムに関する。
　近年、仮想の映像をあたかも現実の出来事のようにユーザに提供する仮想現実（ＶＲ：Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）技術や、現実の映像に様々な情報を重ね合わせて表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を実現するためのデバイスとして、頭部装着型ディスプレイ（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）装置が開発されている。
　ＨＭＤ装置では装着時に表示画面がユーザの眼前に位置するが、当該表示画面越しに外部の様子が透けて見える透過型ＨＭＤ装置と、当該表示画面によって視界が遮蔽される遮蔽型ＨＭＤ装置とがある。透過型ＨＭＤ装置では、外部の様子が容易に観察できる反面、外部の環境光等の影響により、表示画面の表示に対する没入感が得られ難い傾向にある。一方、遮蔽型ＨＭＤ装置ではユーザに対して外部の視覚的な情報が遮断されるため、コンテンツの視聴や作業等に集中したい場合には遮蔽型ＨＭＤ装置の方が適していると言える。例えば、特許文献１には、表示画面が配設される鏡筒内に塵、埃等のゴミが入ることを防止することにより、より良好な映像を表示することができる遮蔽型ＨＭＤ装置に関する技術が開示されている。
特開平９－９０２６８号公報
　しかし、遮蔽型ＨＭＤ装置を装着しているユーザに対してコミュニケーションを取ろうとしている外部の人にとっては、ユーザの顔、特に目の周辺が遮蔽型ＨＭＤ装置によって覆われているため、ユーザの表情を視認することが難しく、ユーザの状態を窺い知ることが困難であった。従って、外部の人からは遮蔽型ＨＭＤ装置を装着しているユーザが作業に集中しているのか又は休憩中であるのか等の判断を行うことが難しく、ユーザに対して話し掛けてよいのかどうか逡巡してしまうことがあった。また、外部の人が遮蔽型ＨＭＤ装置を装着しているユーザとコミュニケーションを取り始めたとしても、やはりユーザの表情を視認することが難しいことから、円滑なコミュニケーションが妨げられる恐れがあった。
　そこで、遮蔽型ＨＭＤ装置を装着しているユーザと外部の人とがより円滑にコミュニケーションを取ることが求められていた。そこで、本開示では、ユーザと外部の人とがより円滑にコミュニケーションを取ることが可能な、情報処理装置、提示状態制御方法及びプログラムを提案する。
　本開示によれば、ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換える通知状態制御部と、切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える提示状態制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換えることと、切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換えることと、を含む、提示状態制御方法が提供される。
　また、本開示によれば、コンピュータに、ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換える機能と、切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える機能と、を実現させるためのプログラムが提供される。
　本開示によれば、通知状態制御部によって、ユーザの外部の状況を表す外部情報のユーザに対する通知状態が切り換えられる。また、提示状態制御部によって、切り換えられた外部情報のユーザに対する通知状態に基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態が切り換えられる。このように、外部の人に対して、ユーザの外部情報に対する反応を示す情報が提示されるため、外部の人は外部情報に対するユーザの状態を認識することができ、ユーザの状態に応じた適切な対応を取ることができる。
　以上説明したように本開示によれば、ユーザと外部の人とがより円滑にコミュニケーションを取ることが可能となる。
本開示の第１の実施形態に係る遮蔽型ＨＭＤの一外観例を示す斜視図である。 本開示の第１の実施形態に係る遮蔽型ＨＭＤの一外観例を示す斜視図である。 本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一構成例を示す機能ブロック図である。 本実施形態に係る必要度判断部による外部情報の通知必要度の判断方法の一例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が中である場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が低い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が低い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が低い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 本開示の第１の実施形態に係る通知状態制御方法における処理手順を示すフロー図である。 本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。 本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。 本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一構成例を示す機能ブロック図である。 ユーザに対して外部情報が通知されていない状態における、提示状態制御部による外部提示部の表示画面の制御の一具体例について説明するための説明図である。 ユーザに対して外部情報が通知されていない状態における、提示状態制御部による外部提示部の表示画面の制御の一具体例について説明するための説明図である。 ユーザの視線情報に基づく提示状態制御部による外部提示部の表示画面の制御の一具体例について説明するための説明図である。 ユーザの視線情報に基づく提示状態制御部による外部通知部の表示画面の制御の他の具体例について説明するための説明図である。 ユーザの視線情報に基づく提示状態制御部による外部通知部の表示画面の制御の他の具体例について説明するための説明図である。 通知状態制御部による通知状態制御と提示状態制御部による提示状態制御との関連性の具体例について説明するための説明図である。 通知状態制御部による通知状態制御と提示状態制御部による提示状態制御との関連性の具体例について説明するための説明図である。 本開示の第２の実施形態に係る提示状態制御方法における処理手順を示すフロー図である。 本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置のハードウェア構成を示す機能ブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１－１．遮蔽型ＨＭＤ装置の外観
　　１－２．遮蔽型ＨＭＤ装置の構成
　　１－３．通知状態の具体例
　　　１－３－１．必要度高の場合
　　　１－３－２．必要度中の場合
　　　１－３－３．必要度低の場合
　　１－４．通知状態制御方法の処理手順
　２．第２の実施形態
　　２－１．遮蔽型ＨＭＤ装置の外観
　　２－２．遮蔽型ＨＭＤ装置の構成
　　２－３．提示状態の具体例
　　２－４．通知状態及び提示状態の具体例
　　２－５．提示状態制御方法の処理手順
　３．ハードウェア構成
　４．まとめ
　＜１．第１の実施形態＞
　［１－１．遮蔽型ＨＭＤ装置の外観］
　まず、図１Ａ及び図１Ｂを参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一外観例について説明する。図１Ａ及び図１Ｂは、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。なお、以下の説明では、遮蔽型ＨＭＤ装置を装着しているユーザを基準として、ユーザと対向する側のことを遮蔽型ＨＭＤ装置の内側又は内部側とも呼称し、ユーザと対向しない側のことを遮蔽型ＨＭＤ装置の外側又は外部側とも呼称する。
　図１Ａは、第１の実施形態に係る遮蔽型ＨＭＤ１０を外部側から見た様子を示す斜視図である。また、図１Ｂは、第１の実施形態に係る遮蔽型ＨＭＤ１０を内部側から見た様子を示す斜視図である。図１Ａ及び図１Ｂを参照すると、遮蔽型ＨＭＤ１０は、本体部３１０及びバンド部３２０とを備える。本体部３１０は、ゴーグル状の形状を有し、ユーザに装着された際にユーザの眼前に位置し、ユーザの外部に対する視界を遮蔽する。本体部３１０は、各種の情報を処理し遮蔽型ＨＭＤ１０の駆動を統合的に制御する制御部や、ユーザに各種の情報を視覚的に通知する表示部等の、遮蔽型ＨＭＤ装置１０の駆動に係る各種の機能を有している。バンド部３２０は、ユーザの頭部に装着され、本体部３１０をユーザの眼前に固定する帯状の部材である。バンド部３２０は、本体部３１０の位置がユーザの眼前に固定されるように、その長さ、角度等が調整可能であってよい。
　図１Ａを参照すると、本体部３１０の外部側には、カメラ３１１及びマイクロホン３１２が設けられる。カメラ３１１はユーザの外部の様子を動画又は静止画の形式で撮像する。また、マイクロホン３１２はユーザの外部の様子を録音する。カメラ３１１によって撮像された画像についての画像情報及びマイクロホン３１２によって録音された音声についての音声情報は、本体部３１０の制御部に送信される。ここで、以下の説明では、上記画像情報及び音声情報のようにユーザの外部の状況を表す情報のことを外部情報と呼称する。このように、カメラ３１１及びマイクロホン３１２は外部情報を検出する機能を有する。なお、カメラ３１１及びマイクロホン３１２は、常時外部情報を検出してもよいし、外部情報に変化が生じた場合に当該変化した外部情報を検出してもよい。外部情報に変化が生じるとは、例えば画像情報であれば、カメラ３１１のフレーム内における人や物体の変化であってよいし、音声情報であればマイクロホン３１２によって録音された音声の変化であってよい。
　図１Ｂを参照すると、本体部３１０の内部側には、内部表示部３１３ａ、３１３ｂ及び視線センサ部３１４ａ、３１４ｂが設けられる。内部表示部３１３ａ、３１３ｂは、遮蔽型ＨＭＤ装置１０がユーザに装着された際にユーザの眼前に位置する部位に設けられ、各種の情報を、画像、テキスト、グラフ、表等、様々な形式で表示画面に表示し、ユーザに視覚的に通知する。図１Ｂに示す例では、内部表示部３１３ａ、３１３ｂはユーザの左目及び右目に対応する位置にそれぞれ１つずつ設けられ、ユーザに対して３次元画像（３Ｄ画像）を提供することができる。ユーザは内部表示部３１３ａ、３１３ｂの表示画面を参照することにより、例えば映画等のコンテンツを楽しんだり、ワープロソフトや表計算ソフト等を利用した各種の作業を行ったりすることができる。また、内部表示部３１３ａ、３１３ｂの表示画面は外部の様子を透過して観察できるようにはなっておらず、遮蔽型ＨＭＤ装置１０を装着したユーザの視界は、内部表示部３１３ａ、３１３ｂによって外界から遮蔽される。従って、ユーザは内部表示部３１３ａ、３１３ｂの表示画面に表示された情報に集中することができ、作業に没入することができる。なお、上記では、遮蔽型ＨＭＤ装置１０が１対の内部表示部３１３ａ、３１３ｂを有する場合について説明したが、本実施形態はかかる例に限定されない。遮蔽型ＨＭＤ装置１０は１つの表示画面からなる内部表示部を有してもよい。
　視線センサ部３１４ａ、３１４ｂは、ユーザの目の状態を検出するセンサ装置である。ここで、目の状態とは、まぶたの開閉状態、瞳孔の状態、視線の状態等、ユーザの目に関するあらゆる状態であってよい。図１Ｂに示す例では、視線センサ部３１４ａ、３１４ｂはユーザの左目及び右目に対応する位置にそれぞれ１つずつ設けられ、ユーザの左右の目の状態をそれぞれ検出することができる。視線センサ部３１４ａ、３１４ｂによって検出されたユーザの目の状態についての情報（以下、視線情報と呼称する。）は、本体部３１０の制御部に送信される。ここで、以下の説明では、ユーザに関する情報のことを内部情報と呼称する。本実施形態においては、内部情報は、ユーザの状態を表す情報（以下、ユーザ情報と呼称する。）及び／又は外部情報以外の情報であってユーザに通知されている情報（以下、コンテンツ情報と呼称する。）を含む。上記視線情報はユーザ情報に含まれるものであり、従って、視線センサ部３１４ａ、３１４ｂは内部情報を検出する機能を有する。なお、内部情報の詳細については図２を参照して後で詳しく説明する。また、視線センサ部３１４ａ、３１４ｂは、常時内部情報を検出してもよいし、内部情報に変化が生じた場合に当該変化した内部情報を検出してもよい。
　また、図１Ａ及び図１Ｂには図示しないが、遮蔽型ＨＭＤ装置１０は、ユーザに対して各種の情報を聴覚的に通知するイヤホン装置やスピーカ装置等の音声出力部を有してもよい。また、遮蔽型ＨＭＤ装置１０は、加速度センサ装置やＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサ装置、生体センサ装置等の、ユーザ情報を検出するための各種のセンサ装置を有してもよく、これらのセンサによって、ユーザの動きを表す動き情報やユーザの位置情報、ユーザの生体情報等が内部情報として検出されてもよい。
　以上、図１Ａ及び図１Ｂを参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の一外観例について説明した。以上説明したように、遮蔽型ＨＭＤ装置１０は、カメラ３１１及びマイクロホン３１２に代表される、外部情報を検出する構成を有する。また、遮蔽型ＨＭＤ装置１０は、視線センサ部３１４ａ、３１４ｂに代表される、内部情報を検出する構成を有する。更に、遮蔽型ＨＭＤ装置１０は、内部表示部３１３ａ、３１３ｂや音声出力部等の、ユーザに対して各種の情報を通知する構成を有する。そして、第１の実施形態においては、本体部３１０に設けられた制御部によって、検出された外部情報に基づいて、当該外部情報をユーザに対して通知する必要度が判断され、当該必要度に基づいて外部情報のユーザに対する通知状態が切り換えられる。例えば、当該制御部は、上記必要度に応じて、外部情報を内部表示部３１３ａ、３１３ｂに表示してユーザに対して通知したり、外部情報を段階的に内部表示部３１３ａ、３１３ｂに表示してユーザに対して通知したりすることができる。ここで、ユーザに情報を通知するとは、当該情報を内部表示部３１３ａ、３１３ｂの表示画面に画像として表示させたり、当該情報を音声出力部から音声として出力したりして、ユーザに対して視覚的、聴覚的に当該情報を通知することであってよい。このように、遮蔽型ＨＭＤ装置１０は、ユーザへの各種の情報の通知状態を制御する通知状態制御装置であるとも言える。以下の説明では、遮蔽型ＨＭＤ装置１０が行う通知状態制御における一連の処理のことを通知状態制御処理と呼称する。また、以下の説明では、遮蔽型ＨＭＤ装置１０において通知状態制御処理における各種の情報処理が行われることから、遮蔽型ＨＭＤ装置１０のことを情報処理装置１０とも呼称する。
　［１－２．遮蔽型ＨＭＤ装置の構成］
　次に、図２を参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の構成について説明する。図２は、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の一構成例を示す機能ブロック図である。図２を参照すると、第１の実施形態に係る遮蔽型ＨＭＤ装置１０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び制御部１４０を備える。
　外部情報検出部１１０は、ユーザの外部の状況を表す外部情報を検出する。外部情報検出部１１０は、例えば図１Ａに示すカメラ３１１及びマイクロホン３１２に対応する。
　ここで、外部情報について詳しく説明する。上述したように、外部情報とはユーザの外部の状況を表す情報であり、外部情報にはユーザの外部の各種の情報が含まれる。例えば、外部情報は、ユーザの外部の状況を表す画像情報及び音声情報等であってよい。なお、外部情報には、可視光による画像についての画像情報だけでなく、例えば赤外光等、他の波長帯域の光による画像についての画像情報も含まれ得る。また、外部情報には、ユーザの周囲の物体との距離情報や、ユーザの周囲の物体の温度情報等、ユーザの外部の環境を表す各種の情報が含まれていてよい。より詳細には、例えば、外部情報は、当該画像情報に含まれる、ユーザに対して外部の人が近づいてくる旨の情報、外部の人がユーザに向かって話し掛けている（発話している）旨の情報及び／又は外部の人の動き（ジェスチャ）についての情報等を含む。また、例えば、外部情報は、当該音声情報に含まれる、外部の人の発話内容についての情報及び／又はサイレンやブザー等の警報音についての情報等を含む。また、遮蔽型ＨＭＤ装置１０が外部の他の機器と相互に情報を送受信する通信部を有する場合には、外部情報には、当該通信部を介して検出される当該他の機器についての情報（以下、機器情報と呼称する。）が含まれてもよい。機器情報には、例えば当該他の機器を所有している人を特定するためのＩＤ情報が含まれる。このように、外部情報は、ユーザの外部の状況を表す画像情報、ユーザの外部の状況を表す音声情報及び／又はユーザの外部の他の機器との間の通信によって取得される機器情報等、ユーザの外部の状況を表す各種の情報を含んでよい。
　外部情報検出部１１０は、上述したような各種の外部情報を検出する装置によって構成される。例えば、外部情報検出部１１０は、画像情報を取得するためのカメラ等の撮像装置、音声情報を取得するためのマイクロホン等の録音装置及び／又は機器情報を取得するための通信装置等を有する。また、外部情報検出部１１０は、赤外線センサ装置や、距離センサ装置、温度センサ装置等の外部の環境を検出する各種のセンサ装置を有してもよい。外部情報検出部１１０は、検出した外部情報を制御部１４０に送信する。
　内部情報検出部１２０は、ユーザに関する情報である内部情報を検出する。内部情報検出部１２０は、例えば図１Ｂに示す視線センサ部３１４ａ、３１４ｂに対応する。
　ここで、内部情報について詳しく説明する。上述したように、内部情報とはユーザに関する情報であり、内部情報には遮蔽型ＨＭＤ装置１０を装着しているユーザに関する各種の情報が含まれる。本実施形態においては、内部情報は、ユーザの状態を表す情報（ユーザ情報）及び／又は外部情報以外の情報であってユーザに通知されている情報（コンテンツ情報）を含む。
　ユーザ情報は、ユーザの動きを表す動き情報、ユーザの位置情報、ユーザの生体情報及びユーザの行動予定についての情報の少なくともいずれかを含む。動き情報とは、例えば加速度センサ装置やジャイロセンサ装置等の物体の動きや姿勢を検出するセンサ装置によって検出される情報であり、ユーザの動き（例えば起立、着席、歩行等）や姿勢（例えば頭部の傾き）を表す情報である。位置情報とは、例えばＧＰＳセンサ装置等の物体の位置を検出するセンサ装置によって検出される情報であり、ユーザの位置（例えば会社内、自宅内、電車内等）を表す情報である。生体情報とは、ユーザの生体活動に関する各種の情報であり、ユーザの脈拍、心拍、呼吸数、目の状態等を表す情報である。上記［１－１．遮蔽型ＨＭＤ装置の外観］で説明した視線情報は当該生体情報に含まれる。ユーザの行動予定についての情報とは、例えば遮蔽型ＨＭＤ装置１０がアクセス可能な記録媒体に記録されているユーザのスケジュール情報等から取得される情報であり、例えば特定の時間がユーザにとって作業時間であるか休憩時間であるか等の情報が含まれる。
　コンテンツ情報は、上述したように、外部情報以外の情報であってユーザに通知されている情報のことである。このように、本実施形態においては、ユーザに対して通知される情報とは外部情報及び／又はコンテンツ情報のことであり、通知状態の制御とはユーザに通知されるこれらの情報を切り換える制御のことであってよい。例えば、コンテンツ情報には、映画やテレビ番組等の動画情報や、ワープロソフトや表計算ソフト等を用いた作業に関する情報、ブラウザソフトによって閲覧されるウェブサイト上の情報等が含まれる。このように、コンテンツ情報とは、ユーザが遮蔽型ＨＭＤ装置１０（遮蔽型ＨＭＤ装置１０）を装着して各種の処理を行っている際に、ユーザに通知されている情報であってよい。以下の説明では、コンテンツ情報がユーザに通知され、ユーザが当該コンテンツ情報に基づく各種の処理を行っている状態のことを、ユーザが作業を行っている状態とも呼称する。
　内部情報検出部１２０は、上述したような各種の内部情報を検出する装置によって構成される。例えば、内部情報検出部１２０は、各種のユーザ情報を取得するための加速度センサ装置、ジャイロセンサ装置、ＧＰＳセンサ装置、生体センサ装置等を有する。また、例えば、内部情報検出部１２０は、各種のコンテンツ情報を検出するための構成、すなわち、ユーザに通知されている情報のうち外部情報以外の情報を検出する構成を有する。内部情報検出部１２０は、検出した外部情報を制御部１４０に送信する。
　内部通知部１３０は、制御部１４０によってその駆動が制御され、各種の情報を様々な形式でユーザに対して通知する。ここで、ユーザに対する情報の通知とは、視覚的な通知及び聴覚的な通知を含む。例えば、内部通知部１３０は表示画面を有し、各種の情報を、画像、テキスト、グラフ、表等、様々な形式で当該表示画面に表示し、ユーザに対して視覚的に通知する。また、例えば、内部通知部１３０はスピーカ又はイヤホン等の音声出力機器を有し、各種の情報を当該音声出力機器から音声として出力し、ユーザに対して聴覚的に通知する。このように、内部通知部１３０は、各種の情報を表示画面に表示する表示部としての機能と、各種の情報を音声として出力する音声出力部としての機能を有することができる。
　内部通知部１３０の表示部としての構成は、例えば図１Ｂに示す内部表示部３１３ａ、３１３ｂに対応する構成である。内部通知部１３０は、コンテンツ情報に含まれる画像情報であるコンテンツ画像を表示画面に表示することにより、ユーザに対して当該コンテンツ情報を通知する。また、内部通知部１３０は、制御部１４０によってその駆動が制御され、外部情報に含まれる画像情報である外部画像を表示画面に表示することにより、ユーザに対して当該外部情報を通知する。なお、内部通知部１３０は、コンテンツ画像及び外部画像のいずれか一方のみを表示画面に表示してもよいし、コンテンツ画像及び外部画像を両方表示画面に表示してもよい。
　また、内部通知部１３０が音声出力部としての構成を有する場合には、内部通知部１３０は、コンテンツ情報に含まれる音声情報であるコンテンツ音声を出力することにより、ユーザに対して当該コンテンツ情報を通知する。また、内部通知部１３０は、制御部１４０によってその駆動が制御され、外部情報に含まれる音声情報である外部音声を出力することにより、ユーザに対して当該外部情報を通知する。なお、内部通知部１３０は、コンテンツ音声及び外部音声のいずれか一方のみを出力してもよいし、コンテンツ音声及び外部音声を両方出力してもよい。
　制御部１４０は、遮蔽型ＨＭＤ装置１０を統合的に制御するとともに、本実施形態に係る通知状態制御処理における各種の情報処理を行う。以下、制御部１４０の機能及び構成について詳しく説明する。
　制御部１４０は、必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３を有する。
　必要度判断部１４１は、ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断する。具体的には、必要度判断部１４１は、外部情報検出部１１０によって検出された外部情報を取得し、当該外部情報に基づいて、ユーザに対して当該外部情報を通知する必要度（通知必要度）を判断する。このように、必要度判断部１４１は、取得した外部情報の内容を分析し、その内容に基づいて必要度を判断することができる。例えば、外部情報の種類と必要度とが対応付けられたテーブルが用意されており、必要度判断部１４１は、当該テーブルを参照することにより必要度を判断してもよい。また、例えば、外部情報の種類ごとに所定のスコアが付されており、必要度判断部１４１は、検出された外部情報に対して当該スコアを算出することにより必要度を判断してもよい。
　ここで、図３を参照して、必要度判断部１４１による外部情報の通知必要度の判断方法の一例について説明する。図３は、本実施形態に係る必要度判断部１４１による外部情報の通知必要度の判断方法の一例について説明するための説明図である。なお、図３に示す例は、上述したテーブルを利用する方法に対応している。
　図３を参照すると、表の１番上の行及び１番左の列に外部情報の種類が記載されており、外部情報の組み合わせによって必要度が定められている。１番上の行には、外部情報の例として、「人の接近」、「人の発話」、「特定のジェスチャ」、「デバイス間の通信」が記載されている。「人の接近」及び「特定のジェスチャ」は、外部情報に含まれる画像情報から取得される情報であり、外部の人が、遮蔽型ＨＭＤ装置１０を装着しているユーザに対して近付いてきたこと及び特定のジェスチャをしていることを意味する。特定のジェスチャとは、例えばユーザに対して腕を伸ばす、手を振る等、ユーザに対してコミュニケーションを取ろうとする意思を表す仕草である。「人の発話」は、外部情報に含まれる音声情報から取得される情報であり、外部の人が、遮蔽型ＨＭＤ装置１０を装着しているユーザに対して話し掛けてきたことを意味する。「デバイス間の通信」は、外部情報に含まれる機器情報から取得される情報であり、遮蔽型ＨＭＤ装置１０と相互に通信可能な機器（デバイス）を有する外部の人が、ユーザに対して近付いていること、少なくとも通信可能な所定の範囲内にいることを意味する。
　１番左の列には、外部情報の例として、「面識有り」、「面識無し」が記載されている。この「面識有り」及び「面識無し」は、１番上の行に記載された外部情報に基づく、ユーザに対して近付いてきた人、ユーザに対してジェスチャをしている人及びユーザに対して話し掛けてきた人に対する、ユーザの面識の有無を意味している。面識の有無は、例えば外部情報に機器情報が含まれる場合には、当該機器情報に含まれる当該他の機器の所有者を表すＩＤ情報に基づいて判断されてよい。また、面識の有無は、例えば外部情報に画像情報が含まれ、当該画像情報に外部の人の顔の画像が含まれる場合には、顔の画像に基づいて個人を認識することにより判断されてよい。
　図３に示す例では、必要度は「高」、「中」、「低」の３段階で判断される。図３を参照すると、例えば、外部情報として「人の発話」又は「特定のジェスチャ」が取得された場合には、必要度判断部１４１は、これらのアクションを起こした外部の人との面識の有無にかかわらず、当該外部情報の必要度を「高」と判断する。これは、外部の人がユーザに対して話し掛けてきた又は特定のジェスチャを行った場合、これらのアクションを起こした外部の人には、ユーザとコミュニケーションを取りたいという明確な意思があると考えられるからである。
　また、例えば、外部情報として「人の接近」又は「デバイス間の通信」が取得された場合には、必要度判断部１４１は、ユーザがこれらのアクションを起こした外部の人と面識がある場合には当該外部情報の必要度を「中」と判断し、ユーザがこれらのアクションを起こした外部の人と面識がない場合には当該外部情報の必要度を「低」と判断する。これは、外部情報として「人の接近」又は「デバイス間の通信」が取得された場合には、外部の人がユーザに対して近付いてきているとしても、これらのアクションを起こした外部の人は他の目的で偶然ユーザの近くを通り過ぎる可能性が考えられるからである。そして、その外部の人がユーザと面識がある人であれば、ユーザとコミュニケーションを取ろうとして近付いてきた可能性が高く、その外部の人がユーザと面識がない人であれば、ユーザとコミュニケーションを取らずに立ち去る可能性が高いと考えられるからである。
　また、図３には図示しないが、必要度判断部１４１は、外部情報に特定の情報が含まれる場合、当該外部情報をユーザに通知する必要度を「高」と判断することができる。特定の情報とは、例えばサイレンや警報、人の叫び声等、緊急事態を示す外部情報である。このような緊急事態を示す外部情報は、確実にユーザに通知される必要があるため、必要度判断部１４１はその必要度を「高」と判断する。なお、上記特定の情報として具体的にどのような情報が用いられるかは、ユーザによって適宜設定可能であってよい。つまり、ユーザは、特定の外部情報に対して任意にその通知必要度を設定することができる。
　以上、図３を説明して、必要度判断部１４１による外部情報の通知必要度の判断方法の一例について説明した。以上説明したように、必要度判断部１４１は、複数の外部情報が検出された場合には、それらの外部情報の組み合わせに応じて、それらの外部情報をユーザに通知する必要度を判断することができる。また、必要度判断部１４１は、機器情報に基づいて機器の所有者を特定したり、画像情報に含まれる顔の画像から外部の人を特定したり、といったように、外部情報から得られる各種の情報に基づいて、当該必要度を判断することができる。なお、これらの外部情報から各種の情報を得る処理は、必要度判断部１４１によって行われてもよいし、外部情報検出部１１０によって行われ、得られた情報も外部情報の一部として必要度判断部１４１に送信されてもよい。
　なお、必要度判断部１４１による必要度の判断方法は、図３に示した例に限定されない。例えば、図３に示す例では必要度を３段階で判断しているが、必要度を分類する段階の数は３つに限定されず、より少ない又はより多い数であってもよい。また、例えば図３に示した各外部情報（「人の接近」、「人の発話」、「特定のジェスチャ」、「デバイス間の通信」、「面識有り」、「面識無し」）に対して、必要度を示すスコアが付されており、必要度判断部１４１は、検出された複数の外部情報に付されたスコアを加算することにより、必要度を算出してもよい。
　また、例えば、外部情報に含まれる画像情報における外部の人の顔の画像や、外部情報に含まれる機器情報における外部の人のＩＤ情報等に基づいて、ユーザに対してコミュニケーションを取ろうとしている人が個人的に特定される場合には、必要度判断部１４１は、その人に応じて必要度を判断してもよい。例えば、ユーザに対してコミュニケーションを取ろうとしている人が、ユーザにとって会社の同僚や上司、仕事上付き合いのある他の会社の人のように、仕事上の関係にある人である場合には、その人が取ろうとしているコミュニケーションも仕事に関することである可能性が高いと考えられるため、必要度判断部１４１は、その必要度を高く判断してもよい。また、例えば、ユーザに対してコミュニケーションを取ろうとしている人が、ユーザの友人や家族のように、プライベート上の関係にある人である場合には、その人が取ろうとしているコミュニケーションもプライベートに関することである可能性が高いと考えられるため、必要度判断部１４１は、必要度を中又は低く判断してもよい。なお、ユーザと、ユーザに対してコミュニケーションを取ろうとしている人との関係性は、例えば、遮蔽型ＨＭＤ装置１０の記憶部（図示せず。）又は遮蔽型ＨＭＤ装置１０と相互に通信可能なユーザ所有の他の機器（例えば携帯電話、個人ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等）に記憶されている、ユーザの交友関係を表す情報に基づいて判断され得る。ユーザの交友関係を表す情報とは、例えば、遮蔽型ＨＭＤ装置１０及びユーザ所有の他の機器に記憶されている、ユーザの電話帳やアドレス帳の情報であったり、ユーザが所属しているＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）における友人登録の情報であったりしてよい。
　図２に戻って、遮蔽型ＨＭＤ装置１０の構成について説明を続ける。必要度判断部１４１は、判断した必要度及び外部情報検出部１１０によって検出された外部情報を通知状態制御部１４２に送信する。
　通知状態制御部１４２は、必要度判断部１４１によって判断された必要度に基づいて、外部情報のユーザに対する通知状態を切り換える。ここで、ユーザに情報を通知するとは、当該情報を内部通知部１３０の表示画面に画像として表示させたり、当該情報を内部通知部１３０の音声出力部から音声として出力したりして、ユーザに対して視覚的、聴覚的に当該情報を通知することであってよい。また、通知状態の制御とは内部通知部１３０の駆動を制御し、ユーザに通知される情報の通知状態を切り換える制御のことであってよい。例えば、作業時には、内部通知部１３０の表示画面にはコンテンツ画像が表示され、内部通知部１３０の音声出力部からはコンテンツ音声が出力されており、ユーザは通知されているこれらのコンテンツ情報を参照しながら各種の作業を行っている。この状態で、外部情報検出部１１０によって外部情報が検出されると、必要度判断部１４１によって判断されたその外部情報のユーザへの通知必要度に基づいて、通知状態制御部１４２がユーザへの情報の通知状態を切り換える。具体的には、本実施形態であれば、通知状態制御部１４２は、必要度に基づいて、内部通知部１３０の表示画面の表示を制御する及び／又は内部通知部１３０の音声出力部の出力を制御することにより、ユーザに対する外部情報の通知状態を切り換える。
　ここで、通知状態制御部１４２は、通知状態を切り換えるために必要度の段階又は高低を判断する必要がある。例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度を所定のしきい値と比較した結果に基づいて、必要度の段階又は高低を判断し、外部情報のユーザに対する通知状態を切り換えてもよい。例えば、通知状態制御部１４２は、必要度が第１のしきい値以上である場合には、当該必要度が高いと判断することができる。また、例えば、通知状態制御部１４２は、必要度が上記第１のしきい値未満であり、上記第１のしきい値よりも小さい第２のしきい値以上である場合には、当該必要度が中であると判断することができる。更に、例えば、通知状態制御部１４２は、必要度が上記第２のしきい値未満である場合には、当該必要度が低いと判断することができる。ただし、必要度の高低を判断するための条件は上記の例に限定されず、ユーザによって適宜変更可能であってよい。例えば、しきい値の数（すなわち、必要度の段階の数）や、上記第１のしきい値及び第２のしきい値の具体的な値、範囲を規定する「以上」及び「未満」の表現を「超過」及び「以下」等の表現に変更すること等は、ユーザによって適宜調整可能であってよい。なお、例えば、図３に示すように必要度がいくつかの段階で表現される場合には、通知状態制御部１４２は、しきい値との比較を行うことなく、必要度判断部１４１から送信される当該必要度についての情報に基づいて、当該必要度がどの段階に属しているのかを判断してもよい。
　なお、以下の説明では、必要度判断部１４１によって判断される必要度の段階又は高低を示すために、便宜的に「高」、「中」、「低」等の表現を用いるが、これらの表現は、上述した所定のしきい値（例えば、第１のしきい値及び第２のしきい値）との比較結果に基づくものであってもよいし、図３に示す例のように必要度の段階を示すものであってもよい。
　例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「高」である場合（例えば、第１のしきい値以上である場合）、外部情報をユーザに通知させる。具体的には、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「高」である場合、外部情報を直ちにユーザに通知させる。なお、外部情報を直ちにユーザに通知させるとは、段階を置かずに、すなわち他の画面の表示や音声出力等を間に挟むことなく、ユーザに対して外部情報を通知することを意味する。外部情報を直ちにユーザに通知させる具体例として、例えば、通知状態制御部１４２は、内部通知部１３０の表示画面の表示及び音声出力を、コンテンツ画像及びコンテンツ音声から外部画像及び外部音声に切り換えてもよい。また、例えば、通知状態制御部１４２は、内部通知部１３０に、コンテンツ情報と外部情報とを両方通知させてもよい。すなわち、内部通知部１３０の表示画面にコンテンツ画像と外部画像とを両方表示させ、内部通知部１３０の音声出力部からコンテンツ音声と外部音声とを両方出力させてもよい。更に、内部通知部１３０の表示画面にコンテンツ画像と外部画像とが両方表示される場合には、当該表示画面が２分割されて、これらの画像がそれぞれ表示されてもよいし、コンテンツ画像に外部画像が重畳されて表示されてもよい。
　また、例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「中」である場合（例えば、前記第１のしきい値未満であり、前記第１のしきい値よりも小さい第２のしきい値以上である場合）、外部情報を段階的にユーザに対して通知させる。外部情報を段階的にユーザに通知させる具体例として、例えば、外部情報がユーザの外部の状況を表す画像情報及び音声情報であれば、通知状態制御部１４２は、コンテンツ情報に当該音声情報を重畳させて通知させた後、当該画像情報を重畳させて通知させてもよい。つまり、通知状態制御部１４２は、コンテンツ画像及びコンテンツ音声を視聴しながら作業を行っているユーザに対して、コンテンツ画像及びコンテンツ音声は表示及び出力させながら、外部情報のうち、まずは外部音声のみを重畳して出力させ、次いで外部画像を重畳して表示させるようにしてもよい。
　また、例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「低」である場合（例えば、前記第２のしきい値未満である場合）、外部情報が検出されたことを表す所定の情報をユーザに対して通知させる。つまり、通知状態制御部１４２は、コンテンツ画像及びコンテンツ音声を視聴しながら作業を行っているユーザに対して、コンテンツ画像及びコンテンツ音声は通知させたままで、外部情報をそのまま通知させるのではなく、外部情報が検出されたことのみを通知させてもよい。
　また、例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「低」である場合（例えば、前記第２のしきい値未満である場合）には、内部通知部１３０の表示画面の表示及び音声出力を変更しない、すなわち、外部情報をユーザに対して通知しなくてもよい。このように、通知状態制御部１４２による外部情報の通知状態の制御には、外部情報を通知しない状態も含まれ得る。通知状態制御部１４２による通知状態制御の具体例については、下記［１－３．通知状態の具体例］で詳しく説明する。
　内部情報取得部１４３は、ユーザに関する情報である内部情報を取得する。具体的には、内部情報取得部１４３は、内部情報検出部１２０によって検出された内部情報を取得する。内部情報取得部１４３は、内部情報検出部１２０から内部情報を随時取得してもよいし、必要に応じて内部情報検出部１２０に内部情報を検出するように指令を出すことにより、内部情報を所定のタイミングで取得してもよい。内部情報取得部１４３は、取得した内部情報を必要度判断部１４１に送信する。
　必要度判断部１４１は、上述したように、外部情報に基づいて当該外部情報の通知必要度を判断するが、必要度判断部１４１は、内部情報に更に基づいて当該必要度を判断することができる。具体的には、必要度判断部１４１は、外部情報検出部１１０によって検出された外部情報と、内部情報取得部１４３によって取得された内部情報と、に基づいて、ユーザに対して当該外部情報を通知する必要度（通知必要度）を判断する。このように、必要度判断部１４１は、取得した外部情報及び内部情報の内容を分析し、その内容に基づいて必要度を判断することができる。
　例えば、内部情報にユーザの位置情報が含まれる場合には、必要度判断部１４１は、当該位置情報に基づいて必要度を判断してもよい。例えば、ユーザが会社にいる場合には、面識の有無にかかわらず様々な人がユーザとコミュニケーションを取ろうとするが、ユーザが自宅にいる場合には、ユーザとコミュニケーションを取ろうとする人がユーザにとって面識のない人である可能性は低い。従って、必要度判断部１４１は、内部情報に含まれる位置情報に基づいてユーザが自宅にいると判断される場合には、コミュニケーションを取ろうとする人は面識のある人であるとして必要度を判断することができる。また、例えば、ユーザが会社にいる場合には、外部の人が取ろうとするコミュニケーションの内容は仕事に関することである可能性が高いため、必要度判断部１４１は、同一の外部情報に基づく必要度の判断であったとしても、ユーザが自宅にいる場合よりも、相対的に必要度を高く判断してもよい。このように、必要度判断部１４１は、内部情報に含まれる位置情報に基づいて、例えば自宅、会社、車内、電車内等のユーザの居場所を判断し、その居場所に応じて必要度を判断することができる。
　また、例えば、内部情報にユーザの動きを表す動き情報が含まれる場合には、必要度判断部１４１は、当該動き情報に基づいて必要度を判断してもよい。例えば、ユーザが座った状態から立ち上がった場合や、ユーザが歩き出した場合には、ユーザは作業を中断して別の行動を取ろうとしている可能性が高く、ユーザに外部情報を通知する必要性が高いと考えられる。このように、必要度判断部１４１は、内部情報に含まれる動き情報に基づいてユーザが作業を中断すると判断される場合には、必要度を高く判断することができる。
　また、例えば、内部情報にユーザの行動予定についての情報が含まれる場合には、必要度判断部１４１は、当該ユーザの行動予定についての情報に基づいて必要度を判断してもよい。例えば、必要度判断部１４１は、ユーザの行動予定についての情報に基づいて、ユーザが作業時間中であると判断される場合には外部情報を通知する必要度を相対的に低く判断し、ユーザが休憩時間中であると判断される場合には外部情報を通知する必要度を相対的に高く判断することができる。
　また、例えば、内部情報にコンテンツ情報が含まれる場合には、必要度判断部１４１は、当該コンテンツ情報に基づいて必要度を判断してもよい。例えば、必要度判断部１４１は、ユーザに通知されているコンテンツ情報に基づいて、ユーザが行っている作業の重要度を判断し、作業の重要度が高い場合には、ユーザの作業を極力妨げないように外部情報を通知する必要度を相対的に低く判断し、作業の重要度が低い場合には外部情報を通知する必要度を相対的に高く判断することができる。なお、コンテンツ情報と作業の重要度との対応関係はユーザによって適宜設定されてよい。また、例えば、コンテンツ情報が映画等の動画情報である場合、当該コンテンツ情報には、各シーンについての情報が含まれてもよく、必要度判断部１４１は、当該各シーンについての情報に基づいて、ユーザに通知されている動画情報のシーンの盛り上がり度を判断して、外部情報を通知する必要度を判断してもよい。各シーンについての情報とは、例えばそのシーンが主に風景が表示されているシーンである旨の情報や、そのシーンが主に登場人物の会話から構成されるシーンである旨の情報等であったり、それらのシーンごとの「盛り上がり度」を示す情報であったりしてよい。例えば、盛り上がり度は、動画のシーンが主に風景が表示されているシーンであれば、ストーリー上重要なシーンではないと考えられるため相対的に低く設定され、動画のシーンが主に登場人物の会話から構成されるシーンであれば、ストーリー上重要なシーンであると考えられるため相対的に高く設定される。従って、必要度判断部１４１は、コンテンツ情報からユーザが視聴している動画のシーンを判断し、盛り上がり度が低い場合には外部情報を通知する必要度を相対的に高く判断したり、盛り上がり度が低い場合には外部情報を通知する必要度を相対的に低く判断したりすることができる。
　また、必要度判断部１４１は、内部情報に基づいてユーザに通知されているコンテンツ情報に対するユーザの没入度を判断し、当該没入度に更に基づいて必要度を判断してもよい。没入度の判断は、例えば内部情報に含まれる、動き情報、生体情報及びコンテンツ情報等に基づいて行われてよい。例えば、動き情報から取得されるユーザの姿勢（例えば頸部の傾き）や頭部の動き等についての情報に基づいて、没入度が判断されてもよい。また、例えば、生体情報から取得されるユーザの脈拍、心拍、視線情報等の情報に基づいて、没入度が判断されてもよい。また、例えば、コンテンツ情報から取得される上述した各シーンついての情報や「盛り上がり度」についての情報に基づいて、没入度が判断されてもよい。
　以上、図２を参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の一構成例について詳細に説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、制御部１４０については、その各構成要素の機能をＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。なお、遮蔽型ＨＭＤ装置１０のハードウェア構成については、下記＜３．ハードウェア構成＞で詳しく説明する。
　以上、図２を参照して説明したように、第１の実施形態においては、必要度判断部１４１によって、ユーザの外部の状況を表す外部情報に基づいて、当該外部情報をユーザに対して通知する必要度が判断される。また、通知状態制御部１４２によって、判断された必要度に基づいて、当該外部情報のユーザに対する通知状態が切り換えられる。このように、ユーザに対して外部情報を通知する必要度が判断され、判断された必要度に基づいて当該外部情報の通知が行われるため、ユーザは外部情報が検出されたことを認識できるとともに、その外部情報に対して適切な対応を取ることができ、外部の人とより円滑なコミュニケーションを取ることが可能となる。例えば、必要度が高い場合には、外部情報が直ちにユーザに対して通知されるため、ユーザは外部情報を直ちに認識し、ユーザに対してコミュニケーションを取ろうとしている外部の人に対して素早く応答することができる。また、必要度が中である又は低い場合には、外部情報が段階的にユーザに対して通知される又は外部情報が検出された旨の情報がユーザに対して通知されるため、ユーザは、そのとき行っている作業を優先させたり、作業を中断してすぐに外部に対して応答したり、状況に応じた対応を選択することができ、ユーザの利便性がより向上する。
　なお、通知状態制御部１４２による内部通知部１３０の通知状態制御においては、内部通知部１３０における通知状態は、必要度に基づいて制御されるとともに、ユーザによる操作入力により、適宜切り換えられてもよい。従って、必要度に基づく通知状態制御により、外部情報又は外部情報が検出されたことを表す所定の情報が通知されたユーザは、その内容に応じて、通知状態制御部１４２に対して適宜指令を入力することにより、内部通知部１３０における通知状態を変更することができる。例えば、ユーザによる操作入力によって、内部通知部１３０における通知状態が、コンテンツ情報を通知する状態と外部情報を通知する状態とのいずれかに切り換えられてもよい。また、例えば、ユーザによる操作入力によって、内部通知部１３０における通知状態が、コンテンツ情報と外部情報とを重畳して通知する状態に切り換えられてもよい。このように、ユーザは、必要度に基づく通知状態制御により、外部情報又は外部情報が検出されたことを表す所定の情報が通知された後、状況に応じて適切な通知状態を選択することができる。例えば、ユーザは、通知された情報から、外部情報にすぐに対応する必要があると判断した場合には、内部通知部１３０における通知状態を外部情報を通知する状態に切り換えて、外部に対して適切な対応を取ることができる。また、例えば、ユーザは、通知された情報から、外部情報をとりあえずは放置しても構わないと判断した場合には、内部通知部１３０における通知状態をコンテンツ情報を通知する状態に切り換えて、作業を続行することができる。また、例えば、ユーザは、通知された情報から、外部情報にすぐに対応すべきかどうか判断しかねる場合には、内部通知部１３０における通知状態をコンテンツ情報と外部情報とが重畳されて通知される状態に切り換えて、外部の状況を確認しながら作業を続行することができる。なお、通知状態制御を切り換えるためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図２に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。
　また、必要度判断部１４１による外部情報の通知必要度の判断においては、その判断基準はユーザによって適宜設定されてよい。例えば、ユーザによる設定により、必要度判断部１４１は、近付いてきた外部の人がユーザにとって面識が有る人である（ユーザの知り合いである）場合には必要度を高く判断してもよい。このような設定を行うことにより、ユーザは、自分の知り合いが近付いてきたときにはとりあえず直ちに外部画像を確認し、その後、内部通知部１３０の表示画面及び音声出力機器を適宜切り換える操作を行い、作業を続行するか、外部の人とコミュニケーションを取るか、又は作業を続行しながらコミュニケーションを取るかを状況に応じて選択することができる。
　また、図２に示す例では、遮蔽型ＨＭＤ装置１０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び制御部１４０を備えているが、本実施形態はかかる例に限定されない。例えば、遮蔽型ＨＭＤ装置１０は、ユーザが各種の情報を入力するための入力部、遮蔽型ＨＭＤ装置１０において処理される各種の情報を記憶するための記憶部、外部の他の機器と相互に各種の情報を送受信するための通信部等の構成を更に有してもよい。また、遮蔽型ＨＭＤ装置１０は１台の装置によって構成されなくてもよく、遮蔽型ＨＭＤ装置１０が備える各機能は、任意に複数の装置に分離されて構成されてもよい。例えば、ユーザに装着される装置には外部情報検出部１１０、内部情報検出部１２０及び内部通知部１３０のみが搭載され、制御部２４０は他の装置、例えば、ユーザが所有するスマートフォン（Ｓｍａｒｔｐｈｏｎｅ）やタブレットＰＣ、及び他の場所に設置されたサーバ等の任意の情報処理装置に搭載され、ユーザに装着される装置と制御部１４０が搭載された情報処理装置とが、任意の通信網（ネットワーク）を介して相互に各種の情報を送受信することにより、以上説明した遮蔽型ＨＭＤ装置１０における各種の処理が行われてもよい。
　［１－３．通知状態の具体例］
　次に、図４Ａ－図４Ｅ、図５、図６Ａ－図６Ｃを参照して、通知状態制御部１４２による通知状態制御の具体例について詳しく説明する。なお、以下では、必要度判断部１４１によって判断された必要度が高い場合、中である場合及び低い場合のそれぞれについて、通知状態制御部１４２による通知状態制御の具体例について説明する。
　（１－３－１．必要度高の場合）
　まず、図４Ａ－図４Ｅを参照して、必要度判断部１４１によって判断された必要度が高い場合における、通知状態制御部１４２による通知状態制御の具体例について説明する。上述したように、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「高」である場合（例えば、第１のしきい値以上である場合）、外部情報を直ちにユーザに通知させる。これは、外部情報を通知する必要度が高いということは、当該外部情報をユーザに対して素早く通知する必要があると考えられるからである。図４Ａ－図４Ｅを参照して、このような外部情報が直ちにユーザに通知される場合の通知状態の制御について、主に内部通知部１３０の表示画面の切り換えについて説明を行う。
　図４Ａ－図４Ｅは、必要度が高い場合における、通知状態制御部１４２による通知状態制御の具体例について説明するための説明図である。図４Ａ－図４Ｅでは、上段及び下段に内部通知部１３０の表示画面５１０を図示している。そして、上段には内部通知部１３０の表示画面５１０にコンテンツ画像５２０が表示されている様子、すなわち、外部情報がユーザに通知される前でありユーザが作業を行っている状態での表示画面の様子が図示されている。また、下段には内部通知部１３０の表示画面５１０に外部画像５３０が表示されている様子、すなわち、外部情報がユーザに通知された状態での表示画面５１０の様子が図示されている。なお、図４Ａ－図４Ｅに示す例では、外部情報は「人が近づいてきた」旨の情報であり、外部情報のユーザに対する通知として、外部の状況が撮像された画像情報及び外部の状況が録音された音声情報が、外部画像及び外部音声として内部通知部１３０の表示画面に表示される及び音声出力機器から出力される場合について説明する。
　図４Ａを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０の表示が外部画像５３０に切り換えられる。また、音声出力機器からの出力もコンテンツ音声から外部音声に切り換えられる。このように、図４Ａに示す例では、表示画面５１０の表示及び音声出力機器からの出力が、外部画像５３０及び外部音声に全て切り換えられる。
　図４Ｂに通知状態制御の他の具体例を示す。図４Ｂを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示に、外部画像５３０に含まれる人物（すなわち、ユーザに対してコミュニケーションを取ろうとしている人物）の画像のみが重畳されて表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳されて出力される。このように、図４Ｂに示す例では、表示画面５１０においてコンテンツ画像５２０に外部画像５３０に含まれる人物の画像が重畳されて表示される。また、音声出力機器からの出力において、コンテンツ音声に外部音声が重畳されて出力される。
　図４Ｃに通知状態制御の他の具体例を示す。図４Ｃを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示が縮小されるとともに、表示画面５１０の一部分に外部画像５３０が表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳されて出力される。ここで、図４Ｃに示す例では、表示画面５１０において、コンテンツ画像５２０の一部と外部画像５３０の一部とが重なって表示されているが、本実施形態はかかる例に限定されず、コンテンツ画像５２０と外部画像５３０とが互いに重ならないように表示画面５１０に表示されてもよい。例えば、表示画面５１０が２つの領域に分割され、分割された領域にコンテンツ画像５２０及び外部画像５３０がそれぞれ表示されてもよい。このように、図４Ｃに示す例では、表示画面５１０の互いに異なる領域に、コンテンツ画像５２０と外部画像５３０とがそれぞれ表示される。また、音声出力機器からの出力において、コンテンツ音声に外部音声が重畳されて出力される。
　図４Ｄに通知状態制御の他の具体例を示す。図４Ｄを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示の一部領域に、外部画像５３０が重畳されて表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳して出力される。ここで、コンテンツ画像５２０に外部画像５３０が重畳される位置は、例えばユーザから見て外部画像５３０に含まれる人物（すなわち、コミュニケーションを取ろうとしている人）が近付いてきた方向であってもよい。また、音声出力機器が立体音響を利用して、外部音声が生じた方向から当該外部音声が聞こえるように、外部音声をユーザに対して出力してもよい。このように、図４Ｄに示す例では、表示画面５１０においてコンテンツ画像５２０に外部画像５３０が重畳されて表示される。また、音声出力機器からの出力において、コンテンツ音声に外部音声が重畳されて出力される。更に、外部画像及び外部音声が、その外部情報が検出された方向も同時に通知されるように重畳される。
　図４Ｅに通知状態制御の他の具体例を示す。なお、図４Ｅに示す例では、表示画面５１０は各種の画像を３次元的に表示することができる。図４Ｅを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示に、外部画像５３０が３次元的に重畳して表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳して出力される。なお、コンテンツ画像５２０に対して外部画像５３０が重畳表示される位置はユーザによって適宜設定可能であってよい。このように、図４Ｅに示す例では、表示画面５１０の表示及び音声出力機器からの出力に対して、外部画像５３０が重畳して表示され、外部音声が重畳して出力される。
　以上、図４Ａ－図４Ｅを参照して、必要度判断部１４１によって判断された必要度が高い場合における、通知状態制御部１４２による通知状態制御の具体例について説明した。以上説明したように、必要度が高い場合には、通知状態制御部１４２は外部情報を直ちにユーザに通知させる。従って、ユーザは外部情報を素早く認識することができるため、外部の人に対してすぐに各種の対応を取ることができ、外部の人とより円滑にコミュニケーションを取ることが可能となる。また、図４Ａ－図４Ｅに示したように、コンテンツ情報が通知されている状態から外部情報が通知されている状態に通知状態が切り換えられてもよいし、コンテンツ情報が通知されている状態に外部情報が通知されている状態が重畳されてもよい。更に、図４Ｄに示す例のように、外部情報と同時に、外部情報が検出された方向が通知されてもよい。外部情報が検出された方向が同時に通知されることにより、ユーザはより素早く外部情報を認識することが可能となる。
　なお、図４Ａ－図４Ｅに示す例のうち、コンテンツ画像５２０に外部画像５３０又は外部画像５３０の一部の画像が重畳されて表示される場合には、外部画像５３０及び外部画像５３０の一部の画像は、透過して表示され重なった部分のコンテンツ画像５２０がユーザから見える状態であってもよいし、透過せず表示され重なった部分のコンテンツ画像５２０がユーザから見えない状態であってもよい。
　また、必要度が高い場合における外部情報の具体的な通知方法は図４Ａ－図４Ｅに示す方法に限定されない。本実施形態においては、必要度が高い場合には、外部情報が直ちにユーザに通知されればよく、その具体的な通知の方法はあらゆる方法であってよい。また、上記図４Ａ－図４Ｅに示す方法を含め、外部情報の具体的な通知の方法は、ユーザによって適宜設定可能であってよい。
　（１－３－２．必要度中の場合）
　次に、図５を参照して、必要度判断部１４１によって判断された必要度が中である場合における、通知状態制御部１４２による通知状態制御の具体例について説明する。上述したように、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「中」である場合（例えば、前記第１のしきい値未満であり、前記第１のしきい値よりも小さい第２のしきい値以上である場合）、外部情報を段階的にユーザに対して通知させる。これは、外部情報を通知する必要度が中であるということは、当該外部情報をユーザに対して直ちには通知しなくても構わないと考えられるからである。図５を参照して、このような外部情報が段階的にユーザに通知される場合の通知状態の制御について、主に内部通知部１３０の表示画面の切り換えについて説明を行う。
　図５は、必要度が中である場合における、通知状態制御部１４２による通知状態制御の具体例について説明するための説明図である。図５では、内部通知部１３０の表示画面５１０の表示が段階的に切り換えられる様子を図示している。なお、図５に示す例では、外部情報は「人が近づいてきた」旨の情報であり、外部情報のユーザに対する通知として、外部の状況が撮像された画像情報及び外部の状況が録音された音声情報が、外部画像及び外部音声として内部通知部１３０の表示画面５１０及び音声出力機器から出力される場合について説明する。
　図５を参照すると、１段目には内部通知部１３０の表示画面５１０にコンテンツ画像５２０が表示されている様子、すなわち、外部情報がユーザに通知される前でありユーザが作業を行っている状態での表示画面の様子が図示されている。また、１段目に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに対して通知されている。
　この状態で外部情報が検出され、当該外部情報の必要度が中であると判断された場合には、図５の２段目に示すように、表示画面５１０のコンテンツ画像５２０の表示の一部領域に、光パターン５４０が重畳して表示される。光パターン５４０は例えば円形の光を発するパターンであってよく、表示画面５１０上で点滅表示されてもよい。光パターン５４０は、外部情報が検出されたことを表す情報である。従って、ユーザは、表示画面５１０に表示された光パターン５４０を視認することにより、外部情報が検出されたことを認識することができる。
　表示画面５１０に光パターン５４０が表示された状態で所定の時間が経過すると、図５の３段目に示すように、表示画面５１０に光パターン５４０が重畳して表示されたまま、音声出力機器から、コンテンツ音声に外部音声が重畳されて出力される。従って、ユーザは、外部情報のうち音声情報を認識することができる。
　図５の３段目に示す状態で再度所定の時間が経過すると、図５の４段目に示すように、音声出力機器からはコンテンツ音声に外部音声が重畳されて出力されたまま、光パターン５４０の表示は消え、表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示される。なお、４段目に示す状態でも光パターン５４０が表示され続けていてもよい。従って、ユーザは、外部情報のうち画像情報及び音声情報を認識することができる。なお、４段目に示す状態では、外部画像５３０は、透過して表示され重なった部分のコンテンツ画像５２０がユーザから見える状態であってもよいし、透過せず表示され重なった部分のコンテンツ画像５２０がユーザから見えない状態であってもよい。
　以上、図５を参照して、必要度判断部１４１によって判断された必要度が中である場合における、通知状態制御部１４２による通知状態制御の具体例について説明した。以上説明したように、必要度が中である場合には、通知状態制御部１４２は外部情報を段階的にユーザに通知させる。図５に示す例であれば、まず外部情報が検出された旨の情報が光パターン５４０の表示としてユーザに通知され、次いで外部音声が通知され、最終的に外部画像が通知される。なお、２段目に示す段階から３段目に示す段階に遷移するまでの時間及び３段目に示す段階から４段目に示す段階に遷移するまでの時間は、ユーザによって適宜設定されてよい。また、図５に示す各段階において、ユーザからの操作入力により、内部通知部１３０の通知状態が制御されてもよい。例えば、図５に示す各段階において、ユーザからの操作入力によって、そのまま外部情報の通知処理を続行するか、現在の段階で外部情報の通知処理を中断するか、外部情報の通知処理を中止して内部通知部１３０の通知状態をコンテンツ情報を通知する状態に切り換えるか、又は内部通知部１３０の通知状態を外部情報を通知する状態に切り換えるか等、が適宜選択されてよい。当該選択のためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図２に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。従って、ユーザは、外部情報に対して対応するか、外部情報を一旦無視して作業に集中するかを、状況に応じて選択することができ、ユーザの利便性が向上する。なお、必要度が中である場合における外部情報の具体的な通知方法は図５に示す方法に限定されない。本実施形態においては、必要度が中である場合には、外部情報が段階的にユーザに通知され、ユーザによって外部情報に対応するかどうかが選択可能であればよく、その具体的な通知の方法はあらゆる方法であってよい。また、図５に示す方法を含め、外部情報の具体的な通知の方法は、ユーザによって適宜設定可能であってよい。
　（１－３－３．必要度低の場合）
　次に、図６Ａ－図６Ｃを参照して、必要度判断部１４１によって判断された必要度が低い場合における、通知状態制御部１４２による通知状態制御の具体例について説明する。上述したように、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「低」である場合（例えば、前記第２のしきい値未満である場合）、外部情報が検出されたことを表す所定の情報をユーザに対して通知させる。これは、外部情報を通知する必要度が低いということは、当該外部情報をユーザに対して直ちには通知しなくても構わないと考えられるからである。図６Ａ－図６Ｃを参照して、このような外部情報が検出されたことを表す所定の情報がユーザに通知される場合の通知状態の制御について、主に内部通知部１３０の表示画面の切り換えについて説明を行う。
　図６Ａ－図６Ｃは、必要度が低い場合における、通知状態制御部１４２による通知状態制御の具体例について説明するための説明図である。図６Ａ－図６Ｃでは、上段及び下段に内部通知部１３０の表示画面５１０を図示している。そして、上段には内部通知部１３０の表示画面５１０にコンテンツ画像５２０が表示されている様子、すなわち、外部情報がユーザに通知される前でありユーザが作業を行っている状態での表示画面の様子が図示されている。また、下段には内部通知部１３０の表示画面５１０に外部情報が検出されたことを表す所定の画像が表示されている様子が図示されている。
　図６Ａを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が低いと判断された場合には、下段に示すように、表示画面５１０におけるコンテンツ画像５２０の表示に破線で示す円パターン５５０が重畳されて表示される。円パターン５５０は、例えばユーザから見て外部情報が検出された方向に外部情報が検出された数だけ表示されてよい。また、円パターン５５０は、ユーザにより近い場所で検出された外部情報に対応する円パターン５５０ほど大きく表示されてよい。ユーザは、表示画面５１０に円パターン５５０が表示されたことを視認することにより、何らかの外部情報が検出されたことを認識することができる、また、ユーザは、円パターン５５０の表示位置及び表示された大きさを視認することにより、外部情報の検出方向及び検出距離を定性的に認識することができる。
　図６Ｂを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が低いと判断された場合には、下段に示すように、表示画面５１０におけるコンテンツ画像５２０の非表示領域に楕円パターン５６０が表示される。楕円パターン５６０は、例えばユーザから見て外部情報が検出された左右の方向に外部情報が検出された数だけ表示されてよい。また、楕円パターン５６０は、ユーザにより近い場所で検出された外部情報に対応する楕円パターン５６０ほど大きく表示されてよい。ユーザは、表示画面５１０に楕円パターン５６０が表示されたことを視認することにより、何らかの外部情報が検出されたことを認識することができる、また、ユーザは、楕円パターン５６０の表示位置及び表示された大きさを視認することにより、外部情報の検出方向及び検出距離を定性的に認識することができる。
　図６Ｃを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が低いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示の一部領域に、光パターン５４０が重畳して表示される。光パターン５４０は、図５の２段目の図を参照して説明した光パターン５４０と同じものである。光パターン５４０は例えば円形の光を発するパターンであってよく、表示画面５１０上で点滅表示されてもよい。また、光パターン５４０は、例えばユーザから見て外部情報が検出された方向に表示されてもよい。ユーザは、表示画面５１０に光パターン５４０が表示されたことを視認することにより、何らかの外部情報が検出されたことを認識することができる、また、ユーザは、光パターン５４０の表示位置を視認することにより、外部情報の検出方向を定性的に認識することができる。
　以上、図６Ａ－図６Ｃを参照して、必要度判断部１４１によって判断された必要度が低い場合における、通知状態制御部１４２による通知状態制御の具体例について説明した。以上説明したように、必要度が低い場合には、通知状態制御部１４２は外部情報が検出されたことを表す所定の情報をユーザに対して通知させる。図６Ａ－図６Ｃに示す例であれば、外部情報が検出されたことを表す所定の情報として、円パターン５５０、楕円パターン５６０又は光パターン５４０が表示画面５１０に表示されることにより、ユーザに対してその旨が通知される。また、図６Ａ－図６Ｃに示す各状態において、ユーザからの操作入力により、内部通知部１３０の通知状態が制御されてもよい。例えば、図６Ａ－図６Ｃに示す各状態において、ユーザからの操作入力によって、そのまま外部情報が検出されたことを表す所定の情報の通知処理を続行するか、外部情報が検出されたことを表す所定の情報の通知処理を中止して内部通知部１３０の通知状態をコンテンツ情報を通知する状態に切り換えるか、又は内部通知部１３０の通知状態を外部情報を通知する状態に切り換えるか、が適宜選択されてよい。当該選択のためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図２に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。従って、ユーザは、外部情報に対して対応するか、外部情報を一旦無視して作業に集中するかを、状況に応じて選択することができ、ユーザの利便性がより向上する。また、図６Ａ－図６Ｃに示す方法においては、外部情報が検出されたことを表す所定の情報のみがユーザに通知されるため、図５に示す方法に比べて、ユーザに対するコンテンツ情報の通知が妨げられない。従って、ユーザの作業を妨げずに外部情報が検出されたことのみがユーザに通知されるため、ユーザが外部情報に対して応答する必要がないと判断した場合には、ユーザはそのまま作業に集中することができる。なお、必要度が低い場合における外部情報の具体的な通知方法は図６Ａ－図６Ｃに示す方法に限定されない。本実施形態においては、必要度が低い場合には、外部情報が検出されたことを表す所定の情報がユーザに通知され、ユーザによって外部情報に対応するかどうかが選択可能であればよく、その具体的な通知の方法はあらゆる方法であってよい。例えば、内部通知部１３０の音声出力機器から、例えばブザーやアラーム等の所定の音が、コンテンツ音声の出力に重畳されて出力されることにより、ユーザに対して外部情報が検出されたことが通知されてもよい。また、上記図６Ａ－図６Ｃに示す方法を含め、外部情報が検出されたことの具体的な通知の方法は、ユーザによって適宜設定可能であってよい。
　以上、図４Ａ－図４Ｅ、図５、図６Ａ－図６Ｃを参照して、通知状態制御部１４２による通知状態制御の具体例について詳しく説明した。なお、上記説明した具体例は、本実施形態における通知状態制御の一例であり、必要度に応じた適切な通知状態制御が行われれば、その具体的な方法は上記の方法に限定されない。
　例えば、外部情報に含まれる画像情報における外部の人の顔の画像や、外部情報に含まれる機器情報における外部の人のＩＤ情報等に基づいて、ユーザに対してコミュニケーションを取ろうとしている人が個人的に認識される場合には、表示画面５１０に表示される外部画像５３０の人物の画像に対して、当該人物の名前等の情報が重畳されて表示されてもよい。また、ユーザに対してコミュニケーションを取ろうとしている人が、ユーザとＳＮＳ上のつながりがある人物である場合には、外部画像５３０の人物の画像に対して、当該ＳＮＳを表す情報（例えば、ＳＮＳの種類を表すマーク等）が重畳されて表示されてもよい。
　また、必要度だけでなく、検出された外部情報に基づいて、通知状態制御部１４２による通知状態制御が切り換えられてもよい。例えば、本実施形態においては、上記［１－２．通知状態制御装置の構成］で説明したように、緊急事態を示す特定の外部情報が検出された場合には、当該外部情報の必要度は高く判断されるが、このような外部情報は直ちにユーザに対して通知されることはもちろん、より確実に通知されることが求められる。従って、緊急事態を示す特定の外部情報が検出された場合には、図４Ａに示すように、内部通知部１３０の表示画面５１０の表示及び音声出力機器の出力は即座に外部画像及び外部音声に切り換えられてもよい。
　また、例えば、上記では、通知状態制御部１４２が、必要度判断部１４１によって判断された必要度が低い場合には、外部情報が検出されたことを表す所定の情報をユーザに対して通知する場合について説明したが、本実施形態はかかる例に限定されない。例えば、必要度が低い場合には、内部通知部１３０の表示画面の表示及び音声出力を変更しない、すなわち、外部情報をユーザに対して通知しなくてもよい。また、必要度が低い場合に、外部情報が検出されたことを表す所定の情報を通知するかどうかは、ユーザによって適宜設定可能であってよい。従って、ユーザは、作業に集中したいときには、必要度が低い場合には、外部情報が検出されたことすらユーザに対して通知されないようにすることができ、よりユーザの作業を妨げないようにすることができる。
　また、上述したように、必要度判断部１４１による外部情報の通知必要度の判断においては、その判断基準はユーザによって適宜設定されてよい。更に、図４Ａ－図４Ｅ、図５、図６Ａ－図６Ｃに示す方法を含め、通知状態制御部１４２による必要度に応じた外部情報の具体的な通知状態は、当該外部情報の種類に応じてユーザによって適宜設定可能であってよい。例えば、ユーザは、特定の外部情報が検出された場合に、その通知する必要度を高く判断するように必要度判断部１４１における判断基準を設定し、更に通知状態制御部１４２によるその具体的な通知状態制御の方法を、必要度が高い場合における通知状態制御の具体例として説明した図４Ａ－図４Ｅの中から適宜設定できてよい。具体的には、例えば、ユーザが、面識のある人（知り合い）が近づいてきたときにはすぐにその知り合いとコミュニケーションを取りたいと考えている場合には、ユーザは、近付いてきた外部の人がユーザにとって知り合いである場合には、必要度判断部１４１がその必要度を高く判断し、通知状態制御部１４２が内部通知部１３０における通知状態を図４Ａに示すように外部画像及び外部音声に切り換えるように、必要度判断部１４１及び通知状態制御部１４２における処理を設定することができる。また、例えば、ユーザが、面識のある人（知り合い）が近づいてきたときにはとりあえず外部様子を確認したいと考えている場合には、ユーザは、近付いてきた外部の人がユーザにとって知り合いである場合には、必要度判断部１４１がその必要度を高く判断し、通知状態制御部１４２が内部通知部１３０における通知状態を図４Ｂ－図４Ｅに示すようにコンテンツ画像及びコンテンツ音声と外部画像及び外部音声とが両方表示、出力される状態に切り換えるように、必要度判断部１４１及び通知状態制御部１４２における処理を設定することができる。更に、この場合、ユーザは、コンテンツ情報に重畳して通知された外部情報を確認した後、内部通知部１３０の表示画面及び音声出力機器を適宜切り換える操作を行い、作業を続行するか、外部の人とコミュニケーションを取るか、又は作業を続行しながらコミュニケーションを取るかを状況に応じて選択してもよい。このように、ユーザによって、必要度判断部１４１における必要度の判断基準及び内部通知部１３０における必要度に応じた通知状態が設定可能であることにより、ユーザの意思や志向を反映した詳細な通知状態制御を行うことが可能となる。
　［１－４．通知状態制御方法の処理手順］
　次に、図７を参照して、本開示の第１の実施形態に係る通知状態制御方法における処理手順について説明する。図７は、本開示の第１の実施形態に係る通知状態制御方法における処理手順を示すフロー図である。なお、以下の通知状態制御方法の処理手順についての説明において、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び制御部１４０の機能及び構成については、図２を参照して上述しているため、詳細な説明は省略する。
　まず、ステップＳ７０１で、内部通知部１３０によってコンテンツ情報がユーザに対して通知されている。具体的には、内部通知部１３０の表示画面にコンテンツ情報に含まれるコンテンツ画像が表示され、内部通知部１３０の音声出力機器によってコンテンツ情報に含まれるコンテンツ音声が出力されている。つまり、ステップＳ７０１に示す状態は、ユーザが作業を行っている状態である。
　次に、ステップＳ７０３で、外部情報が検出されたかどうかが判断される。当該判断は、例えば外部情報検出部１１０から送信される外部情報に基づいて、必要度判断部１４１によって行われてよい。また、ここで言う外部情報が検出されたかどうかの判断は、外部情報検出部１１０によって検出される外部情報に変化が生じたかどうかの判断であってよい。外部情報が検出されていないと判断された場合には、外部情報が検出されたと判断されるまで、そのままコンテンツ情報の通知が続行される。外部情報が検出されたと判断された場合には、ステップＳ７０５に進む。
　ステップＳ７０５では、内部情報取得部１４３によって内部情報が取得される。具体的には、内部情報取得部１４３から内部情報検出部１２０に対して内部情報を検出するように指令が出され、当該指令に基づいて内部情報検出部１２０によって検出された内部情報が、内部情報取得部１４３によって取得されてよい。ただし、後述するステップＳ７０７における必要度判断部１４１による必要度の判断処理において内部情報が用いられない場合には、ステップＳ７０５における処理は省略されてもよい。
　次に、ステップＳ７０７で、必要度判断部１４１によって、外部情報及び／又は内部情報に基づいて、当該外部情報のユーザに対する通知の必要度が判断される。当該必要度は、上記［１－２．通知状態制御装置の構成］で説明したように、「高」、「中」、「低」のようにいくつかの段階によって表現されてもよいし、スコアによって表現されてもよい。
　次に、ステップＳ７０９で、通知状態制御部１４２によって、ステップＳ７０７で必要度判断部１４１によって判断された必要度に基づいて、内部通知部１３０における通知状態が制御される。具体的には、例えば、通知状態制御部１４２によって、上記［１－３．通知状態の具体例］で説明したような、必要度に基づく通知状態制御が行われる。
　最後に、ステップＳ７１１で、ステップＳ７０９で制御された通知状態に基づいて、ユーザによって外部に対して各種の対応が取られる。具体的には、必要度が高い場合には、ユーザに対して外部情報が直ちに通知されるため、ユーザは遮蔽型ＨＭＤ装置１０越しに又は遮蔽型ＨＭＤ装置１０を外し、外部の人に対してコミュニケーションを取ろうとすることができる。また、必要度が中である場合には、ユーザに対して外部情報が段階的に通知されるため、ユーザは、すぐに外部の人に対してコミュニケーションを取ろうとしたり、ある程度自分の作業を優先させてから外部の人に対してコミュニケーションを取ろうとしたりと、状況に応じて対応を選択することができる。更に、必要度が低い場合には、ユーザに対して外部情報がそのままは通知されず、外部情報が検出されたことが通知されるため、ユーザは、すぐに外部の人に対してコミュニケーションを取ろうとしたり、外部の人を一旦無視して自分の作業を続行したりと、状況に応じて対応を選択することができる。
　以上、図７を参照して、本開示の第１の実施形態に係る通知状態制御方法における処理手順について説明した。
　＜２．第２の実施形態＞
　次に、本開示の第２の実施形態について説明する。なお、本開示の第２の実施形態は、上記説明した第１の実施形態に対していくつかの機能及び構成が追加されたものに対応する。従って、以下の第２の実施形態についての説明では、第１の実施形態との相違点について主に説明することとし、第１の実施形態と重複する機能及び構成については詳細な説明は省略する。
　［２－１．遮蔽型ＨＭＤ装置の外観］
　まず、図８Ａ及び図８Ｂを参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例について説明する。図８Ａ及び図８Ｂは、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。
　図８Ａは、第２の実施形態に係る遮蔽型ＨＭＤ装置２０を外部側から見た様子を示す斜視図である。また、図８Ｂは、第２の実施形態に係る遮蔽型ＨＭＤ装置２０を内部側から見た様子を示す斜視図である。図８Ａ及び図８Ｂを参照すると、遮蔽型ＨＭＤ装置２０は、本体部２１０及びバンド部３２０とを備える。ここで、図８Ａ及び図８Ｂに示す遮蔽型ＨＭＤ装置２０は、図１Ａ及び図１Ｂに示す遮蔽型ＨＭＤ装置１０に対して、本体部３１０のゴーグル状の部位の外部に外部表示部３１５が追加され、本体部２１０に設けられる制御部（図示せず。）の機能が変更されたものに対応している。従って、遮蔽型ＨＭＤ装置２０の本体部３１０に設けられるカメラ３１１、マイクロホン３１２、内部表示部３１３ａ、３１３ｂ及び視線センサ部３１４ａ、３１４ｂ並びにバンド部３２０の機能及び構成は、図１Ａ及び図１Ｂを参照して説明した遮蔽型ＨＭＤ装置１０におけるこれらの部材の機能及び構成と同様であるため、詳細な説明は省略する。
　図８Ａを参照すると、本体部３１０のゴーグル状の部位の外部と対する面には、外部に向けて各種の情報を視覚的に提示する外部表示部３１５が設けられる。図８Ａに示すように、外部表示部３１５は外部に面した表示画面を有し、各種の情報を、画像、テキスト、グラフ、表等、様々な形式で当該表示画面に表示し、外部に対して視覚的に提示する。ただし、外部表示部３１５は各種の情報を視覚的に提示できればよく、外部表示部３１５の形態は図８Ａに示すような表示画面を有する形態に限定されない。例えば、外部表示部３１５はＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の１つ又は複数のランプであってもよく、当該ランプが異なる色で発光する、異なる速度で点滅する、異なる明度で発光する、所定のランプだけが発光する等の、ランプの駆動によって情報を提示してもよい。また、図８Ａ及び図８Ｂには図示しないが、遮蔽型ＨＭＤ装置２０は、外部に対して各種の情報を聴覚的に提示するスピーカ装置等の音声出力部を有してもよい。
　以上、図８Ａ及び図８Ｂを参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の一外観例について説明した。以上説明したように、第２の実施形態に係る遮蔽型ＨＭＤ装置２０は、第１の実施形態に係る遮蔽型ＨＭＤ装置２０の構成に加えて、外部表示部３１５や音声出力部等の、外部に対して各種の情報を提示する構成を有する。ここで、第２の実施形態においては、第１の実施形態と同様、本体部２１０に設けられた制御部によって、検出された外部情報に基づいて、当該外部情報をユーザに対して通知する通知状態が切り換えられる。ユーザに情報を通知するとは、当該情報を内部表示部３１３ａ、３１３ｂの表示画面に画像として表示させたり、当該情報を音声出力部から音声として出力したりして、ユーザに対して視覚的、聴覚的に当該情報を通知することであってよい。更に、第２の実施形態においては、ユーザに対する外部情報の通知状態に基づいて、ユーザの当該外部情報への反応を示す情報（以下、ユーザ反応情報とも呼称する。）をユーザの外部に対して提示する提示状態が切り換えられる。ユーザの外部に対して情報を提示するとは、当該情報を外部表示部３１５の表示画面に画像として表示させたり、当該情報を音声出力部から音声として外部に向けて出力したりして、ユーザの外部に対して視覚的、聴覚的に当該情報を提示することであってよい。
　このように、第２の実施形態に係る遮蔽型ＨＭＤ装置２０は、ユーザ反応情報の外部に対する提示状態を制御する、提示状態制御装置であるとも言える。以下の説明では、遮蔽型ＨＭＤ装置２０が行う提示状態制御における一連の処理のことを提示状態制御処理と呼称する。また、以下の説明では、遮蔽型ＨＭＤ装置２０において提示状態制御処理における各種の情報処理が行われることから、遮蔽型ＨＭＤ装置２０のことを情報処理装置２０とも呼称する。
　［２－２．遮蔽型ＨＭＤ装置の構成］
　次に、図９を参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の構成について説明する。図９は、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の一構成例を示す機能ブロック図である。図９を参照すると、第２の実施形態に係る遮蔽型ＨＭＤ装置２０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０、外部提示部２５０及び制御部２４０を備える。なお、遮蔽型ＨＭＤ装置２０の構成のうち、外部情報検出部１１０、内部情報検出部１２０及び内部通知部１３０の機能及び構成については、図２を参照して説明した第１の実施形態に係る遮蔽型ＨＭＤ装置１０の外部情報検出部１１０、内部情報検出部１２０及び内部通知部１３０の機能及び構成と同様であるため、詳細な説明は省略する。以下の遮蔽型ＨＭＤ装置２０の構成についての説明では、第１の実施形態に係る遮蔽型ＨＭＤ装置１０との相違点である外部提示部２５０及び制御部２４０の機能及び構成について主に説明する。
　外部提示部２５０は、制御部２４０によってその駆動が制御され、ユーザの外部情報への反応を示す情報をユーザの外部に対して提示する。ここで、外部に対する情報の提示とは、視覚的な提示及び聴覚的な提示を含む。例えば、外部提示部２５０は表示画面を有し、ユーザ反応情報を、画像、テキスト、グラフ、表等、様々な形式で当該表示画面に表示し、ユーザの外部に対して視覚的に提示する。また、外部提示部２５０はスピーカ等の音声出力機器を有し、ユーザ反応情報を当該音声出力機器から音声として出力し、ユーザの外部に対して聴覚的に提示する。このように、外部提示部２５０は、ユーザ反応情報を表示画面に表示する表示部としての機能と、ユーザ反応情報を音声として出力する音声出力部としての機能を有してもよい。なお、外部提示部２５０の表示部としての構成は、図９Ａに示す外部表示部３１５に対応する構成であり、その表示画面は、ユーザに装着された際にユーザの眼前に位置するとともに、外部に対する面に設けられる。
　制御部２４０は、遮蔽型ＨＭＤ装置２０を統合的に制御するとともに、本実施形態に係る提示状態制御処理における各種の情報処理を行う。以下、制御部２４０の機能及び構成について詳しく説明する。
　制御部２４０は、必要度判断部１４１、通知状態制御部１４２、内部情報取得部１４３、知覚度判断部２４４及び提示状態制御部２４５を有する。なお、遮蔽型ＨＭＤ装置２０の制御部２４０の構成のうち、必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３の機能及び構成については、図２を参照して説明した第１の実施形態に係る遮蔽型ＨＭＤ装置１０の制御部１４０の必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３の機能及び構成と同様である。つまり、第２の実施形態においては、第１の実施形態と同様に、必要度判断部１４１によって、ユーザの外部の状況を表す外部情報に基づいて当該外部情報をユーザに対して通知する必要度が判断され、通知状態制御部１４２によって、判断された必要度に基づいて当該外部情報のユーザに対する通知状態が切り換えられる。このように、第２の実施形態においても、ユーザに対して外部情報を通知する必要度が判断され、判断された必要度に基づいて当該外部情報の通知状態の制御が行われる。
　従って、以下の遮蔽型ＨＭＤ装置２０の構成についての説明では、遮蔽型ＨＭＤ装置２０の制御部２４０の構成のうち、必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３の機能及び構成については詳細な説明は省略し、第１の実施形態に係る遮蔽型ＨＭＤ装置１０との相違点である知覚度判断部２４４及び提示状態制御部２４５の機能及び構成について主に説明する。ただし、第２の実施形態においては、通知状態制御部１４２は、外部情報の通知状態についての情報を知覚度判断部２４４及び提示状態制御部２４５に送信する。また、第２の実施形態においては、内部情報取得部１４３は、取得した内部情報を必要度判断部１４１の他に、知覚度判断部２４４及び提示状態制御部２４５に送信してもよい。
　知覚度判断部２４４は、通知状態制御部１４２によって切り換えられた通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報の知覚度を判断する。ユーザの外部情報の知覚度とは、ユーザが外部情報を知覚している度合いを表す指標である。例えば、ユーザに対する外部情報の通知状態が、図４Ａ－図４Ｅに示すように、外部情報が直ちにユーザに通知されている状態であれば、内部通知部１３０によってユーザに対して外部情報が明示的に通知されているため、ユーザの当該外部情報に対する知覚度は比較的高いと考えられる。また、例えば、ユーザに対する外部情報の通知状態が、ユーザに対して外部情報が通知されていない状態、すなわち、内部通知部１３０によってユーザに対してコンテンツ情報しか通知されていない状態であれば、ユーザは当該外部情報を知覚していないと考えられるため、ユーザの当該外部情報に対する知覚度は極低いと判断できるはずである。このように、知覚度判断部２４４は、通知状態制御部１４２によって切り換えられたユーザに対する外部情報の通知状態に基づいて、ユーザの当該外部情報に対する知覚度を相対的に判断することができる。
　また、知覚度判断部２４４が内部情報に基づいてユーザの外部情報に対する知覚度を判断する場合には、知覚度判断部２４４は、例えば、内部情報に含まれるユーザの生体情報や視線情報に基づいて、当該知覚度を判断することができる。例えば、視線情報として、ユーザの目が閉じられている旨の情報が検出された場合には、たとえ内部通知部１３０の表示画面に外部情報に含まれる外部画像が表示されていたとしても、ユーザは当該外部情報を知覚していない可能性が高いと考えられるため、知覚度判断部２４４は、ユーザの当該外部情報に対する知覚度は比較的低いと判断することができる。
　また、例えば、図４Ｂ－図４Ｄのように、内部通知部１３０の表示画面５１０の一部領域に外部情報に含まれる外部画像が表示される場合には、視線情報に基づいて、ユーザの視線が内部通知部１３０の表示画面の中の当該外部画像が表示された領域に向けられているかどうかによって、ユーザの当該外部情報に対する知覚度が判断されてもよい。例えば、ユーザに対してコミュニケーションを取ろうとしている人物が外部画像に映り込んでいる場合であって、内部通知部１３０の表示画面５１０の一部領域に表示されている当該外部画像にユーザが視線を向けていない場合には、ユーザは自分に対してコミュニケーションを取ろうとしている人物がいることは認識できていても、その人物が誰なのかまでは認識できていないと考えられる。従って、このような場合には、知覚度判断部２４４は、その外部情報に対するユーザの知覚度は相対的に低いと判断することができる。一方、ユーザに対してコミュニケーションを取ろうとしている人物が外部画像に映り込んでいる場合であって、内部通知部１３０の表示画面５１０の一部領域に表示されている当該外部画像にユーザが視線を向けている場合には、ユーザは自分に対してコミュニケーションを取ろうとしている人物がいることを認識するとともに、その人物が誰なのかまで認識できていると考えられる。従って、このような場合には、知覚度判断部２４４は、その外部情報に対するユーザの知覚度は相対的に高いと判断することができる。
　また、例えば、知覚度判断部２４４は、内部情報に含まれるコンテンツ情報に基づいて、当該知覚度を判断してもよい。具体的には、例えば、図５及び図６Ａ－図６Ｃのように、外部情報が段階的に通知される又は外部情報が検出された旨の情報が通知される場合には、ユーザの生体情報及び／又はコンテンツ情報に基づいて当該コンテンツに対するユーザの没入度が判断され、当該没入度に基づいて、ユーザの外部情報に対する知覚度が判断されてもよい。例えば、コンテンツに対する没入度が高い場合であれば、外部情報が段階的に通知されている途中や外部情報が検出された旨の情報が通知されている状態では、ユーザはそれらの通知に気付いていない可能性があるため、知覚度判断部２４４は、ユーザの外部情報に対する知覚度は比較的低いと判断することができる。ここで、知覚度判断部２４４による没入度の判断は、上記［１－２．遮蔽型ＨＭＤ装置の構成］で説明した必要度判断部１４１による没入度の判断と同様に、例えば、動き情報から取得されるユーザの姿勢（例えば頸部の傾き）や頭部の動き等についての情報や、生体情報から取得されるユーザの脈拍、心拍、視線情報等の情報、及び／又は、コンテンツ情報から取得される各シーンついての情報や「盛り上がり度」についての情報に基づいて、判断されてもよい。
　なお、必要度判断部１４１による必要度の判断処理と同様、例えば通知状態及び内部情報の種類と知覚度とが対応付けられたテーブルが用意されており、知覚度判断部２４４は、当該テーブルを参照することにより知覚度を判断してもよい。また、例えば、通知状態及び内部情報の種類ごとに所定のスコアが付されており、知覚度判断部２４４は、当該スコアに基づいて知覚度を判断してもよい。
　ユーザの外部情報に対する知覚度が、いくつかの段階として又はスコアとして判断されることにより、ユーザが外部情報を「知覚している」、「知覚していない」という２値的な状態だけでなく、例えば「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」といったような、より詳細なユーザの外部情報に対する知覚状態を表現することができる。
　提示状態制御部２４５は、通知状態制御部１４２によって切り換えられた通知状態に基づいて、ユーザの外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える。ここで、上述したように、外部に対してユーザ反応情報を提示するとは、ユーザ反応情報を外部提示部２５０の表示画面に画像として表示する又は外部提示部２５０の音声出力機器から音声として出力することにより、外部に対して視覚的又は聴覚的にユーザ反応情報を提示することであってよい。また、ユーザ反応情報には、ユーザが外部情報に反応しているかどうか、すなわち、ユーザが外部情報を認識しているかどうかについての情報も含まれる。
　また、提示状態の制御とはユーザ反応情報の外部に対する提示状態を切り換える制御のことであってよい。例えば、図４Ａ－図４Ｅ、図５及び図６Ａ－図６Ｃに示したように、通知状態制御部１４２は、必要度に応じて異なる通知状態制御を行う。提示状態制御部２４５は、このような、必要度に応じた通知状態の違いに応じて、提示状態を制御してもよい。例えば、ユーザに対する外部情報の通知状態が、図４Ａ－図４Ｅに示すように、外部情報が直ちにユーザに通知されている状態であれば、内部通知部１３０の表示画面によってユーザに対して外部情報に含まれる外部画像が明示的に通知されているため、提示状態制御部２４５は、ユーザが外部画像を見ている旨の情報を外部提示部２５０の表示画面に表示する。本実施形態においては、ユーザが外部画像を見ている旨の情報として、例えばユーザの目を模したパターンが外部提示部２５０の表示画面に表示されてもよい。
　また、例えば、ユーザに対する外部情報の通知状態が、ユーザに対して外部情報が通知されていない状態であれば、ユーザは外部情報に含まれる外部画像を見ていないため、提示状態制御部２４５は、ユーザが外部画像を見ていない旨の情報を外部提示部２５０の表示画面に表示する。本実施形態においては、ユーザが外部画像を見ていない旨の情報として、例えばバツ印やその旨を表す文字列等が外部提示部２５０の表示画面に表示されてよい。このように、本実施形態においては、外部提示部２５０の表示画面に、ユーザが外部情報に含まれる外部画像を見ていることを表す情報又は見ていないことを表す情報が表示されるため、外部の人は、外部提示部２５０の表示画面を参照することにより、ユーザの外部情報に対する反応を認識することができる。
　また、提示状態制御部２４５は、内部情報取得部１４３によって取得された内部情報に基づいて、提示状態を切り換えてもよい。具体的には、提示状態制御部２４５は、例えば内部情報に含まれるユーザの視線情報に基づいて提示状態を切り換えてもよい。例えば、上記のように、ユーザが外部画像を見ている旨の情報としてユーザの目を模したパターンが外部提示部２５０の表示画面に表示される場合には、提示状態制御部２４５は、視線情報に基づいて、目を模したパターンの表示をユーザの目の状態を表すように変更してもよい。例えば、ユーザのまぶたの状態に対応して、外部提示部２５０の表示画面における目を模したパターンの表示が、まぶたが上下するように（目が開閉するように）変化してもよい。また、例えば、外部提示部２５０の表示画面における目を模したパターンの表示が、ユーザの視線の変化に対応して変化してもよい。外部提示部２５０の表示画面における目を模したパターンの表示がユーザの視線の変化に対応して変化する場合には、ユーザが内部通知部１３０の表示画面に表示された外部画像に含まれる人物に対して視線を向けたとすると、外部提示部２５０の表示画面における目を模したパターンも、当該人物の方向に視線を向けるように表示される。このように、外部提示部２５０の表示画面に、ユーザの視線をトレースした表示がなされることにより、外部からユーザに対してコミュニケーションを取ろうとしている人は、ユーザの視線が自分の方を向いているかどうかを認識することができるため、ユーザが自分に気付いているかどうかを認識することができる。
　なお、提示状態制御部２４５は、内部情報に含まれる他の情報、例えば視線情報以外のユーザ情報やコンテンツ情報に応じて提示状態を切り換えてもよい。例えば、提示状態制御部２４５は、ユーザの位置情報に基づいて、ユーザが自宅にいるか会社にいるかに応じて提示状態を切り換えてもよい。例えば、ユーザが自宅にいる場合は、ユーザに対してコミュニケーションを取ろうとする外部の人は家族や友人であると考えられるが、ユーザが会社にいる場合は、ユーザに対してコミュニケーションを取ろうとする外部の人は仕事上の付き合いがある上司や顧客等であると考えられる。従って、提示状態制御部２４５は、外部に対して同じ意味を表すユーザ反応情報であっても、自宅で提示する場合には外部の人が比較的親しみを感じるような表示を行ってもよい。
　また、提示状態制御部２４５は、知覚度判断部２４４によって判断された知覚度に基づいて、提示状態を切り換えてもよい。例えば、上記のように、ユーザが外部画像を見ている旨の情報としてユーザの目を模したパターンが外部提示部２５０の表示画面に表示される場合には、提示状態制御部２４５は、知覚度に基づいて目を模したパターンの表示を変更してもよい。上述したように、知覚度によって、例えばユーザが外部情報に含まれる外部画像を「見ている（知覚している）」、「見ていない（知覚していない）」という２値的な状態だけでなく、「外部画像が表示されたことは認識しているが当該外部画像の内容までは認識していない状態」が表現され得る。例えば、知覚度が比較的高い場合には、ユーザが外部画像をきちんと認識していることを表すように、目を模したパターンが外部提示部２５０の表示画面に明瞭に表示されてもよい。一方、知覚度が比較的低い場合には、ユーザが外部画像をあまり認識していないことを表すように、外部提示部２５０の表示画面に何も表示されなくてもよい。また、例えば、知覚度が中程度である場合（上記「外部画像が表示されたことは認識しているが当該外部画像の内容までは認識していない状態」である場合）には、外部提示部２５０の表示画面に目を模したパターンがぼやけて表示される又は目を閉じたパターンが表示される等、知覚度が中間状態にある様子を表すような表示がされてもよい。このように、外部提示部２５０の表示画面に、ユーザの知覚度の度合いを反映した表示がなされることにより、外部からユーザに対してコミュニケーションを取ろうとしている人は、ユーザが自分を認識しているかどうかを知ることができる。
　なお、提示状態制御部２４５による提示状態制御の具体例については、下記［２－３．提示状態の具体例］で詳しく説明する。また、通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例については、下記［２－４．通知状態及び提示状態の具体例］で詳しく説明する。
　以上、図９を参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の一構成例について詳細に説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、制御部２４０については、その各構成要素の機能をＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。なお、遮蔽型ＨＭＤ装置２０のハードウェア構成については、下記＜３．ハードウェア構成＞で詳しく説明する。
　以上、図９を参照して説明したように、第２の実施形態においては、提示状態制御部２４５によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態に基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態が切り換えられる。従って、第２の実施形態においては、第１の実施形態によって得られる効果に加えて以下の効果を得ることができる。すなわち、第２の実施形態においては、外部の人に対して、ユーザの外部情報に対する反応が提示されるため、外部の人はユーザが外部情報（例えば、自分がユーザとコミュニケーションを取ろうとしていること）に気付いているかどうかといったユーザの状態を認識することができ、ユーザの状態に応じた適切な対応を取ることができる。従って、ユーザと外部の人とのより円滑なコミュニケーションが実現される。
　また、第２の実施形態においては、知覚度判断部２４４によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報に対する知覚度が判断される。そして、提示状態制御部２４５は、内部情報及び知覚度の少なくともいずれかに基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換えてもよい。このように、提示状態に、例えば視線情報等のユーザの状態を表す情報や、ユーザの外部情報に対する知覚度が反映されることにより、外部の人は、ユーザが外部情報に気付いているかどうかだけでなく、ユーザの視線やユーザが外部情報に気付いている度合い等のより詳細なユーザの状態を認識することができるため、ユーザと外部の人とのコミュニケーションをより円滑なものとすることができる。
　なお、提示状態制御部２４５による外部提示部２５０の通知状態制御においては、外部提示部２５０における通知状態は、通知状態、知覚度及び／又は内部情報に基づいて制御されるとともに、ユーザによる操作入力により、適宜切り換えられてもよい。つまり、ユーザから提示状態制御部２４５に対して適宜指令が入力されることにより、外部提示部２５０の表示画面における表示及び音声出力機器からの出力は変更されてよい。なお、提示状態制御を切り換えるためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図９に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。
　なお、上記では、提示状態制御部２４５が、外部提示部２５０の表示画面にユーザの目を模したパターンを表示させることにより、外部に対するユーザ反応情報の提示状態を切り換える場合について説明したが、本実施形態はかかる例に限定されない。例えば、提示状態制御部２４５は、外部提示部２５０の表示画面に文字や記号等のより直接的なメッセージを表示してもよいし、目以外の他のパターンを表示してもよい。また、外部提示部２５０の表示部が表示画面ではなくランプ等を有する場合には、当該ランプの駆動を制御することにより、ユーザ反応情報の外部に対する提示状態が切り換えられてもよい。
　また、上記では、提示状態制御部２４５が、外部提示部２５０の表示画面の表示を制御することにより、外部に対するユーザ反応情報の提示状態を切り換える場合について説明したが、本実施形態はかかる例に限定されない。例えば、提示状態制御部２４５は、外部提示部２５０の音声出力機器の出力を制御することにより外部に対する提示状態を切り換えてもよい。例えば、通知状態、知覚度及び／又は内部情報に基づいて、外部提示部２５０の音声出力機器からユーザの外部情報への反応を示す音声が出力されてもよい。当該音声は、人（例えばユーザ）の声であってもよいし、ブザーやアラーム等の音であってもよい。外部の人は、これらの外部提示部２５０の音声出力機器から出力される音声を聞くことにより、ユーザの状態を認識することができる。
　また、図９に示す例では、遮蔽型ＨＭＤ装置２０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０、外部提示部２５０及び制御部２４０を備えているが、本実施形態はかかる例に限定されない。例えば、遮蔽型ＨＭＤ装置２０は、ユーザが各種の情報を入力するための入力部、遮蔽型ＨＭＤ装置２０において処理される各種の情報を記憶するための記憶部、外部の他の機器と相互に各種の情報を送受信するための通信部等の構成を更に有してもよい。また、遮蔽型ＨＭＤ装置２０は１台の装置によって構成されなくてもよく、遮蔽型ＨＭＤ装置２０が備える各機能は、任意に複数の装置に分離されて構成されてもよい。例えば、ユーザに装着される装置には外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び外部提示部２５０のみが搭載され、制御部２４０は他の装置、例えば、ユーザが所有するスマートフォンやタブレットＰＣ、及び他の場所に設置されたサーバ等の任意の情報処理装置に搭載され、ユーザに装着される装置と制御部２４０が搭載された情報処理装置とが、任意の通信網（ネットワーク）を介して相互に各種の情報を送受信することにより、以上説明した遮蔽型ＨＭＤ装置２０における各種の処理が行われてもよい。
　［２－３．提示状態の具体例］
　次に、図１０Ａ、図１０Ｂ、図１１、図１２Ａ及び図１２Ｂを参照して、提示状態制御部２４５による提示状態制御の具体例について詳しく説明する。なお、以下の提示状態制御の具体例についての説明では、提示状態制御部２４５が外部提示部２５０の表示画面の表示を制御することにより、提示状態が切り換えられる場合を例に挙げて説明を行う。また、図１０Ａ、図１０Ｂ、図１１、図１２Ａ及び図１２Ｂでは、第２の実施形態に係る遮蔽型ＨＭＤ装置２０を装着したヒト６００を正面から見た様子を図示している。
　まず、図１０Ａ及び図１０Ｂを参照して、ユーザに対して外部情報が通知されていない状態における、提示状態制御部２４５による外部提示部２５０の表示画面の制御について説明する。図１０Ａ、図１０Ｂは、ユーザに対して外部情報が通知されていない状態における、提示状態制御部２４５による外部提示部２５０の表示画面の制御の一具体例について説明するための説明図である。なお、ユーザに対して外部情報が通知されていない状態とは、例えば、図２及び図９に示す必要度判断部１４１によって、外部情報を通知する必要度が低いと判断された場合に対応している。
　図１０Ａを参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、横方向のラインが表示されている。なお、表示画面６１０は、図９に示す外部提示部２５０の表示画面に対応している。このように、外部情報が検出されたにもかかわらずユーザに対して当該外部情報が通知されていない場合には、表示画面６１０に横方向のラインが表示されることにより、ユーザに対して外部情報が通知されていない旨が外部に対して提示されてよい。例えば、外部情報が外部の人がユーザに対して近付いてきた旨の情報である場合、近付いてきた当該外部の人は、ユーザがまだ自分に気付いていないことを認識することができるため、例えばユーザに対して特定のジェスチャを行う等、更なるアクションを取ることにより、ユーザに対して自分がコミュニケーションを取りたいという外部情報を通知させることができる。
　また、図１０Ｂを参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、「ＤＯ　ＮＯＴ　ＤＩＳＴＵＲＢ」の文字とともに禁止を表す記号が表示されている。このように、外部情報が検出されたにもかかわらず、ユーザに対して当該外部情報が通知されていない場合に、ユーザによる設定に応じて、作業に集中したい旨の情報が表示画面６１０に表示されてもよい。外部情報が外部の人がユーザに対して近付いてきた旨の情報である場合、近付いてきた当該外部の人は、ユーザがまだ自分に気付いていないこと及びユーザが作業に集中したがっていることを認識することができるため、急用でなければ機会を改めてユーザに対して接触を図る等、状況に応じた適切な対応を取ることができる。
　以上、図１０Ａ及び図１０Ｂを参照して説明したように、ユーザに対して外部情報が通知されていない状態には、外部に対する表示画面６１０に、図１０Ａに示す横方向のラインのような、ユーザが外部情報に気付いていない旨を表す表示がなされてもよい。更に、ユーザによる設定に応じて、図１０Ｂに示すようにユーザが作業に集中したがっている旨の情報が表示画面６１０に表示されてもよい。
　次に、図１１を参照して、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御について説明する。図１１は、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御の一具体例について説明するための説明図である。なお、図１１では、ユーザに対して外部情報が通知されている状態であり、そのことを表す表示の一例として、図９に示す外部提示部２５０の表示画面に、ユーザの目を模したパターンが表示される場合について図示している。
　図１１を参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、ユーザの目を模したパターンが表示されている。また、図１１に示すように、当該目を模したパターンは、ユーザの視線に応じて動くように表示画面６１０における表示が変更される。これは、図９を参照して説明したように、提示状態制御部２４５が、内部情報に含まれるユーザの視線情報に基づいて、ユーザの視線の変化に応じて外部提示部２５０の表示画面における目を模したパターンの表示を制御することに対応している。このように、ユーザに対して外部情報が通知されている状態では、表示画面６１０に表示された目を模したパターンがユーザの視線に応じて動くように表示されてもよい。従って、表示画面６１０を視認した外部の人は、ユーザが自分が近付いてきたことに気付いているかどうかを認識することができるとともに、ユーザが自分を見ているかどうかを認識することができるため、ユーザとより円滑なコミュニケーションを取ることが可能となる。
　また、図１２Ａ及び図１２Ｂには、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御の他の具体例が図示されている。図１２Ａ及び図１２Ｂは、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御の他の具体例について説明するための説明図である。図１２Ａを参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、ユーザの目を模したパターンが表示されているが、目が閉じられていることを示すパターンが表示されている。また、図１２Ｂを参照すると、表示画面６１０には、同じくユーザの目を模したパターンが表示されているが、瞬きを示すパターンが表示されている。このように、表示画面６１０には、ユーザの視線だけでなく、ユーザのまぶたの様子や目の開閉状態等、目の状態を表すあらゆる情報が表示されてよい。例えば、ユーザが涙を流している場合には、表示画面６１０にユーザが泣いている旨を表す情報が表示されてもよい。従って、外部に人は、ユーザの状態をより詳細に認識することができるため、ユーザとより円滑なコミュニケーションを取ることが可能となる。
　以上、図１１、図１２Ａ及び図１２Ｂを参照して説明したように、外部に対する表示画面６１０には、ユーザの目の状態を表す各種の情報が表示されてよい。ここで、人同士の対面コミュニケーションにおいては、言葉によって得られる情報とともに、目の状態から得られる情報の重要性が指摘されている。例えば、相手の目が隠された状態で会話を行った場合には、相手の意思や考えを理解し難くなると言われている。従って、本実施形態のように、遮蔽型ＨＭＤ装置２０の外部に対する表示画面６１０にユーザの目の状態を表す情報を表示することにより、外部の人に対してユーザの意思や考えがより伝わりやすくなる。
　［２－４．通知状態及び提示状態の具体例］
　次に、図１３及び図１４を参照して、図９に示す通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例について説明する。図１３及び図１４は、通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例について説明するための説明図である。図１３及び図１４では、図の左側に図９に示す内部通知部１３０の表示画面が順に変化する様子を図示し、図の右側に内部通知部１３０の表示画面の変化に対応して外部提示部２５０の表示画面が順に変化する様子を図示している。また、図１３は、一具体例として、図４Ａに示した場合、すなわち、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が、コンテンツ画像５２０及びコンテンツ音声から外部画像５３０及び外部音声に切り換えられる場合を示している。また、図１４は、一具体例として、図４Ｄに示した場合、すなわち、内部通知部１３０の表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示され、音声出力機器によってコンテンツ音声に外部音声が重畳して出力される場合を示している。
　図１３を参照すると、１段目では、内部通知部１３０の表示画面５１０にはコンテンツ画像が表示されており、内部通知部１３０の音声出力機器からはコンテンツ音声が出力されている。つまり、１段目に示す状態は、ユーザに対してコンテンツ情報が通知されている状態であり、ユーザが作業を行っている状態である。このように、１段目に示す状態では、外部情報が検出されておらず、ユーザに対して通知もされていない状態であるため、外部提示部２５０の表示画面６１０には何も表示されていない。
　図１３の２段目は、外部情報（例えば、外部の人がユーザに近付いてきた旨の情報）が検出され、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が、コンテンツ画像５２０及びコンテンツ音声から外部画像５３０及び外部音声に切り換えられる遷移状態を示している。このように、内部通知部１３０の表示画面５１０の表示が切り換えられるとき、表示画面５１０の表示が遷移することをユーザに対して示すために、表示画面５１０に何も表示されない状態が所定の時間設けられてもよい。ユーザは、表示画面５１０の表示が何も表示されない状態に切り換わることで、何らかの外部情報が検出されたことを認識することができる。また、２段目に示す状態は、ユーザにとっては、「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」である。従って、外部提示部２５０の表示画面６１０にはその旨を表す情報が表示されてよい。図１３に示す例では、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すために、図１２Ａに示したような目が閉じられたパターンが表示されている。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザがまだ外部情報の内容までは認識していない状態であることを認識することができる。ただし、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すための表示画面６１０の表示は、図１３の２段目に示す例に限定されず、外部の人にその旨提示できれば他のパターンが表示されてもよい。
　図１３の３段目は、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が外部画像５３０及び外部音声に切り換えられた直後の状態を示している。このように表示画面５１０に外部画像５３０が表示されることにより、ユーザは外部の状況を認識することができる。また、外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すために、ユーザの目を模したパターンが表示される。ただし、３段目に示す状態は、表示画面５１０の表示が外部画像５３０に切り換わった直後の状態であるため、ユーザは外部画像５３０の全体を見ており、外部画像５３０に含まれる人物に視線を向けてはいない。従って、表示画面６１０に表示される目を模したパターンは、ユーザの視線が正面を向いていることを示すように表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが外部画像を見ていることを認識できるとともに、目を模したパターンの表示位置に基づいてユーザが自分の方を見ていないことを認識することができる。
　図１３の４段目は、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が外部画像５３０及び外部音声に切り換えられ、ユーザが近付いてきた外部の人物を認識した状態を示している。つまり、ユーザは、表示画面５１０に表示される外部画像５３０を視認することにより外部の人が近付いてきたことを認識し、外部画像５３０における当該人物に視線を向けている。外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すためにユーザの目を模したパターンが表示されており、当該目を模したパターンは、ユーザの視線を表すように、近付いてきた外部の人の方向（図１３に示す例ではユーザから見て右方向）を向いて表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが自分の方を見ていることを認識することができる。
　次に、図１４を参照して、図９に示す通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の他の具体例について説明する。
　図１４を参照すると、１段目に示す状態は、図１３の１段目に示す状態と同様である。すなわち、１段目に示す状態は、ユーザに対してコンテンツ情報が通知されている状態であり、外部提示部２５０の表示画面６１０には何も表示されていない。
　図１４の２段目は、外部情報（例えば、外部の人がユーザに近付いてきた旨の情報）が検出され、内部通知部１３０の表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示されるとともに、音声出力機器によってコンテンツ音声に外部音声が重畳して出力された直後の状態を示している。２段目に示す状態は、ユーザに対して外部情報が通知された直後の状態であるため、ユーザにとっては、「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」である。従って、外部提示部２５０の表示画面６１０にはその旨を表す情報が表示されてよい。図１４に示す例では、図１３と同様、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すために、図１２Ａに示したような目が閉じられたパターンが表示されている。このような外部提示部２５０の表示画面６１０の表示は、図９に示す提示状態制御部２４５によって、例えば外部情報が内部通知部１３０の表示画面５１０に表示されてから所定の時間表示されるように制御されてもよい。図１４に示すように、内部通知部１３０の表示画面５１０にコンテンツ画像５２０及び外部画像５３０が両方表示される場合には、外部画像が内部通知部１３０の表示画面５１０に表示された瞬間には、ユーザはコンテンツ画像を参照しながら作業を続行しているため、当該外部画像５３０をすぐには視認することができず、当該外部画像５３０の内容を認識するために所定の時間を要すると考えられるからである。図１４の２段目に示すように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが外部情報の内容までは認識していない状態であると認識することができる。ただし、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すための表示画面６１０の表示は、図１４の２段目に示す例に限定されず、外部の人にその旨提示できれば他のパターンが表示されてもよい。
　図１４の３段目は、内部通知部１３０の表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示されるとともに、音声出力機器によってコンテンツ音声に外部音声が重畳して出力されてから、所定の時間が経過した状態を示している。外部情報が内部通知部１３０の表示画面５１０に表示されてから所定の時間が経過しているため、ユーザは外部の状況を認識している状態にある。従って、外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すために、ユーザの目を模したパターンが表示される。ただし、３段目に示す状態は、表示画面５１０の表示が外部画像５３０に切り換わってはいるものの、ユーザは外部画像５３０に含まれる人物に視線を向けてはいない。よって、表示画面６１０に表示される目を模したパターンは、ユーザの視線が正面を向いていることを示すように表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが外部画像を見ていることを認識できるとともに、目を模したパターンの表示位置に基づいてユーザが自分の方を見ていないことを認識することができる。
　図１４の４段目は、図１３の４段目に示す状態と同様の状態であり、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が外部画像５３０及び外部音声に切り換えられた状態を示している。また、ユーザは、表示画面５１０に表示される外部画像５３０を視認することにより外部の人が近づいてきたことを認識し、外部画像５３０における当該人物に視線を向けている。このとき、外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すためにユーザの目を模したパターンが表示されており、当該目を模したパターンは、ユーザの視線を表すように、近付いてきた外部の人の方向（図１４に示す例ではユーザから見て右方向）を向いて表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが自分の方を見ていることを認識することができる。
　以上、図１３及び図１４を参照して、図９に示す通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例について説明した。以上説明したように、第２の実施形態に係る遮蔽型ＨＭＤ装置２０では、内部通知部１３０の表示画面５１０の表示に連動して、外部提示部２５０の表示画面６１０にユーザの外部情報への反応を表す情報が表示される。また、表示画面６１０に表示される情報には、内部通知部１３０による通知状態、ユーザの外部情報に対する知覚度及び／又は内部情報が反映されている。従って、ユーザに対してコミュニケーションを取ろうとしている外部の人は、ユーザが自分が近づいてきたことを認識しているかどうか、認識している場合には自分の方を見ているかどうか、といった、外部情報に対するユーザの反応を詳細に認識することができる。従って、当該外部の人は、例えばユーザの視線が自分の方を向くまで待ってから話し掛ける等、コミュニケーションを取るために適切な対応を取ることができる。
　なお、図１３及び図１４に示す表示画面５１０の表示及び表示画面６１０の表示は、必ずしもこれらの図に示す順番に変化する必要はなく、また、所定の時間が経過することによって変化しなくてもよい。表示画面５１０の表示及び表示画面６１０の表示は、ユーザによる操作入力により、適宜切り換えられてよい。例えば、図１４に示す例であれば、表示画面５１０の表示及び表示画面６１０の表示は、３段目に示す状態でユーザに外部情報が通知された後、ユーザによる操作入力により、外部の人とのコミュニケーションに集中したい場合には４段目に示す状態に遷移してもよいし、作業を続行しながら外部の人とコミュニケーションを取りたい場合には３段目に示す状態のままで変化しなくてもよい。
　また、第２の実施形態においては、通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性は、図１３及び図１４に示した例に限定されない。ユーザの外部情報に対する反応が、ユーザに対して外部情報が通知されているかどうか、通知されている場合にはその通知状態やユーザによる知覚度等に応じて外部に対して提示されればよく、その提示状態はマーク、文字、記号、音声等、あらゆる状態であってよい。また、どのような場合にどのような情報を提示するかは、ユーザによって適宜設定されてよい。つまり、特定の通知状態、知覚度及び内部情報に対して、外部に対して提示されるユーザ反応情報の種類及びその提示状態が、ユーザによって適宜設定可能であってよい。このように、ユーザは、提示状態制御について、状況に応じた詳細な設定を行うことができるため、ユーザの意思や志向をより円滑に外部の人に伝達することが可能となる。
　なお、上記の図１３及び図１４の２段目に示す状態である、「ユーザが外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」とは、例えば、上記のように外部情報が通知される際のコンテンツ情報からの遷移状態、外部情報が通知された直後の状態、図５に示す段階的に外部情報が通知されている状態、及び図６Ａ－図６Ｃに示す外部情報が検出されたことを示す情報が通知されている状態等である。
　［２－５．提示状態制御方法の処理手順］
　次に、図１５を参照して、本開示の第２の実施形態に係る提示状態制御方法における処理手順について説明する。図１５は、本開示の第２の実施形態に係る提示状態制御方法における処理手順を示すフロー図である。なお、以下の提示状態制御方法の処理手順についての説明において、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０、外部提示部２５０及び制御部２４０の機能及び構成については、図９を参照して上述しているため、詳細な説明は省略する。また、図１５におけるステップＳ８０１～ステップＳ８０９での各処理は、図７に示す第１の実施形態に係る通知状態制御方法における処理手順のステップＳ７０１～Ｓ７０９での各処理と同様であるため、以下の提示状態制御方法の処理手順についての説明においては、ステップＳ８０１～ステップＳ８０９での各処理についての詳細な説明は省略する。
　図１５を参照すると、上述したように、ステップＳ８０１～ステップＳ８０９において、図７に示す第１の実施形態に係る通知状態制御方法における処理手順のステップＳ７０１～Ｓ７０９での各処理と同様の処理が行われている。すなわち、ステップＳ８０９では、通知状態制御部１４２によって、必要度判断部１４１によって判断された必要度に基づいて、内部通知部１３０におけるユーザに対する外部情報の通知状態が制御されている。ただし、ステップＳ８０５における内部情報の取得処理は、ステップＳ８０７における必要度判断部１４１による必要度の判断処理、後述するステップＳ８１１における知覚度判断部２４４による知覚度の判断処理及び／又は後述するステップＳ８１３における提示状態制御部２４５による提示状態の制御処理において内部情報が用いられない場合には、省略されてもよい。ステップＳ８０９において外部情報の通知状態が制御されると、ステップＳ８１１に進む。
　ステップＳ８１１では、知覚度判断部２４４によって、通知状態制御部１４２によって切り換えられた通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報の知覚度が判断される。ここで、上記［２－２．提示状態制御装置の構成］で説明したように、ユーザの知覚度は、内部通知部１３０における外部情報の通知状態や、生体情報に含まれる視線情報等の情報に基づいて、いくつかの段階として又はスコアとして判断されてよい。なお、後述するステップＳ８１３における提示状態制御部２４５による提示状態の制御処理において知覚度が用いられない場合には、ステップＳ８１１における処理は省略されてもよい。
　次に、ステップＳ８１３で、提示状態制御部２４５によって、通知状態制御部１４２によって切り換えられた通知状態に基づいて、ユーザの外部情報への反応を示す情報をユーザの外部に対して提示する提示状態が切り換えられる。また、提示状態制御部２４５による提示状態の切り換えは、ステップＳ８０５で取得される内部情報及び／又はステップＳ８１１で判断される知覚度に基づいて行われてもよい。また、提示状態制御部２４５による提示状態の切り換えは、例えば、上記［２－３．提示状態の具体例］及び［２－４．通知状態及び提示状態の具体例］で説明したように、ユーザの外部情報への反応を表す各種のマークや文字等が、外部に面した表示画面に表示されることによって行われてもよい。
　最後に、ステップＳ８１５で、ステップＳ８１３で制御された提示状態に基づいて、外部の人によってユーザに対して各種の対応が取られる。具体的には、例えば、ユーザが外部情報を認識しているとともに外部の人を認識している旨の情報（例えば、外部の人に視線を向けている旨の情報）が提示されている場合には、外部の人はユーザに対して話し掛ける等のコミュニケーションを取ることができる。また、例えば、ユーザが外部情報を認識していない旨の情報が提示されている場合には、外部の人は、ユーザに対して手を振る等更なるアクションを行い、自分の存在を認識してもらってから話し掛ける等のコミュニケーションを取ることができる。このように、外部の人は、ステップＳ８１３で制御された提示状態に基づいて、状況に応じた適切な対応を選択することができる。
　以上、図１５を参照して、本開示の第２の実施形態に係る提示状態制御方法における処理手順について説明した。
　＜３．ハードウェア構成＞
　次に、図１６を参照しながら、本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０のハードウェア構成について、詳細に説明する。図１６は、本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０のハードウェア構成を説明するためのブロック図である。
　遮蔽型ＨＭＤ装置１０、２０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、遮蔽型ＨＭＤ装置１０、２０は、更に、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、センサ装置９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５を備える。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、遮蔽型ＨＭＤ装置１０、２０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。ＣＰＵ９０１は、第１及び第２の実施形態においては、例えば、図２及び図９に示す制御部１４０、２４０に対応している。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インターフェース９１３を介してセンサ装置９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
　センサ装置９１４は、ユーザの動きを検出するセンサや、現在位置を表す情報を取得するセンサ、ユーザの生体情報を検出するセンサ等の検出手段である。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む３軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む３軸ジャイロセンサ等のモーションセンサ、ＧＰＳセンサ、脈拍センサや心拍センサ等を挙げることができる。また、センサ装置９１４は、上述のもの以外にも、温度計、照度計、湿度計、気圧計等の様々な測定機器を備えていてもよい。センサ装置９１４は、第１及び第２の実施形態においては、例えば、図２及び図９に示す内部情報検出部１２０に対応している。より具体的には、センサ装置９１４には、例えば図１Ａ、図１Ｂ、図８Ａ及び図８Ｂに示す視線センサ部３１４ａ、３１４ｂが含まれる。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、遮蔽型ＨＭＤ装置１０、２０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。遮蔽型ＨＭＤ装置１０、２０のユーザは、この入力装置９１５を操作することにより、遮蔽型ＨＭＤ装置１０、２０に対して各種のデータを入力したり処理動作を指示したりすることができる。第１及び第２の実施形態においては、例えば、入力装置９１５を介したユーザによる操作入力により、図２及び図９に示す通知状態制御部１４２及び提示状態制御部２４５によって、内部通知部１３０及び外部提示部２５０の表示及び音声出力が制御されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、プラズマディスプレイ装置、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）装置、無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）装置及びランプ（例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ））等の表示装置や、スピーカ、イヤホン及びヘッドホン等の音声出力装置や、プリンタ装置、携帯電話、ファクシミリ等がある。出力装置９１７は、例えば、遮蔽型ＨＭＤ装置１０、２０が行った各種処理により得られた結果を出力する。具体的には、上記表示装置は、遮蔽型ＨＭＤ装置１０、２０が行った各種処理により得られた結果を、テキスト、イメージ等様々な形式で表示する。当該表示装置は、第１及び第２の実施形態においては、例えば、図２及び図９に示す内部通知部１３０及び外部提示部２５０における表示部の構成に対応している。より具体的には、当該表示装置は、例えば図１Ａ、図１Ｂ、図８Ａ及び図８Ｂに示す内部表示部３１３ａ、３１３ｂ及び外部表示部３１５に対応している。また、上記音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。当該音声出力装置は、第１及び第２の実施形態においては、例えば、図２及び図９に示す内部通知部１３０及び外部提示部２５０における音声出力部の構成に対応している。また、出力装置９１７には、イヤホン及びヘッドホン等の音声出力装置を接続するためのイヤホンジャックが設けられてもよい。
　ストレージ装置９１９は、遮蔽型ＨＭＤ装置１０、２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種データ等を格納する。ストレージ装置９１９は、第１及び第２の実施形態においては、通知状態制御処理及び提示状態制御処理において処理される各種の情報を記憶することができる。
　ドライブ９２１は、記録媒体用リーダライタであり、遮蔽型ＨＭＤ装置１０、２０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）または電子機器等であってもよい。ドライブ９２１は、第１及び第２の実施形態においては、通知状態制御処理及び提示状態制御処理において処理される各種の情報の、各種のリムーバブル記録媒体９２７への書き込み及び読み出しを行う。
　接続ポート９２３は、機器を遮蔽型ＨＭＤ装置１０、２０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、遮蔽型ＨＭＤ装置１０、２０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。第１及び第２の実施形態においては、遮蔽型ＨＭＤ装置１０、２０は、接続ポート９２３を介して、通知状態制御処理及び提示状態制御処理において処理される各種の情報を、各種の外部接続機器９２９と相互に送受信することができる。
　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。また、通信装置９２５における通信方式（規格）には、例えば、３Ｇ（第３世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）、ＦｅｌｉＣａ（登録商標）やＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等、あらゆる通信方式が適用されてよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。第１及び第２の実施形態においては、通信装置９２５により、遮蔽型ＨＭＤ装置１０、２０と各種の外部機器との間で、通知状態制御処理及び提示状態制御処理において処理される各種の情報が相互に送受信されてよい。例えば、通信装置９２５は、図２及び図９に示す外部情報検出部１１０に対応していてもよく、外部の人が所有する機器との間で相互に情報を送受信することができ、当該機器の機器情報を外部情報として受信することができる。
　また、図１６には図示しないが、遮蔽型ＨＭＤ装置１０、２０は、以下の構成を備えてもよい。例えば、遮蔽型ＨＭＤ装置１０、２０は、周囲の様子を画像として表す画像信号を取得する撮像装置や、周囲の様子を音声として表す音声信号を取得する録音装置等を備えてもよい。当該撮像装置及び当該録音装置は、第１及び第２の実施形態においては、例えば、図２及び図９に示す外部情報検出部１１０に対応している。より具体的には、当該撮像装置及び当該録音装置は、例えば、図１Ａ、図１Ｂ、図８Ａ及び図８Ｂに示すカメラ３１１及びマイクロホン３１２に対応している。また、遮蔽型ＨＭＤ装置１０、２０は、遮蔽型ＨＭＤ装置１０、２０における上記の各構成に電力を供給する電源装置（バッテリ装置）を備えてもよい。当該電源装置には、例えばリチウムイオン二次電池等の各種の二次電池が適用される。
　以上、本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
　＜４．まとめ＞
　以上説明したように、本開示の第１及び第２の実施形態においては、以下の効果を得ることができる。
　第１の実施形態においては、必要度判断部１４１によって、ユーザの外部の状況を表す外部情報に基づいて、当該外部情報をユーザに対して通知する必要度が判断される。また、通知状態制御部１４２によって、判断された必要度に基づいて、当該外部情報のユーザに対する通知状態が切り換えられる。このように、ユーザに対して外部情報を通知する必要度が判断され、判断された必要度に基づいて当該外部情報の通知が行われるため、ユーザは外部情報が検出されたことを認識できるとともに、その外部情報に対して適切な対応を取ることができ、外部の人とより円滑なコミュニケーションを取ることが可能となる。例えば、必要度が高い場合には、外部情報が直ちにユーザに対して通知されるため、ユーザは外部情報を直ちに認識し、ユーザに対してコミュニケーションを取ろうとしている外部の人に対して素早く応答することができる。また、必要度が中である又は低い場合には、外部情報が段階的にユーザに対して通知される又は外部情報が検出された旨の情報がユーザに対して通知されるため、ユーザは、そのとき行っている作業を優先させたり、作業を中断してすぐに外部に対して応答したり、状況に応じた対応を選択することができ、ユーザの利便性がより向上する。
　また、第２の実施形態においては、第１の実施形態によって得られる効果に加えて以下の効果を得ることができる。
　第２の実施形態においては、提示状態制御部２４５によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態に基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態が切り換えられる。このように、外部の人に対して、ユーザの外部情報に対する反応が提示されるため、外部の人はユーザが外部情報（例えば、自分がユーザとコミュニケーションを取ろうとしていること）に気付いているかどうかといったユーザの状態を認識することができ、そのユーザの状態に応じた適切な対応を取ることができる。従って、ユーザと外部の人とのより円滑なコミュニケーションが実現される。
　また、第２の実施形態においては、知覚度判断部２４４によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報に対する知覚度が判断される。そして、提示状態制御部２４５は、内部情報及び知覚度の少なくともいずれかに基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換えてもよい。このように、提示状態に、例えば視線情報等のユーザの状態を表す情報や、ユーザの外部情報に対する知覚度が反映されることにより、外部の人は、ユーザが外部情報に気付いているかどうかだけでなく、ユーザの視線やユーザが外部情報に気付いている度合い等のより詳細なユーザの状態を認識することができるため、ユーザと外部の人とのコミュニケーションをより円滑なものとすることができる。
　また、第２の実施形態においては、ユーザの外部情報に対する反応として、ユーザの視線情報に基づいて、例えばユーザの目を模したパターンが外部に対して提示される。また、ユーザの外部情報に対する反応として、例えばユーザが作業を続けたい旨の情報が外部に対して提示される。従って、ユーザとコミュニケーションを取ろうとしている外部の人に対して、作業を続けたい、コミュニケーションを取りたい等のユーザの意思や感情を伝えることができる。
　今後、遮蔽型ＨＭＤ装置がより普及すれば、現在ＰＣやスマートフォン等の情報処理装置において、机上又は手元の表示画面を参照して行われている作業が、遮蔽型ＨＭＤ装置を装着して行われることが考えられる。本開示の第１の実施形態及び第２の実施形態によれば、遮蔽型ＨＭＤ装置１０、２０を装着しているユーザ同士又は遮蔽型ＨＭＤ装置１０、２０を装着しているユーザと外部の人とのより円滑な意思疎通が実現される。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換える通知状態制御部と、切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える提示状態制御部と、を備える、情報処理装置。
（２）ユーザに関する情報である内部情報を取得する内部情報取得部と、切り換えられた前記通知状態及び前記内部情報の少なくともいずれかに基づいて、ユーザの前記外部情報に対する知覚度を判断する知覚度判断部と、を更に備え、前記提示状態制御部は、前記知覚度に基づいて前記提示状態を切り換える、前記（１）に記載の情報処理装置。
（３）前記内部情報は、ユーザの視線の状態についての視線情報を含み、前記知覚度判断部は、前記視線情報に基づいて前記知覚度を判断し、前記提示状態制御部は、前記視線情報に基づいて判断された前記知覚度に基づいて、前記提示状態を切り換える、前記（２）に記載の情報処理装置。
（４）前記知覚度判断部は、前記内部情報に基づいて、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報に対するユーザの没入度を判断し、当該没入度に更に基づいて前記知覚度を判断する、前記（２）又は（３）に記載の情報処理装置。
（５）ユーザに関する情報である内部情報を取得する内部情報取得部、を更に備え、前記提示状態制御部は、前記内部情報に基づいて前記提示状態を切り換える、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）前記内部情報は、ユーザの視線の状態についての視線情報を含み、前記提示状態制御部は、前記視線情報を外部に対して提示させる、前記（５）に記載の情報処理装置。
（７）前記外部情報に基づいて、前記外部情報をユーザに通知する必要度を判断する必要度判断部、を更に備え、前記通知状態制御部は、前記必要度に基づいて前記通知状態を切り換える、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）ユーザに関する情報である内部情報を取得する内部情報取得部、を更に備え、前記必要度判断部は、前記内部情報に更に基づいて前記必要度を判断する、前記（７）に記載の情報処理装置。
（９）前記内部情報は、ユーザの状態を表すユーザ情報を含み、前記知覚度判断部は、前記ユーザ情報に基づいて前記知覚度を判断する、前記（２）～（４）のいずれか１項に記載の情報処理装置。
（１０）前記ユーザ情報は、ユーザの位置情報、ユーザの生体情報及びユーザの行動予定についての情報の少なくともいずれかを含む、前記（９）に記載の情報処理装置。
（１１）前記内部情報は、前記外部情報以外の情報であって、ユーザに通知されている情報であるコンテンツ情報を含み、前記知覚度判断部は、前記コンテンツ情報に基づいて前記知覚度を判断する、前記（２）～（４）、（９）、（１０）のいずれか１項に記載の情報処理装置。
（１２）前記コンテンツ情報は、ユーザに通知されている当該コンテンツのシーンについての情報を含む、前記（１１）に記載の情報処理装置。
（１３）前記通知状態が、前記外部情報がユーザに対して通知されない状態である場合、前記提示状態制御部は、当該ユーザが前記外部情報がユーザに対して通知されていない旨の情報を外部に対して提示させる、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）前記外部情報は、ユーザの外部の状況を画像によって表す画像情報、ユーザの外部の状況を音声によって表す音声情報及びユーザの外部の他の機器との間の通信によって取得される機器情報の少なくともいずれかを含む、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）前記外部情報に含まれるユーザの外部の状況を表す画像又は前記外部情報が検出されたことを表す画像をユーザに対して表示する表示画面を有し、ユーザに装着された際に当該表示画面がユーザの眼前に位置することによってユーザの外部に対する視界を遮蔽する内部表示部、を更に備え、前記外部情報は、ユーザの外部の状況を表す画像情報を少なくとも含み、前記通知状態制御部は、前記内部表示部の表示画面における表示を切り換えることにより、前記外部情報のユーザに対する通知状態を切り換える、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）前記提示状態制御部によって制御され、ユーザの前記外部情報への反応を示す情報を、外部に面した表示画面に表示することにより、ユーザの外部に対して提示する外部表示部、を更に備え、前記提示状態制御部は、前記外部表示部の表示画面における表示を切り換えることにより、ユーザの前記外部情報への反応を示す情報の外部に対する提示状態を切り換える、前記（１５）に記載の情報処理装置。
（１７）前記外部表示部に表示されるユーザの前記外部情報への反応を示す情報は、ユーザの視線の状態を表す視線情報であり、前記外部表示部の表示画面にはユーザの目を模したパターンが表示され、前記提示状態制御部は、ユーザの視線に応じて、ユーザの目を模した前記パターンを前記外部表示部の表示画面上で動かして表示させることにより、前記視線情報の外部への提示状態を切り換える、前記（１６）に記載の情報処理装置。
（１８）前記外部表示部に表示されるユーザの前記外部情報への反応を示す情報は文字情報であり、前記提示状態制御部は、前記外部表示部の表示画面に表示される文字情報を変化させることにより、前記文字情報の外部への提示状態を切り換える、前記（１６）に記載の情報処理装置。
（１９）ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換えることと、切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換えることと、を含む、提示状態制御方法。
（２０）コンピュータに、ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換える機能と、切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える機能と、を実現させるためのプログラム。
　１０、２０　　遮蔽型ＨＭＤ装置（情報処理装置）
　１１０　　外部情報検出部
　１２０　　内部情報検出部
　１３０　　内部通知部
　１４０、２４０　　制御部
　１４１　　必要度判断部
　１４２　　通知状態制御部
　１４３　　内部情報取得部
　２４４　　知覚度判断部
　２４５　　提示状態制御部
　２５０　　外部提示部
　２１０、３１０　　本体部
　３１１　　カメラ
　３１２　　マイクロホン
　３１３ａ、３１３ｂ　　内部表示部
　３１４ａ、３１４ｂ　　視線センサ部
　３１５　　外部表示部
　３２０　　バンド部

Claims (20)

  1. 　ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換える通知状態制御部と、
    　切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える提示状態制御部と、
    　を備える、情報処理装置。
  2. 　ユーザに関する情報である内部情報を取得する内部情報取得部と、
    　切り換えられた前記通知状態及び前記内部情報の少なくともいずれかに基づいて、ユーザの前記外部情報に対する知覚度を判断する知覚度判断部と、
    　を更に備え、
    　前記提示状態制御部は、前記知覚度に基づいて前記提示状態を切り換える、
    　請求項１に記載の情報処理装置。
  3. 　前記内部情報は、ユーザの視線の状態についての視線情報を含み、
    　前記知覚度判断部は、前記視線情報に基づいて前記知覚度を判断し、
    　前記提示状態制御部は、前記視線情報に基づいて判断された前記知覚度に基づいて、前記提示状態を切り換える、
    　請求項２に記載の情報処理装置。
  4. 　前記知覚度判断部は、前記内部情報に基づいて、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報に対するユーザの没入度を判断し、当該没入度に更に基づいて前記知覚度を判断する、
    　請求項２に記載の情報処理装置。
  5. 　ユーザに関する情報である内部情報を取得する内部情報取得部、
    　を更に備え、
    　前記提示状態制御部は、前記内部情報に基づいて前記提示状態を切り換える、
    　請求項１に記載の情報処理装置。
  6. 　前記内部情報は、ユーザの視線の状態についての視線情報を含み、
    　前記提示状態制御部は、前記視線情報を外部に対して提示させる、
    　請求項５に記載の情報処理装置。
  7. 　前記外部情報に基づいて、前記外部情報をユーザに通知する必要度を判断する必要度判断部、
    　を更に備え、
    　前記通知状態制御部は、前記必要度に基づいて前記通知状態を切り換える、
    　請求項１に記載の情報処理装置。
  8. 　ユーザに関する情報である内部情報を取得する内部情報取得部、
    　を更に備え、
    　前記必要度判断部は、前記内部情報に更に基づいて前記必要度を判断する、
    　請求項７に記載の情報処理装置。
  9. 　前記内部情報は、ユーザの状態を表すユーザ情報を含み、
    　前記知覚度判断部は、前記ユーザ情報に基づいて前記知覚度を判断する、
    　請求項２に記載の情報処理装置。
  10. 　前記ユーザ情報は、ユーザの位置情報、ユーザの生体情報及びユーザの行動予定についての情報の少なくともいずれかを含む、
    　請求項９に記載の情報処理装置。
  11. 　前記内部情報は、前記外部情報以外の情報であって、ユーザに通知されている情報であるコンテンツ情報を含み、
    　前記知覚度判断部は、前記コンテンツ情報に基づいて前記知覚度を判断する、
    　請求項２に記載の情報処理装置。
  12. 　前記コンテンツ情報は、ユーザに通知されている当該コンテンツのシーンについての情報を含む、
    　請求項１１に記載の情報処理装置。
  13. 　前記通知状態が前記外部情報がユーザに対して通知されない状態である場合、前記提示状態制御部は、当該ユーザが前記外部情報がユーザに対して通知されていない旨の情報を外部に対して提示させる、
    　請求項１に記載の情報処理装置。
  14. 　前記外部情報は、ユーザの外部の状況を画像によって表す画像情報、ユーザの外部の状況を音声によって表す音声情報及びユーザの外部の他の機器との間の通信によって取得される機器情報の少なくともいずれかを含む、
    　請求項１に記載の情報処理装置。
  15. 　前記外部情報に含まれるユーザの外部の状況を表す画像又は前記外部情報が検出されたことを表す画像をユーザに対して表示する表示画面を有し、ユーザに装着された際に当該表示画面がユーザの眼前に位置することによってユーザの外部に対する視界を遮蔽する内部表示部、
    　を更に備え、
    　前記外部情報は、ユーザの外部の状況を表す画像情報を少なくとも含み、
    　前記通知状態制御部は、前記内部表示部の表示画面における表示を切り換えることにより、前記外部情報のユーザに対する通知状態を切り換える、
    　請求項１に記載の情報処理装置。
  16. 　前記提示状態制御部によって制御され、ユーザの前記外部情報への反応を示す情報を、外部に面した表示画面に表示することにより、ユーザの外部に対して提示する外部表示部、
    　を更に備え、
    　前記提示状態制御部は、前記外部表示部の表示画面における表示を切り換えることにより、ユーザの前記外部情報への反応を示す情報の外部に対する提示状態を切り換える、
    　請求項１５に記載の情報処理装置。
  17. 　前記外部表示部に表示されるユーザの前記外部情報への反応を示す情報は、ユーザの視線の状態を表す視線情報であり、
    　前記外部表示部の表示画面にはユーザの目を模したパターンが表示され、
    　前記提示状態制御部は、ユーザの視線に応じて、ユーザの目を模した前記パターンを前記外部表示部の表示画面上で動かして表示させることにより、前記視線情報の外部への提示状態を切り換える、
    　請求項１６に記載の情報処理装置。
  18. 　前記外部表示部に表示されるユーザの前記外部情報への反応を示す情報は文字情報であり、
    　前記提示状態制御部は、前記外部表示部の表示画面に表示される文字情報を変化させることにより、前記文字情報の外部への提示状態を切り換える、
    　請求項１６に記載の情報処理装置。
  19. 　ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換えることと、
    　切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換えることと、
    　を含む、提示状態制御方法。
  20. 　コンピュータに、
    　ユーザの外部の状況を表す外部情報のユーザに対する通知状態を切り換える機能と、
    　切り換えられた前記通知状態に基づいて、ユーザの前記外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える機能と、
    　を実現させるためのプログラム。
PCT/JP2014/054047 2013-03-29 2014-02-20 情報処理装置、提示状態制御方法及びプログラム WO2014156389A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/779,303 US20160054565A1 (en) 2013-03-29 2014-02-20 Information processing device, presentation state control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013074831 2013-03-29
JP2013-074831 2013-03-29

Publications (1)

Publication Number Publication Date
WO2014156389A1 true WO2014156389A1 (ja) 2014-10-02

Family

ID=51623390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/054047 WO2014156389A1 (ja) 2013-03-29 2014-02-20 情報処理装置、提示状態制御方法及びプログラム

Country Status (2)

Country Link
US (1) US20160054565A1 (ja)
WO (1) WO2014156389A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5869712B1 (ja) * 2015-04-08 2016-02-24 株式会社コロプラ 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
WO2017006640A1 (ja) * 2015-07-08 2017-01-12 ソニー株式会社 情報処理装置、表示装置、情報処理方法及びプログラム
WO2017022769A1 (ja) * 2015-08-04 2017-02-09 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及びプログラム
EP3139251A1 (en) * 2015-09-04 2017-03-08 Samsung Electronics Co., Ltd. Dual screen head mounted display
GB2541912A (en) * 2015-09-03 2017-03-08 Nokia Technologies Oy A method and system for communicating with a user immersed in a virtual reality environment
WO2017056604A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
KR20170051136A (ko) * 2015-10-29 2017-05-11 삼성전자주식회사 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치
JP6134019B1 (ja) * 2016-01-29 2017-05-24 株式会社コロプラ 仮想現実空間提供方法および仮想現実空間提供プログラム
WO2017135788A1 (en) 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Portable image device with external dispaly
JP2021121945A (ja) * 2018-05-17 2021-08-26 グリー株式会社 データ処理プログラム、データ処理方法、および、データ処理装置
WO2023105653A1 (ja) * 2021-12-07 2023-06-15 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
JP6365229B2 (ja) * 2014-10-23 2018-08-01 株式会社デンソー 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム
US9740282B1 (en) * 2015-01-05 2017-08-22 Amazon Technologies, Inc. Gaze direction tracking
US10055887B1 (en) * 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
EP3400580B1 (en) * 2016-05-17 2022-08-31 Samsung Electronics Co., Ltd. Method and apparatus for facilitating interaction with virtual reality equipment
US10210843B2 (en) * 2016-06-28 2019-02-19 Brillio LLC Method and system for adapting content on HMD based on behavioral parameters of user
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
EP3379842B1 (en) 2017-03-21 2021-09-08 Nokia Technologies Oy Media rendering
CN110402578B (zh) * 2017-03-22 2022-05-03 索尼公司 图像处理装置、方法和记录介质
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
WO2019150201A1 (en) * 2018-02-02 2019-08-08 Interdigital Ce Patent Holdings Multiviewing virtual reality user interface
US10841534B2 (en) * 2018-04-12 2020-11-17 Microsoft Technology Licensing, Llc Real-world awareness for virtual reality
US11899214B1 (en) * 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path
EP4229471A2 (en) * 2020-09-21 2023-08-23 Apple Inc. Systems with displays and sensors
CN112462937B (zh) * 2020-11-23 2022-11-08 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
WO2023192656A1 (en) * 2022-04-01 2023-10-05 Meta Platforms Technologies, Llc Smart glasses with enhanced optical structures for augmented reality applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311362A (ja) * 1994-05-17 1995-11-28 Canon Inc 画像表示装置及びそれを管理する管理装置
JPH1184308A (ja) * 1997-09-02 1999-03-26 Minolta Co Ltd 頭部装着装置及び映像観察装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
JP2010211662A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007113975A1 (ja) * 2006-03-31 2007-10-11 National University Corporation Shizuoka University 視点検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07311362A (ja) * 1994-05-17 1995-11-28 Canon Inc 画像表示装置及びそれを管理する管理装置
JPH1184308A (ja) * 1997-09-02 1999-03-26 Minolta Co Ltd 頭部装着装置及び映像観察装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
JP2010211662A (ja) * 2009-03-12 2010-09-24 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5869712B1 (ja) * 2015-04-08 2016-02-24 株式会社コロプラ 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JP2016198180A (ja) * 2015-04-08 2016-12-01 株式会社コロプラ 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
CN107735747B (zh) * 2015-07-08 2022-02-01 索尼公司 信息处理设备、显示装置、信息处理方法及程序
WO2017006640A1 (ja) * 2015-07-08 2017-01-12 ソニー株式会社 情報処理装置、表示装置、情報処理方法及びプログラム
CN107735747A (zh) * 2015-07-08 2018-02-23 索尼公司 信息处理设备、显示装置、信息处理方法及程序
EP3321773A4 (en) * 2015-07-08 2019-05-01 Sony Corporation INFORMATION PROCESSING DEVICE, DISPLAY DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2017022769A1 (ja) * 2015-08-04 2017-02-09 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及びプログラム
US11763578B2 (en) 2015-08-04 2023-09-19 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
US11417126B2 (en) 2015-08-04 2022-08-16 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
EP3333616A4 (en) * 2015-08-04 2019-04-03 Sony Interactive Entertainment Inc. VISIOCASQUE, DISPLAY CONTROL METHOD, AND PROGRAM
US10685211B2 (en) 2015-08-04 2020-06-16 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
GB2541912A (en) * 2015-09-03 2017-03-08 Nokia Technologies Oy A method and system for communicating with a user immersed in a virtual reality environment
EP3139251A1 (en) * 2015-09-04 2017-03-08 Samsung Electronics Co., Ltd. Dual screen head mounted display
US10545714B2 (en) 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
EP3454184A1 (en) * 2015-09-04 2019-03-13 Samsung Electronics Co., Ltd. Dual screen head mounted display
WO2017056604A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
CN108028957A (zh) * 2015-09-29 2018-05-11 索尼公司 信息处理装置、信息处理方法和程序
CN108028957B (zh) * 2015-09-29 2021-10-08 索尼公司 信息处理装置、信息处理方法和机器可读介质
KR20170051136A (ko) * 2015-10-29 2017-05-11 삼성전자주식회사 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치
KR102627636B1 (ko) * 2015-10-29 2024-01-22 삼성전자주식회사 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치
JP2017134716A (ja) * 2016-01-29 2017-08-03 株式会社コロプラ 仮想現実空間提供方法および仮想現実空間提供プログラム
JP6134019B1 (ja) * 2016-01-29 2017-05-24 株式会社コロプラ 仮想現実空間提供方法および仮想現実空間提供プログラム
EP3411748A4 (en) * 2016-02-05 2019-03-13 Samsung Electronics Co., Ltd. PORTABLE IMAGE DEVICE WITH EXTERNAL DISPLAY
CN108604014A (zh) * 2016-02-05 2018-09-28 三星电子株式会社 具有外部显示器的便携式图像设备
WO2017135788A1 (en) 2016-02-05 2017-08-10 Samsung Electronics Co., Ltd. Portable image device with external dispaly
JP2021121945A (ja) * 2018-05-17 2021-08-26 グリー株式会社 データ処理プログラム、データ処理方法、および、データ処理装置
WO2023105653A1 (ja) * 2021-12-07 2023-06-15 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法

Also Published As

Publication number Publication date
US20160054565A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
WO2014156389A1 (ja) 情報処理装置、提示状態制御方法及びプログラム
CN110874129B (zh) 显示系统
JP6266736B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10712998B2 (en) Information processing device, information processing method, and program
JP6079614B2 (ja) 画像表示装置及び画像表示方法
US11002965B2 (en) System and method for user alerts during an immersive computer-generated reality experience
US10162594B2 (en) Information processing device, method of information processing, and program
WO2016013269A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
CN108957761A (zh) 显示装置及其控制方法、头戴式显示装置及其控制方法
TW201535155A (zh) 藉由凝視偵測進行遠端裝置控制
JP2018200566A (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
JPWO2018155026A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020253800A1 (zh) 仿真对象的身份识别方法、相关装置及系统
US20210081047A1 (en) Head-Mounted Display With Haptic Output
JP2018200678A (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
JP6733662B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20210160150A1 (en) Information processing device, information processing method, and computer program
WO2022066350A1 (en) Head-mountable device for posture detection
WO2018168247A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2023058451A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018097879A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20240104859A1 (en) User interfaces for managing live communication sessions
US20230298226A1 (en) Systems and methods for ar/vr device improvements
US20230403460A1 (en) Techniques for using sensor data to monitor image-capture trigger conditions for determining when to capture images using an imaging device of a head- wearable device, and wearable devices and systems for performing those techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14774658

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14779303

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14774658

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP