WO2024053271A1 - 情報処理装置、プログラム、および情報処理方法 - Google Patents

情報処理装置、プログラム、および情報処理方法 Download PDF

Info

Publication number
WO2024053271A1
WO2024053271A1 PCT/JP2023/027195 JP2023027195W WO2024053271A1 WO 2024053271 A1 WO2024053271 A1 WO 2024053271A1 JP 2023027195 W JP2023027195 W JP 2023027195W WO 2024053271 A1 WO2024053271 A1 WO 2024053271A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information processing
processing device
sound
sensor unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/027195
Other languages
English (en)
French (fr)
Inventor
彬任 桑原
真一 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2024053271A1 publication Critical patent/WO2024053271A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present disclosure relates to an information processing device, a program, and an information processing method.
  • Patent Document 1 discloses a technology that moves the sound image localization of the reproduced sound to an arbitrary position when the user's speech is detected by a microphone while the user is listening to music with headphones. .
  • the present disclosure proposes a new and improved technique that can further improve user convenience in detecting changes in the surrounding environment based on sensing data.
  • a determination result is obtained as to whether a change in the surrounding environment of the sensor unit indicated by sensing data acquired by the sensor unit satisfies a predetermined condition.
  • a determination result acquisition unit ; and a recognition process for recognizing a state of the surrounding environment of the sensor unit based on the determination result acquisition unit acquiring a determination result indicating that the predetermined condition is satisfied.
  • An information processing device is provided, including a recognition unit.
  • the computer includes a determination result acquisition unit that acquires a determination result as to whether or not a change in the surrounding environment of the sensor unit indicated by sensing data acquired by the sensor unit satisfies a predetermined condition; a recognition unit that starts a recognition process for recognizing the situation of the surrounding environment of the sensor unit based on the determination result acquisition unit acquiring a determination result indicating that the predetermined condition is satisfied; A program will be provided to help you.
  • a determination result is obtained as to whether or not a change in the surrounding environment of the sensor unit indicated by the sensing data acquired by the sensor unit satisfies a predetermined condition;
  • an information processing method executed by a computer the method comprising: starting a recognition process for recognizing a state of the surrounding environment of the sensor unit based on a determination result indicating that the sensor unit has been detected. .
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing system according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram for explaining a configuration example of an information processing device 10 according to a first embodiment.
  • 2 is a block diagram illustrating an example of a functional configuration of an image sensor unit 110.
  • FIG. 15 is a flowchart for explaining a process of acquiring a determination result of a change in sound in the surrounding environment of the information processing device 10 by the sound difference processing unit 1501.
  • 15 is a conceptual diagram for explaining calculation of a difference by a sound difference processing unit 1501.
  • FIG. It is a flowchart for explaining an example of the operation of the information processing device 10 according to the first embodiment.
  • FIG. 2 is a block diagram for explaining a configuration example of an information processing device 11 according to a second embodiment.
  • FIG. 7 is a block diagram for explaining a configuration example of an image sensor unit 111 according to a second embodiment. It is a flowchart for explaining an example of the operation of the information processing device 11 according to the second embodiment. It is a flowchart for explaining an example of the operation of the image sensor unit 111 according to the second embodiment.
  • FIG. 2 is a block diagram for explaining a configuration example of an information processing device 12 according to a third embodiment.
  • FIG. 3 is a block diagram for explaining a configuration example of an image sensor unit 112 according to a third embodiment.
  • FIG. 12 is a flowchart for explaining an example of the operation of the information processing device 12 according to the third embodiment. It is a flowchart for explaining an example of the operation of the image sensor unit 122 according to the third embodiment. It is an explanatory view for explaining an outline of a fourth embodiment.
  • FIG. 7 is a block diagram for explaining a configuration example of an information processing device 13 according to a fourth embodiment.
  • FIG. 7 is an explanatory diagram for explaining an example of an installation position of an image sensor unit 110 according to a fourth embodiment.
  • FIG. 7 is an explanatory diagram for explaining another example of the installation position of the image sensor unit 110 according to the fourth embodiment.
  • FIG. 7 is an explanatory diagram for explaining another example of the installation position of the image sensor unit 110 according to the fourth embodiment.
  • FIG. 13 is a flowchart for explaining an example of the operation of the information processing device 13 according to the fourth embodiment.
  • 12 is a flowchart for explaining an example of the operation of the image sensor unit 110 according to the fourth embodiment.
  • 9 is a block diagram showing an example of a hardware configuration 90.
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different numbers after the same reference numeral. However, if there is no particular need to distinguish each of the plurality of components having substantially the same functional configuration, only the same reference numerals are given to each of the plurality of components.
  • the present disclosure relates to a technique for detecting changes in a user's surrounding environment based on sensing data.
  • the present disclosure will be preferably applied to the environment around a user who uses a sound reproduction device, such as headphones or an HMD (Head Mounted Display), which the user can wear to listen to content such as music.
  • a sound reproduction device such as headphones or an HMD (Head Mounted Display)
  • HMD Head Mounted Display
  • Patent Document 1 discloses a technology that detects changes in the sound of the surrounding environment based on sounds detected by a microphone, and moves the sound image localization of content playback sound to an arbitrary position. has been done.
  • the sound of the user U coughing, the sound of the user U talking to himself, etc. may be transmitted to other users. Even when a sound other than talking or conversation occurs, the process of moving the sound image localization of the content playback sound may be performed.
  • the information processing system aims to provide a technology that can further improve user convenience in detecting changes in the surrounding environment based on sensing data. More specifically, the information processing device 10 uses two types of sensing data: sounds around the information processing device 10 and images around the information processing device 10, to communicate between users located around the information processing device 10 and other users. Recognize whether or not someone is talking or having a conversation.
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present disclosure includes an information processing device 10.
  • the information processing device 10 is an information processing device that can reproduce sound.
  • the information processing device 10 is a headphone.
  • the information processing device 10 includes an image sensor section 110 and a microphone 120.
  • the information processing device 10 has a function of outputting content desired by the user, such as music. In the example shown in FIG. 1, the information processing device 10 outputs sound content such as music.
  • the information processing device 10 communicates with any user terminal such as a smartphone, tablet terminal, or PC (Personal Computer), which is not shown in FIG. may also receive operation instructions.
  • the image sensor unit 110 has a function of acquiring an image of the surrounding environment of the information processing device 10. For example, the image sensor unit 110 acquires an image of another user U2 approaching the information processing device 10.
  • the information processing device 10 can detect, for example, another user U2 approaching the information processing device 10 by analyzing the image.
  • the microphone 120 has a function of detecting sounds around the information processing device 10. For example, the microphone 120 acquires the voice of another user U2 who is speaking to the user U or who is having a conversation with the user U. Alternatively, the microphone 120 can acquire the voice of the user U who is talking to or having a conversation with the other user U2.
  • the information processing device 10 detects changes in the surrounding environment of the information processing device 10 based on surrounding sounds acquired by the microphone 120. Further, the information processing device 10 obtains a determination result as to whether or not the detected change in the surrounding environment satisfies a predetermined condition.
  • the predetermined condition may be, for example, that the sound around the information processing device 10 has changed by more than a difference indicated by a predetermined threshold compared to a predetermined time ago.
  • the information processing device 10 uses the microphone 120 to acquire the voice of another user U2 speaking to the user U1.
  • the information processing device 10 detects that the surrounding sound has changed by more than the difference indicated by a predetermined threshold by taking the difference between the voice and the surrounding sound before the other user U2 speaks to the user U1. . Then, the information processing device 10 determines that the change in the surrounding environment satisfies a predetermined condition.
  • the information processing device 10 also displays an image of the surrounding environment of the information processing device 10 obtained by the image sensor unit 110 and an image of the information processing device 10 obtained by the microphone 120 when a change in the surrounding environment satisfies a predetermined condition.
  • a recognition process is performed to analyze the surrounding sounds of the information processing device 10 and recognize the state of the surrounding environment of the information processing device 10 .
  • the information processing device 10 recognizes the presence or absence of a conversation between the user U and another user based on images of the surrounding environment of the information processing device 10 and sounds surrounding the information processing device 10. You may. Furthermore, the information processing device 10 may control the output of the content according to the recognition result.
  • the information processing device 10 may temporarily stop the content playback sound output from a speaker included in the information processing device 10. Furthermore, when the information processing device 10 recognizes that there is a conversation, the information processing device 10 may output sounds around the information processing device 10 (hereinafter referred to as external sounds) acquired by the microphone 120 from the speaker.
  • external sounds sounds around the information processing device 10
  • the information processing device 10 performs recognition processing of the state of the surrounding environment only when the change in the surrounding environment indicated by the sound around the information processing device 10 satisfies a predetermined condition. This makes it possible to reduce power consumption compared to a configuration in which the information processing device 10 always performs recognition processing.
  • FIG. 2 is a block diagram for explaining a configuration example of the information processing device 10 according to the first embodiment.
  • the information processing device 10 includes an image sensor section 110, a microphone 120, a speaker 130, a storage section 140, and a control section 150.
  • the image sensor unit 110 has a function of capturing an image of the surrounding environment of the information processing device 10.
  • the information processing device 10 may include a plurality of image sensor units 110.
  • FIG. 3 is a block diagram illustrating an example of the functional configuration of the image sensor unit 110. As shown in FIG. 3, the image sensor section 110 includes a pixel array 210 and an image sensor control section 220.
  • the pixel array 210 is composed of light-receiving elements such as photodiodes, and has a function of generating an electrical signal when detecting light.
  • the pixel array 210 is composed of a plurality of light receiving elements arranged in an array.
  • the pixel array 210 captures an image of the surrounding environment of the information processing device 10 by detecting light reflected in the surrounding environment of the information processing device 10 and converting it into an electrical signal.
  • the image sensor control unit 220 has a function of controlling the overall operation of the image sensor unit 110.
  • the image sensor control unit 220 has functions as an image reduction processing unit 2201 and an image output unit 2202.
  • the image reduction processing unit 2201 has a function of reducing image data of the surrounding environment of the information processing device 10 acquired by the pixel array 210 by performing signal processing on the electrical signals output from the pixel array 210.
  • the image reduction processing unit 2201 performs the image reduction processing in accordance with the image size set as input data for recognition processing performed by the recognition unit 1503 of the information processing apparatus 10, which will be described later. Thereby, the recognition processing load of the recognition unit 1503 can be adjusted according to the processing capacity of the recognition unit 1503.
  • the image reduction processing unit 2201 There is no need to perform the reduction process. In this case, the image sensor control unit 220 does not need to have the function of the image reduction processing unit 2201.
  • the image output unit 2202 outputs image data of the surrounding environment after reduction processing by the image reduction processing unit 2201 to the control unit 150.
  • the image output unit 2202 outputs image data of the surrounding environment acquired by the pixel array 210 to the control unit 150 when the image reduction processing unit 2201 does not perform the reduction process.
  • the microphone 120 has a function of acquiring sounds around the information processing device 10 .
  • the microphone 120 acquires audio data of the user U1 and other users U2.
  • the information processing device 10 outputs the acquired surrounding sound data to the control unit 150.
  • the microphone 120 has a function of storing the sound acquired in a time interval having a predetermined length of time (for example, several seconds) in the sound memory of the storage unit 140 under the control of the control unit 150. For example, the microphone 120 stores surrounding sound data for the past few seconds in the sound memory.
  • the speaker 130 has a function of outputting sound.
  • Speaker 130 may be configured as a bone conduction speaker.
  • the storage unit 140 is realized by a ROM (Read Only Memory) that stores programs and calculation parameters used in the processing of the control unit 150, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • Control unit 150 The control unit 150 controls the overall operation of the information processing device 10.
  • Such a control section 150 has functions as a sound difference processing section 1501, a recognition section 1503, and an output control section 1505.
  • the sound difference processing unit 1501 processes first sound data acquired by the microphone 120 in a first time period having a predetermined time length, and second sound data acquired by the microphone 120 in a first time period having the predetermined time length, which is different from the first time period. Based on the second sound data acquired in the time interval, a determination result is obtained as to whether a change in the sound around the information processing device 10 satisfies a predetermined condition. More specifically, the sound difference processing unit 1501 determines whether the difference between the first sound data and the second sound data exceeds a predetermined threshold.
  • the processing by the sound difference processing unit 1501 to obtain a determination result as to whether or not a change in sound satisfies a predetermined condition will be described in more detail.
  • FIG. 4 is a flowchart for explaining the process of acquiring the judgment results of changes in sound in the surrounding environment of the information processing device 10 by the sound difference processing unit 1501.
  • sound data around the information processing device 10 is acquired by the microphone 120.
  • the microphone 120 stores sounds around the information processing device 10 for a predetermined length of time (for example, several seconds) acquired in the past from the current time as past sound data in the storage unit 140. store in memory.
  • the past sound data is an example of second sound data.
  • the microphone 120 receives sound data around the current information processing device 10 for the same predetermined length of time as the past sound data (for example, sound data for several seconds in the past from the current time) as current sound data. It is output to the sound difference processing section 1501.
  • the sound difference processing unit 1501 obtains past sound data and current sound data from each of the microphone 120 and the storage unit 140, and calculates the difference between the past sound data and the current sound data.
  • FIG. 5 is a conceptual diagram for explaining calculation of a difference by the sound difference processing unit 1501.
  • the waveform W shown in FIG. 5 is an image diagram of the waveform of each sound data.
  • the waveform W1 represents past sound data. Further, waveform W2 represents current sound data.
  • the sound difference processing unit 1501 calculates the difference between the sound data of the waveform W1 and the waveform W2. Waveform W3 represents the difference in sound data.
  • the sound difference processing unit 1501 calculates the absolute value of the difference indicated by the waveform W3.
  • Waveform W4 represents the absolute value of the calculated difference.
  • the sound difference processing unit 1501 integrates the absolute value of the difference and calculates an integral value.
  • the calculated integral value is an example of a difference value indicating the difference.
  • the sound difference processing unit 1501 determines that the change in the surrounding environment of the information processing device 10 satisfies a predetermined condition.
  • the sound difference processing unit 1501 outputs the determination result to the control unit 150.
  • Such a sound difference processing unit 1501 is an example of a determination result acquisition unit of the information processing device 10.
  • the sound difference processing section 1501 may output the calculated difference value to the control section 150.
  • the control unit 150 may determine whether the difference value exceeds a predetermined threshold.
  • control unit 150 determines whether to output an instruction to start recognition processing by the recognition unit 1503, which will be described later.
  • the recognition unit 1503 detects the change in the surrounding environment of the information processing device 10. Starts recognition processing to recognize the situation.
  • the recognition unit 1503 analyzes sound data around the information processing device 10 acquired by the microphone 120 and image data of the environment around the information processing device 10 acquired by the image sensor unit 110. Furthermore, based on the analysis result, the recognition unit 1503 recognizes whether or not there is talk or conversation between a user located around the information processing device 10 and another user, as the status of the surrounding environment of the information processing device 10 .
  • the recognition unit 1503 uses sound data around the information processing device 10, image data of the surrounding environment around the information processing device 10, and conversations between users and other users located around the information processing device 10, or Using a neural network that uses as input data the correct data on whether there is a conversation, sound data around the information processing device 10 and image data of the surrounding environment, and the conversation or conversation between the user and another user. You may also learn the relationship between the presence and absence of . Furthermore, the recognition unit 1503 may use the model obtained as a result of learning to recognize the presence or absence of a conversation or conversation between a user located around the information processing device 10 and another user.
  • the recognition unit 1503 may detect sound data around the information processing device 10 and the surrounding environment of the information processing device 10 in a state where there is no conversation between a user located around the information processing device 10 and another user. Using a neural network that uses only the image data of Image data of the environment may also be learned. In this case, the recognition unit 1503 recognizes the sound data around the information processing device 10 in which a user located around the information processing device 10 and another user are talking or having a conversation, and the sound data around the information processing device 10. When image data of the environment is input, talking or conversation between a user located around the information processing device 10 and another user may be detected.
  • the recognition unit 1503 may use image data of the surrounding environment that has been subjected to image reduction processing as the input data. Thereby, it is possible to reduce the load of recognition processing by the recognition unit 1503.
  • the output control unit 1505 controls the output of the content output by the speaker 130 when the recognition unit 1503 recognizes that there is a conversation or a conversation between a user around the information processing device 10 and another user. Has a function.
  • the output control unit 1505 may perform a process of temporarily stopping the content playback sound being output by the speaker 130.
  • the output control unit 1505 may cause the speaker 130 to output external sound from the information processing device 10 .
  • the output control unit 1505 may perform a process of reducing the volume of the content playback sound output by the speaker 130 or a process of changing the sound image localization of the content sound. good.
  • the information processing device 10 may include a vibrator (vibrator) that is not shown in FIG. 2 and is capable of generating continuous or intermittent vibrations.
  • the output control unit 1505 may control the vibrator to generate vibrations as another example of content output control.
  • the output control unit 1505 may control the content output as another example.
  • the user terminal may be controlled to vibrate.
  • the output control unit 1505 controls the output of the content, so that the user U1 can control the content playback sound on the information processing device 10. This makes it easier to notice when people around you are talking to you, even when you are listening to them. Further, while the user U1 is talking to those around him or having a conversation with other users, the effort of stopping the content playback sound or removing the information processing device 10 from his head is omitted. Therefore, user convenience is improved.
  • FIG. 6 is a flowchart for explaining an example of the operation of the information processing device 10 according to the first embodiment.
  • the sound difference processing unit 1501 of the information processing device 10 acquires past sound data and current sound data from each of the microphone 120 and the storage unit 140 (S101).
  • the sound difference processing unit 1501 calculates the difference value between the past sound data and the current sound data (S103).
  • the information processing device 10 If the calculated difference value does not exceed the predetermined threshold (S105/NO), the information processing device 10 returns to S101 and repeats the series of processes.
  • control unit 150 If the calculated difference value exceeds the predetermined threshold (S105/YES), the control unit 150 outputs an instruction to the recognition unit 1503 to start recognition processing of the situation of the surrounding environment of the information processing device 10 ( S105).
  • the recognition unit 1503 performs recognition processing (S111).
  • the output control unit 1505 outputs an external signal to the speaker 130.
  • the external sound capture function which is a process for outputting sound, is turned off (S119), and the process returns to S101 to repeat the series of processes.
  • the output control unit 1505 activates the external sound capture function. Turn it ON (S115).
  • the information processing device 10 terminates the processing.
  • the information processing device 10 repeats the processes of S101 to S119 until an end operation is performed to end the series of processes (S117/NO).
  • FIG. 7 is a flowchart for explaining an example of the operation of the image sensor section 110 according to the first embodiment.
  • the operations shown in the flowchart of FIG. 7 are started simultaneously with the start of the operations shown in the flowchart of FIG. 6, and are executed in parallel.
  • the pixel array 210 of the image sensor unit 110 starts acquiring image data of the surrounding environment of the information processing device 10 (S201).
  • the pixel array 210 continues to acquire image data of the surrounding environment until the control unit 150 outputs an instruction to start the recognition process of the surrounding environment situation by the recognition unit 1503 (S203/NO).
  • the image reduction processing unit 2201 of the image sensor unit 110 reduces the amount of information acquired by the pixel array 210. Processing is performed to reduce the image data of the surrounding environment to a predetermined resolution (S205).
  • the image output unit 2202 outputs the image data of the surrounding environment subjected to the reduction process by the image reduction processing unit 2201 to the recognition unit 1503 (S207).
  • the image sensor unit 110 terminates the process.
  • the image sensor unit 110 repeats the processes of S201 to S209 until an end operation is performed to end the series of processes (S209/NO).
  • Second embodiment> the image sensor control unit 221 of the image sensor unit 111 performs recognition processing to recognize the situation of the surrounding environment of the information processing device 11.
  • the image sensor control unit 221 of the image sensor unit 111 performs recognition processing to recognize the situation of the surrounding environment of the information processing device 11.
  • FIG. 8 is a block diagram for explaining a configuration example of the information processing device 11 according to the second embodiment.
  • the information processing device 11 includes an image sensor section 111, a microphone 120, a speaker 130, a storage section 140, and a control section 151.
  • the microphone 120, the speaker 130, and the storage unit 140 are as described above with reference to FIG. 2, so a redundant explanation here will be omitted.
  • the image sensor unit 111 has a function of acquiring an image of the surrounding environment of the information processing device 10, similar to the image sensor unit 110 according to the first embodiment. Furthermore, the image sensor unit 111 has functions equivalent to the recognition unit 1503 and the output control unit 1505 in the first embodiment.
  • FIG. 9 is a block diagram for explaining a configuration example of the image sensor section 111 according to the second embodiment.
  • the image sensor section 111 includes a pixel array 210 and an image sensor control section 221.
  • the pixel array 210 has a function equivalent to the pixel array 210 according to the first embodiment.
  • the image sensor control unit 221 has functions as an image reduction processing unit 2201 and an image output unit 2202, similar to the image sensor control unit 220 according to the first embodiment. Furthermore, the image sensor control unit 221 according to the second embodiment has functions as a recognition unit 2203 and an output control unit 2204.
  • the recognition unit 2203 has a function equivalent to the recognition unit 1503 according to the first embodiment.
  • the image output unit 2202 outputs image data of the surrounding environment of the information processing device 10 that is output from the image output unit 2202; Based on sound data around the information processing device 10 acquired by the information processing device 120, a recognition process is performed to recognize the state of the surrounding environment of the information processing device 10.
  • the recognition unit 2203 outputs the result of the recognition process to the output control unit 2204.
  • the output control section 2204 has a function equivalent to the output control section 1505 according to the first embodiment.
  • the output control unit 2204 controls the content output from the speaker 130 according to the recognition result of the surrounding environment situation by the recognition unit 2203.
  • Control unit 151 has a function of controlling the overall operation of the information processing device 11.
  • Such an information processing device 11 has a function as a sound difference processing section 1501.
  • the sound difference processing unit 1501 is as described above with reference to FIG. 2, so a redundant explanation here will be omitted.
  • FIG. 10 is a flowchart for explaining an example of the operation of the information processing device 11 according to the second embodiment. Note that in FIG. 10, S101, S103, S107, and S117 are as described above with reference to FIG. 6, and therefore, repeated explanations here will be omitted.
  • the sound difference processing unit 1501 of the information processing device 11 determines whether the calculated difference value exceeds a predetermined threshold value. If the difference value does not exceed the predetermined threshold (S301/NO), the information processing device 11 repeats the processes of S101 to S301.
  • control unit 151 If the difference value exceeds the predetermined threshold (S301/YES), the control unit 151 outputs an instruction to start the recognition process to the image sensor unit 111 (S107). Next, the process of S117 is performed (S117).
  • FIG. 11 is a flowchart for explaining an example of the operation of the image sensor section 111 according to the second embodiment. Note that in FIG. 11, S201, S205, S207, and S209 are as described above with reference to FIG. 7, and therefore, repeated explanations here will be omitted.
  • the image reduction processing unit 2201 of the image sensor unit 111 determines whether the control unit 151 of the information processing device 10 has outputted an instruction to start recognition processing. If the instruction to start the recognition process has not been output (S403/NO), the processes of S201 to S403 are repeated.
  • the output control unit 2204 activates the external sound capture function.
  • a control signal for turning OFF is output (S417), and the process returns to S201 to repeat the series of processes.
  • the output control unit 2204 activates the external sound capture function.
  • a control signal for turning on is output (S415).
  • the process of S209 is performed.
  • FIG. 12 is a block diagram for explaining a configuration example of the information processing device 12 according to the third embodiment.
  • the information processing device 12 includes an image sensor section 112, a microphone 120, a speaker 130, a storage section 140, and a control section 152.
  • the microphone 120, the speaker 130, and the storage unit 140 are as described above with reference to FIG. 2, so a redundant explanation here will be omitted.
  • the image sensor unit 112 has a function of acquiring an image of the surrounding environment of the information processing device 12, similar to the image sensor unit 110 according to the first embodiment. Furthermore, the image sensor unit 112 has a function of analyzing images of the surrounding environment of the information processing device 12 and performing image recognition.
  • the image sensor unit 112 performs information processing based on the analysis result of sounds surrounding the information processing device 12 outputted by a sound recognition processing unit 1506 (described later) and the analysis result of an image of the surrounding environment by the image sensor unit 112. It has a function of estimating the situation of the surrounding environment of the device 12. For example, the information processing device 12 estimates that an obstacle is approaching the information processing device 12, and causes the speaker 130 to output a notification or the like to the user.
  • FIG. 13 is a block diagram for explaining a configuration example of the image sensor section 112 according to the third embodiment.
  • the image sensor section 112 includes a pixel array 210 and an image sensor control section 222.
  • the pixel array 210 has a function equivalent to the pixel array 210 according to the first embodiment.
  • the image sensor control unit 222 has functions as an image reduction processing unit 2201 and an image output unit 2202, similar to the image sensor control unit 220 according to the first embodiment. Furthermore, the image sensor control unit 222 according to the third embodiment additionally has a function as an image recognition processing unit 2205.
  • the image recognition processing unit 2205 analyzes image data of the surrounding environment of the information processing device 12 output from the image output unit 2202. By doing so, it has the function of performing image recognition.
  • the image output unit 2202 may recognize a moving object estimated to be an obstacle approaching the information processing device 12 using a model learned in advance by machine learning.
  • the image recognition processing unit 2205 outputs the image analysis result (result of image recognition processing) to the surrounding environment estimation unit 1507, which will be described later.
  • Control unit 152 has a function of controlling the overall operation of the information processing device 12.
  • Such an information processing device 12 has functions as a sound difference processing section 1501 and a sound recognition processing section 1506.
  • the sound difference processing unit 1501 is as described above with reference to FIG. 2, so a redundant explanation here will be omitted.
  • the sound recognition processing unit 1506 has a function of performing sound recognition by analyzing sounds around the information processing device 12. For example, the sound recognition processing unit 1506 uses a model trained in advance by machine learning to recognize a moving object that is estimated to be an obstacle approaching the information processing device 12 from sounds around the information processing device 12. Good too. The sound recognition processing unit 1506 outputs the sound analysis result (sound recognition processing result) to the surrounding environment estimation unit 1507.
  • the surrounding environment estimating unit 1507 estimates information based on the analysis result of the image data of the surrounding environment of the information processing device 12 by the image output unit 2202 and the analysis result of the sound data surrounding the information processing device 12 by the sound recognition processing unit 1506. It has a function of performing surrounding environment estimation processing to estimate the situation of the surrounding environment of the processing device 12. More specifically, the surrounding environment estimation unit 1507 may estimate that a moving object estimated to be an obstacle is approaching the information processing device 12.
  • the surrounding environment estimation unit 1507 is an example of a recognition unit of the information processing device 12.
  • the surrounding environment estimating unit 1507 may estimate that a moving object that emits sound, such as a person or a car, is approaching the information processing device 12.
  • the surrounding environment estimation unit 1507 uses a neural network that receives as input data the sound analysis result by the sound recognition processing unit 1506 and the image analysis result by the image recognition processing unit 2205, and calculates the sound analysis result, the image analysis result, Additionally, the relationship between correct data indicating the situation of the surrounding environment may be learned.
  • the surrounding environment estimating unit 1507 may estimate the situation of the surrounding environment using a learned model.
  • the surrounding environment estimation unit 1507 performs a rule-based estimation process according to the sound analysis result by the sound recognition processing unit 1506 and the image analysis result by the image recognition processing unit 2205. It's okay. For example, if both the sound analysis result and the image analysis result are recognition results indicating the same situation in the surrounding environment, the surrounding environment estimation unit 1507 uses the recognition result to reflect the situation in the surrounding environment of the information processing device 12. It may also be an estimated result.
  • the surrounding environment estimation unit 1507 has a function of controlling the content output from the speaker 130 according to the result of the surrounding environment estimation process. For example, the surrounding environment estimating unit 1507 may control the speaker 130 to output a notification message informing the user of the approach of an obstacle. Alternatively, the surrounding environment estimation unit 1507 controls one or more of the following: pausing the content playback sound output from the speaker 130, reducing the volume of the content playback sound, or changing the sound image localization of the content playback sound. You may go.
  • FIG. 14 is a flowchart for explaining an example of the operation of the information processing device 12 according to the third embodiment. Note that in FIG. 14, S101, S103, S105, and S107 are as described above with reference to FIG. 6, and therefore, repeated explanations here will be omitted.
  • the surrounding environment estimation unit 1507 obtains the image recognition processing result by the image recognition processing unit 2205 of the image sensor unit 112 (S513).
  • the surrounding environment estimation unit 1507 performs surrounding environment estimation processing (S515).
  • the surrounding environment estimating unit 1507 determines whether to activate the external sound capture function based on the estimated surrounding environment (S517). If the surrounding environment estimation unit 1507 does not determine to activate the external sound capture function (S517/NO), the surrounding environment estimation unit 1507 generates a control signal to turn off the external sound capture function (S525). . Further, the surrounding environment estimating unit 1507 causes the speaker 130 to reproduce content such as music (S527).
  • the surrounding environment estimating unit 1507 determines to activate the external sound capturing function (S517/YES)
  • the surrounding environment estimating unit 1507 turns on the external sound capturing function (S519).
  • the surrounding environment estimating unit 1507 causes the speaker 130 to reproduce a voice message for the user (S521).
  • the information processing device 12 terminates the processing. 12 repeats the processes of S101 to S523 until an end operation is performed to end the series of processes (S523/NO).
  • FIG. 15 is a flowchart for explaining an example of the operation of the image sensor section 122 according to the third embodiment. Note that in FIG. 15, S201 to S207 are the same as described above with reference to FIG. 7, so redundant explanation here will be omitted.
  • the image recognition processing unit 2205 of the image sensor unit 122 performs image recognition processing (S609).
  • the image recognition processing unit 2205 outputs the image recognition processing result to the surrounding environment estimation unit 1507 (S611).
  • the image sensor unit 112 terminates the process.
  • the information processing device 12 repeats the processes of S201 to S613 until an end operation is performed to end the series of processes (S613/NO).
  • FIG. 16 is an explanatory diagram for explaining the outline of the fourth embodiment.
  • the information processing device 13 shown in FIG. 16 is an HMD mounted on the head of the user U1.
  • Screen D shows an example of a screen displayed on the display of the information processing device 13.
  • the information processing device 13 according to the fourth embodiment temporarily stops the content reproduction sound and the display of the content image of the information processing device 13 according to the recognition result of the situation of the user U1's surrounding environment. At this time, the information processing device 13 outputs sounds around the information processing device 13. Further, the information processing device 13 displays image data around the information processing device 13 on a display.
  • the information processing device 13 is capable of displaying a screen D1 that is an image of a three-dimensional virtual space using VR (Virtual Reality) technology or AR (Augmented Reality) technology. I can do it. Furthermore, the information processing device 13 outputs content sound synchronized with the display on the screen D1.
  • VR Virtual Reality
  • AR Augmented Reality
  • the information processing device 13 As the status of the surrounding environment of the information processing device 13, the presence or absence of talking or conversation between the user U1 and another user, and the user The approach of people, pets, etc. around U1 is recognized.
  • the information processing device 13 controls content output to the information processing device 13 according to the recognition result. This improves convenience for the user U1 wearing the information processing device 13.
  • FIG. 17 is a block diagram for explaining a configuration example of the information processing device 13 according to the fourth embodiment.
  • the information processing device 13 includes an image sensor section 110, a microphone 120, a speaker 130, a storage section 140, a control section 150, and a video output section 162.
  • the image sensor section 110, microphone 120, speaker 130, storage section 140, and control section 150 are as described above with reference to FIG. 2, so a repeated explanation here will be omitted.
  • the video output unit 162 includes left and right screens fixed to the left and right eyes of the user, respectively, and has a function of displaying a left eye image and a right eye image.
  • the screen of the video output unit 162 is configured with a display panel such as a liquid crystal display (LCD), an organic EL (electro luminescence) display, or a laser scanning display such as a direct retinal display.
  • the video output unit 162 may include an imaging optical system that enlarges and projects the display screen and forms an enlarged virtual image having a predetermined angle of view on the user's pupil.
  • the video output unit 162 displays image data of the surrounding environment of the information processing device 13 acquired by the image sensor unit 110 under the control of the control unit 150.
  • the image sensor unit 110 is arranged at a position where it can acquire images in a 360-degree direction around the information processing device 13. Further, the information processing device 13 may include a plurality of image sensor units 110.
  • FIG. 18 is an explanatory diagram for explaining an example of the installation position of the image sensor section 110 according to the fourth embodiment.
  • External view V1 in FIG. 18 is a perspective view of the information processing device 13 viewed diagonally from the rear.
  • the image sensor unit 110 may be installed, for example, at a position P1 in the rear portion of the information processing device 13A.
  • the image sensor unit 110 may include a fisheye lens and may image the entire rear of the user U1 wearing the information processing device 13A.
  • FIG. 19 is an explanatory diagram for explaining another example of the installation position of the image sensor section 110 according to the fourth embodiment.
  • External view V2 in FIG. 19 is a front view of the information processing device 13A viewed from the front.
  • the image sensor unit 110 may be installed at a position P2 in addition to the position P1.
  • the image sensor unit 110 may include a fisheye lens and may image the entire front of the user U1 wearing the information processing device 13A.
  • FIG. 20 is an explanatory diagram for explaining another example of the installation position of the image sensor section 110 according to the fourth embodiment.
  • External view V3 in FIG. 20 is a front view seen from the front of the information processing device 13B.
  • one information processing device 13B may be installed at each of four positions P4 to P6 in front of the information processing device 13B.
  • the information processing device 13B may include a total of four image sensor units 110. Thereby, the entire front of the user U1 wearing the information processing device 13A can be imaged.
  • FIG. 21 is a flowchart for explaining an example of the operation of the information processing device 13 according to the fourth embodiment. Note that in FIG. 21, the processes of S101 to S107 are as described above with reference to FIG. 6, so a redundant explanation here will be omitted.
  • the processes of S101 to S107 are performed.
  • the recognition unit 1503 of the information processing device 13 performs recognition processing of the situation of the surrounding environment (S711). For example, the recognition unit 1503 may recognize that another user, a pet, or the like is approaching the information processing device 13 as the state of the surrounding environment. Furthermore, the recognition unit 1503 needs to control the speaker 130 and video output unit 162 of the information processing device 13 to take in external sound, stop content audio, and display peripheral video, respectively, based on the recognition result. It may be estimated whether or not (S713).
  • the output control unit 1505 In S713, if it is determined that the above control is not necessary (S713/NO), the output control unit 1505 generates a control signal to turn off the external sound capture function (S723). Further, the output control unit 1505 causes the video output unit 162 to display a content video such as an image of a virtual space (S725). Further, the output control unit 1505 causes the speaker 130 to reproduce the content audio (S727). Next, the information processing device 13 returns to S101 and repeats the processing from S101 to S727.
  • the output control unit 1505 In S713, if it is determined that the above control is necessary (S713/YES), the output control unit 1505 generates a control signal to turn on the external sound capture function (S715). Further, the output control unit 1505 causes the video output unit 162 to display a video of the surrounding environment of the information processing device 13 (S717). Further, the output control unit 1505 causes the speaker 130 to stop playing the content audio (S719).
  • the information processing device 13 terminates the processing.
  • the information processing device 13 repeats the processes from S101 to S727 until an end operation is performed to end the series of processes (S721/NO).
  • FIG. 22 is a flowchart for explaining an example of the operation of the image sensor section 110 according to the fourth embodiment. Note that in FIG. 15, S201 to S207 are the same as described above with reference to FIG. 7, so redundant explanation here will be omitted.
  • the image sensor control unit 221 of the image sensor unit 110 determines whether the recognition unit 1503 of the information processing device 13 has estimated that it is necessary to display the peripheral image (S808). If it is not estimated that it is necessary to display the surrounding video (S808/NO), the information processing device 13 repeats the processes of S201 to S808.
  • the image output unit 2202 outputs image data of the peripheral environment of the information processing device 13 acquired by the pixel array 210 under the control of the image sensor control unit 221. It is output to the video output unit 162 (S809).
  • the image sensor unit 111 terminates the process.
  • the image sensor unit 111 repeats the processes of S201 to S811 until an end operation is performed to end the series of processes (S811/NO).
  • FIG. 23 is a block diagram showing an example of the hardware configuration 90.
  • the hardware configuration example of the hardware configuration 90 described below is only an example of the hardware configuration of the information processing device 10. Therefore, each information processing device 10 does not necessarily need to have the entire hardware configuration shown in FIG. 23. Furthermore, part of the hardware configuration shown in FIG. 23 may not exist in the information processing device 10. Furthermore, the hardware configuration 90 described below may be applied to the information processing device 11, the information processing device 12, and the information processing device 13 as well.
  • the hardware configuration 90 includes a CPU 901, a ROM (Read Only Memory) 903, and a RAM 905. Further, the hardware configuration 90 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the hardware configuration 90 includes a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or an ASIC (Application Specific Intel) instead of or together with the CPU 901. It may also include a processing circuit called an erated circuit.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the entire operation within the hardware configuration 90 or a portion thereof according to various programs recorded in the ROM 903, RAM 905, storage device 919, or removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901 and/or parameters that change as appropriate during the execution.
  • the CPU 901, the ROM 903, and the RAM 905 are interconnected by a host bus 907, which is an internal bus such as a CPU bus. Further, the host bus 907 is connected via a bridge 909 to an external bus 911 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • control unit 150 and the image sensor control unit 220 can be realized by the CPU 901 working together with the ROM 903, RAM 905, and software.
  • the input device 915 is a device operated by the user, such as a button, for example.
  • Input device 915 may include a mouse, keyboard, touch panel, switch, lever, and the like.
  • Input device 915 may also include a microphone that detects the user's voice.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that is compatible with the operation of the hardware configuration 90.
  • Input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs it to CPU 901. By operating this input device 915, the user inputs various data to the hardware configuration 90 and instructs processing operations.
  • the input device 915 may include an imaging device and a sensor.
  • the imaging device uses various members such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the imaging element. It's true This is a device that captures images of space and generates captured images.
  • the imaging device may be one that captures still images or may be one that captures moving images.
  • the sensor is, for example, a variety of sensors such as a distance sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, a light sensor, and a sound sensor.
  • the sensor provides information regarding the state of the hardware configuration 90 itself, such as the attitude of the casing of the hardware configuration 90, or information regarding the surrounding environment of the hardware configuration 90, such as the brightness or noise around the hardware configuration 90. get.
  • the sensor may also include a GPS (Global Positioning System) sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • the output device 917 is configured with a device that can visually or audibly notify the user of the acquired information.
  • the output device 917 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL display, or a sound output device such as a speaker or headphones. Further, the output device 917 may include a PDP (Plasma Display Panel), a projector, a hologram, a printer device, or the like.
  • the output device 917 outputs the results obtained by the processing of the hardware configuration 90 as a video such as text or an image, or as a sound such as audio or audio. Furthermore, the output device 917 may include a lighting device that brightens the surroundings.
  • the storage device 919 is a data storage device configured as an example of the storage unit of the hardware configuration 90.
  • the storage device 919 is configured by, for example, a magnetic storage device such as a HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • This storage device 919 stores programs or various data executed by the CPU 901, various data acquired from the outside, and the like.
  • the drive 921 is a reader/writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built into the hardware configuration 90 or attached externally.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs it to the RAM 905.
  • the drive 921 also writes records to the attached removable recording medium 927.
  • connection port 923 is a port for directly connecting a device to the hardware configuration 90.
  • the connection port 923 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like. Further, the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is, for example, a communication interface configured with a communication device for connecting to a local network or a communication network with a wireless communication base station.
  • the communication device 925 may be, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 925 for example, transmits and receives signals and the like to and from the Internet or other communication devices using a predetermined protocol such as TCP/IP.
  • the local network connected to the communication device 925 or the communication network with the base station is a wired or wireless network, such as the Internet, home LAN, infrared communication, radio wave communication, or satellite communication. be.
  • the sound difference processing unit 1501 which is an example of the judgment result acquisition unit, detects that the surrounding sound has changed by more than the difference indicated by the predetermined threshold, as the judgment result acquisition processing, , it is assumed that it is determined that the change in the surrounding environment of the information processing device 10 satisfies a predetermined condition. More specifically, the sound difference processing unit 1501 calculates the difference between the current sound data and the past sound data, and if the difference value indicating the calculated difference exceeds a predetermined threshold, the predetermined condition is satisfied. I decided that it was satisfied.
  • the present technology is not limited to such an example.
  • the control unit 150 of the information processing device 10 uses image data of the surrounding environment of the information processing device 10 acquired by the image sensor unit 110 to determine whether a change in the surrounding environment satisfies a predetermined condition. may be obtained.
  • control unit 150 may detect a difference between image data of the current surrounding environment and image data of the past surrounding environment.
  • the control unit 150 may determine that the situation of the surrounding environment satisfies a predetermined condition when a region in which a difference is detected on the image data exceeds a range indicated by a predetermined threshold value. Thereby, a change in the surrounding environment, such as when another user approaches the information processing device 10, can be detected.
  • the control unit 150 when the control unit 150 performs the determination result acquisition process using image data of the surrounding environment, the image data of the surrounding environment based on the movement of the head of the user wearing the information processing device 10 It is desirable to consider changes in
  • the information processing device 10 may include an acceleration sensor and an acceleration sensor capable of detecting acceleration and angular velocity of the information processing device 10, or an IMU.
  • the control unit 150 may perform head tracking that calculates the position and orientation of the user's head based on the acceleration and angular velocity of the information processing device 10.
  • the control unit 150 determines whether the change in the surrounding environment is caused by the movement of the user's head. It may be determined that the predetermined condition is not satisfied. As a result, it is possible to determine whether a change in the surrounding environment of the information processing device 10 satisfies a predetermined condition based on the image data of the surrounding environment acquired by the image sensor unit 110.
  • the image reduction processing unit 2201 and the recognition unit 1503 may perform the following processing. Specifically, when the control unit 150 outputs an instruction to start recognition processing, the image reduction processing unit 2201 detects the above-mentioned difference from the image data of the surrounding environment acquired by the pixel array 210. Alternatively, processing may be performed to cut out the area. Furthermore, the image reduction processing unit 2201 may perform processing to reduce the image data of the cut out area to a predetermined resolution. The recognition unit 1503 may perform recognition processing using the image data of the cut out region that has been subjected to the reduction processing as input data. As a result, in the recognition processing of the recognition unit 1503, the accuracy of detecting the presence or absence of talking or conversation between users in the vicinity of the information processing device 10 and other users can be improved.
  • the image sensor unit 110 and the microphone 120 are configured as one unit with the information processing device 10.
  • the present technology is not limited to such an example.
  • the image sensor unit 110 and the microphone 120 may be configured separately from the information processing device 10. In this case, it is desirable that the image sensor unit 110 be installed at a position where it can capture a bird's-eye view of the user's surrounding environment.
  • an output device that outputs video and audio of other users is arranged in a space where a user exists, and the information processing device 10 recognizes whether or not someone is speaking to the user via the output device and whether or not there is a conversation. good.
  • the output device may be a stationary device or a device that can be moved under remote control by another user.
  • steps in the processing of the operations of the information processing device 10 and the image sensor unit 111 according to the present embodiment do not necessarily need to be processed in chronological order in the order described as the explanatory diagram.
  • each step in processing the operations of the information processing device 10 and the image sensor unit 111 may be processed in a different order from the order described in the explanatory diagram, or may be processed in parallel.
  • a determination result acquisition unit that acquires a determination result as to whether a change in the surrounding environment of the sensor unit indicated by sensing data acquired by the sensor unit satisfies a predetermined condition; a recognition unit that starts a recognition process for recognizing a state of the surrounding environment of the sensor unit based on the determination result acquisition unit acquiring a determination result indicating that the predetermined condition is satisfied;
  • An information processing device comprising: (2) The sensor unit detects sound around the sensor unit, The determination result acquisition unit acquires a determination result as to whether or not the change in sound satisfies the predetermined condition.
  • the judgment result acquisition unit includes first sound data acquired by the sensor unit in a first time interval having a predetermined time length, and the first sound data acquired by the sensor unit in a first time interval having the predetermined time length, which is different from the first time length. and second sound data acquired in a second time interval, and obtaining a determination result as to whether or not the change in sound satisfies the predetermined condition.
  • the determination result acquisition unit calculates a difference between the first sound data and the second sound data, The predetermined condition is that the calculated difference value indicating the difference exceeds a predetermined threshold; The information processing device according to (3) above.
  • the recognition unit acquires the sound data from the sensor unit as the sensing data, performing a process of analyzing the sound data to recognize the situation of the surrounding environment;
  • the information processing device according to any one of (1) to (4) above.
  • the sensor unit acquires image data of the surrounding environment of the sensor unit as the sensing data,
  • the recognition unit performs a process of analyzing the sound data and the image data to recognize the situation of the surrounding environment.
  • the information processing device according to any one of (1) to (5) above.
  • the recognition unit determines whether or not there is talk or conversation between the user located around the sensor unit and another user, as the state of the surrounding environment, based on the analysis results of the sound data and the image data. recognize,
  • the information processing device according to (6) above.
  • the recognition unit is configured to communicate between at least one or both of the sound data acquired by the sensor unit or the image data acquired by the sensor unit, and a user located around the sensor unit and another user.
  • a neural network that uses as input data the correct answer data on whether or not someone is speaking to the user, and at least one or both of the sound data and the image data, and the conversation or conversation between the user and the other user. learn the relationship between the presence and absence of Using the model obtained as a result of learning, recognizing the presence or absence of a conversation between a user located around the sensor unit and another user;
  • the information processing device according to (6) or (7) above.
  • (9) further comprising: an output control unit that performs a process of temporarily stopping the content playback sound output by the sound output unit when the recognition unit recognizes that there is a conversation or a conversation between the user and the other user;
  • the information processing device according to (7) or (8).
  • the output control unit controls the sound data around the sensor unit acquired by the sensor unit. causing the sound output section to output;
  • the information processing device according to any one of (7) to (9) above.
  • the recognition unit When the recognition unit recognizes that there is a conversation between the user and the other user, a process of reducing the volume of the content playback sound output by the sound output unit, or a process of reducing the volume of the content playback sound output by the sound output unit;
  • the information processing device according to (7) or (8), further comprising an output control unit that performs one or both of the following: processing for changing sound image localization.
  • the recognition unit recognizes the presence or absence of an obstacle approaching the sensor unit as a state of the surrounding environment.
  • the information processing device according to (6) above.
  • the recognition unit When the recognition unit recognizes that there is an obstacle approaching the sensor unit, the content playback sound output by the sound output unit is temporarily stopped, and the sound output unit outputs a notification sound to the user.
  • the output control unit causes the sound output unit to output the sound data around the sensor unit acquired by the sensor unit. , The information processing device according to (13) above.
  • the output control unit temporarily stops displaying the content image output by the image output unit, and displays the content image that is acquired by the sensor unit. displaying image data around the sensor unit on the image output unit; The information processing device according to (14) above.
  • the information processing device according to any one of (3) to (15), further comprising a storage unit that stores the second sound data acquired by the sensor unit.
  • a determination result acquisition unit that acquires a determination result as to whether a change in the surrounding environment of the sensor unit indicated by sensing data acquired by the sensor unit satisfies a predetermined condition
  • a recognition unit that starts a recognition process for recognizing a state of the surrounding environment of the sensor unit based on the determination result acquisition unit acquiring a determination result indicating that the predetermined condition is satisfied
  • a program to function as (18) Obtaining a determination result as to whether a change in the surrounding environment of the sensor unit indicated by sensing data acquired by the sensor unit satisfies a predetermined condition; Starting a recognition process for recognizing a state of the surrounding environment of the sensor unit based on a determination result indicating that the predetermined condition is satisfied;
  • An information processing method performed by a computer including:
  • Information processing device 110 Image sensor section 120 Microphone 130 Speaker 140 Storage section 150 Control section 1501 Sound difference processing section 1503 Recognition section 1505 Output control section 1506 Sound recognition processing section 1507 Surrounding environment estimation section 210 Pixel array 220 Image sensor control section 2201 Image Reduction processing unit 2202 Image output unit 2203 Recognition unit 2204 Output control unit 2205 Image recognition processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】センシングデータに基づく周辺環境の変化の検出において、ユーザの利便性をさらに向上させる。 【解決手段】 センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、を備える、情報処理装置が提供される。

Description

情報処理装置、プログラム、および情報処理方法
　本開示は、情報処理装置、プログラム、および情報処理方法に関する。
　ユーザがヘッドホン等の音再生装置を用いて音楽等のコンテンツを楽しむ際に、センシングデータに基づいて、センサ部またはセンサ部を含み構成された音再生装置を装着しているユーザの周辺状況の変化を検出し、検出結果に応じてコンテンツの出力を制御する技術が知られている。例えば、特許文献１には、ユーザがヘッドホンで音楽を聴いている際に、マイクロフォンで当該ユーザの発話が検出されると、再生音の音像定位を任意の位置に移動させる技術が開示されている。
特開２０１１－０９７２６８号公報
　上記技術のように、センシングデータに基づき周辺環境の変化を検出する技術において、ユーザの利便性のさらなる向上が望まれる。
　そこで、本開示では、センシングデータに基づく周辺環境の変化の検出において、ユーザの利便性をさらに向上させることが可能な、新規かつ改良された技術を提案する。
　上記課題を解決するために、本開示のある観点によれば、センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、を備える、情報処理装置が提供される。
　また、本開示によれば、コンピュータを、センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、として機能させるための、プログラムが提供される。
　また、本開示によれば、センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得することと、前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始することと、を含む、コンピュータにより実行される情報処理方法が提供される。
本開示の一実施形態による情報処理システムの概要を説明するための説明図である。 第一の実施形態による情報処理装置１０の構成例を説明するためのブロック図である。 イメージセンサ部１１０の機能構成例を説明するブロック図である。 音差分処理部１５０１による、情報処理装置１０の周辺環境の音の変化の判断結果取得処理を説明するための流れ図である。 音差分処理部１５０１による差分の算出について説明するための概念図である。 第一の実施形態による情報処理装置１０の動作例を説明するためのフローチャートである。 第一の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。 第二の実施形態による情報処理装置１１の構成例を説明するためのブロック図である。 第二の実施形態によるイメージセンサ部１１１の構成例を説明するためのブロック図である。 第二の実施形態による情報処理装置１１の動作例を説明するためのフローチャートである。 第二の実施形態によるイメージセンサ部１１１の動作例を説明するためのフローチャートである。 第三の実施形態による情報処理装置１２の構成例を説明するためのブロック図である。 第三の実施形態によるイメージセンサ部１１２の構成例を説明するためのブロック図である。 第三の実施形態による情報処理装置１２の動作例を説明するためのフローチャートである。 第三の実施形態によるイメージセンサ部１２２の動作例を説明するためのフローチャートである。 第四の実施形態の概要を説明するための説明図である。 第四の実施形態による情報処理装置１３の構成例を説明するためのブロック図である。 第四の実施形態によるイメージセンサ部１１０の設置位置の一例を説明するための説明図である。 第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。 第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。 第四の実施形態による情報処理装置１３の動作例を説明するためのフローチャートである。 第四の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。 ハードウェア構成９０の一例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　２．第一の実施形態
　　２－１．構成例
　　２－２．動作
　３．第二の実施形態
　　３－１．構成例
　　３－２．動作
　４．第三の実施形態
　　４－１．構成例
　　４－２．動作
　５．第四の実施形態
　　５－１．構成例
　　５－２．動作
　６．ハードウェア構成
　７．補足
　＜１．概要＞
　本開示は、センシングデータに基づきユーザの周辺環境の変化を検出する技術に関する。以下では、本開示の好適な適用先として、ヘッドホンまたはＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）等の、ユーザが装着して音楽等のコンテンツを聴取することが可能な音再生装置を利用しているユーザの周辺環境の変化を、センシングデータに基づいて検出する例を主に説明する。
　（課題の整理）
　ヘッドホンまたはＨＭＤ等の頭部装着型の情報処理装置を装着しているユーザは、当該情報処理装置で音楽等のコンテンツ音を聴取していると、ユーザの周辺で発生した音に気付きにくい。また、ヘッドホンを装着して音楽等のコンテンツ再生音を聴いているユーザが他のユーザに話しかけようとすると、コンテンツ再生音が再生されたままでは、自身の音声と他のユーザの音声が聞こえづらい。そのため、ユーザには、音楽等のコンテンツの一時停止操作、または、ヘッドホンを外す等の動作を行う手間が生じる。そこで、このような不都合を解消するための様々な技術が検討されている。
　例えば、上記で説明したように、特許文献１には、マイクロフォンで検出された音に基づき、周辺環境の音の変化を検出し、コンテンツ再生音の音像定位を任意の位置に移動させる技術が開示されている。
　また、他の一例として、イヤホンの左右のそれぞれが有する人感センサによって、他のユーザの接近を検知し、ユーザへ通知する技術も行われている。または、他の一例として、超音波センサを用いて、イヤホンから所定の距離内に入った動体を検知し、動体が検知されるとコンテンツ再生音の消音等の方法でユーザに報知する技術も行われている。
　しかし、上述のように、人感センサまたは超音波センサを用いて周辺環境の変化を検出する方法では、検出された物体または動体が、ユーザに話しかけるために接近してきた他のユーザであるのか、または、単にユーザの側を通り過ぎただけの物体または他のユーザであるのかが区別されない。
　また、上述のように、周辺環境の音の変化に基づいてコンテンツ再生音の出力を制御する方法では、ユーザＵが咳をした音、または、ユーザＵの独り言の音等の、他のユーザへの話しかけまたは会話ではない音が発生した場合にも、コンテンツ再生音の音像定位の移動の処理が行われる場合があった。
　そこで、本開示による情報処理システムは、センシングデータに基づく周辺環境の変化の検出において、ユーザの利便性をさらに向上させることが可能な技術を提供することを目的とする。より具体的に、情報処理装置１０は、情報処理装置１０の周辺の音および周辺の画像の２種類のセンシングデータを用いて、情報処理装置１０の周辺に位置するユーザと、他のユーザとの間での話しかけまたは会話の有無を認識する。
　図１は、本開示の一実施形態による情報処理システムの概要を説明するための説明図である。図１に示したように、本開示による情報処理システムは、情報処理装置１０を含む。
　情報処理装置１０は、音を再生することが可能な情報処理装置である。図１に示した例では、情報処理装置１０はヘッドホンである。情報処理装置１０は、イメージセンサ部１１０およびマイクロフォン１２０を備える。
　情報処理装置１０は、音楽等のユーザの所望のコンテンツを出力する機能を有する。図１に示した例では、情報処理装置１０は、音楽等の音コンテンツを出力する。情報処理装置１０は、図１に図示しない、スマートフォン、タブレット型端末、またはＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等の任意のユーザ利用端末と有線または無線接続により通信を行い、コンテンツの再生、停止、または早送り等の操作指示を受信してもよい。
　イメージセンサ部１１０は、情報処理装置１０の周辺環境の画像を取得する機能を有する。例えば、イメージセンサ部１１０は、情報処理装置１０に接近している他のユーザＵ２の画像を取得する。情報処理装置１０は、当該画像を解析することにより、例えば情報処理装置１０に接近している他のユーザＵ２を検出することが出来る。
　マイクロフォン１２０は、情報処理装置１０の周辺の音を検出する機能を有する。例えば、マイクロフォン１２０は、ユーザＵに話しかけている、または、ユーザＵと会話している他のユーザＵ２の音声を取得する。または、マイクロフォン１２０は、他のユーザＵ２に話かけている、または、他のユーザＵ２と会話しているユーザＵの音声を取得することが出来る。
　情報処理装置１０は、マイクロフォン１２０により取得される周辺の音に基づいて、情報処理装置１０の周辺環境の変化を検出する。さらに、情報処理装置１０は、検出された周辺環境の変化が、所定の条件を満たすか否かの判断結果を取得する。所定の条件は、例えば、情報処理装置１０の周辺の音が、所定の時間前と比較して、所定の閾値が示す差分以上に変化したことであってもよい。
　より具体的には、例えば、他のユーザＵ２がユーザＵ１に話しかけたとする。情報処理装置１０は、他のユーザＵ２がユーザＵ１に話しかけている音声をマイクロフォン１２０により取得する。情報処理装置１０は、当該音声と、他のユーザＵ２がユーザＵ１に話しかける前の周辺の音との差分をとることにより、周辺の音が所定の閾値が示す差分以上に変化したことを検出する。すると、情報処理装置１０は、周辺環境の変化が所定の条件を満たすと判断する。
　また、情報処理装置１０は、周辺環境の変化が所定の条件を満たす場合に、イメージセンサ部１１０により取得される情報処理装置１０の周辺環境の画像、および、マイクロフォン１２０により取得される情報処理装置１０の周辺の音を解析して、情報処理装置１０の周辺環境の状況を認識する認識処理を行う。
　例えば、情報処理装置１０は、情報処理装置１０の周辺環境の画像および情報処理装置１０の周辺の音に基づいて、ユーザＵと他のユーザとの間での話しかけ、または、会話の有無を認識してもよい。さらに、情報処理装置１０は、認識結果に応じて、コンテンツの出力を制御してもよい。
　例えば、情報処理装置１０は、ユーザＵと他のユーザとの間での話しかけが有ると認識すると、情報処理装置１０が有するスピーカにおいて出力されるコンテンツ再生音を一時停止させてもよい。さらに、情報処理装置１０は、話しかけが有ると認識すると、マイクロフォン１２０により取得される情報処理装置１０の周辺の音（以下、外部音と称する）を、上記スピーカから出力させてもよい。
　これにより、ユーザＵが情報処理装置１０を装着して音楽等のコンテンツを聞いている間に、ユーザＵ１または他のユーザＵ２がどちらかに話しかけたり、会話を継続したりしていることを認識することが出来る。さらに、ユーザＵと他のユーザとの間での話しかけまたは会話が有ると認識されると、情報処理装置１０から出力されるコンテンツ再生音が一時停止されるとともに、外部音が再生される。従って、ユーザＵが、他のユーザから話しかけられていることに気付きやすくなる。また、ユーザＵが、情報処理装置１０を装着したままでも、他のユーザに話しかけたり、会話を行ったりしやすくなる。従って、ユーザの利便性が向上する。
　また、情報処理装置１０は、情報処理装置１０の周辺の音が示す周辺環境の変化が、所定の条件を満たす場合にのみ、周辺環境の状況の認識処理を行う。これにより、情報処理装置１０が、常に認識処理を行うような構成と比較して、消費電力を低減することが出来る。
　以上、図１を参照して、本開示の一実施形態による情報処理システムの概要を説明した。続いて、図２～図７を参照して、本開示の情報処理システムの第一の実施形態を説明する。
　＜２．第一の実施形態＞
　＜２－１．構成例＞
　まず、図２を参照して、第一の実施形態による情報処理装置１０の構成例を説明する。図２は、第一の実施形態による情報処理装置１０の構成例を説明するためのブロック図である。図２に示したように、情報処理装置１０は、イメージセンサ部１１０、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および、制御部１５０を有する。
　（イメージセンサ部１１０）
　イメージセンサ部１１０は、情報処理装置１０の周辺環境を撮像する機能を有する。情報処理装置１０は、複数のイメージセンサ部１１０を有していてもよい。ここで、図３は、イメージセンサ部１１０の機能構成例を説明するブロック図である。図３に示したように、イメージセンサ部１１０は、画素アレイ２１０およびイメージセンサ制御部２２０を有する。
　画素アレイ２１０は、フォトダイオード等の受光素子によって構成され、光を検出すると電気信号を生成する機能を有する。画素アレイ２１０は、アレイ状に配置された複数の受光素子によって構成される。画素アレイ２１０は、情報処理装置１０の周辺環境において反射した光を検出し、電気信号に変換することにより、情報処理装置１０の周辺環境の画像を撮像する。
　イメージセンサ制御部２２０は、イメージセンサ部１１０の動作全般を制御する機能を有する。このようなイメージセンサ制御部２２０は、画像縮小処理部２２０１、および、画像出力部２２０２としての機能を有する。
　画像縮小処理部２２０１は、画素アレイ２１０から出力された電気信号に信号処理を行うことにより、画素アレイ２１０により取得された情報処理装置１０の周辺環境の画像データの縮小処理を行う機能を有する。画像縮小処理部２２０１は、後述する情報処理装置１０の認識部１５０３により行われる認識処理の入力データとして設定された画像サイズにあわせて、上記画像の縮小処理を行う。これにより、認識部１５０３の処理能力に応じて、認識部１５０３の認識処理の負荷を調整することが出来る。
　なお、認識部１５０３により行われる認識処理の入力データとして設定された画像サイズに応じて、画素アレイ２１０により取得された画像データの縮小が不要である場合には、画像縮小処理部２２０１は上記画像の縮小処理を行わなくてもよい。この場合、イメージセンサ制御部２２０は、画像縮小処理部２２０１としての機能を有していなくてもよい。
　画像出力部２２０２は、画像縮小処理部２２０１による縮小処理後の周辺環境の画像データを制御部１５０に出力する。または、画像出力部２２０２は、画像縮小処理部２２０１による縮小処理が行われない場合には、画素アレイ２１０により取得された周辺環境の画像データを、制御部１５０へ出力する。
　以上、図３を参照して、イメージセンサ部１１０の構成例を説明した。
　（マイクロフォン１２０）
　マイクロフォン１２０は、情報処理装置１０の周辺の音を取得する機能を有する。例えば、マイクロフォン１２０は、ユーザＵ１および他のユーザＵ２の音声の音データを取得する。情報処理装置１０は、取得した周辺の音データを、制御部１５０へ出力する。
　また、マイクロフォン１２０は、制御部１５０の制御に従い、所定時間長（例えば、数秒間）を有する時間区間において取得した音を、記憶部１４０の音メモリに記憶させる機能を有する。例えば、マイクロフォン１２０は、過去数秒分の周辺の音のデータを、音メモリに記憶させる。
　（スピーカ１３０）
　スピーカ１３０は、音を出力する機能を有する。スピーカ１３０は、骨伝導スピーカとして構成されてもよい。
　（記憶部１４０）
記憶部１４０は制御部１５０の処理に用いられるプログラムおよび演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）により実現される。
　（制御部１５０）
　制御部１５０は、情報処理装置１０の動作全般を制御する。このような制御部１５０は、音差分処理部１５０１、認識部１５０３、および、出力制御部１５０５としての機能を有する。
　音差分処理部１５０１は、マイクロフォン１２０により所定時間長を有する第一の時間区間において取得された第一の音データと、マイクロフォン１２０により第一の時間区間と異なり上記所定時間長を有する第二の時間区間において取得された第二の音データと、に基づいて、情報処理装置１０の周辺の音の変化が所定の条件を満たすか否かの判断結果を取得する。より詳細には、音差分処理部１５０１は、上記第一の音データと、第二の音データの差分が、所定の閾値を超えるかどうかを判断する。
　ここで、図４および図５を参照して、音差分処理部１５０１による、音の変化が所定の条件を満たすか否かの判断結果取得の処理についてより具体的に説明する。
　図４は、音差分処理部１５０１による、情報処理装置１０の周辺環境の音の変化の判断結果取得処理を説明するための流れ図である。
　図４に示したように、まず、マイクロフォン１２０により、情報処理装置１０の周辺の音データが取得される。マイクロフォン１２０は、制御部１５０の制御に従って、現時点より過去に取得された、所定の時間長（例えば、数秒分）の情報処理装置１０の周辺の音を、過去の音データとして記憶部１４０の音メモリに記憶させる。過去の音データは、第二の音データの一例である。
　また、マイクロフォン１２０は、上記過去の音データと同じ所定の時間長分の、現在の情報処理装置１０の周辺の音データ（例えば、現時点から過去数秒分の音データ）を、現在の音データとして音差分処理部１５０１に出力する。
　音差分処理部１５０１は、マイクロフォン１２０および記憶部１４０のそれぞれから、過去の音データおよび現在の音データを取得して、過去の音データと現在の音データの差分を算出する。
　図５は、音差分処理部１５０１による差分の算出について説明するための概念図である。図５に示した波形Ｗは、各音データの波形のイメージ図である。
　波形Ｗ１は、過去の音データを表す。また、波形Ｗ２は、現在の音データを表す。音差分処理部１５０１は、波形Ｗ１と波形Ｗ２の音データの差分を算出する。波形Ｗ３は、音データの差分を表す。
　また、音差分処理部１５０１は、波形Ｗ３が示す差分の絶対値を算出する。波形Ｗ４は、算出された差分の絶対値を表す。
　さらに、音差分処理部１５０１は、差分の絶対値を積分し、積分値を算出する。算出された積分値は、前記差分を示す差分値の一例である。
　音差分処理部１５０１は、算出された上記差分値が、所定の閾値を越えた場合に、情報処理装置１０の周辺環境の変化が所定の条件を満たすと判断する。音差分処理部１５０１は、判断結果を制御部１５０に出力する。このような音差分処理部１５０１は、情報処理装置１０の判断結果取得部の一例である。
　または、音差分処理部１５０１は、算出された差分値を、制御部１５０に出力してもよい。この場合、制御部１５０が、当該差分値が所定の閾値を超えているかどうかを判断してもよい。
　図４に戻って説明を続ける。制御部１５０は、音差分処理部１５０１から取得した判断結果に基づき、後述する認識部１５０３の認識処理を開始させる指示を出力するか否かを判定する。
　図２に戻って情報処理装置１０の構成例の説明を続ける。認識部１５０３は、音差分処理部１５０１または制御部１５０により、情報処理装置１０の周辺環境の変化が所定の条件を満たすことを示す判断結果が取得されると、情報処理装置１０の周辺環境の状況を認識する認識処理を開始する。
　より具体的に、認識部１５０３は、マイクロフォン１２０により取得される情報処理装置１０の周辺の音データと、イメージセンサ部１１０により取得される情報処理装置１０の周辺環境の画像データを解析する。また、認識部１５０３は、解析結果に基づき、情報処理装置１０の周辺環境の状況として、情報処理装置１０の周辺に位置するユーザと他のユーザの間での話しかけまたは会話の有無を認識する。
　認識部１５０３は、例えば、情報処理装置１０の周辺の音データおよび情報処理装置１０の周辺環境の画像データと、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無の正解データと、を入力データとするニューラルネットワークを用いて、情報処理装置１０の周辺の音データおよび周辺環境の画像データと、上記ユーザと他のユーザとの間での話しかけまたは会話の有無の関係を学習してもよい。また、認識部１５０３は、学習の結果得られたモデルを用いて、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無を認識してもよい。
　または、認識部１５０３は、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけが無い状態での、情報処理装置１０の周辺の音データおよび情報処理装置１０の周辺環境の画像データのみを入力データとするニューラルネットワークを用いて、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけが無い状態の情報処理装置１０の周辺の音データおよび周辺環境の画像データを学習してもよい。この場合、認識部１５０３は、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話が有る状態の情報処理装置１０の周辺の音データおよび情報処理装置１０の周辺環境の画像データが入力された場合に、情報処理装置１０の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話を検出してもよい。
　このとき、認識部１５０３は、上記入力データとして、画像縮小処理が行われた状態の周辺環境の画像データを用いてもよい。これにより、認識部１５０３による認識処理の負荷を低減することが可能である。
　出力制御部１５０５は、認識部１５０３により情報処理装置１０の周辺のユーザと他のユーザとの間での話しかけまたは会話が有ると認識されると、スピーカ１３０により出力されるコンテンツの出力を制御する機能を有する。
　例えば、出力制御部１５０５は、認識部１５０３により話しかけまたは会話が有ると認識されると、スピーカ１３０により出力されていたコンテンツ再生音を一時停止させる処理を行ってもよい。または、コンテンツの出力の制御の他の一例として、出力制御部１５０５は、情報処理装置１０の外部音をスピーカ１３０に出力させてもよい。または、コンテンツの出力の制御の他の一例として、出力制御部１５０５は、スピーカ１３０により出力されるコンテンツ再生音の音量を低減させる処理、または、コンテンツ音の音像定位を変化させる処理を行ってもよい。
　さらに、情報処理装置１０は、図２に図示しない、連続または断続した振動を発生させることが可能なバイブレータ（振動機）を備えていてもよい。この場合、出力制御部１５０５は、コンテンツの出力の制御の他の一例として、当該バイブレータに振動を発生させる制御を行ってもよい。または、情報処理装置１０が任意のユーザ利用端末と通信接続されており、かつ、当該ユーザ利用端末にバイブレータ機能が有る場合には、出力制御部１５０５は、コンテンツの出力の制御の他の一例として、当該ユーザ利用端末を振動させる制御を行ってもよい。
　このように、認識部１５０３によりユーザ間での話しかけまたは会話が有ると認識された場合に出力制御部１５０５がコンテンツの出力の制御を行うことで、ユーザＵ１は、情報処理装置１０でコンテンツ再生音を聞いている場合でも、周囲から話しかけられていることに気付きやすくなる。また、ユーザＵ１が周囲に話しかける、または、他のユーザと会話を行う間に、コンテンツ再生音の停止操作または情報処理装置１０を頭部から外す動作を行う手間が省略される。従って、ユーザの利便性が向上する。
　以上、図２～図６を参照して、第一の実施形態による情報処理装置１０の構成例を説明した。続いて、図６を参照して、第一の実施形態による情報処理装置１０の動作例を説明する。
　＜２－２．動作＞
　図６は、第一の実施形態による情報処理装置１０の動作例を説明するためのフローチャートである。まず、情報処理装置１０の音差分処理部１５０１が、マイクロフォン１２０および記憶部１４０のそれぞれから、過去の音データおよび現在の音データを取得する（Ｓ１０１）。
　次いで、音差分処理部１５０１が、過去の音データと現在の音データの差分値を算出する（Ｓ１０３）。
　算出された差分値が所定の閾値を越えていない場合（Ｓ１０５／ＮＯ）、情報処理装置１０は、Ｓ１０１に戻って一連の処理を繰り返す。
　算出された差分値が所定の閾値を越えている場合（Ｓ１０５／ＹＥＳ）、制御部１５０は、認識部１５０３に、情報処理装置１０の周辺環境の状況の認識処理を開始する指示を出力する（Ｓ１０５）。認識部１５０３は、認識処理を行う（Ｓ１１１）。
　認識部１５０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識されなかった場合（Ｓ１１３／ＮＯ）、出力制御部１５０５は、スピーカ１３０に外部音を出力させる処理である、外部音取り込み機能をＯＦＦにし（Ｓ１１９）、Ｓ１０１に戻って一連の処理を繰り返す。
　認識部１５０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識された場合（Ｓ１１３／ＹＥＳ）、出力制御部１５０５は、外部音取り込み機能をＯＮにする（Ｓ１１５）。
　情報処理装置１０の一連の処理を終了する終了操作が行われた場合（Ｓ１１７／ＹＥＳ）、情報処理装置１０は処理を終了する。情報処理装置１０は、一連の処理を終了する終了操作が行われるまで、Ｓ１０１～Ｓ１１９の処理を繰り返す（Ｓ１１７／ＮＯ）。
　以上、図６を参照して、第一の実施形態による情報処理装置１０の動作例を説明した。続いて、図７を参照して、第一の実施形態によるイメージセンサ部１１０の動作例を説明する。
　図７は、第一の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。図７のフローチャートに示した動作は、図６のフローチャートに示した動作の開始と同時に開始され、並列して実行される。
　まず、イメージセンサ部１１０の画素アレイ２１０は、情報処理装置１０の周辺環境の画像データの取得を開始する（Ｓ２０１）。画素アレイ２１０は、制御部１５０から、認識部１５０３による周辺環境の状況の認識処理を開始する指示が出力されるまで、周辺環境の画像データの取得を継続する（Ｓ２０３／ＮＯ）。
　制御部１５０から、認識部１５０３による周辺環境の状況の認識処理を開始する指示が出力されると（Ｓ２０３／ＹＥＳ）、イメージセンサ部１１０の画像縮小処理部２２０１は、画素アレイ２１０により取得された周辺環境の画像データを、所定の解像度に縮小する処理を行う（Ｓ２０５）。
　画像出力部２２０２は、画像縮小処理部２２０１により縮小処理が行われた周辺環境の画像データを、認識部１５０３に出力する（Ｓ２０７）。
　イメージセンサ部１１０の一連の処理を終了する終了操作が行われた場合（Ｓ２０９／ＹＥＳ）、イメージセンサ部１１０は処理を終了する。イメージセンサ部１１０は、一連の処理を終了する終了操作が行われるまで、Ｓ２０１～Ｓ２０９の処理を繰り返す（Ｓ２０９／ＮＯ）。
　以上、図７を参照して、第一の実施形態によるイメージセンサ部１１０の動作例を説明した。続いて、図８～図１１を参照して、本開示の第二の実施形態による情報処理システムについて説明する。
　＜３．第二の実施形態＞
　第二の実施形態では、イメージセンサ部１１１のイメージセンサ制御部２２１が、情報処理装置１１の周辺環境の状況を認識する認識処理を行う。まず、図８および図９を参照して、第二の実施形態による情報処理装置１１の構成例を説明する。
　＜３－１．構成例＞
　図８は、第二の実施形態による情報処理装置１１の構成例を説明するためのブロック図である。図８に示したように、情報処理装置１１は、イメージセンサ部１１１、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および、制御部１５１を有する。なお、マイクロフォン１２０、スピーカ１３０、および、記憶部１４０は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
　イメージセンサ部１１１は、第一の実施形態によるイメージセンサ部１１０と同様に、情報処理装置１０の周辺環境の画像を取得する機能を有する。さらに、イメージセンサ部１１１は、第一の実施形態における認識部１５０３、および、出力制御部１５０５に相当する機能を有する。
　図９は、第二の実施形態によるイメージセンサ部１１１の構成例を説明するためのブロック図である。図９に示したように、イメージセンサ部１１１は、画素アレイ２１０およびイメージセンサ制御部２２１を有する。
　画素アレイ２１０は、第一の実施形態による画素アレイ２１０に相当する機能を有する。
　イメージセンサ制御部２２１は、第一の実施形態によるイメージセンサ制御部２２０と同様に、画像縮小処理部２２０１、および、画像出力部２２０２としての機能を有する。さらに、第二の実施形態によるイメージセンサ制御部２２１は、認識部２２０３および出力制御部２２０４としての機能を有する。
　認識部２２０３は、第一の実施形態による認識部１５０３に相当する機能を有する。画像出力部２２０２は、情報処理装置１０の音差分処理部１５０１により、認識処理を開始する指示が出力されると、画像出力部２２０２から出力される情報処理装置１０の周辺環境の画像データと、情報処理装置１１の１２０により取得される情報処理装置１０の周辺の音データに基づいて、情報処理装置１０の周辺環境の状況を認識する認識処理を行う。認識部２２０３は、認識処理の結果を出力制御部２２０４に出力する。
　出力制御部２２０４は、第一の実施形態による出力制御部１５０５に相当する機能を有する。出力制御部２２０４は、認識部２２０３による周辺環境の状況の認識結果に応じて、スピーカ１３０から出力されるコンテンツを制御する。
　（制御部１５１）
　図８に戻って、情報処理装置１１の構成例の説明を続ける。制御部１５１は、情報処理装置１１の動作全般を制御する機能を有する。このような情報処理装置１１は、音差分処理部１５０１としての機能を有する。音差分処理部１５０１は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
　以上、図８および図９を参照して、第二の実施形態による情報処理装置１１の構成例を説明した。
　＜３－２．動作＞
　図１０は、第二の実施形態による情報処理装置１１の動作例を説明するためのフローチャートである。なお、図１０において、Ｓ１０１、Ｓ１０３、Ｓ１０７、およびＳ１１７は、上記で図６を参照して説明した通りであるので、ここでの重複する説明を省略する。
　Ｓ１０１～Ｓ１０３の処理が行われたのち、情報処理装置１１の音差分処理部１５０１は、算出された差分値が所定の閾値を超えているか否かを判定する。差分値が所定の閾値を超えていない場合（Ｓ３０１／ＮＯ）、情報処理装置１１は、Ｓ１０１～Ｓ３０１の処理を繰り返す。
　差分値が所定の閾値を超えている場合（Ｓ３０１／ＹＥＳ）、制御部１５１は、イメージセンサ部１１１へ、認識処理を開始する指示を出力する（Ｓ１０７）。次いで、Ｓ１１７の処理が行われる（Ｓ１１７）。
　以上、図１０を参照して、第二の実施形態による情報処理装置１１の動作例を説明した。続いて、図１１を参照して、第二の実施形態によるイメージセンサ部１１１の動作例を説明する。
　図１１は、第二の実施形態によるイメージセンサ部１１１の動作例を説明するためのフローチャートである。なお、図１１において、Ｓ２０１、Ｓ２０５、Ｓ２０７、およびＳ２０９は、上記で図７を参照して説明した通りであるので、ここでの重複する説明を省略する。
　Ｓ２０１の処理に次いで、イメージセンサ部１１１の画像縮小処理部２２０１は、情報処理装置１０の制御部１５１により、認識処理を開始する指示が出力されたか否かを判定する。認識処理を開始する指示が出力されていない場合（Ｓ４０３／ＮＯ）、Ｓ２０１～Ｓ４０３の処理を繰り返す。
　認識処理を開始する指示が出力された場合（Ｓ４０３／ＹＥＳ）、Ｓ２０５～Ｓ２０７の処理が行われる。次いで、イメージセンサ部１１１の認識部２２０３が、周辺環境の状況を認識する認識処理を行う（Ｓ４０９）。
　認識部２２０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識されなかった場合（Ｓ４１３／ＮＯ）、出力制御部２２０４は、外部音取り込み機能をＯＦＦにするための制御信号を出力し（Ｓ４１７）、Ｓ２０１に戻って一連の処理を繰り返す。
　認識部２２０３により、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけ、または、会話が有ると認識された場合（Ｓ４１３／ＹＥＳ）、出力制御部２２０４は、外部音取り込み機能をＯＮにするための制御信号を出力する（Ｓ４１５）。次いで、Ｓ２０９の処理が行われる。
　以上、図１１を参照して、第二の実施形態によるイメージセンサ部１１１の動作例を説明した。続いて、図１２～図１５を参照して、本開示の第三の実施形態による情報処理システムについて説明する。
　＜４．第三の実施形態＞
　第三の実施形態では、第一の実施形態において認識部１５０３が行っていた、情報処理装置１０の周辺環境の状況の認識処理が、後述する情報処理装置１２の制御部１５２と、イメージセンサ部１１２のイメージセンサ制御部２２２とに分担して実施される。
　＜４－１．構成例＞
　図１２は、第三の実施形態による情報処理装置１２の構成例を説明するためのブロック図である。図１２に示したように、情報処理装置１２は、イメージセンサ部１１２、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および、制御部１５２を有する。なお、マイクロフォン１２０、スピーカ１３０、および、記憶部１４０は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
　イメージセンサ部１１２は、第一の実施形態によるイメージセンサ部１１０と同様に、情報処理装置１２の周辺環境の画像を取得する機能を有する。さらに、イメージセンサ部１１２は、情報処理装置１２の周辺環境の画像を解析して画像認識を行う機能を有する。
　また、イメージセンサ部１１２は、後述する音認識処理部１５０６により出力される情報処理装置１２の周辺の音の解析結果と、イメージセンサ部１１２による周辺環境の画像の解析結果に基づいて、情報処理装置１２の周辺環境の状況を推定する機能を有する。情報処理装置１２は、例えば、情報処理装置１２に障害物が接近していることを推定し、スピーカ１３０に、ユーザへの通知等を出力させる。
　図１３は、第三の実施形態によるイメージセンサ部１１２の構成例を説明するためのブロック図である。図１３に示したように、イメージセンサ部１１２は、画素アレイ２１０およびイメージセンサ制御部２２２を有する。
　画素アレイ２１０は、第一の実施形態による画素アレイ２１０に相当する機能を有する。
　イメージセンサ制御部２２２は、第一の実施形態によるイメージセンサ制御部２２０と同様に、画像縮小処理部２２０１、および、画像出力部２２０２としての機能を有する。さらに、第三の実施形態によるイメージセンサ制御部２２２は、画像認識処理部２２０５としての機能を新たに有する。
　画像認識処理部２２０５は、情報処理装置１２の音認識処理部１５０６により認識処理を開始する指示が出力されると、画像出力部２２０２から出力される情報処理装置１２の周辺環境の画像データを解析することにより、画像認識を行う機能を有する。例えば、画像出力部２２０２は、機械学習により予め学習済みのモデルを用いて、情報処理装置１２に接近する障害物と推定される移動体を認識してもよい。画像認識処理部２２０５は、画像の解析結果（画像認識処理の結果）を後述する周辺環境推定部１５０７に出力する。
　（制御部１５２）
　図１２に戻って、情報処理装置１２の構成例の説明を続ける。制御部１５２は、情報処理装置１２の動作全般を制御する機能を有する。このような情報処理装置１２は、音差分処理部１５０１、および、音認識処理部１５０６としての機能を有する。音差分処理部１５０１は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
　音認識処理部１５０６は、情報処理装置１２の周辺の音を解析することにより、音認識を行う機能を有する。例えば、音認識処理部１５０６は、機械学習により予め学習済みのモデルを用いて、情報処理装置１２の周辺の音から、情報処理装置１２に接近する障害物と推定される移動体を認識してもよい。音認識処理部１５０６は、音の解析結果（音認識処理の結果）を周辺環境推定部１５０７に出力する。
　周辺環境推定部１５０７は、画像出力部２２０２による情報処理装置１２の周辺環境の画像データの解析結果と、音認識処理部１５０６による情報処理装置１２の周辺の音データの解析結果に基づいて、情報処理装置１２の周辺環境の状況を推定する、周辺環境推定処理を行う機能を有する。より詳細には、周辺環境推定部１５０７は、情報処理装置１２に障害物と推定される移動物体が接近していることを推定してもよい。このような周辺環境推定部１５０７は、情報処理装置１２の認識部の一例である。
　例えば、周辺環境推定部１５０７は、人または車などの、音を発する移動物体が情報処理装置１２に接近していることを推定してもよい。
　周辺環境推定部１５０７は、音認識処理部１５０６による音の解析結果と、画像認識処理部２２０５による画像解析結果を入力データとするニューラルネットワークを用いて、上記音の解析結果、上記画像解析結果、および、周辺環境の状況を示す正解データの関係を学習してもよい。周辺環境推定部１５０７は、学習済みのモデルを用いて、周辺環境の状況を推定してもよい。
　または、周辺環境の状況の推定処理として、周辺環境推定部１５０７は、音認識処理部１５０６による音の解析結果と、画像認識処理部２２０５による画像解析結果に応じて、ルールベースの推定処理を行ってもよい。例えば、周辺環境推定部１５０７は、音の解析結果および画像解析結果のいずれもが同一の周辺環境の状況を示す認識結果である場合に、当該認識結果を情報処理装置１２の周辺環境の状況の推定結果としてもよい。
　また、周辺環境推定部１５０７は、周辺環境推定処理の結果に応じて、スピーカ１３０から出力されるコンテンツを制御する機能を有する。例えば、周辺環境推定部１５０７は、スピーカ１３０から、障害物の接近をユーザに知らせる通知メッセージを出力する制御を行ってもよい。または、周辺環境推定部１５０７は、スピーカ１３０から出力されるコンテンツ再生音の一時停止、コンテンツ再生音の音量の低減、または、コンテンツ再生音の音像定位の変化の、いずれか一つ以上の制御を行ってもよい。
　以上、図１２および図１３を参照して、第三の実施形態による情報処理装置１２の構成例を説明した。
　＜４－２．動作＞
　図１４は、第三の実施形態による情報処理装置１２の動作例を説明するためのフローチャートである。なお、図１４において、Ｓ１０１、Ｓ１０３、Ｓ１０５、およびＳ１０７は、上記で図６を参照して説明した通りであるので、ここでの重複する説明を省略する。
　Ｓ１０１～Ｓ１０５の処理が行われたのち、情報処理装置１２の音差分処理部１５０１により、算出された差分値が、所定の閾値を超えている場合（Ｓ５０７／ＹＥＳ）、制御部１５１は、画像認識処理部２２０５および音認識処理部１５０６へ、認識処理を開始する指示を出力する（Ｓ５０７）。次いで、音認識処理部１５０６が、音認識処理を行う（Ｓ５１１）。
　次いで、周辺環境推定部１５０７は、イメージセンサ部１１２の画像認識処理部２２０５による画像認識処理結果を取得する（Ｓ５１３）。周辺環境推定部１５０７は、周辺環境推定処理を行う（Ｓ５１５）。
　周辺環境推定部１５０７は、推定した周辺環境の状況から、外部音取り込み機能を起動するか否かを決定する（Ｓ５１７）。周辺環境推定部１５０７は、外部音取り込み機能を起動すると決定しなかった場合（Ｓ５１７／ＮＯ）、周辺環境推定部１５０７は、外部音取り込み機能をＯＦＦにするための制御信号を生成する（Ｓ５２５）。また、周辺環境推定部１５０７は、スピーカ１３０に、音楽等のコンテンツを再生させる（Ｓ５２７）。
　周辺環境推定部１５０７は、外部音取り込み機能を起動すると決定した場合（Ｓ５１７／ＹＥＳ）、周辺環境推定部１５０７は、外部音取り込み機能をＯＮにする（Ｓ５１９）。また、周辺環境推定部１５０７は、ユーザに対する音声メッセージをスピーカ１３０に再生させる（Ｓ５２１）。
　次いで、情報処理装置１２の一連の処理を終了する終了操作が行われた場合（Ｓ５２３／ＹＥＳ）、情報処理装置１２は処理を終了する。１２は、一連の処理を終了する終了操作が行われるまで、Ｓ１０１～Ｓ５２３の処理を繰り返す（Ｓ５２３／ＮＯ）。
　以上、図１４を参照して、第三の実施形態による情報処理装置１２の動作例を説明した。続いて、図１５を参照して、第三の実施形態によるイメージセンサ部１２２の動作例を説明する。
　図１５は、第三の実施形態によるイメージセンサ部１２２の動作例を説明するためのフローチャートである。なお、図１５において、Ｓ２０１～Ｓ２０７は、上記で図７を参照して説明した通りであるので、ここでの重複する説明を省略する。
　Ｓ２０７の処理に次いで、イメージセンサ部１２２の画像認識処理部２２０５は、画像認識処理を行う（Ｓ６０９）。画像認識処理部２２０５は、画像認識処理結果を、周辺環境推定部１５０７に出力する（Ｓ６１１）。
　次いで、イメージセンサ部１１２の一連の処理を終了する終了操作が行われた場合（Ｓ６１３／ＹＥＳ）、イメージセンサ部１１２は処理を終了する。情報処理装置１２は、一連の処理を終了する終了操作が行われるまで、Ｓ２０１～Ｓ６１３の処理を繰り返す（Ｓ６１３／ＮＯ）。
　以上、図１５を参照して、第三の実施形態によるイメージセンサ部１２２の動作例を説明した。続いて、図１６～図２２を参照して、本開示の第四の実施形態による情報処理システムについて説明する。
　＜５．第四の実施形態＞
　第四の実施形態では、本開示の適用先が、ＨＭＤである例を説明する。図１６は、第四の実施形態の概要を説明するための説明図である。
　図１６に示した情報処理装置１３は、ユーザＵ１の頭部に装着されているＨＭＤである。画面Ｄは、情報処理装置１３のディスプレイに表示される画面例を示す。第四の実施形態による情報処理装置１３は、ユーザＵ１の周辺環境の状況の認識結果に応じて、情報処理装置１３のコンテンツ再生音およびコンテンツ画像の表示を一時停止する。このとき、情報処理装置１３は、情報処理装置１３の周辺の音を出力する。また、情報処理装置１３は、情報処理装置１３の周辺の画像データをディスプレイに表示させる。
　図１６の左側に示したように、情報処理装置１３は、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）技術、またはＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を利用した、3次元の仮想空間の画像である画面Ｄ１を表示することが出来る。また、情報処理装置１３は、画面Ｄ１の表示と同期されたコンテンツ音を出力する。
　ユーザＵ１は、情報処理装置１３を装着してＶＲまたはＡＲのコンテンツを体験している間、目と耳がふさがれているような状態になるため、ユーザＵ１の周囲の状況を把握しづらい。情報処理装置１３を実現するＨＭＤによっては、ユーザの操作に基づき、ＨＭＤの周囲を撮像する外向きカメラで取得された周囲の映像を表示する機能を備えている場合があるが、周囲の映像が表示されるためにはユーザによる能動的な動作が求められる。このため、情報処理装置１３を装着してＶＲまたはＡＲのコンテンツを体験している間、ユーザＵ１は、他のユーザからの自身への話しかけ、または、他のユーザまたはペット等の接近などの周囲の状況を察知し難い。そのため、ユーザＵ１が、他のユーザおよびペット等に衝突してしまうなどの状況が発生し得る。
　そこで、本開示の第四の実施形態による情報処理装置１３によれば、情報処理装置１３の周辺環境の状況として、ユーザＵ１と他のユーザとの間での話しかけまたは会話の有無、および、ユーザＵ１の周囲の人またはペット等の接近が認識される。情報処理装置１３は、認識結果に応じて、情報処理装置１３に出力されるコンテンツを制御する。これにより、情報処理装置１３を装着しているユーザＵ１の利便性が向上する。
　＜５－１．構成例＞
　図１７は、第四の実施形態による情報処理装置１３の構成例を説明するためのブロック図である。図１７に示したように、情報処理装置１３は、イメージセンサ部１１０、マイクロフォン１２０、スピーカ１３０、記憶部１４０、制御部１５０、および、映像出力部１６２を有する。なお、イメージセンサ部１１０、マイクロフォン１２０、スピーカ１３０、記憶部１４０、および制御部１５０は、上記で図２を参照して説明した通りであるので、ここでの重複する説明を省略する。
　（映像出力部１６２）
　映像出力部１６２は、ユーザの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像および右眼用画像を表示する機能を有する。映像出力部１６２の画面は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、映像出力部１６２は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
　映像出力部１６２は、制御部１５０の制御に従って、イメージセンサ部１１０により取得される情報処理装置１３の周辺環境の画像データを表示する。
　なお、第四の実施形態によるイメージセンサ部１１０は、情報処理装置１３の周囲３６０度方向の画像を取得できる位置に配置される。また、情報処理装置１３は、複数のイメージセンサ部１１０を備えていてよい。
　図１８は、第四の実施形態によるイメージセンサ部１１０の設置位置の一例を説明するための説明図である。図１８の外観図Ｖ１は、情報処理装置１３を斜め後方からみた斜視図である。イメージセンサ部１１０は、例えば、情報処理装置１３Ａの後方部分の位置P１に設置されてもよい。この場合、イメージセンサ部１１０は、魚眼レンズを備え、情報処理装置１３Ａを装着するユーザＵ１の後方全体を撮像してもよい。
　また、図１９は、第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。図１９の外観図Ｖ２は、情報処理装置１３Ａを前方からみた正面図である。イメージセンサ部１１０は、位置P１に加え、位置Ｐ２の位置に設置されてもよい。この場合、イメージセンサ部１１０は、魚眼レンズを含んで構成され、情報処理装置１３Ａを装着するユーザＵ１の前方全体を撮像してもよい。
　また、図２０は、第四の実施形態によるイメージセンサ部１１０の設置位置の他の一例を説明するための説明図である。図２０の外観図Ｖ３は、情報処理装置１３Ｂ前方からみた正面図である。図２０に示した例では、情報処理装置１３Ｂは、情報処理装置１３Ｂの前面の四方の位置Ｐ４～位置Ｐ６の各々に１ずつ設置されてもよい。この場合、情報処理装置１３Ｂは、計４つのイメージセンサ部１１０を備えていてもよい。これにより、情報処理装置１３Ａを装着するユーザＵ１の前方全体が撮像され得る。
　以上、図１７～図２０を参照して、第四の実施形態による情報処理装置１３の構成例を説明した。続いて、図２１および図２２を参照して、第四の実施形態による情報処理装置１３の動作例を説明する。
　＜５－２．動作＞
　図２１は、第四の実施形態による情報処理装置１３の動作例を説明するためのフローチャートである。なお、図２１において、Ｓ１０１～Ｓ１０７の処理は、上記で図６を参照して説明した通りであるので、ここでの重複する説明を省略する。
　まず、Ｓ１０１～Ｓ１０７の処理が行われる。Ｓ１０７において、情報処理装置１３の制御部１５０により認識処理の開始指示が出力されると、情報処理装置１３の認識部１５０３は、周辺環境の状況の認識処理を行う（Ｓ７１１）。例えば、認識部１５０３は、周辺環境の状況として、他のユーザまたはペット等が情報処理装置１３に接近していることを認識してもよい。さらに、認識部１５０３は、認識結果に基づいて、情報処理装置１３のスピーカ１３０および映像出力部１６２のそれぞれに、外部音取り込みとコンテンツ音声の停止、および、周辺映像の表示を行わせる制御が必要か否かを推定してもよい（Ｓ７１３）。
　Ｓ７１３において、上記制御が必要と判定されなかった場合（Ｓ７１３／ＮＯ）、出力制御部１５０５は、外部音取り込み機能をＯＦＦにするための制御信号を生成する（Ｓ７２３）。また、出力制御部１５０５は、映像出力部１６２に、仮想空間の画像等のコンテンツ映像を表示させる（Ｓ７２５）。さらに、出力制御部１５０５は、スピーカ１３０に、コンテンツ音声を再生させる（Ｓ７２７）。次いで、情報処理装置１３は、Ｓ１０１に戻って、Ｓ１０１～Ｓ７２７の処理を繰り返す。
　Ｓ７１３において、上記制御が必要と判定された場合（Ｓ７１３／ＹＥＳ）、出力制御部１５０５は、外部音取り込み機能をＯＮにするための制御信号を生成する（Ｓ７１５）。また、出力制御部１５０５は、映像出力部１６２に、情報処理装置１３の周辺環境の映像を表示させる（Ｓ７１７）。さらに、出力制御部１５０５は、スピーカ１３０に、コンテンツ音声の再生を停止させる（Ｓ７１９）。
　次いで、情報処理装置１３の一連の処理を終了する終了操作が行われた場合（Ｓ７２１／ＹＥＳ）、情報処理装置１３は処理を終了する。情報処理装置１３は、一連の処理を終了する終了操作が行われるまで、Ｓ１０１～Ｓ７２７の処理を繰り返す（Ｓ７２１／ＮＯ）。
　以上、図２１を参照して、第四の実施形態による情報処理装置１３の動作例を説明した。続いて、図２２を参照して、第四の実施形態によるイメージセンサ部１１０の動作例を説明する。
　図２２は、第四の実施形態によるイメージセンサ部１１０の動作例を説明するためのフローチャートである。なお、図１５において、Ｓ２０１～Ｓ２０７は、上記で図７を参照して説明した通りであるので、ここでの重複する説明を省略する。
　Ｓ２０７の処理に次いで、イメージセンサ部１１０のイメージセンサ制御部２２１は、情報処理装置１３の認識部１５０３により、周辺映像の表示が必要と推定されたか否かの判定を行う（Ｓ８０８）。周辺映像の表示が必要と推定されなかった場合（Ｓ８０８／ＮＯ）、情報処理装置１３は、Ｓ２０１～Ｓ８０８の処理を繰り返す。
　周辺映像の表示が必要と推定された場合（Ｓ８０８／ＹＥＳ）、画像出力部２２０２は、イメージセンサ制御部２２１の制御に従って、画素アレイ２１０により取得された情報処理装置１３の周辺環境の画像データを映像出力部１６２に出力する（Ｓ８０９）。
　次いで、イメージセンサ部１１１の一連の処理を終了する終了操作が行われた場合（Ｓ８１１／ＹＥＳ）、イメージセンサ部１１１は処理を終了する。イメージセンサ部１１１は、一連の処理を終了する終了操作が行われるまで、Ｓ２０１～Ｓ８１１の処理を繰り返す（Ｓ８１１／ＮＯ）。
　以上、図２２を参照して、第四の実施形態によるイメージセンサ部１１０の動作例を説明した。
　＜６．ハードウェア構成＞
　以上、本開示の実施形態を説明した。上述した、情報処理装置１０の周辺環境の変化が所定の条件を満たすか否かの判断結果の取得、情報処理装置１０の周辺の音および周辺環境の画像データに基づく周辺環境の状況の認識処理、認識結果に基づくコンテンツ出力の制御、などの情報処理は、ソフトウェアと、ハードウェアとの協働により実現される。以下、情報処理装置１０に適用され得るハードウェア構成例を説明する。
　図２３は、ハードウェア構成９０の一例を示したブロック図である。なお、以下に説明するハードウェア構成９０のハードウェア構成例は、情報処理装置１０のハードウェア構成の一例に過ぎない。したがって、情報処理装置１０は、それぞれ、必ずしも図２３に示したハードウェア構成の全部を有している必要はない。また、情報処理装置１０の中に、図２３に示したハードウェア構成の一部が存在しなくてもよい。さらに、情報処理装置１１、情報処理装置１２、および情報処理装置１３についても、以下に説明するハードウェア構成９０が適用され得る。
　図２３に示すように、ハードウェア構成９０は、ＣＰＵ９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ９０５を含む。また、ハードウェア構成９０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。ハードウェア構成９０は、ＣＰＵ９０１に代えて、またはこれとともに、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、ハードウェア構成９０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムおよび演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムまたは／および、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　ＣＰＵ９０１がＲＯＭ９０３、ＲＡＭ９０５、およびソフトウェアと協働することにより、例えば、制御部１５０、および、イメージセンサ制御部２２０の機能が実現され得る。
　入力装置９１５は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置９１５は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線またはその他の電波を利用したリモートコントロール装置であってもよいし、ハードウェア構成９０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、ハードウェア構成９０に対して各種のデータを入力したり処理動作を指示したりする。
　また、入力装置９１５は、撮像装置、およびセンサを含んでもよい。撮像装置は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサは、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサは、例えばハードウェア構成９０の筐体の姿勢など、ハードウェア構成９０自体の状態に関する情報、または、ハードウェア構成９０の周辺の明るさまたは騒音など、ハードウェア構成９０の周辺環境に関する情報を取得する。また、センサは、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置９１７は、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置９１７は、ハードウェア構成９０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくする照明装置などを含んでもよい。
　ストレージ装置９１９は、ハードウェア構成９０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムまたは各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、ハードウェア構成９０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器をハードウェア構成９０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、ハードウェア構成９０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、ローカルネットワーク、または、無線通信の基地局との通信ネットワークに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットまたは他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるローカルネットワークまたは基地局との通信ネットワークは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　＜７．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、判断結果取得部の一例としての音差分処理部１５０１が、判断結果取得処理として、周辺の音の変化が所定の閾値が示す差分以上に変化したことを検出した場合に、情報処理装置１０の周辺環境の変化が所定の条件を満たすと判断するとした。より具体的には、音差分処理部１５０１が、現在の音データと過去の音データとの差分を算出し、算出された差分を示す差分値が所定の閾値を超える場合に、所定の条件が満たされたと判断するとした。しかし、本技術は係る例に限定されない。例えば、情報処理装置１０の制御部１５０が、イメージセンサ部１１０により取得された情報処理装置１０の周辺環境の画像データを用いて、周辺環境の変化が所定の条件を満たすか否かの判断結果を取得してもよい。
　例えば、制御部１５０は、現在の周辺環境の画像データと、過去の周辺環境の画像データの差分を検出してもよい。制御部１５０は、画像データ上で差分が検出された領域が、所定の閾値が示す範囲を超える場合に、周辺環境の状況が所定の条件を満たすと判断してもよい。これにより、例えば情報処理装置１０に他のユーザが接近している場合等の周辺環境の変化が検出され得る。
　なお、上記のように、制御部１５０が周辺環境の画像データを用いて判断結果取得処理を行う場合には、情報処理装置１０を装着しているユーザの頭部の動きによる周辺環境の画像データの変化を考慮することが望ましい。例えば、情報処理装置１０は、情報処理装置１０の加速度および角速度を検出することが可能な加速度センサおよび加速度センサ、またはＩＭＵを備えていてもよい。制御部１５０は、情報処理装置１０の加速度および角速度に基づきユーザの頭部の位置および姿勢を算出するヘッドトラッキングを行ってもよい。制御部１５０は、ヘッドトラッキングの結果に基づいて、判断結果取得処理によって検出される周辺環境の画像データの変化がユーザの頭部の動きによって生じたものである場合には、周辺環境の変化が所定の条件を満たさないと判断してもよい。これにより、イメージセンサ部１１０により取得される周辺環境の画像データによっても、情報処理装置１０の周辺環境の変化が所定の条件を満たすか否かの判断が行われ得る。
　また、上記のように制御部１５０が周辺環境の画像データを用いて判断結果取得処理を行う場合には、画像縮小処理部２２０１および認識部１５０３は次のような処理を行ってもよい。具体的には、画像縮小処理部２２０１は、制御部１５０から認識処理を開始する指示が出力された場合、画素アレイ２１０により取得される周辺環境の画像データから、制御部１５０により上記差分が検出された領域を切り出す処理を行ってもよい。さらに、画像縮小処理部２２０１は、切り出された領域の画像データを所定の解像度に縮小する処理を行ってもよい。認識部１５０３は、縮小処理が行われた、切り出された領域の画像データを入力データとして、認識処理を行ってもよい。これにより、認識部１５０３の認識処理において、情報処理装置１０の周辺のユーザと他のユーザの間での話しかけまたは会話の有無の検出精度が向上し得る。
　また、上記実施形態では、イメージセンサ部１１０およびマイクロフォン１２０が、情報処理装置１０と同一体として構成される例を説明した。しかし、本技術は係る例に限定されない。例えば、イメージセンサ部１１０およびマイクロフォン１２０は、情報処理装置１０と別体として構成されてもよい。この場合、イメージセンサ部１１０は、ユーザの周辺環境を俯瞰的に撮像可能な位置に設置されることが望ましい。
　また、上記ではユーザと他のユーザが同一空間に存在することが想定されたが、ユーザと他のユーザは別空間に存在していてもよい。例えば、ユーザが存在する空間には、他のユーザの映像および音声を出力する出力装置が配置されており、情報処理装置１０は、当該出力装置を介する話しかけ、および会話の有無を認識してもよい。当該出力装置は、据え置き式の装置であってもよいし、他のユーザによる遠隔操作に従って移動可能な装置であってもよい。
　また、本実施形態による情報処理装置１０、およびイメージセンサ部１１１の動作の処理におけるステップは、必ずしも説明図として記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０およびイメージセンサ部１１１の動作の処理における各ステップは、説明図として記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。
　また、上述した情報処理装置１０およびイメージセンサ部１１１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、本実施形態による情報処理システムの機能を発揮させるための１以上のコンピュータプログラムも作成可能である。また、当該１以上のコンピュータプログラムを記憶させた、コンピュータが読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
　前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
を備える、情報処理装置。
（２）
　前記センサ部は、当該センサ部の周辺の音を検出し、
　前記判断結果取得部は、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
　前記（１）に記載の情報処理装置。
（３）
　前記判断結果取得部は、前記センサ部により所定時間長を有する第一の時間区間において取得された第一の音データと、前記センサ部により前記第一の時間区間と異なり前記所定時間長を有する第二の時間区間において取得された第二の音データと、に基づいて、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
　前記（２）に記載の情報処理装置。
（４）
　前記判断結果取得部は、前記第一の音データと、前記第二の音データとの差分を算出し、
　前記所定の条件は、算出された前記差分を示す差分値が、所定の閾値を超えることである、
　前記（３）に記載の情報処理装置。
（５）
　前記認識部は、前記センシングデータとして、前記センサ部から前記音データを取得し、
　前記音データを解析して前記周辺環境の状況を認識する処理を行う、
　前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記センサ部は、前記センシングデータとして、当該センサ部の周辺環境の画像データを取得し、
　前記認識部は、前記音データおよび前記画像データを解析して前記周辺環境の状況を認識する処理を行う、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記認識部は、前記音データおよび前記画像データの各々の解析結果に基づき、前記周辺環境の状況として、前記センサ部の周辺に位置するユーザと他のユーザの間での話しかけまたは会話の有無を認識する、
　前記（６）に記載の情報処理装置。
（８）
　前記認識部は、前記センサ部により取得される前記音データまたは前記センサ部により取得される前記画像データの少なくともいずれかまたは両方と、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけの有無の正解データと、を入力データとするニューラルネットワークを用いて、前記音データまたは前記画像データの少なくともいずれかまたは両方および前記ユーザと前記他のユーザとの間での話しかけまたは会話の有無の関係を学習し、
　学習の結果得られたモデルを用いて、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無を認識する、
　前記（６）または（７）に記載の情報処理装置。
（９）
　前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させる処理を行う、出力制御部をさらに備える、前記（７）または（８）に記載の情報処理装置。
（１０）
　前記出力制御部は、前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
　前記（７）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音の音量を低減させる処理、または、前記コンテンツ再生音の音像定位を変化させる処理、のいずれかまたは両方を行う、出力制御部をさらに備える、前記（７）または（８）に記載の情報処理装置。
（１２）
　前記認識部は、前記周辺環境の状況として、前記センサ部に接近する障害物の有無を認識する、
　前記（６）に記載の情報処理装置。
（１３）
　前記認識部により前記センサ部に接近する障害物が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させるとともに、前記音出力部にユーザへの通知音を出力させる制御を行う出力制御部をさらに備える、
　前記（１２）に記載の情報処理装置。
（１４）
　前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
　前記（１３）に記載の情報処理装置。
（１５）
　前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、画像出力部により出力されるコンテンツ画像の表示を一時停止させるとともに、前記センサ部により取得される当該センサ部の周辺の画像データを前記画像出力部に表示させる、
　前記（１４）に記載の情報処理装置。
（１６）
　前記センサ部により取得された前記第二の音データを記憶する記憶部をさらに備える、前記（３）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　コンピュータを、
　センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
　前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
として機能させるための、プログラム。
（１８）
　センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得することと、
　前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始することと、
を含む、コンピュータにより実行される情報処理方法。
　１０　情報処理装置
　１１０　イメージセンサ部
　１２０　マイクロフォン
　１３０　スピーカ
　１４０　記憶部
　１５０　制御部
　　１５０１　音差分処理部
　　１５０３　認識部
　　１５０５　出力制御部
　　１５０６　音認識処理部
　　１５０７　周辺環境推定部
　２１０　画素アレイ
　２２０　イメージセンサ制御部
　　２２０１　画像縮小処理部
　　２２０２　画像出力部
　　２２０３　認識部
　　２２０４　出力制御部
　　２２０５　画像認識処理部

Claims (18)

  1. 　センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
    　前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
    を備える、情報処理装置。
  2. 　前記センサ部は、当該センサ部の周辺の音を検出し、
    　前記判断結果取得部は、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
    　請求項１に記載の情報処理装置。
  3. 　前記判断結果取得部は、前記センサ部により所定時間長を有する第一の時間区間において取得された第一の音データと、前記センサ部により前記第一の時間区間と異なり前記所定時間長を有する第二の時間区間において取得された第二の音データと、に基づいて、前記音の変化が前記所定の条件を満たすか否かの判断結果を取得する、
    　請求項２に記載の情報処理装置。
  4. 　前記判断結果取得部は、前記第一の音データと、前記第二の音データとの差分を算出し、
    　前記所定の条件は、算出された前記差分を示す差分値が、所定の閾値を超えることである、
    　請求項３に記載の情報処理装置。
  5. 　前記認識部は、前記センシングデータとして、前記センサ部から前記音データを取得し、
    　前記音データを解析して前記周辺環境の状況を認識する処理を行う、
    　請求項４に記載の情報処理装置。
  6. 　前記センサ部は、前記センシングデータとして、当該センサ部の周辺環境の画像データを取得し、
    　前記認識部は、前記音データおよび前記画像データを解析して前記周辺環境の状況を認識する処理を行う、
    　請求項５に記載の情報処理装置。
  7. 　前記認識部は、前記音データおよび前記画像データの各々の解析結果に基づき、前記周辺環境の状況として、前記センサ部の周辺に位置するユーザと他のユーザの間での話しかけまたは会話の有無を認識する、
    　請求項６に記載の情報処理装置。
  8. 　前記認識部は、前記センサ部により取得される前記音データまたは前記センサ部により取得される前記画像データの少なくともいずれかまたは両方と、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけの有無の正解データと、を入力データとするニューラルネットワークを用いて、前記音データまたは前記画像データの少なくともいずれかまたは両方および前記ユーザと前記他のユーザとの間での話しかけまたは会話の有無の関係を学習し、
    　学習の結果得られたモデルを用いて、前記センサ部の周辺に位置するユーザと他のユーザとの間での話しかけまたは会話の有無を認識する、
    　請求項７に記載の情報処理装置。
  9. 　前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させる処理を行う、出力制御部をさらに備える、請求項７に記載の情報処理装置。
  10. 　前記出力制御部は、前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
    　請求項９に記載の情報処理装置。
  11. 　前記認識部により前記ユーザと前記他のユーザとの間での話しかけまたは会話が有ると認識されると、音出力部により出力されるコンテンツ再生音の音量を低減させる処理、または、前記コンテンツ再生音の音像定位を変化させる処理、のいずれかまたは両方を行う、出力制御部をさらに備える、請求項７に記載の情報処理装置。
  12. 　前記認識部は、前記周辺環境の状況として、前記センサ部に接近する障害物の有無を認識する、
    　請求項６に記載の情報処理装置。
  13. 　前記認識部により前記センサ部に接近する障害物が有ると認識されると、音出力部により出力されるコンテンツ再生音を一時停止させるとともに、前記音出力部にユーザへの通知音を出力させる制御を行う出力制御部をさらに備える、
    　請求項１２に記載の情報処理装置。
  14. 　前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、前記センサ部により取得される前記センサ部の周辺の前記音データを前記音出力部に出力させる、
    　請求項１３に記載の情報処理装置。
  15. 　前記出力制御部は、前記認識部により前記センサ部に接近する障害物が有ると認識されると、画像出力部により出力されるコンテンツ画像の表示を一時停止させるとともに、前記センサ部により取得される当該センサ部の周辺の画像データを前記画像出力部に表示させる、
    　請求項１４に記載の情報処理装置。
  16. 　前記センサ部により取得された前記第二の音データを記憶する記憶部をさらに備える、請求項３に記載の情報処理装置。
  17. 　コンピュータを、
    　センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得する判断結果取得部と、
    　前記判断結果取得部により前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始する認識部と、
    として機能させるための、プログラム。
  18. 　センサ部により取得されたセンシングデータが示す前記センサ部の周辺環境の変化が所定の条件を満たすか否かの判断結果を取得することと、
    　前記所定の条件が満たされたことを示す判断結果が取得されたことに基づき、前記センサ部の前記周辺環境の状況を認識する認識処理を開始することと、
    を含む、コンピュータにより実行される情報処理方法。
PCT/JP2023/027195 2022-09-09 2023-07-25 情報処理装置、プログラム、および情報処理方法 Ceased WO2024053271A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-143559 2022-09-09
JP2022143559A JP2024039193A (ja) 2022-09-09 2022-09-09 情報処理装置、プログラム、および情報処理方法

Publications (1)

Publication Number Publication Date
WO2024053271A1 true WO2024053271A1 (ja) 2024-03-14

Family

ID=90192383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027195 Ceased WO2024053271A1 (ja) 2022-09-09 2023-07-25 情報処理装置、プログラム、および情報処理方法

Country Status (2)

Country Link
JP (1) JP2024039193A (ja)
WO (1) WO2024053271A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184700A (ja) * 2003-12-22 2005-07-07 Energia Communications Inc 告知放送システム、告知放送方法、および、この方法に用いられる情報端末
JP2013131824A (ja) * 2011-12-20 2013-07-04 Nikon Corp 電子機器
JP2015191124A (ja) * 2014-03-28 2015-11-02 ソフトバンクＢｂ株式会社 非透過型ヘッドマウントディスプレイ及びプログラム
JP2016014484A (ja) * 2013-06-25 2016-01-28 株式会社東芝 冷蔵庫
JP2017026661A (ja) * 2015-07-16 2017-02-02 富士ゼロックス株式会社 コマンド管理装置および画像形成装置
JP2019197497A (ja) * 2018-05-11 2019-11-14 Ｎｅｃパーソナルコンピュータ株式会社 ヘッドマウントディスプレイシステム、通知制御装置、通知制御方法、及びプログラム
JP2022105941A (ja) * 2021-01-05 2022-07-15 菱洋エレクトロ株式会社 触覚刺激を与える身体装着具

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184700A (ja) * 2003-12-22 2005-07-07 Energia Communications Inc 告知放送システム、告知放送方法、および、この方法に用いられる情報端末
JP2013131824A (ja) * 2011-12-20 2013-07-04 Nikon Corp 電子機器
JP2016014484A (ja) * 2013-06-25 2016-01-28 株式会社東芝 冷蔵庫
JP2015191124A (ja) * 2014-03-28 2015-11-02 ソフトバンクＢｂ株式会社 非透過型ヘッドマウントディスプレイ及びプログラム
JP2017026661A (ja) * 2015-07-16 2017-02-02 富士ゼロックス株式会社 コマンド管理装置および画像形成装置
JP2019197497A (ja) * 2018-05-11 2019-11-14 Ｎｅｃパーソナルコンピュータ株式会社 ヘッドマウントディスプレイシステム、通知制御装置、通知制御方法、及びプログラム
JP2022105941A (ja) * 2021-01-05 2022-07-15 菱洋エレクトロ株式会社 触覚刺激を与える身体装着具

Also Published As

Publication number Publication date
JP2024039193A (ja) 2024-03-22

Similar Documents

Publication Publication Date Title
US12322368B2 (en) Adaptive ANC based on environmental triggers
CN108028957B (zh) 信息处理装置、信息处理方法和机器可读介质
EP2981070B1 (en) Information processing device, notification state control method, and program
JP6760271B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
CN114115515A (zh) 用于帮助用户的方法和头戴式单元
JPWO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11368664B2 (en) Information processing apparatus, information processing method, and program
US11037519B2 (en) Display device having display based on detection value, program, and method of controlling device
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2012175136A (ja) カメラシステムおよびその制御方法
US11372473B2 (en) Information processing apparatus and information processing method
WO2022228068A1 (zh) 电子设备的图像获取方法、装置、系统及电子设备
JP2019040005A (ja) 読み上げシステム及び読み上げ方法
US20200241656A1 (en) Information processing apparatus, information processing method, and program
CN115836924A (zh) 冲牙器的控制方法、装置、冲牙器及存储介质
WO2024053271A1 (ja) 情報処理装置、プログラム、および情報処理方法
JP7078036B2 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2015125362A1 (ja) ウェアラブル装置、および通信制御方法
US10825218B2 (en) Multi-user and multi-surrogate virtual encounters
CN109361727B (zh) 信息共享方法、装置、存储介质及穿戴式设备
WO2020211467A1 (zh) 一种电子设备、控制方法及设备系统
JPWO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23862814

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23862814

Country of ref document: EP

Kind code of ref document: A1