WO2024084854A1 - 音調整方法、音調整装置、音調整システム及びプログラム - Google Patents

音調整方法、音調整装置、音調整システム及びプログラム Download PDF

Info

Publication number
WO2024084854A1
WO2024084854A1 PCT/JP2023/032699 JP2023032699W WO2024084854A1 WO 2024084854 A1 WO2024084854 A1 WO 2024084854A1 JP 2023032699 W JP2023032699 W JP 2023032699W WO 2024084854 A1 WO2024084854 A1 WO 2024084854A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
sound
user
situation
noise canceling
Prior art date
Application number
PCT/JP2023/032699
Other languages
English (en)
French (fr)
Inventor
幸太郎 坂田
哲司 渕上
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2024084854A1 publication Critical patent/WO2024084854A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition

Definitions

  • the present disclosure relates to a sound adjustment method, a sound adjustment device, a sound adjustment system, and a program.
  • Patent Document 1 discloses technology relating to a vehicle soundproofing structure that can be switched between a soundproof state and a non-soundproof state.
  • the switching between the soundproof state and the non-soundproof state described in Patent Document 1 is usually performed according to the state of the vehicle, but depending on the conditions of the space to which it is applied, it may not be possible to perform appropriate switching by switching only according to such conditions.
  • the present disclosure therefore provides a sound adjustment method that allows for more appropriate switching between whether or not sound is allowed to pass between two spaces.
  • a sound adjustment method includes a situation estimation step of estimating the situation of a user using a first space out of a first space and a second space adjacent to each other, a usage status determination step of determining whether or not the first space is being used for work by a plurality of workers including a user using the first space based on the estimated situation of the user using the first space, and a sound propagation adjustment step of switching whether or not to apply noise canceling that reduces the hearing level when a sound generated in one of the first space and the second space is heard in the other of the first space and the second space based on the determination result in the usage status determination step.
  • a sound adjustment device includes a situation estimation unit that estimates the situation of a user using the first space out of a first space and a second space adjacent to each other, a usage situation determination unit that determines whether or not the first space is being used for work by a plurality of workers including a user using the first space based on the estimated situation of the user using the first space, and a sound propagation adjustment unit that switches whether or not to apply noise canceling that reduces the hearing level when a sound generated in one of the first space and the second space is heard in the other of the first space and the second space based on the determination result of the usage situation determination unit.
  • a sound adjustment system includes a first microphone that collects sound in a first space, a second microphone that collects sound in a second space adjacent to the first space, a first speaker that outputs sound in the first space, a second speaker that outputs sound in the second space, a sound adjustment device, and a control device.
  • the sound adjustment device includes a situation estimation unit that estimates the situation of a user using the first space, a usage status determination unit that determines whether the first space is being used for work by multiple workers including a user using the first space based on the estimated situation of the user using the first space, and a sound propagation adjustment unit that switches whether to apply noise canceling that reduces the hearing level when sound generated in one of the first space and the second space is heard in the other of the first space and the second space based on the judgment result of the usage status determination unit.
  • the control device controls the first microphone, the second microphone, the first speaker, and the second speaker according to whether to apply the noise canceling switched by the sound propagation adjustment unit.
  • the sound adjustment method disclosed herein makes it possible to more appropriately switch between allowing or not allowing sound to pass between two spaces.
  • FIG. 1 is a diagram for explaining a space to which a sound adjustment system according to an embodiment is applied.
  • FIG. 2 is a diagram showing an example of use of the sound adjustment system according to the embodiment.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of the sound adjustment system according to the embodiment.
  • FIG. 4 is a flowchart showing an example of the operation of the sound adjustment system according to the embodiment.
  • FIG. 5 is a diagram showing a first example of sound adjustment realized by the sound adjustment system according to the embodiment.
  • FIG. 6 is a diagram showing a second example of sound adjustment realized by the sound adjustment system according to the embodiment.
  • FIG. 7 is a diagram showing a third example of sound adjustment realized by the sound adjustment system according to the embodiment.
  • FIG. 1 is a diagram for explaining a space to which a sound adjustment system according to an embodiment is applied.
  • FIG. 2 is a diagram showing an example of use of the sound adjustment system according to the embodiment.
  • FIG. 3 is a block diagram illustrating
  • FIG. 8 is a diagram showing a fourth example of sound adjustment realized by the sound adjustment system according to the embodiment.
  • FIG. 9 is a diagram showing a fifth example of sound adjustment realized by the sound adjustment system according to the embodiment.
  • FIG. 10 is a diagram showing a sixth example of sound adjustment realized by the sound adjustment system according to the embodiment.
  • a problem occurs in which sounds leak from each space to the adjacent space.
  • sounds generated in one space are propagated beyond the boundary (e.g., a wall) to the other space and are heard by users using the other space.
  • the use of a space may change over time, from a work space to a non-work space, or from a non-work space to a work space.
  • one of the spaces may be used as a space for solo work on different days.
  • one of the spaces may be used for remote meetings over a network from home on one day, and as a solo work booth in the home on another day.
  • not passing sounds, including voice means reducing the hearing level of propagated sounds. Therefore, whether or not to pass sounds is a concept that refers to whether or not to propagate sound without applying noise canceling, or whether or not sound propagation in the strict sense is zero or whether or not the hearing level is relatively reduced from the original.
  • the sound adjustment method includes a situation estimation step of estimating the situation of a user using the first space out of the first and second spaces adjacent to each other, a usage status determination step of determining whether or not the first space is being used for work by a plurality of workers including the user using the first space based on the estimated situation of the user using the first space, and a sound propagation adjustment step of switching whether or not to apply noise canceling that reduces the hearing level when a sound generated in one of the first and second spaces is heard in the other of the first and second spaces based on the determination result in the usage status determination step.
  • noise canceling makes it possible to switch whether or not to apply noise canceling based on the result of determining whether or not the first space is being used for work by multiple workers. For example, when the first space is being used for work involving multiple workers, such as a meeting, noise canceling is applied. This makes it possible to more appropriately switch whether or not to allow sound to pass between the two spaces.
  • the sound adjustment method according to the second aspect of the present disclosure is the sound adjustment method described in the first aspect, in which the noise canceling includes a first noise canceling that reduces the hearing level when a sound generated in the second space is heard in the first space.
  • the hearing level of the sound generated in the second space when heard in the first space can be reduced.
  • the sound adjustment method according to the third aspect of the present disclosure is the sound adjustment method according to the first or second aspect, in which the noise canceling includes a second noise canceling that reduces the hearing level when a sound generated in the first space is heard in the second space.
  • the hearing level of the sound generated in the first space when heard in the second space can be reduced.
  • the sound adjustment method according to the fourth aspect of the present disclosure is a sound adjustment method according to any one of the first to third aspects, which includes a situational confidentiality determination step of determining whether or not the situation of the user using the first space is confidential based on the estimated situation of the user using the first space, and in the sound propagation adjustment step, switches whether or not to apply noise canceling based on the presence or absence of situational confidentiality of the user using the first space.
  • the sound adjustment method according to the fifth aspect of the present disclosure is the sound adjustment method according to the fourth aspect, in which the situation estimation step determines whether the user using the first space is performing a task as the situation of the user, and the situation confidentiality determination step determines that the situation of the user using the first space is confidential if the estimated situation of the user using the first space indicates that the user is performing a task.
  • the sound adjustment method further includes an attribute estimation step of estimating an attribute of a user who uses the first space, and an attribute confidentiality determination step of determining whether or not the attribute of the user who uses the first space is confidential based on the estimated attribute of the user who uses the first space, and in the sound propagation adjustment step, whether or not to apply noise canceling is switched based on whether or not the attribute of the user who uses the first space is confidential.
  • This is a sound adjustment method according to any one of the first to fifth aspects.
  • the sound adjustment method according to the seventh aspect of the present disclosure is the sound adjustment method described in the sixth aspect, in which, in the attribute estimation step, information on the affiliation of each of all workers involved in the work using the first space is estimated as an attribute of the user using the first space, and, in the attribute confidentiality determination step, if the information on the affiliation of all workers does not match, it is determined that the attribute confidentiality of the user using the first space exists.
  • the sound adjustment method according to the eighth aspect of the present disclosure is the sound adjustment method according to the sixth aspect, in which, in the attribute estimation step, an attribute of the user using the first space is estimated as to whether the user using the first space is a child or not, and, in the attribute confidentiality determination step, if it is estimated that the user using the first space is a child, it is determined that there is no attribute confidentiality of the user using the first space.
  • the sound adjustment method according to the ninth aspect of the present disclosure is a sound adjustment method according to any one of the sixth to eighth aspects, which includes a situation confidentiality determination step of determining whether or not the estimated situation of the user using the first space is confidential, and in the sound propagation adjustment step, when the determination result in the usage status determination step indicates that the first space is being used for work, noise canceling is applied, and when the determination result in the usage status determination step indicates that the first space is not being used for work, whether or not noise canceling is applied is switched based on the presence or absence of situation confidentiality of the first space and the presence or absence of attribute confidentiality of the user using the first space.
  • noise canceling is applied, and when the first space is not being used for work involving multiple workers, it is possible to switch between applying and not applying noise canceling based further on the determination result of whether or not there is situation confidentiality and the determination result of whether or not there is attribute confidentiality.
  • the sound adjustment method according to the tenth aspect of the present disclosure is the sound adjustment method according to the ninth aspect, in which the noise canceling includes a first noise canceling that reduces the hearing level when a sound generated in the second space is heard in the first space, and a second noise canceling that reduces the hearing level when a sound generated in the first space is heard in the second space, and in the sound propagation adjustment step, when the determination result in the usage status determination step indicates that the first space is being used for work, the first noise canceling is applied, and when the determination result in the usage status determination step indicates that the first space is not being used for work, whether or not to apply the second noise canceling is switched based on the presence or absence of situational confidentiality of the first space and the presence or absence of attribute confidentiality of the user using the first space.
  • the noise canceling includes a first noise canceling that reduces the hearing level when a sound generated in the second space is heard in the first space, and a second noise canceling that reduces the hearing level when a sound generated in the first space is heard in
  • the first noise canceling is applied, and when the first space is not used for work involving multiple workers, it is possible to switch between whether or not to apply the second noise canceling based further on the determination result of whether or not there is situation confidentiality and the determination result of whether or not there is attribute confidentiality.
  • the sound adjustment method according to an eleventh aspect of the present disclosure is the sound adjustment method according to any one of the first to tenth aspects, in which, in the utilization status determination step, if the work is interrupted, it is determined that the first space is not being used for work.
  • the sound adjustment method according to a twelfth aspect of the present disclosure is the sound adjustment method described in the eleventh aspect, in which the work is a remote sound output by collecting sounds uttered by one or more workers in a first space including a user among the multiple workers, and outputting the collected sounds in a space different from the first space via a network, the output sound being audible by one or more workers in the different space among the multiple workers, and the interruption of the work is a muting of the collected sounds in the first space.
  • remote sound output is achieved by collecting sounds spoken by one or more workers in a first space including a user among a plurality of workers, and outputting the collected sounds in a space different from the first space via a network, and when the remote sound output in which the output sounds are heard by one or more workers in the different space among the plurality of workers is interrupted by muting the collection of sounds in the first space, it is possible to determine that the first space is not being used for work, and to switch between applying and not applying noise canceling based on the determination result.
  • the sound adjustment method according to the thirteenth aspect of the present disclosure is the sound adjustment method according to any one of the first to twelfth aspects, further including an alternative presentation step of outputting, when the sound propagation adjustment step is switched to apply noise canceling, the content of the sound as an image based on the sound with a reduced listening level.
  • the program according to the fourteenth aspect of the present disclosure is a program for causing a computer to execute the sound adjustment method described in any one of the first to thirteenth aspects.
  • the sound adjustment device further includes a situation estimation unit that estimates the situation of a user using the first space of the first and second spaces adjacent to each other, a usage situation determination unit that determines whether or not the first space is being used for work by a plurality of workers including the user using the first space based on the estimated situation of the user using the first space, and a sound propagation adjustment unit that switches whether or not to apply noise canceling that reduces the hearing level when a sound generated in one of the first space and the second space is heard in the other of the first space and the second space based on the judgment result of the usage situation determination unit.
  • the sound adjustment system includes a first microphone that collects sound in a first space, a second microphone that collects sound in a second space adjacent to the first space, a first speaker that outputs sound in the first space, a second speaker that outputs sound in the second space, a sound adjustment device, and a control device.
  • the sound adjustment device includes a situation estimation unit that estimates the situation of a user using the first space, a usage status determination unit that determines whether the first space is being used for work by multiple workers including the user using the first space based on the estimated situation of the user using the first space, and a sound propagation adjustment unit that switches whether to apply noise canceling that reduces the hearing level when sound generated in one of the first space and the second space is heard in the other of the first space and the second space based on the determination result of the usage status determination unit.
  • the control device controls the first microphone, the second microphone, the first speaker, and the second speaker according to whether to apply noise canceling switched by the sound propagation adjustment unit.
  • FIG. 1 is a diagram for explaining a space to which a sound adjustment system according to an embodiment is applied.
  • Fig. 2 is a diagram showing an example of use of the sound adjustment system according to the embodiment.
  • Fig. 2 is a diagram showing a space to which a sound adjustment system 1 (see Fig. 3 described later) is applied, as viewed from above.
  • first space 201 and a second space 202 show a first space 201 and a second space 202 that are adjacent to each other and separated by a partition 13.
  • the partition 13 is an example of a boundary that separates the first space 201 and the second space 202.
  • the first space 201 and the second space 202 may be separated by a fixed wall in addition to the portable partition 13.
  • the first space 201 and the second space 202 do not need to be physically separated, as long as they are conceptually separated. In other words, there does not need to be a physical partition, and one side of a boundary of a continuous space may be the first space 201 and the other side may be the second space.
  • the partition 13 arranged at the boundary between the first space 201 and the second space 202 has the first speaker 12 facing the first space 201 and the second speaker 12a facing the second space 202, and the first microphone 11a facing the first space 201 and the second microphone 11 facing the second space 202.
  • the first space 201 is a space that can be used by one or more people as a space for people to work (working space).
  • the first space 201 is used by a user of the first space 201 to perform a task. This task may be a personal task (solo work) of the user, or it may be a meeting of multiple participants (also called workers) including the user.
  • the second space 202 is a space that is shared and used by an unspecified number of people, such as a lobby used for people to come and go or take a temporary break.
  • FIG. 2 shows a portion of a sound adjustment system 1 that includes a control device 100, a first microphone 11a, a second microphone 11, a first speaker 12, and a second speaker 12a. Details will be described later with reference to FIG. 3, etc., but the sound adjustment system 1 also includes a sound adjustment device 300 (see FIG. 3 described below) connected to the control device 100, etc. via a network, and several other devices.
  • a sound adjustment device 300 see FIG. 3 described below
  • the first microphone 11a is disposed on the first space 201 side of the partition 13.
  • the first microphone 11a detects sound generated within the first space 201. Note that as long as the first microphone 11a can detect sound generated in the first space 201, it is not limited to being disposed on the partition 13, but may also be disposed on the ceiling of the first space 201, on a wall disposed in the first space 201, on the floor of the first space 201, or on a desk, chair, etc. disposed in the first space 201.
  • the second microphone 11 is disposed on the second space 202 side of the partition 13.
  • the second microphone 11 detects sound generated within the second space 202.
  • the second microphone 11 is not limited to being disposed on the partition 13, and may be disposed on the ceiling of the second space 202, on a wall disposed in the second space 202, on the floor of the second space 202, or on a desk, chair, etc. disposed in the second space 202, as long as it can detect sound generated in the second space 202.
  • the first speaker 12 is disposed on the first space 201 side of the partition 13.
  • the first speaker 12 is used to realize noise canceling (first noise canceling) by outputting a sound that makes the sound generated in the second space 202 difficult for people in the first space 201 to hear.
  • the sound generated in the second space 202 is, for example, a conversation between users using the second space 202, a sound caused by their actions, an operation sound of a device disposed in the second space 202, etc.
  • the conversation between users using the second space 202 may be a conversation between multiple users using the second space 202, or a conversation by voice call using a communication terminal between a user using the second space 202 and a user outside the second space 202 (i.e., a user in a different space).
  • the first speaker 12 may be provided with a speaker array consisting of multiple speaker units arranged in a specific direction, and may be capable of controlling the directivity in a specific direction.
  • the second speaker 12a is disposed on the second space 202 side of the partition 13.
  • the second speaker 12a is used to realize noise canceling (second noise canceling) by outputting a sound that makes the sound generated in the first space 201 difficult for people in the second space 202 to hear.
  • the sound generated in the first space 201 is, for example, a conversation between users using the first space 201, a sound caused by their actions, an operation sound of a device disposed in the first space 201, etc.
  • the conversation between users using the first space 201 may be a conversation between multiple users using the first space 201, or a conversation by voice call using a communication terminal between a user using the first space 201 and a user outside the first space 201 (i.e., a user in a different space).
  • the second speaker 12a may be provided with a speaker array consisting of multiple speaker units arranged in a specific direction, and may be capable of controlling the directivity in a specific direction.
  • the second microphone 11 and the first speaker 12 may be arranged with their positions or orientations adjusted so that the second microphone 11 has difficulty picking up the sound output by the first speaker 12.
  • the first microphone 11a and the second speaker 12a may be arranged with their positions or orientations adjusted so that the first microphone 11a has difficulty picking up the sound output by the second speaker 12a.
  • the volume of the first speaker 12 or the sensitivity of the second microphone 11 may be adjusted for the second microphone 11 and the first speaker 12 so that the second microphone 11 has difficulty picking up the sound output by the first speaker 12.
  • the volume of the second speaker 12a or the sensitivity of the first microphone 11a may be adjusted for the first microphone 11a and the second speaker 12a so that the first microphone 11a has difficulty picking up the sound output by the second speaker 12a.
  • the first microphone 11a, the second microphone 11, the first speaker 12, and the second speaker 12a do not need to be placed on the partition 13, so long as they are positioned so that it is difficult for the second microphone 11 to pick up the sound output by the first speaker 12, and it is difficult for the first microphone 11a to pick up the sound output by the second speaker 12a.
  • the control device 100 acquires the detection result from the second microphone 11, and generates a sound for the first noise canceling, such as a phase-inverted sound, to be output from the first speaker 12 in accordance with the acquired detection result. Similarly, the control device 100 acquires the detection result from the first microphone 11a, and generates a sound for the second noise canceling, such as a phase-inverted sound, to be output from the second speaker 12a in accordance with the acquired detection result.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of a sound adjustment system according to an embodiment.
  • the hardware configuration of the sound adjustment system 1 includes a camera device 401, a PC 402, a microphone 403, a sound adjustment device 300, a control device 100, a first microphone 11a, a second microphone 11, a first speaker 12, and a second speaker 12a.
  • the sound adjustment device 300 is realized, for example, by a cloud server constructed on a network, or an edge server installed in the building to which the first space 201 and the second space 202 belong.
  • the sound adjustment device 300 is realized, for example, by a processor, main memory, storage, and a communication IF (Interface) (not shown).
  • the processor executes programs stored in storage, etc.
  • Main memory is a volatile storage area that is used to temporarily store data generated during processing by the processor, used as a work area when the processor executes a program, and used to temporarily store data received via the communication IF.
  • Storage is a non-volatile storage device that holds various data such as programs. For example, storage stores various data generated as a result of processing by a processor.
  • the communication IF is a communication interface for transmitting data between external devices via a communication network.
  • the sound adjustment device 300 has, as shown in the figure, an acquisition unit 301, a situation estimation unit 302, an attribute estimation unit 303, a usage situation determination unit 304, a situation confidentiality determination unit 305, an attribute confidentiality determination unit 306, a sound propagation adjustment unit 307, and an output unit 308 as functional components that function when various programs are executed by the above-mentioned processor, main memory, storage, and communication IF (Interface).
  • the sound adjustment device 300 has, in addition to the processor, main memory, storage, and communication IF (Interface), programs for realizing each of the above-mentioned functional components.
  • the acquisition unit 301 is connected to the camera device 401, the PC 402, and the microphone 403, and acquires information for situation estimation and attribute estimation from these devices.
  • Information for situation estimation and attribute estimation is, for example, image information within the first space 201 from the camera device 401 installed in the first space 201, an operation log of the PC 402 brought into the first space 201 from the PC 402, and sound information within the first space 201 from the microphone 403 installed in the first space 201.
  • the microphone 403 may also be shared by the first microphone 11a. It is not necessary to provide all of the camera device 401, the PC 402, and the microphone 403.
  • Information for situation estimation and attribute estimation is acquired by the acquisition unit 301 and output to the situation estimation unit 302 and attribute estimation unit 303.
  • the status estimation unit 302 estimates the status of a user using the first space 201.
  • the status of a user using the first space 201 is information indicating whether or not the user is performing a task such as work. For example, an operation log from the PC 402 is used for status estimation. If the user is performing a task (operating an application, etc.) using the PC 402, the status estimation unit 302 estimates that the user is performing a task.
  • the estimation result by the status estimation unit 302 is output to the usage status determination unit 304 and the status confidentiality determination unit 305.
  • the attribute estimation unit 303 estimates the attributes of a user who uses the first space 201.
  • the attributes of a user who uses the first space 201 are information such as the user's organizational attributes (attributes related to affiliation) and social attributes. For example, an image from the camera device 401 is used for attribute estimation. If the user (e.g., face) corresponds to a registered user, the attribute estimation unit 303 estimates that the user belongs to one organization, and if the user does not correspond to a registered user, the attribute estimation unit 303 estimates that the user belongs to another organization. The estimation result by the attribute estimation unit 303 is output to the attribute confidentiality determination unit 306.
  • sound from microphone 403 may be used for attribute estimation. If the user (e.g., the sound and content of speech) meets a predetermined condition, attribute estimation unit 303 estimates that the user is a child, and if not, estimates that the user is not a child.
  • attribute estimation unit 303 estimates that the user is a child, and if not, estimates that the user is not a child.
  • the usage status determination unit 304 determines whether the first space 201 is being used for work by multiple workers. The determination result is output to the sound propagation adjustment unit 307. Work by multiple workers is, for example, a conversation that is completed within the first space 201, or a remote conversation (so-called online conference) that involves two-way remote sound output.
  • Remote sound output means that sound collected (recorded) in one space is transmitted over a network and output (played) in another space, allowing speech in one space to be heard in the other space.
  • sounds spoken by one or more workers in the first space 201 including the user of the first space 201, among the multiple workers, are collected (recorded), and the collected sounds are output (played) in a space different from the first space 201 via a network; sounds spoken by one or more workers in another space (not shown) among the multiple workers are collected (recorded), and the collected sounds are output (played) in the first space 201 via a network, thereby allowing remote conversations to take place between the first space 201 and the other space.
  • the sound is output from the first space 201 to another space, and the output sound can be heard in the other space.
  • the hustle and bustle noise can also be heard in the other space through the remote sound output. In this way, the propagation of sound from the second space 202 to the first space 201 can interfere with the work of multiple workers.
  • the situation confidentiality determination unit 305 determines whether or not there is situation confidentiality, which indicates that the situation of the user using the first space 201 is a situation that should be kept secret, based on the estimation result by the situation estimation unit 302. The determination result is output to the sound propagation adjustment unit 307.
  • the situation confidentiality determination unit 305 determines that there is situation confidentiality, for example, if the user using the first space 201 is performing a task. If there is situation confidentiality, there is a possibility that a sound that should be kept secret (that should not be leaked) may be generated in the first space 201, and therefore should not be heard by the user using the second space 202. In other words, the propagation of sound from the first space 201 to the second space 202 is undesirable in terms of confidentiality.
  • the attribute confidentiality determination unit 306 determines whether or not there is attribute confidentiality, which indicates that the attribute of the user using the first space 201 is an attribute that should be kept secret, based on the estimation result by the attribute estimation unit 303. The determination result is output to the sound propagation adjustment unit 307.
  • the attribute confidentiality determination unit 306 determines that there is attribute confidentiality, for example, when the users using the first space 201 include users with different affiliations, that is, when the information regarding the affiliations of all users using the first space 201 does not match. When there is attribute confidentiality, there is a possibility that a conversation that should be kept secret (that should not be leaked) may occur in the first space 201.
  • first space 201 and the second space 202 are spaces under the jurisdiction of Company A, and an employee belonging to Company A and an employee belonging to Company B, which is different from Company A, are holding a meeting in the first space 201.
  • an employee of company A and an employee of company A who is in a different department from employee A are holding a meeting in first space 201.
  • attribute confidentiality is present, the sound should not be heard by users using second space 202.
  • the propagation of sound from first space 201 to second space 202 is not desirable from the perspective of confidentiality.
  • the attribute confidentiality determination unit 306 determines that there is no attribute confidentiality when, for example, the user using the first space 201 is a child.
  • two spaces in a certain home will be described as the first space 201 and the second space 202.
  • sounds generated in the first space 201 are sounds generated as a result of the child's actions, including speaking. Since the child's actions may include actions that require emergency response by the guardian, there is a possibility that sounds will be generated that should be heard by the user using the second space 202. In other words, there are cases where sound needs to be propagated from the first space 201 to the second space 202.
  • the sound propagation adjustment unit 307 switches whether to apply noise canceling that reduces the hearing level when a sound generated in one of the first space 201 and the second space 202 is heard in the other of the first space 201 and the second space 202 based on the judgment results of the usage status determination unit 304, the situation confidentiality determination unit 305, and the attribute confidentiality determination unit 306. More specifically, the sound propagation adjustment unit 307 switches whether to apply first noise canceling that reduces the hearing level when a sound generated in the second space 202 is heard in the first space 201 based on the judgment results of the usage status determination unit 304.
  • the sound propagation adjustment unit 307 switches whether to apply second noise canceling that reduces the hearing level when a sound generated in the first space 201 is heard in the second space 202 based on the judgment results of the situation confidentiality determination unit 305 and the attribute confidentiality determination unit 306.
  • the sound propagation adjustment unit 307 outputs a control signal for performing this control to the output unit 308.
  • the output unit 308 is connected to the control device 100 and transmits the control signal output from the sound propagation adjustment unit 307 to the control device 100.
  • the control device 100 controls the first microphone 11a, the second microphone 11, the first speaker 12, and the second speaker 12a in accordance with the control signal, selectively controlling whether or not to apply the first noise canceling, and whether or not to apply the second noise canceling.
  • FIG. 4 is a flowchart showing an example of the operation of the sound adjustment system according to the embodiment.
  • the acquisition unit 301 acquires information for situation estimation and attribute estimation from the camera device 401, the PC 402, the microphone 403, etc. (S101).
  • the situation estimation unit 302 estimates the situation of the user using the first space 201 (situation estimation step S102).
  • the attribute estimation unit 303 estimates the attributes of the user using the first space 201 (attribute estimation step S103).
  • the usage status determination unit 304 determines whether the first space 201 is being used for work (here, remote conversation) by multiple workers (usage status determination step S104). Specifically, the usage status determination unit 304 determines whether the first space 201 is being used for remote conversation by multiple workers based on whether one or more PCs 402 are operating in the first space 201 and are connected to one or more PCs in other spaces via a specific remote conversation application. If the usage status determination unit 304 determines that the first space 201 is being used for remote conversation by multiple workers (Yes in S104), the process proceeds to step S105, and if the usage status determination unit 304 determines that the first space 201 is not being used for remote conversation by multiple workers (No in S104), the process proceeds to step S106.
  • step S105 the sound propagation adjustment unit 307 outputs a control signal for switching to apply the first noise canceling, and the output unit 308 transmits this to the control device 100.
  • the control device 100 then applies the first noise canceling by generating a reverse transfer sound from the sound collected by the second microphone 11 and playing it back on the first speaker 12. Note that if the first noise canceling has already been applied, the control device 100 maintains it as it is and controls the second microphone 11 and the first speaker 12.
  • step S106 the situation confidentiality determination unit 305 determines whether situation confidentiality exists (situation confidentiality determination step), and the attribute confidentiality determination unit 306 determines whether attribute confidentiality exists (attribute confidentiality determination step), and determines whether at least one of situation confidentiality and attribute confidentiality exists. If it is determined that at least one of situation confidentiality and attribute confidentiality exists (Yes in S106), the process proceeds to step S107, and if it is determined that neither situation confidentiality nor attribute confidentiality exists (No in S106), the process ends.
  • step S107 the sound propagation adjustment unit 307 outputs a control signal for switching to apply the second noise canceling, and the output unit 308 transmits this to the control device 100.
  • the control device 100 then applies the second noise canceling by generating a reverse transfer sound from the sound collected by the first microphone 11a and playing it back on the second speaker 12a. Note that if the second noise canceling has already been applied, the control device 100 maintains it as it is and controls the first microphone 11a and the second speaker 12a.
  • Steps S105 and S107 are collectively referred to as sound propagation adjustment steps.
  • FIGs. 5 to 10 are diagrams showing first to sixth examples of sound propagation adjustment achieved by the sound adjustment system according to the embodiment. Each diagram shows a first space and a second space, and if there is sound propagation across the boundary separating the first space and the second space, a solid arrow is shown in that direction. If there is no sound propagation across the boundary (if noise canceling is applied), a dashed arrow is shown in that direction with a cross mark.
  • a user in the first space is having a remote conversation with a user in another space, so the result in usage status determination step S104 is Yes.
  • the users in the other spaces belong to different affiliations than the users in the first space. In the figure, different affiliations are indicated by dot hatching. The same applies to the following FIGS. 6 to 10.
  • the result in step S106 is Yes.
  • the hearing level of sound propagating from the second space to the first space is reduced by the first noise canceling
  • the hearing level of sound propagating from the first space to the second space is reduced by the second noise canceling.
  • the meaning of the sound may be converted into text information using a voice recognition model or the like, and an image showing the text information may be generated and output, and the generated image may be displayed (presented) on the PC of the user using the first space.
  • a user in the first space is having a remote conversation with a user in another space, but the sound collection in the first space is muted.
  • the sound collection in the first space is muted, it is considered that the work (remote conversation) is interrupted.
  • the remote conversation is interrupted, it is considered that the first space is not being used for the remote conversation, so the result in the usage status determination step S104 is No.
  • the users of the other spaces belong to different groups than the users of the first space. Therefore, in the example of FIG. 6, it is determined that there is attribute confidentiality, so the result in step S106 is Yes.
  • the sound is propagated from the second space to the first space as it is without the first noise canceling being applied, and the sound is propagated from the first space to the second space with the hearing level reduced by the second noise canceling.
  • the answer in usage status determination step S104 is Yes.
  • the users of the first space include users who belong to different affiliations than the other users of the first space. Therefore, in the example of FIG. 7, it is determined that there is attribute confidentiality, so the answer in step S106 is Yes.
  • the hearing level of sound propagating from the second space to the first space is reduced by the first noise canceling, and the hearing level of sound propagating from the first space to the second space is reduced by the second noise canceling.
  • the result in the usage status determination step S104 is Yes.
  • the users in the first space do not include users from different affiliations. Therefore, in the example of FIG. 8, it is determined that there is no attribute confidentiality, but since the user is performing a task in the first space, the result in step S106 is Yes.
  • the hearing level of the sound propagating from the second space to the first space is reduced by the first noise canceling, and the hearing level of the sound propagating from the first space to the second space is reduced by the second noise canceling.
  • step S106 if the situation confidentiality determination unit 305 is not provided and only the presence or absence of attribute confidentiality is determined in step S106, the result in step S106 is No, so that the sound can be propagated from the first space to the second space as it is without applying the second noise canceling.
  • the user is having a remote conversation with a user of another space in the first space as in FIG. 5, so the result in the usage status determination step S104 is Yes.
  • the user is having a remote conversation with a user of another space as in FIG. 5.
  • two sets of sound adjustment systems are used: a sound adjustment system for the first space and a sound adjustment system for the second space (hereinafter referred to as different sound adjustment systems).
  • the first space in the figure corresponds to the adjacent second space.
  • the situation confidentiality determination unit 305 is not provided, and only the presence or absence of attribute confidentiality is determined in step S106.
  • the user of the other space belongs to the same group as the user of the first space, so it is determined that there is no attribute confidentiality, so the result in step S106 is Yes.
  • the usage status determination step S104 returns Yes, so as a result, the hearing level of the sound propagating from the second space to the first space is reduced by the first noise canceling, and the hearing level of the sound propagating from the first space to the second space is reduced by the first noise canceling of the other sound adjustment system.
  • a child who is the user, is spending time in the first space, and a user is performing a task in the second space.
  • two sets of sound adjustment systems are used: a sound adjustment system for the first space and another sound adjustment system.
  • the user is not performing a task, and no work is being performed by multiple workers. Therefore, the result is No in the usage status determination step S104, and it is determined that there is no attribute confidentiality, so the result is No in step S106.
  • the other sound adjustment system the user is performing a task, but no work is being performed by multiple workers.
  • step S104 the result is No in the usage status determination step S104, and it is determined that there is situation confidentiality, so the result is Yes in step S106.
  • the sound propagating from the second space to the first space has its listening level reduced by the second noise canceling of the other sound adjustment system, and the sound propagating from the first space to the second space is propagated as is without the second noise canceling or the first noise canceling of the other sound adjustment system being applied.
  • the sound adjustment device may be realized by, for example, a dedicated information processing device placed in the first space or the second space.
  • This dedicated information processing device may be built into a partition. If an information processing device as a sound adjustment device is built into a partition, a sound adjustment system can be realized as a single partition-type device including the first and second microphones and the first and second speakers.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • each component may be a circuit (or an integrated circuit). These circuits may form a single circuit as a whole, or each may be a separate circuit. Furthermore, each of these circuits may be a general-purpose circuit, or a dedicated circuit.
  • the general or specific aspects of the present disclosure may be realized in a system, an apparatus, a method, an integrated circuit, a computer program, or a non-transitory recording medium such as a computer-readable CD-ROM.
  • the present disclosure may be realized in any combination of a system, an apparatus, a method, an integrated circuit, a computer program, and a non-transitory recording medium that is computer-readable.
  • the present disclosure may be realized as a sound adjustment method executed by a sound adjustment device (computer or DSP), or as a program for causing a computer or DSP to execute the sound adjustment method.
  • a sound adjustment device computer or DSP
  • a program for causing a computer or DSP to execute the sound adjustment method may be realized as a sound adjustment method executed by a sound adjustment device (computer or DSP), or as a program for causing a computer or DSP to execute the sound adjustment method.
  • processing performed by a specific processing unit may be executed by another processing unit.
  • the order of multiple processes in the operation of the sound adjustment system described in the above embodiment may be changed, and multiple processes may be executed in parallel.
  • this disclosure also includes forms obtained by applying various modifications to each embodiment that a person skilled in the art may conceive, or forms realized by arbitrarily combining the components and functions of each embodiment within the scope of the spirit of this disclosure.
  • This disclosure is useful as a sound adjustment system for providing an appropriate sound environment for users using a space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

音調整方法では、互いに隣接する第1空間及び第2空間のうち、第1空間を利用するユーザの状況を推定する状況推定ステップ(S102)と、推定された第1空間を利用するユーザの状況に基づき、第1空間が、第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定ステップ(S104)と、利用状況判定ステップ(S104)における判定結果に基づいて、第1空間及び第2空間の一方において生じた音が、第1空間及び第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整ステップ(ステップS105及びステップS107)と、を含む。

Description

音調整方法、音調整装置、音調整システム及びプログラム
 本開示は、音調整方法、音調整装置、音調整システム、及び、プログラムに関する。
 特許文献1には、防音状態と非防音状態とを切り替えることが可能な車両用防音構造に関する技術が開示されている。
特開2019-137358号公報
 ところで、上記の特許文献1に記載されている防音状態と非防音状態との切り替えは、車両の状態に応じて行われるのが通常であるが、適用される空間の状況によっては、このような状態に応じてのみの切り替えでは適切な切り替えが行えていない場合もある。
 そこで、本開示は、より適切に2つの空間の間で音を通すか否かの切り替えが可能な音調整方法などを提供する。
 本開示の一態様に係る音調整方法は、互いに隣接する第1空間及び第2空間のうち、前記第1空間を利用するユーザの状況を推定する状況推定ステップと、推定された前記第1空間を利用するユーザの状況に基づき、前記第1空間が、前記第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定ステップと、前記利用状況判定ステップにおける判定結果に基づいて、前記第1空間及び前記第2空間の一方において生じた音が、前記第1空間及び前記第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整ステップと、を含む。
 また、本開示の一態様に係る音調整装置は、互いに隣接する第1空間及び第2空間のうち、前記第1空間を利用するユーザの状況を推定する状況推定部と、推定された前記第1空間を利用するユーザの状況に基づき、前記第1空間が、前記第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定部と、前記利用状況判定部における判定結果に基づいて、前記第1空間及び前記第2空間の一方において生じた音が、前記第1空間及び前記第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整部と、を備える。
 また、本開示の一態様に係る音調整システムは、第1空間内の音を集音する第1マイクロフォンと、前記第1空間に隣接する第2空間内の音を集音する第2マイクロフォンと、前記第1空間内で音を出力する第1スピーカと、前記第2空間内で音を出力する第2スピーカと、音調整装置と、制御装置と、を備え、前記音調整装置は、前記第1空間を利用するユーザの状況を推定する状況推定部と、推定された前記第1空間を利用するユーザの状況に基づき、前記第1空間が、前記第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定部と、前記利用状況判定部における判定結果に基づいて、前記第1空間及び前記第2空間の一方において生じた音が、前記第1空間及び前記第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整部と、を有し、前記制御装置は、前記音伝播調整部によって切り替えられた前記ノイズキャンセリングを適用するか否かに従って、前記第1マイクロフォン、前記第2マイクロフォン、前記第1スピーカ、及び、前記第2スピーカを制御する。
 なお、これらの全般的または具体的な態様は、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、装置、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。
 本開示における音調整方法などによれば、より適切に2つの空間の間で音を通すか否かの切り替えができる。
図1は、実施の形態に係る音調整システムが適用される空間を説明するための図である。 図2は、実施の形態に係る音調整システムの利用例を示す図である。 図3は、実施の形態に係る音調整システムのハードウェア構成の一例を示すブロック図である。 図4は、実施の形態に係る音調整システムの動作の一例を示すフローチャートである。 図5は、実施の形態に係る音調整システムによって実現される音調整の第1例を示す図である。 図6は、実施の形態に係る音調整システムによって実現される音調整の第2例を示す図である。 図7は、実施の形態に係る音調整システムによって実現される音調整の第3例を示す図である。 図8は、実施の形態に係る音調整システムによって実現される音調整の第4例を示す図である。 図9は、実施の形態に係る音調整システムによって実現される音調整の第5例を示す図である。 図10は、実施の形態に係る音調整システムによって実現される音調整の第6例を示す図である。
 (本開示の基礎となった知見)
 近年、フリーアドレス等の考え方が浸透し、オフィス内で働きやすいエリアを自ら選択して業務などのタスクを行う事例が増えている。さらに、オフィス内にとどまらず、インターネットなどのネットワークを介してオフィスなどに接続することで、オフィスに出勤せずとも、自宅内や移動先、リゾート地、公共スペースなど、あらゆる場所で業務を行うというテレワーク、さらにはオフィスワークとテレワークとを組み合わせたハイブリッドワークという形態も昨今受け入れられつつある。そのような事情から、自宅やオフィスでは、限られた空間内に業務を行うためのスペースや共用スペースなどを配置する必要が生じている。そのため、業務用のスペースと業務用でないスペースとが隣接してしまうこともある。このような場合、それぞれの空間から、隣接する空間へと音声等が漏れ出てしまうという問題が生じる。言い換えると、一方の空間で生じた音が境界部分(例えば、壁)を超えて他方の空間へと伝播され、他方の空間を利用するユーザに聴取されるという問題がある。また、あるスペースが時間とともに、業務用のスペースから業務用でないスペースへ、あるいは、業務用でないスペースから業務用のスペースへと、用途が変化することもある。
 例えば、一方の空間において、会議等を行っている場合に、他方の空間から喧騒音等が伝播されると、会議の音と、伝播してきた喧騒音とが混ざり合って、会議の進行を妨げる可能性がある。他方の空間から伝播する音は、一般的なノイズキャンセリングの適用によってその聴取レベルを低減させることができる。また、この一方の空間が別の日時には、ソロワーク用のスペースとして利用されることがある。特に、この一方の空間が、ある日には自宅からのネットワーク越しの遠隔会議に利用され、またある日には自宅内のソロワークブースとして利用されることがある。ネットワーク越しの遠隔会議では、上記に説明した問題が生じるので、他方の空間から伝播する音が低減されることが好ましいが、例えば、他方の空間で子供が遊んでいる等の場合には、子供への対応の要否を判断するために、他方の空間から音がそのまま伝播されるようにしたいといった要望がある。
 そこで、本開示では、より適切に2つの空間の間で音声をはじめとする音を通すか否かの切り替えを実現するために、一方の空間の利用状況等に基づいて、他方の空間との間で伝播される音の聴取レベルを低減するか否か、すなわち、ノイズキャンセリングを適用するか否かを判定する音調整方法などについて説明する。なお、本開示における音声をはじめとする音を通さないとは、伝播される音の聴取レベルを低減することを意味する。したがって、音を通すか否かとは、ノイズキャンセリングの適用なく音を伝播させるか否か、又は、厳密な意味での音の伝播をゼロにするもしくは元よりも相対的に聴取レベルが低減した状態か否か、を意味する概念である。
 (開示の概要)
 本開示の概要は以下の通りである。
 本開示の第1態様に係る音調整方法は、互いに隣接する第1空間及び第2空間のうち、第1空間を利用するユーザの状況を推定する状況推定ステップと、推定された第1空間を利用するユーザの状況に基づき、第1空間が、第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定ステップと、利用状況判定ステップにおける判定結果に基づいて、第1空間及び第2空間の一方において生じた音が、第1空間及び第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整ステップと、を含む。
 これによれば、第1空間が複数の作業者の作業に利用されているか否かの判定結果に基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。例えば、会議などの複数の作業者を伴う作業で第1空間が利用されている場合に、ノイズキャンセリングが適用される。よって、より適切に2つの空間の間で音を通すか否かの切り替えが可能となる。
 また、本開示の第2態様に係る音調整方法は、ノイズキャンセリングは、第2空間において生じた音が、第1空間で聴取される際の聴取レベルを低減する第1ノイズキャンセリングを含む、第1態様に記載の音調整方法である。
 これによれば、ノイズキャンセリングの適用によって、第2空間において生じた音が、第1空間で聴取される際の聴取レベルを低減することができる。
 また、本開示の第3態様に係る音調整方法は、ノイズキャンセリングは、第1空間において生じた音が、第2空間で聴取される際の聴取レベルを低減する第2ノイズキャンセリングを含む、第1又は2態様に記載の音調整方法である。
 これによれば、ノイズキャンセリングの適用によって、第1空間において生じた音が、第2空間で聴取される際の聴取レベルを低減することができる。
 また、本開示の第4態様に係る音調整方法は、推定された第1空間を利用するユーザの状況に基づいて、第1空間を利用するユーザの状況秘匿性の有無を判定する状況秘匿性判定ステップを含み、音伝播調整ステップでは、第1空間を利用するユーザの状況秘匿性の有無にも基づいて、ノイズキャンセリングを適用するか否かを切り替える、第1~第3態様のいずれか1態様に記載の音調整方法である。
 これによれば、第1空間を利用するユーザの状況秘匿性の有無の判定結果にさらに基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第5態様に係る音調整方法は、状況推定ステップでは、第1空間を利用するユーザの状況として、当該ユーザがタスクを実施中であるか否かを判定し、状況秘匿性判定ステップでは、推定された第1空間を利用するユーザの状況が、当該ユーザがタスクを実施中であることを示す場合に、第1空間を利用するユーザの状況秘匿性が有ると判定する、第4態様に記載の音調整方法である。
 これによれば、第1空間を利用するユーザがタスクを実施中である場合に状況秘匿性が有ると判定し、判定結果にさらに基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第6態様に係る音調整方法は、さらに、第1空間を利用するユーザの属性を推定する属性推定ステップと、推定された第1空間を利用するユーザの属性に基づいて、第1空間を利用するユーザの属性秘匿性の有無を判定する属性秘匿性判定ステップと、を含み、音伝播調整ステップでは、第1空間を利用するユーザの属性秘匿性の有無にも基づいて、ノイズキャンセリングを適用するか否かを切り替える、第1~第5態様のいずれか1態様に記載の音調整方法である。
 これによれば、第1空間を利用するユーザの属性秘匿性の有無の判定結果にさらに基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第7態様に係る音調整方法は、属性推定ステップでは、第1空間を利用するユーザの属性として、第1空間を利用した作業に関わる全ての作業者それぞれの所属に関する情報を推定し、属性秘匿性判定ステップでは、全ての作業者の所属に関する情報が一致しない場合に、第1空間を利用するユーザの属性秘匿性が有ると判定する、第6態様に記載の音調整方法である。
 これによれば、第1空間を利用した作業に関わる全ての作業者の所属に関する情報が一致しない場合に、第1空間を利用するユーザの属性秘匿性が有ると判定し、判定結果にさらに基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第8態様に係る音調整方法は、属性推定ステップでは、第1空間を利用するユーザの属性として、第1空間を利用するユーザが子供であるか否かを推定し、属性秘匿性判定ステップでは、第1空間を利用するユーザが子供であると推定された場合に、第1空間を利用するユーザの属性秘匿性が無いと判定する、第6態様に記載の音調整方法である。
 これによれば、第1空間を利用するユーザが子供である場合に、第1空間を利用するユーザの属性秘匿性が有ると判定し、判定結果にさらに基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第9態様に係る音調整方法は、推定された第1空間を利用するユーザの状況秘匿性の有無を判定する状況秘匿性判定ステップを含み、音伝播調整ステップでは、利用状況判定ステップにおける判定結果が、第1空間が作業に利用されていることを示す場合に、ノイズキャンセリングを適用し、利用状況判定ステップにおける判定結果が、第1空間が作業に利用されていないことを示す場合に、第1空間の状況秘匿性の有無、及び、第1空間を利用するユーザの属性秘匿性の有無に基づいてノイズキャンセリングを適用するか否かを切り替える、第6~第8態様のいずれか1態様に記載の音調整方法である。
 これによれば、複数の作業者を伴う作業で第1空間が利用されている場合に、ノイズキャンセリングが適用され、複数の作業者を伴う作業で第1空間が利用されていない場合に、状況秘匿性の有無の判定結果、及び、属性秘匿性の有無の判定結果にさらに基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第10態様に係る音調整方法は、ノイズキャンセリングは、第2空間において生じた音が、第1空間で聴取される際の聴取レベルを低減する第1ノイズキャンセリング、及び、第1空間において生じた音が、第2空間で聴取される際の聴取レベルを低減する第2ノイズキャンセリングを含み、音伝播調整ステップでは、利用状況判定ステップにおける判定結果が、第1空間が作業に利用されていることを示す場合に、第1ノイズキャンセリングを適用し、利用状況判定ステップにおける判定結果が、第1空間が作業に利用されていないことを示す場合に、第1空間の状況秘匿性の有無、及び、第1空間を利用するユーザの属性秘匿性の有無に基づいて第2ノイズキャンセリングを適用するか否かを切り替える、第9態様に記載の音調整方法である。
 これによれば、複数の作業者を伴う作業で第1空間が利用されている場合に、第1ノイズキャンセリングが適用され、複数の作業者を伴う作業で第1空間が利用されていない場合に、状況秘匿性の有無の判定結果、及び、属性秘匿性の有無の判定結果にさらに基づいて、第2ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第11態様に係る音調整方法は、利用状況判定ステップでは、作業が中断された場合に、第1空間が作業に利用されていないと判定する、第1~第10態様のいずれか1態様に記載の音調整方法である。
 これによれば、作業が中断された場合に、第1空間が作業に利用されていないと判定して、判定結果に基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第12態様に係る音調整方法は、作業は、複数の作業者のうちのユーザを含む第1空間内の1以上の作業者が発話した音が集音されることと、集音された音がネットワークを介して第1空間とは異なる空間内で出力されることとによる遠隔音出力であって、出力された音が複数の作業者のうちの異なる空間内の1以上の作業者に聴取される遠隔音出力であり、作業の中断は、第1空間内における音の集音がミュートされることである、第11態様に記載の音調整方法である。
 これによれば、複数の作業者のうちのユーザを含む第1空間内の1以上の作業者が発話した音が集音されることと、集音された音がネットワークを介して第1空間とは異なる空間内で出力されることとによる遠隔音出力であって、出力された音が複数の作業者のうちの異なる空間内の1以上の作業者に聴取される遠隔音出力が、第1空間内における音の集音がミュートされることによって中断された場合に、第1空間が作業に利用されていないと判定して、判定結果に基づいて、ノイズキャンセリングを適用するか否かを切り替えることができる。
 また、本開示の第13態様に係る音調整方法は、さらに、音伝播調整ステップにおいて、ノイズキャンセリングを適用するように切り替えられた場合に、聴取レベルが低減された音に基づいて、当該音が意味する内容を画像として出力する代替提示ステップを含む、第1~第12態様のいずれか1態様に記載の音調整方法である。
 これによれば、音を通してしまった場合の不具合を抑制しつつも、出力された画像を見ることで、その音が示す内容を認識することが可能となる。
 また、本開示の第14態様に係るプログラムは、第1~第13態様のいずれか1態様に記載の音調整方法をコンピュータに実行させるためのプログラムである。
 これによれば、コンピュータにより上記に記載の音調整方法と同様の効果を奏する。
 また、本開示の第15態様に係る音調整装置は、互いに隣接する第1空間及び第2空間のうち、第1空間を利用するユーザの状況を推定する状況推定部と、推定された第1空間を利用するユーザの状況に基づき、第1空間が、第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定部と、利用状況判定部における判定結果に基づいて、第1空間及び第2空間の一方において生じた音が、第1空間及び第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整部と、を備える。
 これによれば、上記に記載の音調整方法と同様の効果を奏する。
 また、本開示の第16態様に係る音調整システムは、第1空間内の音を集音する第1マイクロフォンと、第1空間に隣接する第2空間内の音を集音する第2マイクロフォンと、第1空間内で音を出力する第1スピーカと、第2空間内で音を出力する第2スピーカと、音調整装置と、制御装置と、を備え、音調整装置は、第1空間を利用するユーザの状況を推定する状況推定部と、推定された第1空間を利用するユーザの状況に基づき、第1空間が、第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定部と、利用状況判定部における判定結果に基づいて、第1空間及び第2空間の一方において生じた音が、第1空間及び第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整部と、を有し、制御装置は、音伝播調整部によって切り替えられたノイズキャンセリングを適用するか否かに従って、第1マイクロフォン、第2マイクロフォン、第1スピーカ、及び、第2スピーカを制御する。
 これによれば、上記に記載の音調整方法と同様の効果を奏する。
 なお、これらの全般的または具体的な態様は、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、装置、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
 (実施の形態)
 [構成]
 図1は、実施の形態に係る音調整システムが適用される空間を説明するための図である。図2は、実施の形態に係る音調整システムの利用例を示す図である。なお、図2は、音調整システム1(後述の図3参照)が適用された空間を上から見た図である。
 図1及び図2には、パーティション13により仕切られて、互いに隣接している第1空間201及び第2空間202が示されている。パーティション13は、第1空間201と第2空間202とを仕切る境界の一例である。第1空間201と第2空間202とは、可搬式のパーティション13の他、固定された壁によって仕切られていてもよい。また、第1空間201と第2空間202とは、物理的な仕切りがなくとも、概念として区切られていればよい。つまり、物理的な仕切りはなくてもよく、一続きの空間のある境界を境に、一方側を第1空間201とし、他方側を第2空間としてもよい。
 第1空間201と第2空間202との境界に配置されているパーティション13には、第1スピーカ12が第1空間201に向けて、第2スピーカ12aが第2空間202に向けてそれぞれ配置されており、第1マイクロフォン11aが第1空間201に向けて、第2マイクロフォン11が第2空間202に向けてそれぞれ配置されている。第1空間201は、例えば、人が仕事する空間(ワーキングスペース)として1以上の人に利用されうる空間である。例えば、第1空間201は、第1空間201のユーザがタスクを実施するために利用される。このタスクは、当該ユーザ個人での業務(ソロワーク)である場合もあれば、当該ユーザを含む複数の参加者(あるいは作業者ともいう)による会議である場合もある。第2空間202は、例えば、人が行き交ったり、一時的に休憩したりするために利用されるロビーのような、不特定多数の人に共有して利用される空間である。
 図2には、制御装置100と、第1マイクロフォン11aと、第2マイクロフォン11と、第1スピーカ12と、第2スピーカ12aとを備える音調整システム1の一部が示されている。詳細は図3等とともに後述するが、音調整システム1は、この他に、ネットワークを介して制御装置100等と接続された音調整装置300(後述の図3参照)、及びその他のいくつかの装置を備える。
 第1マイクロフォン11aは、パーティション13の第1空間201側に配置されている。第1マイクロフォン11aは、第1空間201内で発生した音を検出する。なお、第1マイクロフォン11aは、第1空間201において発生した音を検出することができれば、パーティション13に配置されることに限らずに、第1空間201の天井に配置されていてもよいし、第1空間201に配置されている壁に配置されていてもよいし、第1空間201の床に配置されていてもよいし、第1空間201に配置されている机、椅子などに配置されていてもよい。
 第2マイクロフォン11は、パーティション13の第2空間202側に配置されている。第2マイクロフォン11は、第2空間202内で発生した音を検出する。なお、第2マイクロフォン11は、第2空間202において発生した音を検出することができれば、パーティション13に配置されることに限らずに、第2空間202の天井に配置されていてもよいし、第2空間202に配置されている壁に配置されていてもよいし、第2空間202の床に配置されていてもよいし、第2空間202に配置されている机、椅子などに配置されていてもよい。
 第1スピーカ12は、パーティション13の第1空間201側に配置されている。第1スピーカ12は、第2空間202で発生した音を第1空間201に存在する人に聞こえにくくするための音を出力することでノイズキャンセリング(第1ノイズキャンセリング)を実現するために用いられる。ここで、第2空間202内で発生した音は、例えば、第2空間202を利用しているユーザの会話、動作による音、第2空間202に配置されている機器の動作音などである。第2空間202を利用しているユーザの会話は、第2空間202を利用している複数のユーザ同士による会話であってもよいし、第2空間202を利用しているユーザと第2空間202外のユーザ(つまり異なる空間に居るユーザ)との間で行われている、通信端末を用いた音声通話による会話であってもよい。なお、第1スピーカ12は、特定の方向に並ぶ複数のスピーカユニットからなるスピーカアレイを備えてもよく、特定の方向に指向性の制御が可能であってもよい。
 第2スピーカ12aは、パーティション13の第2空間202側に配置されている。第2スピーカ12aは、第1空間201で発生した音を第2空間202に存在する人に聞こえにくくするための音を出力することでノイズキャンセリング(第2ノイズキャンセリング)を実現するために用いられる。ここで、第1空間201内で発生した音は、例えば、第1空間201を利用しているユーザの会話、動作による音、第1空間201に配置されている機器の動作音などである。第1空間201を利用しているユーザの会話は、第1空間201を利用している複数のユーザ同士による会話であってもよいし、第1空間201を利用しているユーザと第1空間201外のユーザ(つまり異なる空間に居るユーザ)との間で行われている、通信端末を用いた音声通話による会話であってもよい。なお、第2スピーカ12aは、特定の方向に並ぶ複数のスピーカユニットからなるスピーカアレイを備えてもよく、特定の方向に指向性の制御が可能であってもよい。
 なお、第2マイクロフォン11および第1スピーカ12は、第1スピーカ12が出力した音を第2マイクロフォン11が収音しにくくなるように、第2マイクロフォン11および第1スピーカ12の位置又は向きが調整されて配置されていればよい。同様に、第1マイクロフォン11a及び第2スピーカ12aは、第2スピーカ12aが出力した音を第1マイクロフォン11aが収音しにくくなるように、第1マイクロフォン11aおよび第2スピーカ12aの位置又は向きが調整されて配置されていればよい。
 また、第2マイクロフォン11および第1スピーカ12は、第1スピーカ12が出力した音を第2マイクロフォン11が収音しにくくなるように、第1スピーカ12の音量又は第2マイクロフォン11の感度が調整されていてもよい。同様に、第1マイクロフォン11aおよび第2スピーカ12aは、第2スピーカ12aが出力した音を第1マイクロフォン11aが収音しにくくなるように、第2スピーカ12aの音量又は第1マイクロフォン11aの感度が調整されていてもよい。
 第1マイクロフォン11a、第2マイクロフォン11、第1スピーカ12及び第2スピーカ12aは、第1スピーカ12が出力した音を第2マイクロフォン11が収音しにくくなり、第2スピーカ12aが出力した音を第1マイクロフォン11aが収音しにくくなるように配置されていれば、パーティション13に配置されていなくてもよい。
 制御装置100は、第2マイクロフォン11からの検出結果を取得し、取得した検出結果に応じて第1スピーカ12から出力する位相反転音などの第1ノイズキャンセリングのための音を生成する。同様に、制御装置100は、第1マイクロフォン11aからの検出結果を取得し、取得した検出結果に応じて第2スピーカ12aから出力する位相反転音などの第2ノイズキャンセリングのための音を生成する。
 次に、音調整システム1の具体的な構成について説明する。
 図3は、実施の形態に係る音調整システムのハードウェア構成の一例を示すブロック図である。
 図3に示すように、音調整システム1は、ハードウェア構成として、カメラ装置401、PC402、マイクロフォン403、音調整装置300、制御装置100、第1マイクロフォン11a、第2マイクロフォン11、第1スピーカ12、及び、第2スピーカ12aを備える。
 音調整装置300は、例えば、ネットワーク上に構築されたクラウドサーバ、又は、第1空間201及び第2空間202が属する建物内に設置されたエッジサーバによって実現される。音調整装置300は、例えば、図示しないプロセッサと、メインメモリと、ストレージと、通信IF(Interface)とにより実現される。
 プロセッサは、ストレージ等に記憶されたプログラムを実行するプロセッサである。
 メインメモリは、プロセッサによる処理の過程で生成されたデータを一時的に記憶させるために用いられたり、プロセッサがプログラムを実行するときにワークエリアとして用いられたり、通信IFにより受信されたデータを一時的に記憶するために用いられたりする揮発性の記憶領域である。
 ストレージは、プログラムなどの各種データを保持する不揮発性の記憶装置である。ストレージは、例えば、プロセッサによる処理の結果生成された各種データを記憶する。
 通信IFは、通信ネットワークを介して外部機器との間でデータの伝送を行うための通信インタフェースである。
 音調整装置300は、上記のプロセッサと、メインメモリと、ストレージと、通信IF(Interface)とにより、各種のプログラムが実行されることで機能する機能構成として、図中に示すように、取得部301、状況推定部302、属性推定部303、利用状況判定部304、状況秘匿性判定部305、属性秘匿性判定部306、音伝播調整部307、出力部308を有する。言い換えると、音調整装置300は、プロセッサと、メインメモリと、ストレージと、通信IF(Interface)との他に、上記それぞれの機能構成を実現するためのプログラムを有する。
 取得部301は、カメラ装置401、PC402、及び、マイクロフォン403に接続され、これらの装置から、状況推定及び属性推定のための情報を取得する。状況推定及び属性推定のための情報とは、例えば、第1空間201に設置されたカメラ装置401からの、第1空間201内の画像情報、第1空間201に持ち込まれているPC402からの当該PC402の稼働ログ、及び、第1空間201に設置されたマイクロフォン403からの、第1空間201内の音情報等である。マイクロフォン403は、第1マイクロフォン11aによって兼用されてもよい。なお、カメラ装置401、PC402、及び、マイクロフォン403は、これらすべてが備えられなくてもよい。
 状況推定及び属性推定のための情報は、取得部301によって取得され、状況推定部302及び属性推定部303に出力される。
 状況推定部302は、第1空間201を利用するユーザの状況を推定する。第1空間201を利用するユーザの状況とは、当該ユーザが業務などのタスクを実行中であるか否かを示す情報である。状況推定には、例えば、PC402からの稼働ログが用いられる。状況推定部302では、ユーザが、PC402を用いて何らかのタスクを実行(アプリケーション等を操作)していれば、当該ユーザがタスクを実行中であると推定する。状況推定部302による推定結果は、利用状況判定部304及び状況秘匿性判定部305に出力される。
 属性推定部303は、第1空間201を利用するユーザの属性を推定する。第1空間201を利用するユーザの属性とは、当該ユーザの組織的属性(所属に関する属性)及び社会的属性等の情報である。属性推定には、例えば、カメラ装置401からの画像が用いられる。属性推定部303は、ユーザが(例えば顔が)、登録されているユーザに該当する場合は、一の組織の所属であると推定し、登録されているユーザに該当しない場合は、他の組織の所属であると推定する。属性推定部303による推定結果は、属性秘匿性判定部306に出力される。
 なお、属性推定には、例えば、マイクロフォン403からの音が用いられてもよい。属性推定部303は、ユーザが(例えば発話した音及び内容が)、所定の条件を満たす場合は、当該ユーザが子供であると推定し、そうでなければ、当該ユーザが子供でないと推定する。
 利用状況判定部304は、第1空間201が、複数の作業者の作業に利用されているか否かを判定する。判定結果は、音伝播調整部307に出力される。複数の作業者の作業とは、例えば、第1空間201内で完結する会話、又は、双方向の遠隔音出力を伴う遠隔会話(いわゆるオンライン会議)である。
 遠隔音出力とは、一の空間において集音(録音)された音がネットワークを介して送信され、他の空間において出力(再生)されることで、一の空間における発話が他の空間において聴取されることである。
 例えば、複数の作業者のうちの第1空間201のユーザを含む第1空間201内の1以上の作業者が発話した音が集音(録音)されることと、集音された音がネットワークを介して第1空間201とは異なる空間内で出力(再生)されることと、複数の作業者のうちの他の空間(不図示)の1以上の作業者が発話した音が集音(録音)されることと、集音された音がネットワークを介して第1空間201内で出力(再生)されることと、によって、第1空間201と他の空間との間で遠隔会話が行われる。
 このような遠隔会話では、第1空間201から他の空間への遠隔音出力により、出力された音が他の空間で聴取されるが、例えば、第2空間202からの喧騒音が第1空間201に伝播すると、その喧騒音も遠隔音出力により、他の空間で聴取されてしまう。このように、第2空間202から第1空間201への音の伝播は、複数の作業者の作業の妨げとなる場合がある。
 状況秘匿性判定部305は、状況推定部302による推定結果に基づいて、第1空間201を利用するユーザの状況が秘匿すべき状況であることを示す状況秘匿性の有無を判定する。判定結果は、音伝播調整部307に出力される。状況秘匿性判定部305は、例えば、第1空間201を利用するユーザがタスクを実行中であれば状況秘匿性が有ると判定する。状況秘匿性が有る場合、第1空間201では、秘匿されるべき(漏洩すべきでない)音が発生する可能性があるので、第2空間202を利用するユーザに聴取されるべきではない。つまり、第1空間201から第2空間202への音の伝播は、秘匿性の都合上好ましくない。
 属性秘匿性判定部306は、属性推定部303による推定結果に基づいて、第1空間201を利用するユーザの属性が秘匿すべき属性であることを示す属性秘匿性の有無を判定する。判定結果は、音伝播調整部307に出力される。属性秘匿性判定部306は、例えば、第1空間201を利用するユーザの中に所属の異なるユーザが含まれている場合、すなわち、第1空間201を利用する全てのユーザの所属に関する情報が一致しない場合に属性秘匿性が有ると判定する。属性秘匿性が有る場合、第1空間201では、秘匿されるべき(漏洩すべきでない)会話が発生する可能性がある。一例として、第1空間201及び第2空間202がA社の管轄の空間であり、第1空間201内においてA社所属の社員と、A社とは異なるB社所属の社員とが会議を行っているとする。この場合、B社所属の社員の発言が、第2空間202に居合わせたA社所属の別の社員に聴取されることは好ましくない。第1空間201内においてA社所属の一の社員と、一の社員とは部署の異なるA社所属の社員とが会議を行っている場合なども同様である。このように、属性秘匿性が有る場合、第2空間202を利用するユーザに聴取されるべきではない。つまり、第1空間201から第2空間202への音の伝播は、秘匿性の都合上好ましくない。
 一方で、属性秘匿性判定部306は、例えば、第1空間201を利用するユーザが子供である場合、属性秘匿性が無いと判定する。一例として、ある家庭内の2つの空間を第1空間201及び第2空間202であるとして説明する。この家庭では、子供が第1空間201で過ごしており、第2空間202で当該子供の後見人がテレワークをしている想定であるとする。この場合、第1空間201で発生する音は、子供が発話を含む行動をとった結果発生した音である。子供の行動には、後見人による緊急の対応が必要となる行動も含まれる場合があるので、第2空間202を利用するユーザに聴取されるべきである音が発生する可能性がある。つまり、第1空間201から第2空間202への音の伝播が必要な場合がある。
 音伝播調整部307は、利用状況判定部304、状況秘匿性判定部305、及び、属性秘匿性判定部306の判定結果に基づいて、第1空間201及び第2空間202の一方において生じた音が、第1空間201及び第2空間202の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える。より、詳細には、音伝播調整部307は、利用状況判定部304の判定結果に基づいて、第2空間202において生じた音が、第1空間201で聴取される際の聴取レベルを低減する第1ノイズキャンセリングを適用するか否かを切り替える。また、音伝播調整部307は、状況秘匿性判定部305、及び、属性秘匿性判定部306の判定結果に基づいて、第1空間201において生じた音が、第2空間202で聴取される際の聴取レベルを低減する第2ノイズキャンセリングを適用するか否かを切り替える。ノイズキャンセリングを適用するか否かを切り替える場合、音伝播調整部307は、当該制御を行うための制御信号を出力部308へと出力する。
 出力部308は、制御装置100に接続され、音伝播調整部307から出力された制御信号を制御装置100へと送信する。
 制御装置100は、制御信号に従って、第1マイクロフォン11a、第2マイクロフォン11、第1スピーカ12、第2スピーカ12aを制御して、第1ノイズキャンセリングを適用させる又は適用させないこと、及び、第2ノイズキャンセリングを適用させる又は適用させないことをそれぞれ選択的に制御する。
 [動作]
 次に、実施の形態に係る音調整システム1の動作について説明する。
 図4は、実施の形態に係る音調整システムの動作の一例を示すフローチャートである。
 まず、取得部301は、カメラ装置401、PC402、及び、マイクロフォン403等から、状況推定及び属性推定のための情報を取得する(S101)。
 次に、状況推定部302は、第1空間201を利用するユーザの状況を推定する(状況推定ステップS102)。また、属性推定部303は、第1空間201を利用するユーザの属性を推定する(属性推定ステップS103)。
 次に、利用状況判定部304は、第1空間201が複数の作業者による作業(ここでは遠隔会話)に利用されているか否かを判定する(利用状況判定ステップS104)。具体的には、利用状況判定部304は、1以上のPC402が第1空間201内で稼働しており、他の空間の1以上のPCと、所定の遠隔会話用アプリケーションを介して接続されているか否かに基づいて、複数の作業者による遠隔会話に利用されているか否かを判定する。利用状況判定部304が、第1空間201が複数の作業者による遠隔会話に利用されていると判定した場合(S104でYes)、ステップS105に進み、第1空間201が複数の作業者による遠隔会話に利用されていないと判定した場合(S104でNo)、ステップS106に進む。
 ステップS105では、音伝播調整部307は、第1ノイズキャンセリングを適用するように切り替えるための制御信号を出力し、出力部308がこれを制御装置100に送信する。そして、制御装置100では、第2マイクロフォン11が集音した音から、逆移送音を生成して、第1スピーカ12に再生させることで第1ノイズキャンセリングを適用する。なお、すでに第1ノイズキャンセリングが適用された状態であれば、制御装置100は、そのまま維持して第2マイクロフォン11及び第1スピーカ12を制御する。
 ステップS106では、状況秘匿性判定部305が状況秘匿性が有るか否かを判定し(状況秘匿性判定ステップ)、属性秘匿性判定部306が属性秘匿性が有るか否かを判定(属性秘匿性判定ステップ)して、状況秘匿性及び属性秘匿性の少なくとも一方が有るかを判定する。状況秘匿性及び属性秘匿性の少なくとも一方が有ると判定された場合(S106でYes)、ステップS107に進み、状況秘匿性及び属性秘匿性のいずれも無いと判定された場合(S106でNo)、処理を終了する。
 ステップS107では、音伝播調整部307は、第2ノイズキャンセリングを適用するように切り替えるための制御信号を出力し、出力部308がこれを制御装置100に送信する。そして、制御装置100では、第1マイクロフォン11aが集音した音から、逆移送音を生成して、第2スピーカ12aに再生させることで第2ノイズキャンセリングを適用する。なお、すでに第2ノイズキャンセリングが適用された状態であれば、制御装置100は、そのまま維持して第1マイクロフォン11a及び第2スピーカ12aを制御する。ステップS105及びステップS107は、併せて、音伝播調整ステップともいう。
 以下、上記動作の結果である具体的な事例について、図5~図10を参照して説明する。図5~図10は、それぞれ、実施の形態に係る音調整システムによって実現される音伝播調整の第1~第6例を示す図である。なお、各図には、第1空間と第2空間とが示されており、第1空間と第2空間とを隔てる境界越しに音の伝播がある場合は、その方向に矢印が実線で示されている。また、境界越しに音の伝播がない場合(ノイズキャンセリングが適用されている場合)は、その方向に矢印が破線で示され、バツ印が付されている。
 図5に示す例では、第1空間においてユーザが他の空間のユーザと遠隔会話しているので、利用状況判定ステップS104でYesとなる。また、他の空間のユーザは、第1空間のユーザと所属が異なる。図中では、ドットハッチングによって所属が異なることが示されている。以下、図6~図10において同様である。図5の例では、属性秘匿性が有ると判定されるので、ステップS106でYesとなる。この結果、図5の例では、第2空間から第1空間への音の伝播は、第1ノイズキャンセリングによって聴取レベルが低減され、第1空間から第2空間への音の伝播は、第2ノイズキャンセリングによって聴取レベルが低減されている。
 なお、ここで、音の伝播がノイズキャンセリングによって聴取レベルが低減されようになっている場合、すなわち、上記の例において、音伝播調整ステップで、ノイズキャンセリングを適用するように切り替えられている場合に、音の伝播が伴わなくとも、その音が意味する内容だけでも伝えたいという状況が生じうる。例えば、より優先順位の高いタスクの発生等、第1空間と第2空間との間で緊急の連絡が必要な場合にノイズキャンセリングが適用されていて、音によるコミュニケーションが困難になっていると、不都合な場合がある。そこで、一例として、第2空間から第1空間への音の伝達において、ノイズキャンセリングの適用によって聴取レベルが低減された音があると仮定して、以下説明する。例えば、聴取レベルが低減された音に基づいて、当該音が意味する内容を音声認識モデルなどによってテキスト情報に変換し、そのテキスト情報を示す画像を生成して出力することで、第1空間を利用するユーザのPCなどに生成した画像を表示する(提示する)ようにしてもよい。これにより、音そのままの伝播による遠隔会話への影響を抑制しつつも、その音が意味する内容だけは伝達することができる、上記の場合に効果的に作用する。
 図6に示す例では、第1空間においてユーザが他の空間のユーザと遠隔会話しているものの、第1空間での集音がミュートされている。第1空間での集音がミュートされている場合は、作業(遠隔会話)が中断されているとみなす。遠隔会話が中断されている場合、第1空間が遠隔会話に利用されていないものとするので、利用状況判定ステップS104でNoとなる。なお、他の空間のユーザは、第1空間のユーザと所属が異なる。そのため、図6の例では、属性秘匿性が有ると判定されるので、ステップS106でYesとなる。この結果、図6の例では、第2空間から第1空間への音の伝播は、第1ノイズキャンセリングが適用されずそのまま伝播され、第1空間から第2空間への音の伝播は、第2ノイズキャンセリングによって聴取レベルが低減されている。
 図7に示す例では、第1空間において複数のユーザが作業(ここでは遠隔会話ではない会話)をしているので、利用状況判定ステップS104でYesとなる。また、第1空間のユーザには、第1空間の他のユーザと所属が異なるユーザが含まれる。そのため、図7の例では、属性秘匿性が有ると判定されるので、ステップS106でYesとなる。この結果、図7の例では、第2空間から第1空間への音の伝播は、第1ノイズキャンセリングによって聴取レベルが低減され、第1空間から第2空間への音の伝播は、第2ノイズキャンセリングによって聴取レベルが低減されている。
 図8に示す例では、第1空間において複数のユーザが会話をしているので、利用状況判定ステップS104でYesとなる。また、第1空間のユーザには、所属が異なるユーザが含まれていない。そのため、図8の例では、属性秘匿性が無いと判定されるが、第1空間においてユーザはタスクを実行しているので、ステップS106でYesとなる。この結果、図8の例では、第2空間から第1空間への音の伝播は、第1ノイズキャンセリングによって聴取レベルが低減され、第1空間から第2空間への音の伝播は、第2ノイズキャンセリングによって聴取レベルが低減されている。なお、例えば、状況秘匿性判定部305を備えず、ステップS106において、属性秘匿性の有無のみを判定するようにすれば、ステップS106でNoとなるため、第1空間から第2空間への音の伝播を、第2ノイズキャンセリングを適用させることなくそのまま伝播させるようにすることもできる。
 図9に示す例では、第1空間において図5と同様にユーザが他の空間のユーザと遠隔会話しているので、利用状況判定ステップS104でYesとなる。また、第2空間においても図5と同様にユーザが他の空間のユーザと遠隔会話している。ここで、図9の例では、第1空間用の音調整システムと、第2空間用の音調整システム(以下別の音調整システムとする)との2セットの音調整システムが用いられているとする。つまり、別の音調整システムから見れば、図中の第1空間が隣接する第2空間に相当する。さらに、図9の例では、状況秘匿性判定部305を備えず、ステップS106において、属性秘匿性の有無のみを判定するものとする。図9の例では、他の空間のユーザは、第1空間のユーザと所属が同じであるので、属性秘匿性が無いと判定されるので、ステップS106でYesとなる。ただし、別の音調整システムにおいて、利用状況判定ステップS104でYesとなるので、結果として、第2空間から第1空間への音の伝播は、第1ノイズキャンセリングによって聴取レベルが低減され、第1空間から第2空間への音の伝播は、別の音調整システムの第1ノイズキャンセリングによって聴取レベルが低減されている。
 図10に示す例では、第1空間においてユーザである子供が過ごしており、第2空間において、ユーザがタスクを実行している。ここで、図10に示す例でも、図9と同様に、第1空間用の音調整システムと、別の音調整システムとの2セットの音調整システムが用いられているとする。第1空間では、ユーザがタスクなどを実行しておらず、複数の作業者による作業も行われていない。そのため、利用状況判定ステップS104でNoとなり、属性秘匿性が無いと判定されるのでステップS106でNoとなる。一方、別の音調整システムでは、ユーザがタスクを実行しているが、複数の作業者による作業は行われていない。そのため、利用状況判定ステップS104でNoとなり、状況秘匿性が有ると判定されるのでステップS106でYesとなる。これらの結果として、図10に示す例では、第2空間から第1空間への音の伝播は、別の音調整システムの第2ノイズキャンセリングによって聴取レベルが低減され、第1空間から第2空間への音の伝播は、第2ノイズキャンセリングも、別の音調整システムの第1ノイズキャンセリングも適用されずそのまま伝播されている。
 (その他の実施の形態)
 実施の形態に係る音調整装置は、クラウドサーバ又はエッジサーバによって実現される例を示したが、例えば、第1空間又は第2空間に置かれた専用の情報処理装置で実現されてもよい。この専用の情報処理装置は、パーティションに内蔵されてもよい。パーティションに音調整装置としての情報処理装置が内蔵されていれば、第1及び第2マイクロフォンならびに第1及び第2スピーカとを含めて、パーティション型の1つの装置として、音調整システムを実現することもできる。
 また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 また、各構成要素は、回路(または集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
 また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な非一時的な記録媒体の任意な組み合わせで実現されてもよい。
 例えば、本開示は、音調整装置(コンピュータまたはDSP)が実行する音調整方法として実現されてもよいし、上記音調整方法をコンピュータまたはDSPに実行させるためのプログラムとして実現されてもよい。
 また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、上記実施の形態において説明された音調整システムの動作における複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
 その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
 本開示は、空間を利用しているユーザに対して適切な音環境を提供するための音調整システムなどとして有用である。
  1  音調整システム
 11  第2マイクロフォン
 11a  第1マイクロフォン
 12  第1スピーカ
 12a  第2スピーカ
 13  パーティション
100  制御装置
201  第1空間
202  第2空間
300  音調整装置
301  取得部
302  状況推定部
303  属性推定部
304  利用状況判定部
305  状況秘匿性判定部
306  属性秘匿性判定部
307  音伝播調整部
308  出力部
401  カメラ装置
402  PC
403  マイクロフォン

Claims (16)

  1.  互いに隣接する第1空間及び第2空間のうち、前記第1空間を利用するユーザの状況を推定する状況推定ステップと、
     推定された前記第1空間を利用するユーザの状況に基づき、前記第1空間が、前記第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定ステップと、
     前記利用状況判定ステップにおける判定結果に基づいて、前記第1空間及び前記第2空間の一方において生じた音が、前記第1空間及び前記第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整ステップと、を含む、
     音調整方法。
  2.  前記ノイズキャンセリングは、前記第2空間において生じた音が、前記第1空間で聴取される際の聴取レベルを低減する第1ノイズキャンセリングを含む、
     請求項1に記載の音調整方法。
  3.  前記ノイズキャンセリングは、前記第1空間において生じた音が、前記第2空間で聴取される際の聴取レベルを低減する第2ノイズキャンセリングを含む、
     請求項1に記載の音調整方法。
  4.  推定された前記第1空間を利用するユーザの状況に基づいて、前記第1空間を利用するユーザの状況秘匿性の有無を判定する状況秘匿性判定ステップを含み、
     前記音伝播調整ステップでは、前記第1空間を利用するユーザの状況秘匿性の有無にも基づいて、前記ノイズキャンセリングを適用するか否かを切り替える、
     請求項1に記載の音調整方法。
  5.  前記状況推定ステップでは、前記第1空間を利用するユーザの状況として、当該ユーザがタスクを実施中であるか否かを判定し、
     前記状況秘匿性判定ステップでは、推定された前記第1空間を利用するユーザの状況が、当該ユーザがタスクを実施中であることを示す場合に、前記第1空間を利用するユーザの状況秘匿性が有ると判定する、
     請求項4に記載の音調整方法。
  6.  さらに、前記第1空間を利用するユーザの属性を推定する属性推定ステップと、
     推定された前記第1空間を利用するユーザの属性に基づいて、前記第1空間を利用するユーザの属性秘匿性の有無を判定する属性秘匿性判定ステップと、を含み、
     前記音伝播調整ステップでは、前記第1空間を利用するユーザの属性秘匿性の有無にも基づいて、前記ノイズキャンセリングを適用するか否かを切り替える、
     請求項1に記載の音調整方法。
  7.  前記属性推定ステップでは、前記第1空間を利用するユーザの属性として、前記第1空間を利用した作業に関わる全ての作業者それぞれの所属に関する情報を推定し、
     前記属性秘匿性判定ステップでは、全ての作業者の所属に関する情報が一致しない場合に、前記第1空間を利用するユーザの属性秘匿性が有ると判定する、
     請求項6に記載の音調整方法。
  8.  前記属性推定ステップでは、前記第1空間を利用するユーザの属性として、前記第1空間を利用するユーザが子供であるか否かを推定し、
     前記属性秘匿性判定ステップでは、前記第1空間を利用するユーザが子供であると推定された場合に、前記第1空間を利用するユーザの属性秘匿性が無いと判定する、
     請求項6に記載の音調整方法。
  9.  推定された前記第1空間を利用するユーザの状況秘匿性の有無を判定する状況秘匿性判定ステップを含み、
     前記音伝播調整ステップでは、
      前記利用状況判定ステップにおける判定結果が、前記第1空間が前記作業に利用されていることを示す場合に、前記ノイズキャンセリングを適用し、
      前記利用状況判定ステップにおける判定結果が、前記第1空間が前記作業に利用されていないことを示す場合に、前記第1空間の状況秘匿性の有無、及び、前記第1空間を利用するユーザの属性秘匿性の有無に基づいて前記ノイズキャンセリングを適用するか否かを切り替える、
     請求項6~8のいずれか1項に記載の音調整方法。
  10.  前記ノイズキャンセリングは、前記第2空間において生じた音が、前記第1空間で聴取される際の聴取レベルを低減する第1ノイズキャンセリング、及び、前記第1空間において生じた音が、前記第2空間で聴取される際の聴取レベルを低減する第2ノイズキャンセリングを含み、
     前記音伝播調整ステップでは、
      前記利用状況判定ステップにおける判定結果が、前記第1空間が前記作業に利用されていることを示す場合に、前記第1ノイズキャンセリングを適用し、
      前記利用状況判定ステップにおける判定結果が、前記第1空間が前記作業に利用されていないことを示す場合に、前記第1空間の状況秘匿性の有無、及び、前記第1空間を利用するユーザの属性秘匿性の有無に基づいて前記第2ノイズキャンセリングを適用するか否かを切り替える、
     請求項9に記載の音調整方法。
  11.  前記利用状況判定ステップでは、前記作業が中断された場合に、前記第1空間が前記作業に利用されていないと判定する、
     請求項1に記載の音調整方法。
  12.  前記作業は、前記複数の作業者のうちの前記ユーザを含む前記第1空間内の1以上の作業者が発話した音が集音されることと、集音された音がネットワークを介して前記第1空間とは異なる空間内で出力されることとによる遠隔音出力であって、出力された音が前記複数の作業者のうちの前記異なる空間内の1以上の作業者に聴取される遠隔音出力であり、
     前記作業の中断は、前記第1空間内における音の集音がミュートされることである、
     請求項11に記載の音調整方法。
  13.  さらに、前記音伝播調整ステップにおいて、前記ノイズキャンセリングを適用するように切り替えられた場合に、聴取レベルが低減された音に基づいて、当該音が意味する内容を画像として出力する代替提示ステップを含む、
     請求項1に記載の音調整方法。
  14.  請求項1に記載の音調整方法をコンピュータに実行させるための、
     プログラム。
  15.  互いに隣接する第1空間及び第2空間のうち、前記第1空間を利用するユーザの状況を推定する状況推定部と、
     推定された前記第1空間を利用するユーザの状況に基づき、前記第1空間が、前記第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定部と、
     前記利用状況判定部における判定結果に基づいて、前記第1空間及び前記第2空間の一方において生じた音が、前記第1空間及び前記第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整部と、を備える、
     音調整装置。
  16.  第1空間内の音を集音する第1マイクロフォンと、
     前記第1空間に隣接する第2空間内の音を集音する第2マイクロフォンと、
     前記第1空間内で音を出力する第1スピーカと、
     前記第2空間内で音を出力する第2スピーカと、
     音調整装置と、
     制御装置と、を備え、
     前記音調整装置は、
     前記第1空間を利用するユーザの状況を推定する状況推定部と、
     推定された前記第1空間を利用するユーザの状況に基づき、前記第1空間が、前記第1空間を利用するユーザを含む複数の作業者の作業に利用されているか否かを判定する利用状況判定部と、
     前記利用状況判定部における判定結果に基づいて、前記第1空間及び前記第2空間の一方において生じた音が、前記第1空間及び前記第2空間の他方で聴取される際の聴取レベルを低減するノイズキャンセリングを適用するか否かを切り替える音伝播調整部と、を有し、
     前記制御装置は、前記音伝播調整部によって切り替えられた前記ノイズキャンセリングを適用するか否かに従って、前記第1マイクロフォン、前記第2マイクロフォン、前記第1スピーカ、及び、前記第2スピーカを制御する、
     音調整システム。
PCT/JP2023/032699 2022-10-17 2023-09-07 音調整方法、音調整装置、音調整システム及びプログラム WO2024084854A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022166102 2022-10-17
JP2022-166102 2022-10-17

Publications (1)

Publication Number Publication Date
WO2024084854A1 true WO2024084854A1 (ja) 2024-04-25

Family

ID=90737688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032699 WO2024084854A1 (ja) 2022-10-17 2023-09-07 音調整方法、音調整装置、音調整システム及びプログラム

Country Status (1)

Country Link
WO (1) WO2024084854A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511780A (ja) * 1991-07-03 1993-01-22 Honda Motor Co Ltd スピーチプライバシー保護装置
JP2007256606A (ja) * 2006-03-23 2007-10-04 Aruze Corp 出音システム
JP2008209785A (ja) * 2007-02-27 2008-09-11 Yamaha Corp サウンドマスキングシステム
JP2010019935A (ja) * 2008-07-08 2010-01-28 Toshiba Corp スピーチプライバシー保護装置
JP2011528445A (ja) * 2008-07-18 2011-11-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 公共の場での私的会話の立ち聞きを防ぐ方法及びシステム
JP2012112993A (ja) * 2010-11-19 2012-06-14 Shimizu Corp ノイズマスキングシステム
US20170287460A1 (en) * 2016-03-30 2017-10-05 Lenovo (Singapore) Pte. Ltd. Minimizing nuisance audio in an interior space
JP2018506080A (ja) * 2015-01-20 2018-03-01 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. 音声マスキング・ゾーンにおいて再生された音声をマスキングする音声再生装置
US20180261202A1 (en) * 2017-03-09 2018-09-13 Plantronics, Inc Centralized Control of Multiple Active Noise Cancellation Devices
WO2022181013A1 (ja) * 2021-02-24 2022-09-01 パナソニックIpマネジメント株式会社 会議システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511780A (ja) * 1991-07-03 1993-01-22 Honda Motor Co Ltd スピーチプライバシー保護装置
JP2007256606A (ja) * 2006-03-23 2007-10-04 Aruze Corp 出音システム
JP2008209785A (ja) * 2007-02-27 2008-09-11 Yamaha Corp サウンドマスキングシステム
JP2010019935A (ja) * 2008-07-08 2010-01-28 Toshiba Corp スピーチプライバシー保護装置
JP2011528445A (ja) * 2008-07-18 2011-11-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 公共の場での私的会話の立ち聞きを防ぐ方法及びシステム
JP2012112993A (ja) * 2010-11-19 2012-06-14 Shimizu Corp ノイズマスキングシステム
JP2018506080A (ja) * 2015-01-20 2018-03-01 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. 音声マスキング・ゾーンにおいて再生された音声をマスキングする音声再生装置
US20170287460A1 (en) * 2016-03-30 2017-10-05 Lenovo (Singapore) Pte. Ltd. Minimizing nuisance audio in an interior space
US20180261202A1 (en) * 2017-03-09 2018-09-13 Plantronics, Inc Centralized Control of Multiple Active Noise Cancellation Devices
WO2022181013A1 (ja) * 2021-02-24 2022-09-01 パナソニックIpマネジメント株式会社 会議システム

Similar Documents

Publication Publication Date Title
JP6799099B2 (ja) 気を散らすものからの分離を提供すること
US10142484B2 (en) Nearby talker obscuring, duplicate dialogue amelioration and automatic muting of acoustically proximate participants
US7533346B2 (en) Interactive spatalized audiovisual system
EP2420048B1 (en) Systems and methods for computer and voice conference audio transmission during conference call via voip device
WO2017117295A1 (en) Occlusion reduction and active noise reduction based on seal quality
JPH09503889A (ja) 音声相殺式送話システム
EP2420049B1 (en) Systems and methods for computer and voice conference audio transmission during conference call via pstn phone
US11521636B1 (en) Method and apparatus for using a test audio pattern to generate an audio signal transform for use in performing acoustic echo cancellation
WO2024084854A1 (ja) 音調整方法、音調整装置、音調整システム及びプログラム
JPH09233198A (ja) 全二重音声会議電話のためのソフトウエアベースのブリッジ方法及び装置
Tashev Recent advances in human-machine interfaces for gaming and entertainment
WO2008133490A2 (en) A sound processing device
US20220360895A1 (en) System and method utilizing discrete microphones and virtual microphones to simultaneously provide in-room amplification and remote communication during a collaboration session
WO2022181013A1 (ja) 会議システム
EP2216975A1 (en) Telecommunication device
US20230058981A1 (en) Conference terminal and echo cancellation method for conference
JPH09130306A (ja) 拡声通話装置およびエコーキャンセラ
US20120150542A1 (en) Telephone or other device with speaker-based or location-based sound field processing
JP2022016997A (ja) 情報処理方法、情報処理装置及び情報処理プログラム
WO2024004006A1 (ja) チャット端末、チャットシステム、およびチャットシステムの制御方法
EP4184507A1 (en) Headset apparatus, teleconference system, user device and teleconferencing method
US11509993B2 (en) Ambient noise detection using a secondary audio receiver
JP5602688B2 (ja) 音像定位制御システム、コミュニケーション用サーバ、多地点接続装置、及び音像定位制御方法
JP2019066601A (ja) 音響処理装置、プログラム及び方法
JP7143874B2 (ja) 情報処理装置、情報処理方法およびプログラム