WO2018173139A1 - 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法 - Google Patents

撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法 Download PDF

Info

Publication number
WO2018173139A1
WO2018173139A1 PCT/JP2017/011382 JP2017011382W WO2018173139A1 WO 2018173139 A1 WO2018173139 A1 WO 2018173139A1 JP 2017011382 W JP2017011382 W JP 2017011382W WO 2018173139 A1 WO2018173139 A1 WO 2018173139A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
sound source
source position
image
position information
Prior art date
Application number
PCT/JP2017/011382
Other languages
English (en)
French (fr)
Inventor
太介 三井
井上　貴之
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to JP2019506784A priority Critical patent/JP6835205B2/ja
Priority to PCT/JP2017/011382 priority patent/WO2018173139A1/ja
Publication of WO2018173139A1 publication Critical patent/WO2018173139A1/ja
Priority to US16/573,035 priority patent/US11227423B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22—Source localisation; Inverse modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Definitions

  • the present invention relates to a sound pickup device, a sound pickup control system, a method for controlling a sound pickup device, and a method for controlling a sound pickup control system.
  • Patent Document 1 listed below includes a camera that captures an image of a target space, a microphone array that collects sound using a plurality of microphones, a sound source analysis unit that calculates a sound source position based on the collected sound data, and An image display processing unit for displaying image data including a captured image of the target space and a sound source position display indicating a sound source position on the display, and emphasizing the sound collected by the microphone in the target space image displayed on the display
  • a sound collection system including a user input device that receives designation of a desired position is disclosed.
  • the sound source analysis unit calculates the sound source position based only on the collected sound data, and therefore requires very high directivity.
  • the present invention has been made in view of the above problems, and an object of the present invention is to realize a configuration for specifying a sound source position without requiring high directivity for a sound collecting function.
  • the imaging and sound collection device acquires a plurality of audio signals and a participant image on which a plurality of participants are displayed, comparison information between the plurality of audio signals, and a face for the participant image
  • a sound source position information generating unit that generates sound source position information for estimating a sound source position using recognition
  • an estimated speaker image generating unit that generates an estimated speaker image related to the estimated speaker using the sound source position information, and ,including.
  • the sound collection control system acquires a plurality of audio signals and a participant image on which a plurality of participants are displayed, and includes comparison information between the plurality of audio signals and a face for the participant image.
  • a sound source position information generating unit that generates sound source position information for estimating a sound source position using recognition, an estimated speaker image generating unit that generates an estimated speaker image related to the estimated speaker using the sound source position information, and
  • a display processing unit that displays at least one estimated speaker image on a display device; a selection receiving unit that receives a selection of the estimated speaker image from at least one estimated speaker image;
  • a directivity control signal generation unit that generates the directivity control signal related to the estimated speaker image.
  • a method of controlling a sound pickup apparatus that obtains a plurality of audio signals and a participant image on which a plurality of participants are displayed, and compares information between the plurality of audio signals and the participants
  • a sound source position information generating step for generating sound source position information for estimating a sound source position using face recognition for the image; and an estimated speaker image for generating an estimated speaker image related to the estimated speaker using the sound source position information. Generating step.
  • the control method of the sound collection control system acquires a plurality of audio signals and participant images on which a plurality of participants are displayed, and compares information between the plurality of audio signals, and the participants
  • a sound source position information generating step for generating sound source position information for estimating a sound source position using face recognition for the image; and an estimated speaker image for generating an estimated speaker image related to the estimated speaker using the sound source position information.
  • a directivity control signal generating step for generating the directivity control signal related to the selected estimated speaker image.
  • FIG. 1 is a block diagram of a sound collection control system according to the first embodiment.
  • FIG. 2 is a block diagram of the photographing and sound collecting apparatus according to the first embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of an arrangement relationship between the photographing and sound collecting apparatus according to the first embodiment and a participant.
  • FIG. 4 is a schematic diagram illustrating an example of face recognition using a participant image according to the first embodiment.
  • FIG. 5 is a schematic diagram illustrating an example of a cutout image generated from the participant image according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating an example of a cut-out image generated from the participant image according to the first embodiment.
  • FIG. 7 is a block diagram of the operating device according to the first embodiment.
  • FIG. 1 is a block diagram of a sound collection control system according to the first embodiment.
  • FIG. 2 is a block diagram of the photographing and sound collecting apparatus according to the first embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of
  • FIG. 8 is a block diagram showing another example of the operating device according to the first embodiment.
  • FIG. 9 is a schematic diagram illustrating an example of a display screen of the display device according to the first embodiment.
  • FIG. 10 is a flowchart showing a method for controlling the photographic sound pickup apparatus according to the first embodiment.
  • FIG. 11 is a flowchart showing a method for controlling the operating device according to the first embodiment.
  • FIG. 12 is a flowchart illustrating a control method of the sound collection control system according to the first embodiment.
  • FIG. 1 is a block diagram of a sound collection control system 100 according to the present embodiment. As shown in FIG. 1, the sound collection control system 100 reproduces according to an instruction from the image pickup device 10, an operation device 30 connected to the image pickup device 10 via the network 20, and the operation device 30. And a reproducing device 40 for performing. Note that the playback device 40 may be externally connected to the operation device 30 or may be built in the operation device 30.
  • the photographing and sound collecting device 10 receives an input of a speaker's voice and generates an audio signal 51.
  • the photographing and sound collecting device 10 photographs a participant image on which a plurality of participants participating in a meeting or a lecture are displayed.
  • the sound pickup apparatus 10 identifies the range including the sound source position from the phase difference of the plurality of audio signals 51 and identifies the position of the estimated speaker's face, that is, the sound source position by performing face recognition on the participant image. To do.
  • the photographing and sound collecting device 10 generates an estimated speaker image 52 based on the specified face position.
  • the photographic sound collection device 10 transmits the estimated speaker image 52 and the audio signal 51 to the operation device 30 via the network 20.
  • the operation device 30 is a device used by an operator who is a speaker of a conference or lecture, for example, and receives an audio signal 51 and an estimated speaker image 52 via the network 20.
  • the operation device 30 has a display device inside or is externally connected to the display device, and causes the display device to display at least one estimated speaker image 52 received from the imaging sound pickup device 10.
  • the operation device 30 When the operator selects one of at least one estimated speaker image 52 displayed on the display device, the operation device 30 generates a directivity control signal 53 related to the selected estimated speaker image 52. And transmitted to the image pickup device 10 via the network 20.
  • the directivity control signal 53 is a signal for controlling the output of the audio signal 51 by the photographing sound pickup device 10 based on the sound source position information associated with the estimated speaker image 52.
  • the imaging and sound collection device 10 Upon receiving the directivity control signal 53, the imaging and sound collection device 10 emphasizes the output of the sound signal 51 at the sound source position associated with the estimated speaker image 52 over the other sound signals 51 based on the directivity control signal 53. And transmitted to the operation device 30.
  • the operation device 30 receives the audio signal 51 in which the voice around the speaker is emphasized, and instructs the reproduction device 40 including a speaker or the like to reproduce the audio signal 51.
  • the sound collecting function included in the photographing sound collecting device 10 is used. Requires a very high directivity.
  • the sound pickup apparatus 10 generates the sound source position information by using the face recognition technology, so that the position of the speaker's face is specified even when the directivity of the sound pickup function is not so high. It becomes possible.
  • FIG. 2 is a block diagram of the photographing and sound collecting apparatus 10 according to the present embodiment.
  • the photographing and sound collecting device 10 receives sound input and generates a plurality of sound signals 51 and a photographing unit that photographs participant images on which a plurality of participants are displayed.
  • a sound source position information generation unit 13 that generates sound source position information for specifying a sound source position using phase differences between a plurality of audio signals 51 and face recognition for a participant image, and an estimated speech using the sound source position information.
  • An estimated speaker image generation unit 14 that generates an estimated speaker image 52 related to the speaker and transmits the estimated speaker image 52 to the operation device 30.
  • the imaging sound pickup device 10 acquires the directivity control signal 53 from the operation device input unit 15 and the operation device input unit 15 that receives the directivity control signal 53 transmitted from the operation device 30. And a directivity calculation unit 16 that controls and outputs the audio signal 51 based on the directivity control signal 53.
  • the sound source position information generation unit 13, the estimated speaker image generation unit 14, the operation device input unit 15, and the directivity calculation unit 16 can be configured by a single control unit 17.
  • the control unit 17 includes a CPU and a memory, and controls the entire photographing and sound collecting device 10 based on a program stored in the storage unit 18 included in the photographing and sound collecting device 10.
  • An image capturing step S102, a sound source position information generation step S103, an estimated speaker image generation step S104, an estimated speaker image transmission step S105, a directivity control signal reception step S106, a directivity calculation step S107, and the like are executed.
  • the program may be installed from various recording media regardless of the type such as optical and magnetic, and may be downloaded via the Internet.
  • the configuration in which the photographic sound collection device 100 includes the storage unit 18 is shown, but the storage unit 18 is not an essential component, and the control unit 17 is a program connected to the photographic sound collection device 100.
  • Various control steps may be executed using a recording medium or the like.
  • FIG. 3 is a schematic diagram showing an example of an arrangement relationship between the photographing and sound collecting apparatus 10 according to the present embodiment and a participant.
  • the sound pickup device 10 is arranged on the ceiling in front of the venue, and the entire front part of the venue is photographed by the photographing unit 12 included in the sound pickup device 10.
  • the installation location of the sound pickup device 10 is not limited to the ceiling of the hall, and the sound pickup device 10 may be disposed in front of the hall.
  • the sound collection unit 11 is configured by an array microphone including a plurality of microphones.
  • the sound collection unit 11 collects the sound of the venue where the photographing sound collection device 10 is arranged.
  • the sound collection unit 11 may be arranged in the same casing including the photographing unit 12 shown in FIG. 3 or may be arranged in another casing installed on the ceiling in front of the venue.
  • Each of the plurality of microphones included in the array microphone that is the sound collection unit 11 has an assigned sound collection position, collects sound around the assigned sound collection position, and a plurality of audio signals 51 corresponding to the number of microphones. Is generated.
  • the sound collection unit 11 includes, for example, an amplifier, an A / D converter, and an encoding unit.
  • An amplifier amplifies the sound data collected by the microphone.
  • the A / D converter converts the audio data output from the amplifier into digital audio data.
  • the encoding unit encodes the digital audio data and generates an audio signal.
  • the sound collection unit 11 transmits the plurality of audio signals 51 to the sound source position information generation unit 13 and the directivity calculation unit 16.
  • the photographing unit 12 has at least one camera and photographs a participant image 60 on which a plurality of participants are displayed.
  • the photographing unit 12 has one camera, and with this camera, an image obtained by photographing all participants in the venue from the front is photographed.
  • the imaging unit 12 transmits the captured participant image 60 to the sound source position information generation unit 13 and the estimated speaker image generation unit 14.
  • the sound collection unit 11 generates the sound signal 51 collected by a plurality of microphones according to the number of microphones, and transmits the sound signal 51 to the sound source position information generation unit 13.
  • the sound source position information generation unit 13 that has received the plurality of audio signals 51 uses the first range 71 and the second range including the sound source positions shown in FIG. 3 based on the phase difference that is comparison information of the plurality of audio signals 51.
  • the range 72 is specified.
  • the sound source position information generation unit 13 identifies the sound source position from the phase difference as comparison information of the plurality of audio signals 51 has been described.
  • the sound source position may be specified from the power ratio of the plurality of audio signals 51.
  • the sound source position information generation unit 13 performs frequency analysis on the audio signal 51 to discriminate between simple noise and a human voice, and from a plurality of sound source positions, The position information where the sound is emitted is acquired as sound source position information.
  • the sound source position information generation unit 13 performs a Fourier transform of the audio signal 51 from the time domain in which the signal amplitude is the vertical axis and the horizontal axis is time, and in the frequency domain in which the signal amplitude is the vertical axis and the horizontal axis is the frequency.
  • the voice signal 51 included in the predetermined range (for example, 0.2 kHz to 4 kHz) appropriate as the frequency of the human voice is determined as a human voice, and the voice signal 51 not included in the predetermined range is noise. Judge that there is.
  • the sound source position information generation unit 13 specifies a range in which the sound source position is included only for the audio signal 51 included in the predetermined range as the frequency related to the human voice.
  • the sound source position information generation unit 13 receives a participant image from the photographing unit 12.
  • the sound source position information generation unit 13 performs face recognition on the participant image acquired from the photographing unit 12 within the range including the sound source position specified from the phase difference of the audio signal 51, and thereby the talk in the participant image.
  • the position of the person's face, that is, the sound source position is specified.
  • Information identifying the sound source position is sound source position information.
  • FIG. 4 is a schematic diagram showing an example of face recognition using a participant image in the present embodiment.
  • the participant image 60 includes an image of all participants in the venue.
  • the first participant 61 on the left rear side and the second participant 62 on the right front side emit some sound.
  • the sound source position information generating unit 13 Based on the sound signal 51 from the sound collecting unit 11 that picks up the sound, the sound source position information generating unit 13 includes a first range 71 including the first sound source position and a second range including the second sound source position.
  • the range 72 is specified.
  • the first range 71 includes the first participant 61
  • the second range 72 includes the second participant 62.
  • the sound source position information generation unit 13 identifies the face position 81 of the first participant 61 as the first sound source position by performing face recognition in the first range 71. In addition, the sound source position information generation unit 13 identifies the face position 82 of the second participant 62 as the second sound source position by performing face recognition in the second range 72.
  • the sound source position information generation unit 13 generates an estimated speaker image using the face position 81 of the first participant 61 and the face position 82 of the second participant 62 as sound source position information. To the unit 14. At that time, the sound source position information generation unit 13 associates the first range 71 with the face position 81 of the first participant 61, and the second range 72 and the face position 82 of the second participant 62 Are transmitted to the estimated speaker image generation unit 14.
  • the estimated speaker image generation unit 14 receives the sound source position information transmitted from the sound source position information generation unit 13 and the participant image 60 transmitted from the imaging unit 12, and generates an estimated speaker image 52 related to the estimated speaker. To do.
  • the sound source position information generation unit 13 provides information on the face position 81 of the first participant 61 and the face position 82 of the second participant 62 as shown in FIG. Is receiving.
  • the estimated speaker image generation unit 14 generates a cut-out image from the participant image 60 transmitted from the imaging unit 12 based on the face position information.
  • 5 and 6 are schematic views showing an example of a cut-out image generated from the participant image 60 in the present embodiment.
  • the estimated speaker image generation unit 14 is based on the face position 81 of the first participant 61 received from the sound source position information generation unit 13, and the first participant as shown in FIG. A first cutout image 91 in which 61 faces are enlarged is generated. Further, the estimated speaker image generation unit 14 determines that the face of the second participant 62 as shown in FIG. 6 is based on the face position 82 of the second participant 62 received from the sound source position information generation unit 13. An enlarged second cutout image 92 is generated.
  • the estimated speaker image generation unit 14 transmits the first clipped image 91 and the second clipped image 92 as the estimated speaker image 52 to the operation device 30.
  • the first clipped image 91 and the second clipped image 92 are the sound source position information from the sound source position information generation unit 13, that is, the face position 81 of the first participant 61 and the second participant 62, respectively. It is generated based on the information of the face position 82. Therefore, the estimated speaker image generation unit 14 transmits the sound source position information and the estimated speaker image 52 in association with each other to the operation device 30.
  • the estimated speaker image generation unit 14 transmits position information corresponding to the estimated speaker image 52 in the participant image 60 to the operation device 30 in association with the estimated speaker image 52.
  • the participant image 60 and the estimated speaker image 52 can be displayed in association with each other in the operation device 30 described later.
  • the estimated speaker image generation unit 14 generates the first clipped image 91 and the second clipped image 92 as the estimated speaker image 52 and transmits them to the operation device 30.
  • another image may be sent as the estimated speaker image 52.
  • the imaging unit 12 described above has a plurality of cameras, the first camera captures the participant image 60, and the second camera detects the sound source position based on the sound source position information generated by the sound source position information generation unit 13. It is good also as a structure which the presumed speaker image generation part 14 acquires the image of the direction of this, and uses the image of the direction of this sound source position as the presumed speaker image 52. In this configuration, in order to capture a plurality of speakers and generate a plurality of estimated speaker images 52, it is necessary to provide a plurality of second cameras according to the number of speakers.
  • the estimated speaker image generation unit 14 generates a plurality of estimated speaker images related to a plurality of estimated speakers and transmits them to the operation device 30 as an example.
  • the speaker image generation unit 14 may generate an estimated speaker image related to one estimated speaker and transmit the estimated speaker image to the operation device 30.
  • the estimated speaker image generation unit 14 generates a plurality of estimated speaker images and transmits them to the operation device 30, thereby arranging the plurality of estimated speaker images 52 on the display device 33 described later. It can be set as the structure displayed. As a result, there is an advantage that the operator can operate the operation device 30 while comparing the plurality of estimated speaker images 52.
  • the operation device input unit 15 receives the directivity control signal transmitted from the operation device 30 and transmits the directivity control signal to the directivity calculation unit 16.
  • the directivity control signal is information for controlling the output of the audio signal 51 from the sound collection unit 11 based on the sound source position information associated with the estimated speaker image 52.
  • the directivity control signal includes sound source position information associated with the first cutout image 91 or the second cutout image 92, that is, the face position 81 of the first participant 61, or the first Information about the face position 82 of the second participant 62 is included.
  • the operation device input unit 15 transmits a directivity control signal including the sound source position information to the directivity calculation unit 16.
  • the directivity calculation unit 16 acquires the directivity control signal 53 from the operation device input unit 15 and acquires the audio signal 51 from the sound collection unit 11.
  • the directivity calculation unit 16 controls and outputs the audio signal 51 from the sound collection unit 11 based on the directivity control signal 53.
  • the first sound source position information that is, information related to the face position 81 of the first participant 61 includes the directivity control signal 53. Based on this directivity control signal 53, the directivity calculation unit 16 selects the audio signal 51 from the face position 81 of the first participant 61 from among the plurality of audio signals 51 received from the sound collection unit 11. The audio signal 51 is emphasized and transmitted to the operation device 30.
  • FIG. 7 is a block diagram of the operation device 30 according to the present embodiment.
  • the operation device 30 includes a communication unit 31 that receives at least one estimated speaker image 52 generated by the imaging and sound collection device 10 and a display device 33 that displays at least one estimated speaker image 52.
  • 53 includes a directivity control signal generation unit 35 that generates 53 and a reproduction processing unit 36 that receives an audio signal from the image pickup and collection device 10 and instructs the reproduction device 40 to reproduce the audio signal 51.
  • the display processing unit 32, the directivity control signal generation unit 35, and the reproduction processing unit 36 can be configured by a single control unit 38.
  • the control unit 38 includes a CPU and a memory, controls the entire operation device 30 based on a program stored in the storage unit 39 included in the operation device 30, and performs an estimated speaker image reception step S201, which will be described later, display processing Step S202, selection reception step S203, directivity control signal generation step S204, audio signal reception step S205, reproduction processing step S206, and the like are executed.
  • the program may be installed from various recording media regardless of the type such as optical and magnetic, and may be downloaded via the Internet.
  • the operation device 30 is used in front of the venue by an operator who gives a lecture, for example.
  • the operation device 30 includes a touch panel 37, and the touch panel 37 includes a display device 33 and a selection receiving unit 34.
  • FIG. 8 which is a block diagram of the operation device 30 showing another embodiment, the operation device 30 does not include the display device 33 and the display processing unit 32 is externally connected to the operation device 30.
  • the display device 33 may be instructed to display the estimated speaker image 52.
  • the communication unit 31 supports wireless LAN, wired LAN, WAN, infrared rays, radio waves, Bluetooth (registered trademark), and the like, and performs signal transmission with the sound pickup device 10 via the network 20.
  • the communication unit 31 receives the first clipped image 91 and the second clipped image 92 generated by the imaging sound collecting device 10 as the estimated speaker image 52.
  • the communication unit 31 transmits the first cutout image 91 and the second cutout image 92 to the display processing unit 32.
  • the first clipped image 91 is associated with information related to the face position 81 of the first participant 61 as the first sound source position information
  • the second clipped image 92 includes the second clipped image 92.
  • Information relating to the face position 82 of the second participant 62 is associated as the sound source position information.
  • the communication unit 31 transmits the directivity control signal 53 generated by the directivity control signal generation unit 35 to the imaging sound collection device 10.
  • the display processing unit 32 displays at least one estimated speaker image 52 on the display device 33. That is, when a plurality of estimated speaker images 52 are acquired, the plurality of estimated speaker images 52 are displayed on the display device 33, and when only one estimated speaker image 52 is acquired, The only estimated speaker image 52 is displayed on the display device 33.
  • FIG. 9 is a schematic diagram illustrating an example of a display screen of the display device 33 in the present embodiment.
  • the display processing unit 32 displays the first cutout image 91 and the second cutout image 92 side by side on the display device 33.
  • the number of clipped images displayed on the display device 33 may be configured to match the number of clipped images received from the communication unit 31.
  • the operator can operate the operation device 30 while comparing the plurality of estimated speaker images 52. You can select the speakers you want to hear with particular emphasis.
  • the advantage that the operator can operate the operation device 30 while comparing the plurality of estimated speaker images 52 by displaying the plurality of estimated speaker images 52 is that the sound source position information generating unit 13 This can also be obtained when generating sound source position information without using face recognition.
  • the estimated speaker image 52 includes the first range 71 including the sound source position shown in FIG. Based on the second range 72, for example, cut-out images of the first range 71 and the second range 72 are generated.
  • the display processing unit 32 is configured to cause the display device 33 to display the participant image 60 together.
  • the display processing unit 32 causes the display device 33 to display the participant images 60 together, so that the operator can check the entire venue together.
  • the operation device 30 receives position information corresponding to the estimated speaker image 52 in the participant image 60 from the imaging sound collection device 10 in a state associated with the estimated speaker image 52. is doing. Therefore, the display processing unit 32 can display the participant image 60 and the estimated speaker image 52 on the display device 33 in association with each other.
  • the display processing unit 32 displays the display frame 81 ⁇ / b> A on the display device 33 at the position of the face of the first participant 61 in the participant image 60, and the second The display frame 82A is displayed at the face position of the participant 62. Further, the display processing unit 32 displays the display frames 81A and 82A and at least a part of the estimated speaker image 52 corresponding to the display frames 81A and 82A with the same color.
  • the display frame 81A of the face position 81 of the first participant 61 is displayed in red
  • the frame of the first cutout image 91 is displayed in red
  • the face of the second participant 62 is displayed.
  • the display frame 82A at the position 82 may be displayed in green, and the frame of the second cutout image 92 may be displayed in green. With such a configuration, the operator can easily determine where the first participant 61 and the second participant 62 displayed as the cut-out images are located in the participant image 60. I can understand.
  • the colored portions on the first clipped image 91 and the second clipped image 92 are not limited to frames, and are performed on at least a part of the first clipped image 91 and the second clipped image 92. Any configuration is possible as long as the operator can grasp the first cutout image 91 and the second cutout image 92 and the display frames 81A and 81B included in the participant image 60 in association with each other.
  • the first cutout image 91 in which the face of the first participant 61 who is an estimated speaker is enlarged and the face of the second participant 62 which is an estimated speaker are displayed on the display device 33. Since the enlarged second cutout image 92 is displayed, the operator can easily recognize the speaker.
  • the directivity is very high. Desired.
  • the sound source position information generation unit 13 uses the face recognition technology together, even if the directivity of the sound collection unit 11 is not so high, the sound source position information generation unit 13 is identified by the phase difference of the audio signal.
  • the sound source position can be specified by face recognition from the range including the sound source position. Further, since the range including the sound source position can be narrowed down using the phase difference of the audio signal 51, the range for face recognition can be narrowed down and the sound source position can be identified efficiently.
  • the communication unit 31 of the operation device 30 receives the first clipped image 91 and the second clipped image 92 as the estimated speaker image 52, and receives the first clipped image 91 and the first clipped image 91.
  • the configuration in which two cutout images 92 are displayed on the display device 33 has been described.
  • the communication unit 31 of the operation device 30 has received the images of the directions of the sound sources taken by the plurality of cameras as the estimated speaker images 52, the images of the directions of the sound sources are It is good also as a structure displayed on the display apparatus 33 as the presumed speaker image 52.
  • the display device 33 is a display device built in the operation device 30 or externally connected, and displays the estimated speaker image 52 and the like based on an instruction from the display processing unit 32.
  • the display device 33 is externally connected to the operation device 30
  • a general liquid crystal display, EL display, plasma display, projector, or the like may be used as the display device 33.
  • the notebook computer is connected to the operation device 30 and the notebook computer is connected to the notebook computer in accordance with an instruction from the display processing unit 32 included in the operation device 30.
  • the estimated speaker image 52 may be displayed on the included display device.
  • the selection receiving unit 34 receives a selection of one estimated speaker image 52 from at least one estimated speaker image 52. That is, when the selection receiving unit 34 acquires a plurality of estimated speaker images 52, the selection of the estimated speaker image 52 from the plurality of estimated speaker images 52 is accepted by the operation of the operator. When the selection receiving unit 34 has acquired the only estimated speaker image 52, the operator selects whether or not to emphasize the voice of the speaker included in the only estimated speaker image 52. The selection accepting unit 34 accepts selection by the operator.
  • the operation device 30 includes a touch panel 37, and the touch sensor included in the touch panel 37 functions as the selection receiving unit 34.
  • the operation device 30 may not include the touch panel 37 and the display device 33 but may include a selection receiving unit 34 as an input device.
  • the input device may be a general input device such as a keyboard or a mouse.
  • the selection receiving unit 34 may include a camera and an image recognition device, and may be a gesture recognition device that receives an operator's selection by recognizing the operator's gesture.
  • the selection receiving unit 34 When the selection receiving unit 34 receives an operator's selection, the selection receiving unit 34 transmits the selection result to the directivity control signal generating unit 35. In the present embodiment, it is assumed that the operator has determined that the voice of the first participant 61 is emphasized and is desired to be heard and the first cutout image 91 is selected. The selection receiving unit 34 selects the sound source position information associated with the first cutout image 91, that is, the face position 81 of the first participant 61 shown in FIG. The result is transmitted to the directivity control signal generator 35.
  • the directivity control signal generator 35 generates a directivity control signal 53 related to the selected estimated speaker image 52.
  • the directivity control signal generation unit 35 receives information on the face position 81 of the first participant 61 as sound source position information associated with the first cutout image 91 from the selection reception unit 34. Therefore, the directivity control signal 53 instructing to emphasize the output of the audio signal 51 generated from the position 81 of the face of the first participant 61 is generated.
  • the directivity control signal generation unit 35 transmits the directivity control signal 53 to the sound pickup device 10 via the communication unit 31.
  • the reproduction processing unit 36 receives the audio signal 51 from the photographic sound pickup apparatus 10 via the communication unit 31 and instructs the reproduction apparatus 40 to reproduce the audio signal 51.
  • the directivity control signal 53 instructing to emphasize the output of the audio signal 51 generated from the face position 81 of the first participant 61 from the directivity control signal generator 35 is captured.
  • the directivity calculation unit 16 included in the imaging sound collection device 10 receives the directivity control signal 53 via the operation device input unit 15 described above.
  • the directivity calculation unit 16 selects the audio signal 51 from the face 81 of the first participant 61 from the plurality of audio signals 51 received from the sound collection unit 11. It is emphasized over the other audio signal 51 and transmitted to the operation device 30.
  • the reproduction processing unit 36 instructs the reproduction device 40 to reproduce the audio signal 51 in which the audio from the position 81 of the face of the first participant 61 is emphasized.
  • the operator can hear the voice from the first participant 61 selected by himself / herself with emphasis.
  • the operator uses the sound collection control system 100 including the photographing sound collection device 10 and the operation device 30 according to the present embodiment, so that the estimated speaker image 52 in which the participant's face is enlarged is displayed. It is possible to easily select a speaker who wants to emphasize and listen.
  • the sound source position information generation unit 13 uses the face recognition technology together, even if the directivity of the sound collection unit 11 is not so high, due to the phase difference of the audio signal 51. From the range including the specified sound source position, the sound source position, that is, the position of the speaker's face can be specified by face recognition. As a result, the operator can easily select a speaker to be emphasized and listened using the estimated speaker image 52 in which the speaker's face is enlarged and displayed.
  • FIG. 10 is a flowchart showing a control method of the photographic sound pickup apparatus 10 according to the present embodiment.
  • the control method of the sound pickup apparatus 10 according to the present embodiment will be described with reference to FIG.
  • the sound collection unit 11 of the photographic sound collection apparatus 10 performs an audio signal generation step S101 for generating a plurality of audio signals.
  • the sound collection unit 11 is an array microphone including a plurality of microphones, and each of the plurality of microphones collects sound around a sound collection position in charge of each. Thereby, the sound collection part 11 produces
  • the sound collection unit 11 transmits a plurality of audio signals 51 to the sound source position information generation unit 13 and the directivity calculation unit 16.
  • the photographing unit 12 of the photographing sound pickup apparatus 10 performs a participant image photographing step S102 for photographing a participant image 60 on which a plurality of participants are displayed.
  • the photographing unit 12 has one camera, and the camera captures a participant image 60 obtained by photographing the entire participant in the venue from the front.
  • the imaging unit 12 transmits the captured participant image 60 to the sound source position information generation unit 13 and the estimated speaker image generation unit 14.
  • This S102 may be performed in parallel with the audio signal generation step S101, or may be performed after the audio signal generation step S101 and before the sound source position information generation step S103 described later.
  • Sound source position information generation step S103 The sound source position information generation unit 13 of the photographic sound pickup apparatus 10 performs sound source position information generation step S103 for generating sound source position information for estimating the sound source position from the phase differences of the plurality of audio signals 51.
  • the sound source position information generation unit 13 uses the face recognition technology for the participant image 60 acquired from the imaging unit 12 in addition to the phase differences of the plurality of audio signals 51 acquired from the sound collection unit 11, and The face position is specified as the sound source position.
  • the sound source position information generation unit 13 specifies the first range 71 and the second range 72 including the sound source position from the phase difference of the audio signal 51, and the first range 71, the first range 71, and the second range 72.
  • the face position 81 of the first participant 61 and the face position 82 of the second participant 62 are specified from the range 72 of 2 using face recognition technology for the participant image 60.
  • the face position 81 of the first participant 61 and the face position 82 of the second participant 62 are used as first sound source position information and second sound source position information, respectively, in the estimated speaker image generation unit 14.
  • the sound source position information generation unit 13 associates the first range 71 with the face position 81 of the first participant 61, and the second range 72 and the face position of the second participant 62. 82 may be transmitted in association with the estimated speaker image generation unit 14.
  • the process proceeds to an estimated speaker image generation step S104 described later. However, when there is no estimated speaker, the process returns to the above-described speech signal generation step S101. .
  • Estimatimated speaker image generation step S104 The estimated speaker image generation unit 14 of the photographic sound pickup apparatus 10 performs an estimated speaker image generation step S104 for generating an estimated speaker image related to the estimated speaker.
  • the shooting and sound collection device 10 uses the first sound source position information and the second sound source position information acquired from the sound source position information generation unit 13 and uses the participant image 60 acquired from the shooting unit 12.
  • a cut-out image of the estimated speaker is generated.
  • a first cutout image 91 relating to the first participant 61 and a second cutout image 92 relating to the second participant 62 are generated.
  • Information about the face position 82 is associated.
  • the estimated speaker image generation unit 14 associates position information corresponding to the estimated speaker image 52 in the participant image 60 with the estimated speaker image 52.
  • the estimated speaker image generation unit 14 generates the first clipped image 91 and the second clipped image 92 as the estimated speaker image 52 in the estimated speaker image generation step S104.
  • the imaging unit 12 captures an image in the direction of the sound source position, and the estimated speaker image generation unit 14 uses the sound source position as the estimated speaker image 52.
  • an image in the direction may be acquired.
  • Estimatimated speaker image transmission step S105 The estimated speaker image generation unit 14 of the photographic sound pickup apparatus 10 performs an estimated speaker image transmission step S105 in which the generated estimated speaker image 52 is transmitted to the operation device 30.
  • the estimated speaker image generation unit 14 transmits the cut-out image associated with the sound source position information to the operation device 30 as the estimated speaker image 52. Further, in the present embodiment, the estimated speaker image generation unit 14 stores the estimated speaker image 52 in a state where the positional information corresponding to the estimated speaker image 52 in the participant image 60 is associated with the estimated speaker image 52. It transmits to the device 30 for operation.
  • the directivity control signal reception step S106 is performed after the estimated speaker image reception step S201, the display processing step S202, the selection reception step S203, and the directivity control signal generation step S204 in the control method of the operation device 30 described later. These steps are performed in the image pickup device 10.
  • the operation device input unit 15 of the imaging sound pickup device 10 receives the directivity control signal 53 transmitted from the operation device 30.
  • the operation device input unit 15 outputs the sound source position information associated with the first cutout image 91, that is, the output of the audio signal 51 generated from the face position 81 of the first participant 61.
  • the directivity control signal 53 instructing to emphasize is received from the operation device 30.
  • the directivity calculation unit 16 of the photographic sound pickup apparatus 10 performs a directivity calculation step S107 that controls and outputs the audio signal 51 based on the directivity control signal 53.
  • the directivity calculation unit 16 receives the directivity control signal 53 instructing to emphasize the output of the audio signal 51 generated from the face position 81 of the first participant 61. Yes. Based on the directivity control signal 53, the directivity calculation unit 16 selects the audio signal 51 from the face 81 of the first participant 61 from the plurality of audio signals 51 received from the sound collection unit 11. The audio signal 51 is emphasized and transmitted to the operation device 30.
  • the audio signal reception step S205 and the reproduction processing step S206 are performed, and the audio from the participant designated by the operator is emphasized in the operation device 30, and the reproduction device 40 Is output from.
  • FIG. 11 is a flowchart illustrating a method for controlling the operation device 30 according to the present embodiment.
  • the control method of the operation device 30 according to the present embodiment will be described with reference to FIG.
  • Estimated speaker image reception step S201 is the audio signal generation step S101, participant image shooting step S102, sound source position information generation step S103, estimated speaker image generation step S104, estimation in the above-described control method of the sound pickup apparatus 10. This is a step performed in the operation device 30 after the speaker image transmission step S105 is performed.
  • the communication unit 31 of the operation device 30 performs an estimated speaker image reception step S201 for receiving at least one estimated speaker image 52 generated by the imaging sound pickup device 10.
  • the communication unit 31 receives the first clipped image 91 and the second clipped image 92 generated by the shooting and sound collecting device 10 as the estimated speaker image 52 from the shooting and collecting device 10. .
  • the communication unit 31 transmits the first cutout image 91 and the second cutout image 92 to the display processing unit 32.
  • Display processing step S202 The display processing unit 32 of the operation device 30 performs display processing step S202 for displaying at least one estimated speaker image 52 on the display device 33. That is, when the plurality of estimated speaker images 52 are acquired, the display processing unit 32 displays the plurality of estimated speaker images 52 on the display device 33 and acquires the only estimated speaker image 52. In this case, the only estimated speaker image 52 is displayed on the display device 33.
  • the display processing unit 32 displays the first clipped image 91 and the second clipped image 92 on the display device 33 and also displays the participant image 60 together.
  • the display frame 81A is displayed at the position of the face of the first participant 61 in the participant image 60
  • the display frame 82A is displayed at the position of the face of the second participant 62.
  • the clipped image is displayed in the display processing step S202. It is displayed on the display device 33.
  • the operation device 30 has acquired, as the estimated speaker image 52, images of the directions of the respective sound source positions taken by a plurality of cameras as the estimated speaker image 52, in this display processing step S202.
  • the display device 33 may display an image in the direction of each sound source position.
  • the selection receiving unit 34 of the operation device 30 performs a selection receiving step S203 for receiving selection of one estimated speaker image 52 from at least one estimated speaker image 52. That is, when the selection receiving unit 34 acquires a plurality of estimated speaker images 52, one estimated speaker image 52 is selected from the plurality of estimated speaker images 52 by the operation of the operator. Accept. When the selection receiving unit 34 has acquired the only estimated speaker image 52, the operator determines whether or not to emphasize the voice of the speaker included in the only estimated speaker image 52. The selection receiving unit 34 receives a selection operation based on the determination of the operator.
  • the selection receiving unit 34 emphasizes the sound source position information associated with the first cutout image 91, that is, the voice output from the face position 81 of the first participant 61 as the operator's selection result. It transmits to the directivity control signal generation part 35 to instruct
  • the directivity control signal generator 35 of the operation device 30 performs a directivity control signal generation step S204 for generating a directivity control signal 53 related to the selected estimated speaker image 52.
  • the directivity control signal generation unit 35 receives the face position 81 of the first participant 61 as sound source position information associated with the first cutout image 91 from the selection reception unit 34. Therefore, the directivity control signal 53 instructing to emphasize the output of the audio signal 51 generated from the face position 81 of the first participant 61 is generated.
  • the directivity control signal generation unit 35 transmits the directivity control signal 53 to the sound pickup device 10 via the communication unit 31.
  • the sound signal reception step S205 is a step performed in the operation device 30 after the directivity control signal reception step S106 and the directivity calculation step S107 are performed in the above-described control method of the photographic sound collection device 10.
  • the communication unit 31 of the operation device 30 receives the audio signal 51.
  • the communication unit 31 receives the audio signal 51 in which the sound from the position 81 of the face of the first participant 61 is emphasized by the directivity calculation unit 16.
  • reproduction processing step S206 The reproduction processing unit 36 of the operation device 30 acquires the audio signal 51 from the communication unit 31 and performs a reproduction processing step S206 that instructs the reproduction device 40 to reproduce the audio signal 51.
  • the reproduction processing unit 36 acquires the audio signal 51 in which the audio from the face position 81 of the first participant 61 is emphasized, and instructs the reproduction apparatus 40 to reproduce the audio signal 51. .
  • the sound source position information generation unit 13 uses the face recognition technology together in the sound source position information generation step S103, so that the directivity of the sound collection unit 11 is not so high.
  • the position of the speaker's face included in the first range 71 and the second range 72 can be specified.
  • the sound source position information generation unit 13 can perform face recognition in the first range 71 and the second range 72 specified in advance by the phase difference of the audio signal 51, the face of the speaker can be efficiently used. Can be specified.
  • FIG. 12 is a flowchart showing a control method of the sound collection control system 100 according to the present embodiment. Since each step is as described above in the control method of the sound pickup device 10 and the control method of the operation device 30, the description thereof is omitted.
  • the steps performed by the imaging sound collection device 10 and the steps performed by the operation device 30 are mixed.
  • the sound pickup device 10 performs the sound signal generation step S101, the participant image shooting step S102, the sound source position information generation step S103, the estimated speaker image generation step S104, and the estimated speaker image transmission step S105.
  • the apparatus 30 performs an estimated speaker image reception step S201, a display processing step S202, a selection reception step S203, and a directivity control signal generation step S204.
  • the flow returns to the image pickup and collection device 10 again, and the image pickup and collection device 10 performs the directivity control signal reception step S106 and the directivity calculation step S107, and then the operation device 30 performs the sound signal reception step S205.
  • the reproduction processing step S206 is performed.

Abstract

収音機能に高い指向性を求めずに、音源位置を特定する構成を実現する。本開示に係る撮影収音装置は、複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成部と、前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成部と、を含む。

Description

撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
　本発明は、撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法に関する。
　下記特許文献１には、対象空間の映像を撮影するカメラと、複数のマイクロホンを用いて音声を収音するマイクアレイと、収音された音声データに基づき、音源位置を算出する音源解析部と、撮像された対象空間の映像と音源位置を示す音源位置表示とを含む画像データをディスプレイに表示させる画像表示処理部と、ディスプレイに表示された対象空間画像において、マイクロホンが収音する音声を強調したい位置の指定を受け付けるユーザー入力装置と、を含む収音システムが開示されている。
特開２０１６－１４６５４７号公報
　従来の収音システムでは、音源解析部が収音された音声データのみに基づき音源位置を算出するため、非常に高い指向性が必要であった。
　本発明は、上記問題点に鑑みてなされたものであり、その目的は、収音機能に高い指向性を求めずに、音源位置を特定する構成を実現することである。
　本開示に係る撮影収音装置は、複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成部と、前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成部と、を含む。
　本開示に係る収音制御システムは、複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成部と、前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成部と、少なくとも一つの前記推定話者画像を表示装置に表示させる表示処理部と、少なくとも一つの前記推定話者画像の中から一つの前記推定話者画像の選択を受け付ける選択受付部と、選択された前記推定話者画像に関する前記指向性制御信号を生成する指向性制御信号生成部と、を含む。
　本開示に係る撮影収音装置の制御方法は、複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成ステップと、前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成ステップと、を含む。
　本開示に係る収音制御システムの制御方法は、複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成ステップと、前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成ステップと、少なくとも一つの前記推定話者画像を表示装置に表示させる表示処理ステップと、少なくとも一つの前記推定話者画像の中から一つの前記推定話者画像の選択を受け付ける選択受付ステップと、選択された前記推定話者画像に関する前記指向性制御信号を生成する指向性制御信号生成ステップと、を含む。
図１は第１の実施形態に係る収音制御システムのブロック図である。 図２は第１の実施形態に係る撮影収音装置のブロック図である。 図３は第１の実施形態に係る撮影収音装置と参加者との配置関係の一例を示す模式図である。 図４は第１の実施形態に係る参加者画像を用いた顔認識の一例を示す模式図である。 図５は第１の実施形態に係る参加者画像から生成された切り出し画像の一例を示す模式図である。 図６は第１の実施形態に係る参加者画像から生成された切り出し画像の一例を示す模式図である。 図７は第１の実施形態に係る操作用装置のブロック図である。 図８は第１の実施形態に係る操作用装置の他の実施例を示すブロック図である。 図９は第１の実施形態に係る表示装置の表示画面の一例を示す模式図である。 図１０は第１の実施形態に係る撮影収音装置の制御方法を示すフローチャートである。 図１１は第１の実施形態に係る操作用装置の制御方法を示すフローチャートである。 図１２は第１の実施形態に係る収音制御システムの制御方法を示すフローチャートである。
［第１の実施形態］
　第１の実施形態について、図面を用いて以下に説明する。
［収音制御システム１００］
　図１は、本実施形態に係る収音制御システム１００のブロック図である。収音制御システム１００は、図１に示すように、撮影収音装置１０と、ネットワーク２０を介して撮影収音装置１０と接続される操作用装置３０と、操作用装置３０の指示に従って再生を行う再生装置４０とを含む。なお、再生装置４０は、操作用装置３０に外部接続されてもよく、操作用装置３０に内蔵されていてもよい。
　撮影収音装置１０は、発話者の音声の入力を受付け、音声信号５１を生成する。撮影収音装置１０は、会議や講義などに参加している複数の参加者が表示された参加者画像を撮影する。撮影収音装置１０は、複数の音声信号５１の位相差から音源位置が含まれる範囲を特定し、参加者画像に対する顔認識を行うことにより、推定話者の顔の位置、即ち音源位置を特定する。撮影収音装置１０は、特定された顔の位置に基づき、推定話者画像５２を生成する。撮影収音装置１０は、推定話者画像５２と、音声信号５１とを、ネットワーク２０を介して操作用装置３０に送信する。
　操作用装置３０は、例えば会議や講義の話し手である操作者が使用する装置であり、ネットワーク２０を介して音声信号５１と推定話者画像５２とを受信する。操作用装置３０は、内部に表示装置を有するか、あるいは表示装置に外部接続されており、撮影収音装置１０より受信した少なくとも一つの推定話者画像５２を表示装置に表示させる。操作者が、表示装置に表示された少なくとも一つの推定話者画像５２の中から一つを選択すると、操作用装置３０が、選択された推定話者画像５２に関する指向性制御信号５３を生成し、ネットワーク２０を介して撮影収音装置１０に送信する。指向性制御信号５３とは、推定話者画像５２に関連付けられた音源位置情報に基づき、撮影収音装置１０による音声信号５１の出力を制御する信号である。
　指向性制御信号５３を受信した撮影収音装置１０は、指向性制御信号５３に基づき、推定話者画像５２に関連付けられた音源位置の音声信号５１の出力を、他の音声信号５１よりも強調し、操作用装置３０に送信する。
　操作用装置３０は、話者周辺の音声が強調された音声信号５１を受信し、当該音声信号５１の再生を、スピーカー等からなる再生装置４０に指示する。
　このような構成により、表示装置に、推定話者の顔が拡大された推定話者画像５２が表示されるため、操作者が容易に発話者を認識することができる。
　また、会場が広く、大勢の参加者がいるような場合、音声信号５１の位相差のみを用いて話者の顔の位置を特定するためには、撮影収音装置１０に含まれる収音機能に非常に高い指向性が求められる。しかし、撮影収音装置１０が、顔認識技術を併用して音源位置情報を生成することにより、収音機能の指向性がそれほど高くない場合であっても、話者の顔の位置を特定することが可能となる。
　以下、撮影収音装置１０、及び操作用装置３０のより具体的な構成について説明する。
［撮影収音装置１０］
　図２は、本実施形態に係る撮影収音装置１０のブロック図である。撮影収音装置１０は、図２に示すように、音声の入力を受け付け、複数の音声信号５１を生成する収音部１１と、複数の参加者が表示された参加者画像を撮影する撮影部１２と、複数の音声信号５１の位相差と、参加者画像に対する顔認識を用いて音源位置を特定する音源位置情報を生成する音源位置情報生成部１３と、音源位置情報を用いて、推定話者に関する推定話者画像５２を生成し、操作用装置３０に送信する推定話者画像生成部１４と、を含む。
　更に、撮影収音装置１０は、操作用装置３０から送信された指向性制御信号５３を受信する操作用装置入力部１５と、操作用装置入力部１５から指向性制御信号５３を取得し、この指向性制御信号５３に基づき音声信号５１を制御して出力する指向性演算部１６とを含む。
　音源位置情報生成部１３、推定話者画像生成部１４、操作用装置入力部１５、指向性演算部１６は、一つの制御部１７で構成することも可能である。制御部１７は、ＣＰＵとメモリを含み、撮影収音装置１０に含まれる記憶部１８に記憶されたプログラムに基づき、撮影収音装置１０全体を制御し、後述する音声信号生成ステップＳ１０１、参加者画像撮影ステップＳ１０２、音源位置情報生成ステップＳ１０３、推定話者画像生成ステップＳ１０４、推定話者画像送信ステップＳ１０５、指向性制御信号受信ステップＳ１０６、指向性演算ステップＳ１０７などを実行する。当該プログラムは、光学的、磁気的等の種類を問わず、様々な記録媒体からインストールされてよく、インターネットを介してダウンロードされてもよい。
　なお、本実施形態においては、撮影収音装置１００が記憶部１８を含む構成を示したが、記憶部１８は必須構成要素ではなく、制御部１７は、撮影収音装置１００に接続されたプログラム記録媒体等を用いて、各種制御ステップを実行する構成としてもよい。
　図３は、本実施形態に係る撮影収音装置１０と参加者との配置関係の一例を示す模式図である。図３に示すように、撮影収音装置１０は、会場の前方の天井に配置されており、撮影収音装置１０に含まれる撮影部１２により会場前方の全体が撮影されている。なお、撮影収音装置１０の設置場所は、会場の天井に限定されず、撮影収音装置１０が、会場の前方に配置されていればよい。
［収音部１１］
　本実施形態において、収音部１１は、複数のマイクロホンを含むアレイマイクにより構成する。収音部１１は、撮影収音装置１０が配置された会場の音を収音する。収音部１１は、図３に示した撮影部１２を含む同一筐体内に配置されていてもよく、会場前方の天井に設置された他の筐体内に配置されていてもよい。
　収音部１１であるアレイマイクに含まれる複数のマイクロホンは、それぞれが担当収音位置を有し、この担当収音位置周辺の音声を収音し、マイクロホンの数に応じた複数の音声信号５１を生成する。収音部１１は、例えば、増幅器、Ａ／Ｄ変換機、符号化部を含む。増幅器が、マイクロホンにより収音された音声データを増幅する。Ａ／Ｄ変換機は、増幅器から出力された音声データをデジタル音声データに変換する。符号化部は、デジタル音声データを符号化し、音声信号を生成する。
　収音部１１は、図２に示すように、この複数の音声信号５１を、音源位置情報生成部１３と指向性演算部１６に送信する。
［撮影部１２］
　撮影部１２は、少なくとも一つのカメラを有し、複数の参加者が表示された参加者画像６０を撮影する。本実施形態においては、撮影部１２は一つのカメラを有し、このカメラにより、会場内にいる参加者全体を前方から撮影した画像を撮影する。
　撮影部１２は、撮影した参加者画像６０を、音源位置情報生成部１３、推定話者画像生成部１４に送信する。
［音源位置情報生成部１３］
　上述したとおり、収音部１１は、複数のマイクロホンにより収音された音声信号５１を、マイクロホンの数に応じて生成し、音源位置情報生成部１３に送信している。この複数の音声信号５１を受信した音源位置情報生成部１３は、この複数の音声信号５１の比較情報である位相差から、図３に示す、音源位置が含まれる第１の範囲７１、第２の範囲７２を特定する。
　なお、本実施形態においては、音源位置情報生成部１３が、複数の音声信号５１の比較情報としての位相差から、音源位置を特定する構成を説明したが、複数の音声信号５１の位相差ではなく、複数の音声信号５１のパワー比から、音源位置を特定する構成としてもよい。
　なお、本実施形態においては、音源位置情報生成部１３は、音声信号５１に対して周波数分析を行うことにより、単なる雑音と人の声とを判別し、複数の音源位置の中から、人の音声が発せられた位置情報を音源位置情報として取得する。具体例としては、音源位置情報生成部１３は、音声信号５１を、信号振幅を縦軸、横軸を時間とする時間領域から、信号振幅を縦軸、横軸を周波数とする周波数領域にフーリエ変換し、人の音声の周波数として適切な所定の範囲内（例えば０．２ｋＨｚ～４ｋＨｚ）に含まれる音声信号５１を人の音声と判断し、所定の範囲に含まれない音声信号５１は雑音であると判断する。音源位置情報生成部１３は、この人の音声に関する周波数として所定範囲内に含まれる音声信号５１のみに対して音源位置が含まれる範囲を特定する。
　更に、音源位置情報生成部１３は、撮影部１２から参加者画像を受信している。音源位置情報生成部１３は、先ほどの音声信号５１の位相差から特定した音源位置が含まれる範囲内において、撮影部１２から取得した参加者画像に顔認識を行うことにより、参加者画像における話者の顔の位置、即ち音源位置を特定する。この音源位置を特定する情報が音源位置情報である。
　図４は、本実施形態における参加者画像を用いた顔認識の一例を示す模式図である。図４に示すように、参加者画像６０には、会場にいる参加者全体の画像が含まれている。ここで、参加者画像６０の中で後方左側にいる第１の参加者６１と、前方右側にいる第２の参加者６２が何らかの音声を発したとする。この音声を収音した収音部１１からの音声信号５１に基づき、音源位置情報生成部１３は、第１の音源位置が含まれる第１の範囲７１、第２の音源位置が含まれる第２の範囲７２を特定する。第１の範囲７１には、第１の参加者６１が含まれており、第２の範囲７２には、第２の参加者６２が含まれている。
　音源位置情報生成部１３は、この第１の範囲７１において顔認識を行うことにより、第１の参加者６１の顔の位置８１を第１の音源位置として特定する。また、音源位置情報生成部１３は、第２の範囲７２において顔認識を行うことにより、第２の参加者６２の顔の位置８２を第２の音源位置として特定する。
　本実施形態において、音源位置情報生成部１３は、この第１の参加者６１の顔の位置８１、及び第２の参加者６２の顔の位置８２を、音源位置情報として、推定話者画像生成部１４に送信する。その際、音源位置情報生成部１３は、第１の範囲７１と第１の参加者６１の顔の位置８１とを関連付け、第２の範囲７２と第２の参加者６２の顔の位置８２とを関連付けて、推定話者画像生成部１４に送信する。
［推定話者画像生成部１４］
　推定話者画像生成部１４は、音源位置情報生成部１３から送信された音源位置情報と、撮影部１２から送信された参加者画像６０を受信し、推定話者に関する推定話者画像５２を生成する。
　本実施形態においては、音源位置情報生成部１３より、音源位置情報として図４に示すような第１の参加者６１の顔の位置８１、及び第２の参加者６２の顔の位置８２の情報を受信している。推定話者画像生成部１４は、この顔の位置情報に基づき、撮影部１２から送信された参加者画像６０から切り出し画像を生成する。
　図５、６は、本実施形態における参加者画像６０から生成された切り出し画像の一例を示す模式図である。本実施形態においては、推定話者画像生成部１４は、音源位置情報生成部１３より受信した第１の参加者６１の顔の位置８１に基づき、図５に示すような、第１の参加者６１の顔が拡大された第１の切り出し画像９１を生成する。また、推定話者画像生成部１４は、音源位置情報生成部１３より受信した第２の参加者６２の顔の位置８２に基づき、図６に示すような、第２の参加者６２の顔が拡大された第２の切り出し画像９２を生成する。
　推定話者画像生成部１４は、推定話者画像５２として、この第１の切り出し画像９１、第２の切り出し画像９２を操作用装置３０に送信する。この第１の切り出し画像９１、第２の切り出し画像９２は、それぞれ音源位置情報生成部１３からの音源位置情報、即ち第１の参加者６１の顔の位置８１、及び第２の参加者６２の顔の位置８２の情報を基に生成されている。そのため、推定話者画像生成部１４は、この音源位置情報と推定話者画像５２とを関連付けた状態で、操作用装置３０に送信する。
　更に、本実施形態においては、推定話者画像生成部１４は、参加者画像６０における推定話者画像５２に対応する位置情報を、推定話者画像５２と関連付けて操作用装置３０に送信する。このような構成とすることにより、後述する操作用装置３０において、参加者画像６０と、推定話者画像５２とを関連付けて表示させることが可能となる。
　なお、本実施形態においては、推定話者画像生成部１４が、推定話者画像５２として、第１の切り出し画像９１、第２の切り出し画像９２を生成し、操作用装置３０に送信する構成を説明したが、推定話者画像５２として他の画像を送付する構成としてもよい。例えば、上述した撮影部１２が複数のカメラを有し、第１のカメラが参加者画像６０を撮影し、音源位置情報生成部１３が生成した音源位置情報に基づき、第２のカメラが音源位置の方向の画像を撮影し、この音源位置の方向の画像を推定話者画像５２として、推定話者画像生成部１４が取得する構成としてもよい。なお、この構成の場合、複数の話者を撮影し、複数の推定話者画像５２を生成するためには、第２のカメラを話者の数に応じて複数台設ける必要がある。
　なお、本実施形態においては、推定話者画像生成部１４が、複数の推定話者に関する複数の推定話者画像を生成し、操作用装置３０に送信する構成を例に挙げたが、推定話者画像生成部１４が、一つの推定話者に関する推定話者画像を生成し、操作用装置３０に送信する構成としてもよい。ただし、推定話者画像生成部１４が、複数の推定話者画像を生成し、操作用装置３０に送信する構成とすることにより、後述する表示装置３３において、複数の推定話者画像５２を並べて表示する構成とすることができる。その結果として、操作者が複数の推定話者画像５２を見比べながら、操作用装置３０の操作を行うことができるというメリットがある。
［操作用装置入力部１５］
　操作用装置入力部１５は、操作用装置３０から送信された指向性制御信号を受信し、指向性演算部１６に送信する。指向性制御信号とは、推定話者画像５２に関連付けられた音源位置情報に基づき、収音部１１からの音声信号５１の出力を制御する情報である。
　本実施形態においては、指向性制御信号には、第１の切り出し画像９１、又は第２の切り出し画像９２に関連付けられた音源位置情報、即ち第１の参加者６１の顔の位置８１、又は第２の参加者６２の顔の位置８２に関する情報が含まれている。
　操作用装置入力部１５は、この音源位置情報が含まれた指向性制御信号を、指向性演算部１６に送信する。
［指向性演算部１６］
　指向性演算部１６は、指向性制御信号５３を操作用装置入力部１５より取得し、収音部１１より音声信号５１を取得する。指向性演算部１６は、この指向性制御信号５３に基づき、収音部１１からの音声信号５１を制御して出力する。
　詳細は後述するが、操作用装置３０を操作する操作者が、第１の参加者６１の顔が表示された第１の切り出し画像９１を選択した場合、この第１の切り出し画像９１に関連付けられた第１の音源位置情報、即ち第１の参加者６１の顔の位置８１に関する情報が、指向性制御信号５３が含まれている。この指向性制御信号５３に基づき、指向性演算部１６は、収音部１１から受信した複数の音声信号５１の中から、第１の参加者６１の顔の位置８１からの音声信号５１を、他の音声信号５１よりも強調して、操作用装置３０に送信する。
［操作用装置３０］
　図７は、本実施形態に係る操作用装置３０のブロック図である。操作用装置３０は、図７に示すように、撮影収音装置１０により生成された少なくとも一つの推定話者画像５２を受信する通信部３１と、少なくとも一つの推定話者画像５２を表示装置３３に表示させる表示処理部３２と、少なくとも一つの推定話者画像５２の中から一つの推定話者画像５２の選択を受け付ける選択受付部３４と、選択された推定話者画像５２に関する指向性制御信号５３を生成する指向性制御信号生成部３５と、撮影収音装置１０より音声信号を受信し、音声信号５１の再生を再生装置４０に指示する再生処理部３６とを、を含む。
　表示処理部３２、指向性制御信号生成部３５、再生処理部３６は、一つの制御部３８で構成することも可能である。制御部３８は、ＣＰＵとメモリを含み、操作用装置３０に含まれる記憶部３９に記憶されたプログラムに基づき、操作用装置３０全体を制御し、後述する推定話者画像受信ステップＳ２０１、表示処理ステップＳ２０２、選択受付ステップＳ２０３、指向性制御信号生成ステップＳ２０４、音声信号受信ステップＳ２０５、再生処理ステップＳ２０６などを実行する。当該プログラムは、光学的、磁気的等の種類を問わず、様々な記録媒体からインストールされてよく、インターネットを介してダウンロードされてもよい。
　操作用装置３０は、会場前方において、例えば講義等を行う操作者により使用される。
　なお、本実施形態においては、操作用装置３０が、タッチパネル３７を含み、タッチパネル３７が表示装置３３と選択受付部３４とを含む構成としている。
　なお、他の実施例を示す操作用装置３０のブロック図である図８に示すように、操作用装置３０が表示装置３３を含まず、表示処理部３２が、操作用装置３０に外部接続された表示装置３３に推定話者画像５２の表示を指示する構成としてもよい。
［通信部３１］
　通信部３１は、無線ＬＡＮ、有線ＬＡＮ、ＷＡＮ、赤外線、電波、Bluetooth（登録商標）などに対応しており、ネットワーク２０を介して、撮影収音装置１０との信号伝達を行う。
　本実施形態においては、通信部３１は、撮影収音装置１０により生成された第１の切り出し画像９１と第２の切り出し画像９２を、推定話者画像５２として受信している。通信部３１は、この第１の切り出し画像９１と第２の切り出し画像９２を、表示処理部３２に送信する。なお、この第１の切り出し画像９１には、第１の音源位置情報として第１の参加者６１の顔の位置８１に関する情報が関連付けられており、第２の切り出し画像９２には、第２の音源位置情報として第２の参加者６２の顔の位置８２に関する情報が関連付けられている。
　また、通信部３１は、指向性制御信号生成部３５が生成する指向性制御信号５３を撮影収音装置１０に送信する。
［表示処理部３２］
　表示処理部３２は、少なくとも一つの推定話者画像５２を表示装置３３に表示させる。即ち、複数の推定話者画像５２を取得している場合には、複数の推定話者画像５２を表示装置３３に表示させ、唯一の推定話者画像５２を取得している場合には、その唯一の推定話者画像５２を表示装置３３に表示させる。
　本実施形態においては、図５に示した第１の切り出し画像９１と、図６に示した第２の切り出し画像９２を表示装置３３に表示させる。図９は、本実施形態における表示装置３３の表示画面の一例を示す模式図である。図９に示すように、表示処理部３２は、第１の切り出し画像９１と第２の切り出し画像９２とを、表示装置３３に並べて表示させる。なお、表示装置３３に表示させる切り出し画像の枚数は、通信部３１から受信した切り出し画像の枚数に合わせる構成にしてもよい。
　このように、表示装置３３に、複数の推定話者画像５２を表示する構成とすることにより、操作者が複数の推定話者画像５２を見比べながら、操作用装置３０の操作を行うことができ、特に強調して聞きたい話者を選択することができる。
　なお、この複数の推定話者画像５２を表示することにより、操作者が複数の推定話者画像５２を見比べながら操作用装置３０を操作することができるメリットは、音源位置情報生成部１３が、顔認識を用いずに音源位置情報を生成する場合においても得ることができる。なお、音源位置情報生成部１３が、顔認識を用いずに音源位置情報を生成する場合には、推定話者画像５２は、図３に示した、音源位置が含まれる第１の範囲７１、第２の範囲７２に基づき、例えば第１の範囲７１、第２の範囲７２の切り出し画像が生成される。
　更に、本実施形態においては、表示処理部３２が、表示装置３３に、参加者画像６０を合わせて表示させる構成としている。表示処理部３２が、表示装置３３に、参加者画像６０を合わせて表示させることで、操作者が会場全体の様子を合わせて確認することができる。
　更に、本実施形態においては、操作用装置３０は、撮影収音装置１０より、参加者画像６０における推定話者画像５２に対応する位置情報が、推定話者画像５２に関連付けられた状態で受信している。そのため、表示処理部３２は、参加者画像６０と推定話者画像５２とを関連付けて、表示装置３３に表示させることが可能となる。
　具体的には、図９に示すように、表示処理部３２は、表示装置３３に、参加者画像６０における第１の参加者６１の顔の位置に表示枠８１Ａを表示するとともに、第２の参加者６２の顔の位置に表示枠８２Ａを表示させる構成としている。更に、表示処理部３２は、表示装置３３に対して、表示枠８１Ａ、８２Ａと、この表示枠８１Ａ、８２Ａに対応する推定話者画像５２の少なくとも一部と、同一色の着色をして表示させる。具体例としては、第１の参加者６１の顔の位置８１の表示枠８１Ａを赤色で表示するとともに、第１の切り出し画像９１の枠を赤色で表示し、第２の参加者６２の顔の位置８２の表示枠８２Ａを緑色で表示するとともに、第２の切り出し画像９２の枠を緑色で表示する構成としてもよい。このような構成とすることにより、切り出し画像として表示されている第１の参加者６１、第２の参加者６２が、参加者画像６０の中でどこに位置しているかを、操作者が容易に理解することができる。
　なお、第１の切り出し画像９１、第２の切り出し画像９２への着色箇所は、枠に限定されず、第１の切り出し画像９１、第２の切り出し画像９２の少なくとも一部に対して行われ、操作者が、第１の切り出し画像９１、第２の切り出し画像９２と、参加者画像６０に含まれる表示枠８１Ａ、８１Ｂとを対応付けて把握することができる構成であればよい。
　このような構成により、表示装置３３に、推定話者である第１の参加者６１の顔が拡大された第１の切り出し画像９１、及び推定話者である第２の参加者６２の顔が拡大された第２の切り出し画像９２が表示されるため、操作者が容易に発話者を認識することができる。
　また、会場が広く、大勢の参加者がいるような場合、収音部１１の音声信号５１の位相差のみを用いて話者の顔の位置を特定するためには、非常に高い指向性が求められる。しかし、本実施形態に示すように、音源位置情報生成部１３が顔認識技術を併用することにより、収音部１１の指向性がそれほど高くない場合であっても、音声信号の位相差により特定された音源位置が含まれる範囲の中から、顔認識により音源位置を特定することが可能となる。また、音声信号５１の位相差を用いて、音源位置が含まれる範囲を絞ることができるため、顔認識を行う範囲を絞ることができ、効率よく音源位置を特定することができる。
　なお、本実施形態においては、操作用装置３０の通信部３１が、推定話者画像５２として、第１の切り出し画像９１、第２の切り出し画像９２を受信し、第１の切り出し画像９１、第２の切り出し画像９２を表示装置３３に表示させる構成を説明した。しかし、操作用装置３０の通信部３１が、推定話者画像５２として、複数のカメラにより撮影された各音源位置の方向の画像を受信していた場合、この各音源位置の方向の画像を、推定話者画像５２として表示装置３３に表示させる構成としてもよい。
［表示装置３３］
　表示装置３３は、操作用装置３０に内蔵された、あるいは外部接続された表示装置であり、表示処理部３２の指示に基づき、推定話者画像５２等を表示する。
　表示装置３３が、操作用装置３０に外部接続された例としては、表示装置３３として一般的な液晶ディスプレイ、ＥＬディスプレイ、プラズマディスプレイ、プロジェクターなどを用いてもよい。又は、操作者が講義にノートパソコンを用いている場合には、このノートパソコンを操作用装置３０に接続し、操作用装置３０に含まれる表示処理部３２からの指示に応じて、ノートパソコンに含まれる表示装置に推定話者画像５２を表示させてもよい。
［選択受付部３４］
　選択受付部３４は、少なくとも一つの推定話者画像５２の中から一つの推定話者画像５２の選択を受け付ける。即ち、選択受付部３４が複数の推定話者画像５２を取得している場合、操作者の操作により、その複数の推定話者画像５２の中から一つの推定話者画像５２の選択を受けつける。選択受付部３４が唯一の推定話者画像５２を取得している場合は、操作者は、この唯一の推定話者画像５２に含まれる話者の音声を強調して聞くか否かを選択し、選択受付部３４は、その操作者による選択を受け付ける。
　本実施形態においては、図７に示すように、操作用装置３０がタッチパネル３７を含み、このタッチパネル３７に含まれるタッチセンサが選択受付部３４として機能する。
　あるいは、図８に示すように、操作用装置３０がタッチパネル３７、表示装置３３を含まず、別途、入力装置としての選択受付部３４を有する構成としてもよい。この入力装置としては、キーボードやマウスなどの一般的な入力装置であってもよい。あるいは、選択受付部３４が、カメラと画像認識装置とを含み、操作者のジェスチャーを認識することにより操作者の選択を受け付けるジェスチャー認識装置であってもよい。
　選択受付部３４が操作者の選択を受け付けると、選択受付部３４は、その選択結果を指向性制御信号生成部３５に送信する。本実施形態においては、操作者が第１の参加者６１の声を強調させて聞きたいと判断し、第１の切り出し画像９１を選択したとする。選択受付部３４は、操作者の選択結果として、この第１の切り出し画像９１に関連付けられた音源位置情報、即ち、図４に示した第１の参加者６１の顔の位置８１が選択された結果を指向性制御信号生成部３５に送信する。
［指向性制御信号生成部３５］
　指向性制御信号生成部３５は、選択された推定話者画像５２に関する指向性制御信号５３を生成する。
　本実施形態においては、指向性制御信号生成部３５は、選択受付部３４より、第１の切り出し画像９１に関連付けられた音源位置情報として第１の参加者６１の顔の位置８１に関する情報を受信しているため、この第１の参加者６１の顔の位置８１から発生されている音声信号５１の出力を強調することを指示する指向性制御信号５３を生成する。
　指向性制御信号生成部３５は、この指向性制御信号５３を、通信部３１を介して撮影収音装置１０に送信する。
［再生処理部３６］
　再生処理部３６は、撮影収音装置１０より通信部３１を介して音声信号５１を受信し、この音声信号５１の再生を再生装置４０に指示する。
　本実施形態においては、指向性制御信号生成部３５から、第１の参加者６１の顔の位置８１から発生されている音声信号５１の出力を強調することを指示する指向性制御信号５３が撮影収音装置１０に送信されており、撮影収音装置１０に含まれる指向性演算部１６が、上述した操作用装置入力部１５を介して、この指向性制御信号５３を受信している。
　指向性演算部１６は、この指向性制御信号５３に基づき、収音部１１から受信した複数の音声信号５１の中から、第１の参加者６１の顔の位置８１からの音声信号５１を、他の音声信号５１よりも強調して、操作用装置３０に送信している。
　したがって、再生処理部３６は、第１の参加者６１の顔の位置８１からの音声が強調された音声信号５１を再生するよう、再生装置４０に指示する。
　その結果、操作者は、自ら選択した第１の参加者６１からの音声を強調して聞くことができる。
　このように、操作者が、本実施形態に係る撮影収音装置１０及び操作用装置３０を含む収音制御システム１００を使用することにより、参加者の顔が拡大された推定話者画像５２を用いて、強調して聞きたい話者を容易に選択することができる。
　また、会場が広く、大勢の参加者がいるような場合、収音部１１の音声信号５１のみを用いて話者の顔の位置を特定するためには、非常に高い指向性が求められる。しかし、本実施形態に示すように、音源位置情報生成部１３が顔認識技術を併用することにより、収音部１１の指向性がそれほど高くない場合であっても、音声信号５１の位相差により特定した音源位置が含まれる範囲の中から、顔認識により音源位置、即ち話者の顔の位置を特定することが可能となる。その結果、操作者が、話者の顔が拡大表示されている推定話者画像５２を用いて、強調して聞きたい話者を容易に選択することが可能となる。
［撮影収音装置１０の制御方法］
　図１０は、本実施形態に係る撮影収音装置１０の制御方法を示すフローチャートである。以下、図１０を用いて、本実施形態に係る撮影収音装置１０の制御方法について説明する。
［音声信号生成ステップＳ１０１］
　撮影収音装置１０の収音部１１は、複数の音声信号を生成する音声信号生成ステップＳ１０１を実施する。
　本実施形態においては、収音部１１が、複数のマイクロホンを含むアレイマイクであり、複数のマイクロホンは、それぞれが担当する収音位置周辺の収音を行う。これにより、収音部１１は、マイクロホンの数に応じた複数の音声信号を生成する。
　収音部１１は、複数の音声信号５１を、音源位置情報生成部１３と指向性演算部１６に送信する。
［参加者画像撮影ステップＳ１０２］
　撮影収音装置１０の撮影部１２は、複数の参加者が表示された参加者画像６０を撮影する参加者画像撮影ステップＳ１０２を実施する。
　本実施形態においては、撮影部１２は一つのカメラを有し、このカメラにより、会場内にいる参加者全体を前方から撮影した参加者画像６０を撮影する。
　撮影部１２は、撮影した参加者画像６０を、音源位置情報生成部１３、推定話者画像生成部１４に送信する。
　なお、このＳ１０２は、音声信号生成ステップＳ１０１と同時並行に行ってもよく、音声信号生成ステップＳ１０１の後、後述する音源位置情報生成ステップＳ１０３の前に行ってもよい。
［音源位置情報生成ステップＳ１０３］
　撮影収音装置１０の音源位置情報生成部１３は、複数の音声信号５１の位相差から音源位置を推定する音源位置情報を生成する音源位置情報生成ステップＳ１０３を実施する。
　音源位置情報生成部１３は、収音部１１から取得した複数の前記音声信号５１の位相差に加えて、撮影部１２から取得した参加者画像６０に対する顔認識技術を用いて、推定話者の顔の位置を音源位置として特定する。
　本実施形態においては、音源位置情報生成部１３は、音声信号５１の位相差から、音源位置が含まれる第１の範囲７１、第２の範囲７２を特定し、この第１の範囲７１、第２の範囲７２の中から、参加者画像６０に対する顔認識技術を用いて、第１の参加者６１の顔の位置８１、及び第２の参加者６２の顔の位置８２を特定する。この第１の参加者６１の顔の位置８１、第２の参加者６２の顔の位置８２を、それぞれ第１の音源位置情報、第２の音源位置情報として、推定話者画像生成部１４に送信する。また、その際、音源位置情報生成部１３は、第１の範囲７１と第１の参加者６１の顔の位置８１とを関連付け、第２の範囲７２と第２の参加者６２の顔の位置８２とを関連付けて、推定話者画像生成部１４に送信してもよい。
　なお、ここで推定話者が一人以上の場合は、後述する推定話者画像生成ステップＳ１０４にステップが移るが、推定話者が一人もいない場合は、上述した音声信号生成ステップＳ１０１にステップは戻る。
［推定話者画像生成ステップＳ１０４］
　撮影収音装置１０の推定話者画像生成部１４は、推定話者に関する推定話者画像を生成する推定話者画像生成ステップＳ１０４を実施する。
　本実施形態においては、撮影収音装置１０は、音源位置情報生成部１３から取得した第１の音源位置情報、第２の音源位置情報を用いて、撮影部１２から取得した参加者画像６０から推定話者の切り出し画像を生成する。本実施形態においては、第１の参加者６１に関する第１の切り出し画像９１と、第２の参加者６２に関する第２の切り出し画像９２とを生成する。
　この第１の切り出し画像９１、第２の切り出し画像９２には、それぞれ音源位置情報生成部１３からの音源位置情報、即ち第１の参加者６１の顔の位置８１、第２の参加者６２の顔の位置８２に関する情報が関連付けられている。更に、本実施形態においては、推定話者画像生成部１４は、参加者画像６０における推定話者画像５２に対応する位置情報を、推定話者画像５２に関連付ける。
　なお、本実施形態においては、推定話者画像生成ステップＳ１０４において、推定話者画像生成部１４が、推定話者画像５２として第１の切り出し画像９１、第２の切り出し画像９２を生成する例を説明したが、音源位置情報生成部１３からの音源位置情報に基づき撮影部１２が音源位置の方向の画像を撮影し、推定話者画像生成部１４が、推定話者画像５２として、この音源位置の方向の画像を取得する方法としてもよい。
［推定話者画像送信ステップＳ１０５］
　撮影収音装置１０の推定話者画像生成部１４は、生成した推定話者画像５２を操作用装置３０に送信する推定話者画像送信ステップＳ１０５を実施する。
　本実施形態においては、推定話者画像生成部１４は、音源位置情報に関連づけられた切り出し画像を推定話者画像５２として操作用装置３０に送信する。更に本実施形態においては、推定話者画像生成部１４は、参加者画像６０における推定話者画像５２に対応する位置情報を、推定話者画像５２に関連付けた状態で、推定話者画像５２を操作用装置３０に、送信する。
［指向性制御信号受信ステップＳ１０６］
　指向性制御信号受信ステップＳ１０６は、後述する操作用装置３０の制御方法において、推定話者画像受信ステップＳ２０１、表示処理ステップＳ２０２、選択受付ステップＳ２０３、指向性制御信号生成ステップＳ２０４が実施された後に、撮影収音装置１０において実施されるステップである。
　指向性制御信号受信ステップＳ１０６において、撮影収音装置１０の操作用装置入力部１５は、操作用装置３０から送信された指向性制御信号５３を受信する。
　本実施形態においては、操作用装置入力部１５は、第１の切り出し画像９１に関連付けられた音源位置情報、即ち第１の参加者６１の顔の位置８１から発生されている音声信号５１の出力を強調することを指示する指向性制御信号５３を、操作用装置３０から受信する。
［指向性演算ステップＳ１０７］
　撮影収音装置１０の指向性演算部１６は、指向性制御信号５３に基づき音声信号５１を制御して出力する指向性演算ステップＳ１０７を実施する。
　本実施形態においては、指向性演算部１６は、第１の参加者６１の顔の位置８１から発生されている音声信号５１の出力を強調することを指示する指向性制御信号５３を受信している。指向性演算部１６は、この指向性制御信号５３に基づき、収音部１１から受信した複数の音声信号５１の中から、第１の参加者６１の顔の位置８１からの音声信号５１を、他の音声信号５１よりも強調して、操作用装置３０に送信する。
　その後、後述する操作用装置３０の制御方法において、音声信号受信ステップＳ２０５、再生処理ステップＳ２０６が実施され、操作用装置３０において、操作者が指定した参加者からの音声が強調され、再生装置４０から出力される。
［操作用装置３０の制御方法］
　図１１は、本実施形態に係る操作用装置３０の制御方法を示すフローチャートである。以下、図１１を用いて、本実施形態に係る操作用装置３０の制御方法について説明する。
［推定話者画像受信ステップＳ２０１］
　推定話者画像受信ステップＳ２０１は、上述した撮影収音装置１０の制御方法において、音声信号生成ステップＳ１０１、参加者画像撮影ステップＳ１０２、音源位置情報生成ステップＳ１０３、推定話者画像生成ステップＳ１０４、推定話者画像送信ステップＳ１０５が実施された後に、操作用装置３０において実施されるステップである。
　操作用装置３０の通信部３１は、撮影収音装置１０により生成された少なくとも一つの推定話者画像５２を受信する推定話者画像受信ステップＳ２０１を実施する。
　本実施形態においては、通信部３１は、撮影収音装置１０から、撮影収音装置１０により生成された第１の切り出し画像９１と第２の切り出し画像９２を、推定話者画像５２として受信する。通信部３１は、この第１の切り出し画像９１と第２の切り出し画像９２を、表示処理部３２に送信する。
［表示処理ステップＳ２０２］
　操作用装置３０の表示処理部３２は、少なくとも一つの推定話者画像５２を表示装置３３に表示させる表示処理ステップＳ２０２を実施する。即ち、表示処理部３２は、複数の推定話者画像５２を取得している場合は、複数の推定話者画像５２を表示装置３３に表示させ、唯一の推定話者画像５２を取得している場合は、この唯一の推定話者画像５２を表示装置３３に表示させる。
　本実施形態においては、表示処理部３２は、第１の切り出し画像９１と、第２の切り出し画像９２を表示装置３３に表示させるとともに、参加者画像６０を合わせて表示させる。
　更に、本実施形態においては、参加者画像６０における第１の参加者６１の顔の位置に表示枠８１Ａを表示するとともに、第２の参加者６２の顔の位置に表示枠８２Ａを表示させる。
　なお、本実施形態においては、操作用装置３０が、推定話者画像５２として第１の切り出し画像９１、第２の切り出し画像９２を取得しているため、表示処理ステップＳ２０２において、この切り出し画像を表示装置３３に表示させている。しかし、操作用装置３０が、推定話者画像５２として、複数のカメラにより撮影された、各音源位置の方向の画像を推定話者画像５２として取得している場合は、この表示処理ステップＳ２０２において、各音源位置の方向の画像を表示装置３３に表示させる方法としてもよい。
［選択受付ステップＳ２０３］
　操作用装置３０の選択受付部３４は、少なくとも一つの推定話者画像５２の中から一つの推定話者画像５２の選択を受け付ける選択受付ステップＳ２０３を実施する。即ち、選択受付部３４が、複数の推定話者画像５２を取得している場合は、この複数の推定話者画像５２の中から、操作者の操作により、一つの推定話者画像５２の選択を受け付ける。選択受付部３４が、唯一の推定話者画像５２を取得している場合は、操作者はその唯一の推定話者画像５２に含まれる話者の声を強調して聞くか否かを判断し、選択受付部３４は、その操作者の判断に基づく選択操作を受け付ける。
　本実施形態においては、操作者が第１の参加者６１の声を強調させて聞きたいと判断し、第１の切り出し画像９１を選択したとする。選択受付部３４は、操作者の選択結果として、この第１の切り出し画像９１に関連付けられた音源位置情報、即ち、第１の参加者６１の顔の位置８１からの音声出力を強調する旨を指示する指向性制御信号生成部３５に送信する。
［指向性制御信号生成ステップＳ２０４］
　操作用装置３０の指向性制御信号生成部３５は、選択された推定話者画像５２に関する指向性制御信号５３を生成する指向性制御信号生成ステップＳ２０４を実施する。
　本実施形態においては、指向性制御信号生成部３５は、選択受付部３４より、第１の切り出し画像９１に関連付けられた音源位置情報として第１の参加者６１の顔の位置８１を受信しているため、この第１の参加者６１の顔の位置８１から発生されている音声信号５１の出力を強調することを指示する指向性制御信号５３を生成する。
　指向性制御信号生成部３５は、この指向性制御信号５３を、通信部３１を介して撮影収音装置１０に送信する。
［音声信号受信ステップＳ２０５］
　音声信号受信ステップＳ２０５は、上述した撮影収音装置１０の制御方法において、指向性制御信号受信ステップＳ１０６、指向性演算ステップＳ１０７が実施された後に、操作用装置３０において実施されるステップである。
　音声信号受信ステップＳ２０５において、操作用装置３０の通信部３１は、音声信号５１を受信する。
　本実施形態においては、通信部３１は、指向性演算部１６により、第１の参加者６１の顔の位置８１からの音声が強調された音声信号５１を受信する。
［再生処理ステップＳ２０６］
　操作用装置３０の再生処理部３６は、通信部３１から音声信号５１を取得し、音声信号５１の再生を再生装置４０に指示する再生処理ステップＳ２０６を実施する。
　本実施形態においては、再生処理部３６は、第１の参加者６１の顔の位置８１からの音声が強調された音声信号５１を取得し、この音声信号５１の再生を再生装置４０に指示する。
　このような制御方法により、参加者の顔が拡大された推定話者画像５２を用いて、操作者が強調して聞きたい話者を容易に選択することができる。
　また、本実施形態の制御方法によれば、音源位置情報生成ステップＳ１０３において、音源位置情報生成部１３が顔認識技術を併用することにより、収音部１１の指向性がそれほど高くない場合であっても、第１の範囲７１、第２の範囲７２に含まれる話者の顔の位置を特定することが可能となる。また、音源位置情報生成部１３は、予め音声信号５１の位相差により特定された第１の範囲７１内、第２の範囲７２内において顔認識を行うことができるため、効率よく話者の顔の位置を特定することができる。
［収音制御システム１００の制御方法］
　図１２は、本実施形態に係る収音制御システム１００の制御方法を示すフローチャートである。なお、各ステップについては、撮影収音装置１０の制御方法、操作用装置３０の制御方法において上述した通りであるため、その説明を省略する。
　図１２に示すように、収音制御システム１００の制御方法においては、撮影収音装置１０によって行われるステップと、操作用装置３０によって行われるステップとが混在している。撮影収音装置１０によって、音声信号生成ステップＳ１０１、参加者画像撮影ステップＳ１０２、音源位置情報生成ステップＳ１０３、推定話者画像生成ステップＳ１０４、推定話者画像送信ステップＳ１０５が実施された後、操作用装置３０によって、推定話者画像受信ステップＳ２０１、表示処理ステップＳ２０２、選択受付ステップＳ２０３、指向性制御信号生成ステップＳ２０４が実施される。その後、再度フローは撮影収音装置１０に戻り、撮影収音装置１０によって、指向性制御信号受信ステップＳ１０６、指向性演算ステップＳ１０７が実施され、その後、操作用装置３０により、音声信号受信ステップＳ２０５、再生処理ステップＳ２０６、が実施される。
　１０　撮影収音装置、１１　収音部、１２　撮影部、１３　音源位置情報生成部、１４　推定話者画像生成部、１５　操作用装置入力部、１６　指向性演算部、１７　制御部、１８　記憶部、２０　ネットワーク、３０　操作用装置、３１　通信部、３２　表示処理部、３３　表示装置、３４　選択受付部、３５　指向性制御信号生成部、３６　再生処理部、３７　タッチパネル、３８　制御部、３９　記憶部、４０　再生装置、５１　音声信号、５２　推定話者画像、５３　指向性制御信号、６０　参加者画像、６１　第１の参加者、６２　第２の参加者、７１　第１の範囲、７２　第２の範囲、８１　顔の位置、８２　顔の位置、８１Ａ　表示枠、８２Ａ　表示枠、９１　第１の切り出し画像、９２　第２の切り出し画像、１００　収音制御システム、Ｓ１０１　音声信号生成ステップ、Ｓ１０２　参加者画像撮影ステップ、Ｓ１０３　音源位置情報生成ステップ、Ｓ１０４　推定話者画像生成ステップ、Ｓ１０５　推定話者画像送信ステップ、Ｓ１０６　指向性制御信号受信ステップ、Ｓ１０７　指向性演算ステップ、Ｓ２０１　推定話者画像受信ステップ、Ｓ２０２　表示処理ステップ、Ｓ２０３　選択受付ステップ、Ｓ２０４　指向性制御信号生成ステップ、Ｓ２０５　音声信号受信ステップ、Ｓ２０６　再生処理ステップ。

Claims (19)

  1. 　複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成部と、
    　前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成部と、
    　を含む、撮影収音装置。
  2. 　複数の音声信号を取得し、複数の前記音声信号間の比較情報を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成部と、
    　前記音源位置情報を用いて、複数の推定話者に関する複数の推定話者画像を生成する推定話者画像生成部と、
    　を含む、撮影収音装置。
  3. 　前記音源位置情報生成部は、複数の前記音声信号間の前記比較情報を用いて前記音源位置が含まれる範囲を推定し、前記範囲内において前記顔認識を行うことにより、前記音源位置情報を生成する、
    　請求項１又は２に記載の撮影収音装置。
  4. 　前記比較情報は、複数の前記音声信号の位相差である、
    　請求項１乃至３のいずれか一つに記載の撮影収音装置。
  5. 　前記比較情報は、複数の前記音声信号のパワー比である、
    　請求項１乃至３のいずれか一つに記載の撮影収音装置。
  6. 　前記推定話者画像生成部は、前記推定話者画像として、前記参加者画像を加工して前記推定話者に関する切り出し画像を生成する、
    　請求項１乃至５のいずれか一つに記載の撮影収音装置。
  7. 　前記撮影部は、前記音源位置情報生成部により生成された前記音源位置情報に基づき、前記音源位置の方向の画像を撮影し、
    　前記推定話者画像生成部が、前記音源位置の方向の画像を前記推定話者画像として取得する、
    　請求項１乃至５のいずれか一つに記載の撮影収音装置。
  8. 　指向性制御信号を取得し、前記指向性制御信号に基づき前記音声信号を制御して出力する指向性演算部を更に含む、
    　請求項１乃至７のいずれか一つに記載の撮影収音装置。
  9. 　前記音源位置情報生成部は、前記音声信号を時間領域から周波数領域にフーリエ変換し、前記音声信号の内、人の音声に関する周波数領域に含まれる前記音声信号を抽出して、前記音源位置情報を生成する、
    　請求項１乃至８のいずれか一つに記載の撮影収音装置。
  10. 　前記音源位置情報生成部は、０．２ｋＨｚから４ｋＨｚまでの前記周波数領域に含まれる前記音声信号を抽出して、前記音源位置情報を生成する、
    　請求項９に記載の撮影収音装置。
  11. 　前記推定話者画像生成部は、前記音源位置情報と前記推定話者画像とを関連付けて、操作用装置に送信する、
    　請求項１乃至１０のいずれか一つに記載の撮影収音装置。
  12. 　音声の入力を受け付け、複数の前記音声信号を生成する収音部を更に備えた、
    　請求項１乃至１１のいずれか一つに記載の撮影収音装置。
  13. 　前記収音部は、複数のマイクロホンを有するアレイマイクを含む、
    　請求項１乃至１２のいずれか一つに記載の撮影収音装置。
  14. 　前記参加者画像を撮影する撮影部を更に備えた、
    　請求項１乃至１３のいずれか一つに記載の撮影収音装置。
  15. 　前記推定話者画像生成部は、前記参加者画像における前記推定話者画像に対応する位置情報と、前記推定話者画像と、を関連付けて、操作用装置に送信する、
    　請求項１乃至１４のいずれか一つに記載の撮影収音装置。
  16. 　前記推定話者画像生成部は、前記音源位置情報を用いて、複数の推定話者に関する複数の推定話者画像を生成する、
    　請求項１に記載の撮影収音装置。
  17. 　複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成部と、
    　前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成部と、
    　少なくとも一つの前記推定話者画像を表示装置に表示させる表示処理部と、
    　少なくとも一つの前記推定話者画像の中から一つの前記推定話者画像の選択を受け付ける選択受付部と、
    　選択された前記推定話者画像に関する前記指向性制御信号を生成する指向性制御信号生成部と、
    　を含む、収音制御システム。
  18. 　複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成ステップと、
    　前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成ステップと、
    　を含む、撮影収音装置の制御方法。
  19. 　複数の音声信号と、複数の参加者が表示された参加者画像と、を取得し、複数の前記音声信号間の比較情報と、前記参加者画像に対する顔認識と、を用いて音源位置を推定する音源位置情報を生成する音源位置情報生成ステップと、
    　前記音源位置情報を用いて、推定話者に関する推定話者画像を生成する推定話者画像生成ステップと、
    　少なくとも一つの前記推定話者画像を表示装置に表示させる表示処理ステップと、
    　少なくとも一つの前記推定話者画像の中から一つの前記推定話者画像の選択を受け付ける選択受付ステップと、
    　選択された前記推定話者画像に関する前記指向性制御信号を生成する指向性制御信号生成ステップと、
    　を含む、収音制御システムの制御方法。
     
     
PCT/JP2017/011382 2017-03-22 2017-03-22 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法 WO2018173139A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019506784A JP6835205B2 (ja) 2017-03-22 2017-03-22 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
PCT/JP2017/011382 WO2018173139A1 (ja) 2017-03-22 2017-03-22 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
US16/573,035 US11227423B2 (en) 2017-03-22 2019-09-17 Image and sound pickup device, sound pickup control system, method of controlling image and sound pickup device, and method of controlling sound pickup control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/011382 WO2018173139A1 (ja) 2017-03-22 2017-03-22 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/573,035 Continuation US11227423B2 (en) 2017-03-22 2019-09-17 Image and sound pickup device, sound pickup control system, method of controlling image and sound pickup device, and method of controlling sound pickup control system

Publications (1)

Publication Number Publication Date
WO2018173139A1 true WO2018173139A1 (ja) 2018-09-27

Family

ID=63584787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011382 WO2018173139A1 (ja) 2017-03-22 2017-03-22 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法

Country Status (3)

Country Link
US (1) US11227423B2 (ja)
JP (1) JP6835205B2 (ja)
WO (1) WO2018173139A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021072575A (ja) * 2019-10-31 2021-05-06 パナソニックＩｐマネジメント株式会社 音源表示システム及び音源表示装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862682B (zh) * 2023-01-03 2023-06-20 杭州觅睿科技股份有限公司 声音检测方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148132A (ja) * 2010-01-20 2010-07-01 Casio Computer Co Ltd 撮像装置、画像検出装置及びプログラム
JP2015159461A (ja) * 2014-02-25 2015-09-03 カシオ計算機株式会社 通信装置、通信システム、画像切り出し方法及びプログラム
JP2016146547A (ja) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 収音システム及び収音方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529234B2 (en) * 1996-10-15 2003-03-04 Canon Kabushiki Kaisha Camera control system, camera server, camera client, control method, and storage medium
JP4269883B2 (ja) * 2003-10-20 2009-05-27 ソニー株式会社 マイクロホン装置、再生装置及び撮像装置
JP4595364B2 (ja) * 2004-03-23 2010-12-08 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4872871B2 (ja) 2007-09-27 2012-02-08 ソニー株式会社 音源方向検出装置、音源方向検出方法及び音源方向検出カメラ
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
JP5246790B2 (ja) 2009-04-13 2013-07-24 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音データ処理装置、及び、プログラム
JP2012038131A (ja) * 2010-08-09 2012-02-23 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP5857674B2 (ja) * 2010-12-22 2016-02-10 株式会社リコー 画像処理装置、及び画像処理システム
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
JP2013104938A (ja) * 2011-11-11 2013-05-30 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8965270B2 (en) * 2012-12-04 2015-02-24 Revolabs, Inc. Audio system with centralized audio signal processing
JP5958833B2 (ja) * 2013-06-24 2016-08-02 パナソニックＩｐマネジメント株式会社 指向性制御システム
EP2879047A3 (en) * 2013-11-28 2015-12-16 LG Electronics Inc. Mobile terminal and controlling method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148132A (ja) * 2010-01-20 2010-07-01 Casio Computer Co Ltd 撮像装置、画像検出装置及びプログラム
JP2015159461A (ja) * 2014-02-25 2015-09-03 カシオ計算機株式会社 通信装置、通信システム、画像切り出し方法及びプログラム
JP2016146547A (ja) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 収音システム及び収音方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021072575A (ja) * 2019-10-31 2021-05-06 パナソニックＩｐマネジメント株式会社 音源表示システム及び音源表示装置

Also Published As

Publication number Publication date
JP6835205B2 (ja) 2021-02-24
US11227423B2 (en) 2022-01-18
US20200013209A1 (en) 2020-01-09
JPWO2018173139A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
US10848889B2 (en) Intelligent audio rendering for video recording
US9860486B2 (en) Communication apparatus, communication method, and communication system
JP4872871B2 (ja) 音源方向検出装置、音源方向検出方法及び音源方向検出カメラ
JP2015139162A (ja) 音響信号処理装置、動画撮影装置およびそれらの制御方法
JP2016146547A (ja) 収音システム及び収音方法
US10079996B2 (en) Communication system, communication device, and communication method
JP2005045779A (ja) オーディオ装置を管理する方法およびインタフェース・ツール、並びにオーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品
JP2013106298A (ja) 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置
JP2017085372A (ja) 通信システム、通信装置、通信方法およびプログラム
US20180158446A1 (en) Directionality control system and sound output control method
KR20220068894A (ko) 오디오 재생 방법 및 오디오 재생 장치, 전자 기기 및 저장 매체
CN114827517A (zh) 一种投影视频会议系统及视频投影方法
JP2007213282A (ja) 講演者支援装置および講演者支援方法
WO2018173139A1 (ja) 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
KR101976937B1 (ko) 마이크로폰 어레이를 이용한 회의록 자동작성장치
WO2011108377A1 (ja) 連携動作機器、連携動作方法、連携動作制御プログラム及び機器連携システム
RU2635838C2 (ru) Способ и устройство для звукозаписи
US11665391B2 (en) Signal processing device and signal processing system
JP7111202B2 (ja) 収音制御システム及び収音制御システムの制御方法
JP2007251355A (ja) 対話システム用中継装置、対話システム、対話方法
JP2017103641A (ja) 情報処理装置、会議システム、情報処理方法およびプログラム
WO2021090702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013183280A (ja) 情報処理装置、撮像装置、及びプログラム
JP2022054192A (ja) リモート会議システム、サーバ、写真撮影装置、音声出力方法、及びプログラム
EP2575362A1 (en) Multimodal mobile video telephony

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901545

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019506784

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17901545

Country of ref document: EP

Kind code of ref document: A1