WO2011027862A1 - 音声データ合成装置 - Google Patents

音声データ合成装置 Download PDF

Info

Publication number
WO2011027862A1
WO2011027862A1 PCT/JP2010/065146 JP2010065146W WO2011027862A1 WO 2011027862 A1 WO2011027862 A1 WO 2011027862A1 JP 2010065146 W JP2010065146 W JP 2010065146W WO 2011027862 A1 WO2011027862 A1 WO 2011027862A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
sound
data
frequency band
audio data
Prior art date
Application number
PCT/JP2010/065146
Other languages
English (en)
French (fr)
Inventor
英史 太田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN2010800387870A priority Critical patent/CN102483928B/zh
Priority to US13/391,951 priority patent/US20120154632A1/en
Publication of WO2011027862A1 publication Critical patent/WO2011027862A1/ja
Priority to US14/665,445 priority patent/US20150193191A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • the present invention relates to an audio data synthesizer including an imaging unit that captures an optical image by an optical system.
  • monaural audio data obtained from one microphone is more difficult to detect the position and direction in which the audio is generated than stereo audio obtained from two microphones. For this reason, when such audio data is reproduced on a multi-speaker, there is a problem that a sufficient acoustic effect cannot be obtained.
  • An aspect of the present invention provides an audio data synthesizing device that generates audio data capable of improving acoustic effects when audio data obtained by a microphone is reproduced on a multi-speaker in a small-sized device equipped with a microphone. For the purpose.
  • An audio data synthesis device captures an image of a target by an optical system and outputs image data; an audio data acquisition unit that acquires audio data; and For each channel of audio data to be output to the multi-speaker, a gain set for each channel and an audio data separation unit that separates the generated first audio data and second audio data other than the first audio data An audio data synthesis unit that synthesizes the first audio data and the second audio data, the gain and phase of which are controlled by a phase adjustment amount;
  • the audio data synthesizing device in the small device equipped with the microphone, when the audio data obtained by the microphone is reproduced on the multi-speaker, the audio data that can improve the acoustic effect is generated. can do.
  • FIG. 6 is a reference diagram for describing a moving image captured by an imaging apparatus according to an embodiment of the present invention. It is a flowchart for demonstrating an example of the method by which a pronunciation period is detected by the pronunciation period detection part contained in the audio
  • FIG. 9 is a reference diagram illustrating gains and phase adjustment amounts obtained in the example illustrated in FIG. 8.
  • FIG. 1 is a schematic perspective view showing an example of an imaging apparatus 1 including an audio data synthesizer according to an embodiment of the present invention.
  • the imaging device 1 is an imaging device that can capture moving image data, and is a device that continuously captures a plurality of image data as a plurality of frames.
  • the imaging apparatus 1 includes a photographic lens 101 a, an audio data acquisition unit 12, and an operation unit 13.
  • the operation unit 13 includes a zoom button 131 that receives an operation input from the user, a release button 132, and a power button 133.
  • the zoom button 131 receives an input of an adjustment amount for adjusting the focal length by moving the photographing lens 101a from the user.
  • the release button 132 accepts an input for instructing the start of optical image input and an input for instructing the end of the image input through the imaging lens 101a.
  • the power button 133 receives a power-on input for starting up the imaging apparatus 1 and a power-off input for cutting off the power of the imaging apparatus 1.
  • the audio data acquisition unit 12 is provided on the front surface of the imaging device 1 (that is, the surface to which the imaging lens 101a is attached), and acquires audio data of audio generated during shooting.
  • the direction is determined in advance, the positive direction of the X axis is left, the negative direction of the X axis is right, the positive direction of the Z axis is front, and the negative direction of the Z axis is rear. ing.
  • FIG. 2 is a block diagram for explaining an example of the configuration of the imaging apparatus 1.
  • the imaging apparatus 1 includes an imaging unit 10, a CPU (Central processing unit) 11, an audio data acquisition unit 12, an operation unit 13, an image processing unit 14, and a display unit 15.
  • a storage unit 16 a buffer memory unit 17, a communication unit 18, and a bus 19.
  • the imaging unit 10 includes an optical system 101, an imaging element 102, an A / D (Analog / Digital) conversion unit 103, a lens driving unit 104, and a photometric element 105, and sets imaging conditions (for example, an aperture value). , Exposure value, and the like), the optical image by the optical system 101 is formed on the image sensor 102, and image data based on the optical image converted into a digital signal by the A / D conversion unit 103 is generated.
  • the optical system 101 includes a zoom lens 101a, a focus adjustment lens (hereinafter referred to as an AF (Auto Focus) lens) 101b, and a spectral member 101c.
  • the optical system 101 guides the optical image that has passed through the zoom lens 101a, the AF lens 101b, and the spectral member 101c to the imaging surface of the image sensor 102.
  • the optical system 101 guides the optical image separated by the spectroscopic member 101 c between the AF lens 101 b and the image sensor 102 to the light receiving surface of the photometric element 105.
  • the imaging element 102 converts the optical image formed on the imaging surface into an electrical signal and outputs the electrical signal to the A / D conversion unit 103.
  • the image sensor 102 stores the image data obtained when a photographing instruction is received via the release button 132 of the operation unit 13 in the storage medium 20 as image data of a photographed moving image, and the CPU 11 and the display. To the unit 14.
  • the A / D conversion unit 103 digitizes the electrical signal converted by the image sensor 102 and outputs image data that is a digital signal.
  • the lens driving unit 104 includes a detecting unit that detects a zoom position that represents the position of the zoom lens 101a and a focus position that represents the position of the AF lens 101b, and a driving unit that moves the zoom lens 101a and the AF lens 101b.
  • the lens driving unit 104 outputs the zoom position and focus position detected by the detection unit to the CPU 11. Further, when a drive control signal is generated by the CPU 11 based on these pieces of information, the drive means of the lens drive unit 104 controls the positions of both lenses according to this drive control signal.
  • the photometric element 105 forms an optical image separated by the spectroscopic member 101 c on the light receiving surface, obtains a luminance signal representing the luminance distribution of the optical image, and outputs it to the A / D conversion unit 103.
  • the CPU 11 is a main control unit that comprehensively controls the imaging apparatus 1 and includes an imaging control unit 111.
  • the imaging control unit 111 receives the zoom position and the focus position detected by the detection unit of the lens driving unit 104, and generates a drive control signal based on these information. For example, when a face to be imaged is recognized by a sound generation period detection unit 210 described later, the imaging control unit 111 moves the lens driving unit 104 while moving the AF lens 101b so as to focus on the face to be imaged. Based on the focus position obtained by the above, the focal distance f from the focal point to the imaging surface of the imaging element 102 is calculated. The imaging control unit 111 outputs the calculated focal length f to the deviation angle detection unit 260 described later.
  • the CPU 11 starts imaging on the same time axis with respect to the image data continuously acquired by the imaging unit 10 and the audio data continuously acquired by the audio data acquiring unit 12.
  • the synchronization information indicating the elapsed time counted is added. Thereby, the audio data acquired by the audio data acquisition unit 12 and the image data acquired by the imaging unit 10 are synchronized.
  • the audio data acquisition unit 12 is, for example, a microphone that acquires audio around the imaging device 1, and outputs the acquired audio data to the CPU 11.
  • the operation unit 13 includes the zoom button 131, the release button 132, and the power button 133, and receives a user operation input when operated by the user, and outputs a signal to the CPU 11.
  • the image processing unit 14 refers to the image processing conditions stored in the storage unit 16 and performs image processing on the image data recorded in the storage medium 20.
  • the display unit 15 is, for example, a liquid crystal display, and displays image data obtained by the imaging unit 10, an operation screen, and the like.
  • the storage unit 16 stores information that is referred to when the gain and phase adjustment amount are calculated by the CPU 11 and information such as imaging conditions.
  • the buffer memory unit 17 temporarily stores the image data captured by the imaging unit 10 and the like.
  • the communication unit 18 is connected to a removable storage medium 20 such as a card memory, and performs writing, reading, or erasing of information on the storage medium 20.
  • the bus 19 is connected to the imaging unit 10, the CPU 11, the audio data acquisition unit 12, the operation unit 13, the image processing unit 14, the display unit 15, the storage unit 16, the buffer memory unit 17, and the communication unit 18. Each is connected, and the data output from each unit is transferred.
  • the storage medium 20 is a storage unit that is detachably connected to the imaging apparatus 1, and stores, for example, image data acquired by the imaging unit 10 and audio data acquired by the audio data acquisition unit 12. To do.
  • FIG. 3 is a block diagram showing an example of the configuration of the speech data synthesizer according to the present embodiment.
  • the audio data synthesis device includes an imaging unit 10, an audio data acquisition unit 12, an imaging control unit 111 included in the CPU 11, a pronunciation period detection unit 210, an audio data separation unit 220, and audio data.
  • a synthesis unit 230, a distance measurement unit 240, a deviation amount detection unit 250, a deviation angle detection unit 260, a multi-channel gain calculation unit 270, and a multi-channel phase calculation unit 280 are provided.
  • the sound generation period detection unit 210 detects a sound generation period in which sound is emitted from the imaging target based on the image data captured by the imaging unit 10, and outputs sound generation period information representing the sound generation period to the sound data separation unit 220.
  • the imaging target is a person
  • the sound generation period detection unit 210 performs face recognition processing on the image data, recognizes the face of the person who is the imaging target, and detects the mouth area of this face. The image data is further detected, and the period during which the mouth shape is changed is detected as the sound generation period.
  • the sound generation period detection unit 210 has a face recognition function, and detects an image region in which a human face is captured from the image data acquired by the imaging unit 10.
  • the pronunciation period detection unit 210 performs feature extraction processing on the image data acquired in real time by the imaging unit 10 to form a face such as a face shape, eye or nose shape and arrangement, and skin color.
  • the sound generation period detection unit 210 uses the obtained feature values and template image data representing a predetermined face (for example, information representing the shape of the face, the shape and arrangement of eyes and nose, the color of the skin, etc.) ) To detect the image area of the human face from the image data, and the image area where the mouth is located on this face.
  • the sound generation period detection unit 210 detects an image area of a human face from the image data
  • the sound generation period detection unit 210 generates pattern data representing a face based on the image data corresponding to the face, and based on the generated face pattern data Then, the face to be imaged moving within the image data is tracked.
  • the sound generation period detection unit 210 compares the image data of the image area where the detected mouth is located with the image data of a template representing a predetermined opening / closing state of the mouth to open / close the mouth to be imaged. Detect state. More specifically, the pronunciation period detection unit 210 includes a mouth opening template representing a state in which the person's mouth is open, a mouth closing template representing a state in which the person's mouth is closed, and the mouth opening template or mouth closing. A storage unit that stores therein a criterion for determining whether the mouth of the person is in an open state or a closed state based on a result of comparison between the template and the image data is provided.
  • the pronunciation period detection unit 210 refers to the storage unit, compares the image data of the image region where the mouth is located and the mouth open template, and determines whether or not the mouth is open based on the comparison result. . When it is in the open state, it is determined that the image data including the image region where the mouth is located is in the open state. Similarly, the sound generation period detection unit 210 determines whether or not it is in a closed state. If it is in the closed state, it determines that the image data including the image area where the mouth is located is in the closed state. The sound generation period detection unit 210 detects the amount of change in the open / close state of the image data obtained in this way in time series, for example, the open / close state continuously changes for a certain period or more. In this case, this period is detected as a sound generation period.
  • FIG. 4 is a schematic diagram for explaining the sound generation period detected by the sound generation period detection unit 210.
  • the sound generation period detection unit 210 compares the image data with the mouth-opening template and the mouth-closing template as described above. It is determined whether it is in an open state or a mouth-closed state. This determination result is shown in FIG. 4.
  • the imaging start time is 0 second
  • a t1 interval of 0.5 to 1.2 seconds a t2 interval of 1.7 to 2.3 seconds
  • 3 The image data changes between the mouth open state and the mouth closed state in the t3 interval of .5 to 4.3 seconds.
  • the sound generation period detection unit 210 detects each of the periods t1, t2, and t3 in which the change in the open / close state continues for a certain period or more as the sound generation period.
  • the sound data separation unit 220 separates into target sound data emitted from the imaging target and ambient sound data that is sound emitted from other than the target, based on the sound data acquired by the sound data acquisition unit 12. More specifically, the audio data separation unit 220 includes an FFT unit 221, an audio frequency detection unit 222, and an inverse FFT unit 223. Based on the pronunciation period information detected by the pronunciation period detection unit 210, the audio data separation unit 220 is an imaging target. The target voice data emitted from a certain person is separated from the voice data acquired from the voice data acquisition unit 12, and the remainder obtained by removing the target voice data from the voice data is used as ambient voice data.
  • FIGS. 5A to 5C are schematic diagrams showing frequency bands obtained by processing in the audio data separation unit 220.
  • the FFT unit 221 uses the sound data acquired by the sound data acquisition unit 12 based on the sound generation period information input from the sound generation period detection unit 210 as the sound data corresponding to the sound generation period and the sound data corresponding to other periods. And the Fourier transform is performed on each audio data. As a result, a sound generation period frequency band corresponding to a sound generation period as shown in FIG. 5A and a sound data outside sound generation period frequency band corresponding to a period other than the sound generation period as shown in FIG. 5B are obtained.
  • the sounding period frequency band and the sounding period outside frequency band are preferably based on sound data in the time domain in the vicinity of the time acquired by the sound data acquiring unit 12.
  • the sound data in the outer frequency band is generated from sound data other than the sound generation period immediately before or immediately after the sound generation period.
  • the FFT unit 221 outputs the sound generation period frequency band of the sound data corresponding to the sound generation period and the sound data outside frequency band of the sound data corresponding to the period other than the sound generation period to the sound frequency detection unit 222 and the sound generation period information.
  • the voice data corresponding to the period other than the sound generation period divided from the voice data acquired by the voice data acquisition unit 12 based on the above is output to the voice data synthesis unit 230.
  • the sound frequency detection unit 222 is based on the result of Fourier transform of the sound data obtained by the FFT unit 221, and the sound data generation period frequency band corresponding to the sound generation period and the sound data generation period corresponding to other periods
  • the external frequency band is compared, and the audio frequency band that is the frequency band of the imaging target during the sound generation period is detected. That is, the difference shown in FIG. 5C is detected by comparing the sound period frequency band shown in FIG. 5A with the frequency band outside the sound period shown in FIG. 5B and taking the difference between the two. This difference is a value that appears only in the sound generation period frequency band.
  • the audio frequency detection unit 222 rounds down a minute difference less than a certain value and detects a difference greater than a certain value. Therefore, this difference is considered to be a frequency band that occurs during a sound generation period in which the opening / closing state of the mouth portion of the imaging target is changing, and is a frequency band of sound that appears when the imaging target utters.
  • the audio frequency detection unit 222 detects the frequency band corresponding to this difference as the audio frequency band of the imaging target during the sound generation period.
  • 932 to 997 Hz is detected as this audio frequency band, and the other bands are detected as the surrounding frequency bands.
  • the sound frequency detection unit 222 performs a sound generation period frequency band corresponding to sound data of a sound generation period in a frequency region of a directional region (500 Hz or more) in which a human can recognize the direction of sound. And the frequency band outside the sounding period corresponding to the sound data other than the sounding period are compared. As a result, even if the sound of less than 500 Hz is included only in the sound generation period, it is possible to prevent the sound data in the frequency band of less than 500 Hz from being erroneously detected as the sound emitted from the imaging target. Can do.
  • the inverse FFT unit 223 extracts the audio frequency band obtained by the audio frequency detection unit 222 from the sound generation period frequency band in the sound generation period obtained by the FFT unit 221 and performs inverse Fourier transform on the extracted audio frequency band. And subject audio data is detected. In addition, the inverse FFT unit 223 performs the inverse Fourier transform on the remaining ambient frequency band obtained by removing the audio frequency band from the sound generation period frequency band, and detects the ambient audio data. More specifically, the inverse FFT unit 223 generates a band-pass filter that transmits the audio frequency band and a band elimination filter that transmits the surrounding frequency band.
  • the inverse FFT unit 223 extracts the sound frequency band from the sound generation period frequency band by this band pass filter, and extracts the surrounding frequency band from the frequency band outside the sound generation period by the band elimination filter, and performs inverse Fourier transform on each. Do.
  • the inverse FFT unit 223 outputs the ambient audio data and the target audio data obtained from the audio data during the sound generation period to the audio data synthesis unit 230.
  • the audio data synthesis unit 230 controls the gain and phase of the target audio data based on the gain and phase adjustment amount set for the channel, and the target audio data and the surrounding audio Combining with data.
  • FIG. 6 is a conceptual diagram for explaining an example of processing by the audio data synthesis unit 230.
  • the surrounding sound data separated from the sound data in the sound generation period frequency band by the sound data separation unit 220 and the target sound data are input to the sound data synthesis unit 230.
  • the audio data synthesis unit 230 controls only the target audio data, gain and phase adjustment amount, which will be described in detail later, and synthesizes the controlled target audio data and the uncontrolled ambient audio data, Restore audio data corresponding to the pronunciation period.
  • the audio data separation unit 220 converts the audio data corresponding to the sounding period restored as described above and the audio data corresponding to a period other than the sounding period input from the FFT unit 223 based on the synchronization information. Composite to series.
  • FIG. 7 is a schematic diagram for explaining the positional relationship between the subject and the optical image when the optical image of the subject is formed on the image sensor 102 via the optical system 101.
  • the distance from the subject to the focal point in the optical system 101 is the subject distance d
  • the distance from the focal point to the optical image formed on the image sensor 102 is the focal length f.
  • the optical image formed on the imaging element 102 passes through the focal point and is an axis perpendicular to the imaging surface of the imaging element 102 (hereinafter referred to as the center).
  • a shift angle ⁇ the angle formed by the line connecting the optical image P ′ of the person P formed at a position shifted from the central axis by the shift amount x and the focal point and the central axis.
  • the distance measuring unit 240 calculates the subject distance d from the subject to the focal point in the optical system 101 based on the zoom position and the focus position input from the imaging control unit 111.
  • the lens driving unit 104 moves the focus lens 101b in the optical axis direction to adjust the focus.
  • this distance measuring unit 240 The subject distance d is obtained.
  • the shift amount detection unit 250 shifts the face of the imaging target in the left-right direction of the subject from the central axis passing through the center of the imaging element 102 based on the position information of the face of the imaging target detected by the sound generation period detection unit 210.
  • the deviation amount x representing the deviation amount is detected.
  • the horizontal direction of the subject corresponds to the horizontal direction in the image data acquired by the image sensor 102 when the vertical and horizontal directions determined in the imaging device 1 are the same as the vertical and horizontal directions of the imaging target.
  • the angular velocity detection device provided in the imaging device 1 It may be obtained by calculating the left-right direction of the subject based on the displacement amount of the imaging device 1 obtained by the above, and calculating the left-right direction of the subject in the obtained image data.
  • the deviation angle detection unit 260 is based on the deviation amount x obtained from the deviation amount detection unit 250 and the focal length f obtained from the imaging control unit 111, and an optical image of the person P that is an imaging target on the imaging surface of the imaging element 102.
  • the shift angle ⁇ formed by the line connecting P ′ and the focal point and the central axis is detected.
  • the deviation angle detection unit 260 detects the deviation angle ⁇ using, for example, an arithmetic expression as shown in the following expression.
  • the multi-channel gain calculation unit 270 calculates the gain (amplification factor) of audio data for each channel of the multi-speaker based on the subject distance d calculated by the distance measurement unit 240.
  • the multi-channel gain calculation unit 270 gives a gain represented by the following equation to audio data output to speakers arranged before and after the user, for example, according to the channels of the multi-speaker.
  • Gf is a gain given to the front channel audio data output to the speaker arranged in front of the user
  • Gr is the rear channel audio data output to the speaker arranged behind the user. Is the gain given to.
  • k 1 and k 3 are effect coefficients that can emphasize a specific frequency
  • k 2 and k 4 represent effect coefficients for changing the sense of distance of a sound source having a specific frequency.
  • the multi-channel gain calculation unit 270 calculates Gf and Gr shown in Equations 2 and 3 using the effect coefficients of k 1 and k 3 for a specific frequency, and frequencies other than the specific frequency.
  • Gf and Gr in which the specific frequency is emphasized are calculated by calculating Gf and Gr shown in Equations 2 and 3 using an effect coefficient different from k 1 and k 3 for the specific frequency. be able to.
  • pseudo sound image localization is performed using a difference in sound pressure level, and localization is performed for a sense of distance ahead.
  • the multi-channel gain calculation unit 270 determines the front and rear channels (front channel and rear channel) based on the subject distance d based on the difference in sound pressure level between the front and rear channels of the imaging device 1 including the audio data synthesizer. ) Is calculated.
  • the multi-channel phase calculation unit 280 calculates the phase adjustment amount ⁇ t to be given to the sound data for each channel of the multi-speaker during the sound generation period based on the shift angle ⁇ detected by the shift angle detection unit 260.
  • the multi-channel phase calculation unit 280 gives a phase adjustment amount ⁇ t as shown by the following expression to audio data output to speakers arranged on the left and right sides of the user, for example, according to the channels of the multi-speaker.
  • ⁇ t R is a phase adjustment amount given to the audio data of the right channel output to the speaker arranged on the right side of the user
  • ⁇ t L is the left output to the speaker arranged on the left side of the user. This is the phase adjustment amount given to the audio data of the channel.
  • the left and right phase differences can be obtained by the equations 4 and 5, and the left and right shift times t R and t L (phases) corresponding to the phase differences can be obtained.
  • This performs pseudo sound image localization by time difference control, and utilizes left and right sound image localization. More specifically, a person can recognize whether the sound is heard from either the left or right direction due to the difference in the arrival time of the sound heard by the left and right ears according to the incident angle of the sound (Haas effect). ). In such a relationship between the incident angle of sound and the time difference between both ears, the sound incident from the front of the user (incident angle is 0 degree) and the sound incident from the side of the user (incident angle is 95 degrees) are approximately An arrival time lag of 0.65 ms occurs. However, the speed of sound V 340 m / sec.
  • Expressions 4 and 5 above are relational expressions between the deviation angle ⁇ that is the incident angle of sound and the time difference at which the sound is input to both ears. Are used to calculate phase adjustment amounts ⁇ t R and ⁇ t L to be controlled for each of the left and right channels.
  • FIG. 8 is a reference diagram for explaining a moving image captured by the imaging apparatus 1.
  • FIG. 9 is a flowchart for explaining an example of a method in which a sound generation period is detected by the sound generation period detection unit 210.
  • FIG. 10 is a flowchart for explaining an example of the audio data separation and synthesis method by the audio data separation unit 220 and the audio data synthesis unit 230.
  • FIG. 11 is a reference diagram showing gain and phase adjustment amount obtained in the example shown in FIG.
  • the imaging device 1 captures an imaging target P that approaches a position 2 near the screen from a position 1 at the back of the screen and acquires a plurality of continuous image data.
  • the imaging apparatus 1 is turned on when a power-on operation instruction is input by the user via the power button 133.
  • the imaging unit 10 starts imaging, converts an optical image formed on the imaging element 102 into image data, and generates a plurality of image data as continuous frames, Output to the pronunciation period detector 210.
  • the sound generation period detection unit 210 performs face recognition processing on the image data using a face recognition function to recognize the face of the imaging target P.
  • the sound generation period detection unit 210 further detects the image data of the mouth area in the face of the imaging target P, and compares the image data of the image area where the mouth is located with the mouth opening template and the mouth closing template. Based on the comparison result, it is determined whether or not the mouth is in an open state or a closed state (step ST1).
  • the sound generation period detection unit 210 detects a change amount in which the open / close state of the image data obtained in this way changes in time series. For example, the open / close state continuously changes for a certain period or more. If this is the case, this period is detected as a pronunciation period.
  • a period t11 in which the imaging target P is in the vicinity of position 1 and a period t12 in which the imaging target P is in the vicinity of position 2 are detected as sound generation periods.
  • the sounding period detection unit 210 outputs sounding period information representing the sounding periods t11 and t12 to the FFT unit 221.
  • the sound generation period detection unit 210 outputs the synchronization information given to the image data corresponding to the sound generation period as sound generation period information representing the detected sound generation periods t11 and t12.
  • the FFT unit 221 When receiving the sound generation period information, the FFT unit 221 specifies the sound data corresponding to the sound generation periods t11 and t12 among the sound data acquired by the sound data acquiring unit 12 based on the synchronization information that is the sound generation period information. Then, the sound data corresponding to the sound generation periods t11 and t12 is divided into sound data corresponding to the other periods, and Fourier transform is performed on the sound data in each period. Thereby, the sound generation period frequency band of the sound data corresponding to the sound generation periods t11 and t12 and the frequency band outside the sound generation period of the sound data corresponding to a period other than the sound generation period are obtained.
  • the audio frequency detection unit 222 corresponds to the sound generation period frequency band of the sound data corresponding to the sound generation periods t11 and t12 and other periods based on the result of the Fourier transform of the sound data obtained by the FFT unit 221.
  • the audio data is compared with the frequency band outside the sound generation period, and the sound frequency band that is the frequency band of the imaging target in the sound generation periods t11 and t12 is detected (step ST2).
  • the inverse FFT unit 223 extracts and separates the sound frequency band obtained by the sound frequency detection unit 222 from the sound generation period frequency bands in the sound generation periods t11 and t12 obtained by the FFT unit 221, and the separated sound Inverse Fourier transform is performed on the frequency band, and target audio data is detected. Further, the inverse FFT unit 223 performs inverse Fourier transform on the remaining ambient frequency band obtained by removing the audio frequency band from the sound generation period frequency band, and detects ambient audio data (step ST3). Then, the inverse FFT unit 223 outputs the surrounding audio data and the target audio data obtained from the audio data in the sound generation periods t11 and t12 to the audio data synthesis unit 230.
  • the imaging control unit 111 moves from the focal point to the imaging surface of the image sensor 102 based on the focus position obtained by the lens driving unit 104 while moving the AF lens 101b so as to focus on the face of the imaging target P. Is calculated. Then, the imaging control unit 111 outputs the calculated focal length f to the deviation angle detection unit 260.
  • step ST 1 when face recognition processing is performed by the sound generation period detection unit 210, the position information of the face of the imaging target P is detected by the sound generation period detection unit 210, and this position information is output to the deviation amount detection unit 250.
  • the deviation amount detection unit 250 represents a deviation that represents the distance that the image area corresponding to the face of the imaging target P is away from the central axis passing through the center of the imaging element 102 in the horizontal direction of the subject.
  • the quantity x is detected. That is, in the screen of the image data captured by the imaging unit 10, the distance between the image area corresponding to the face of the imaging target P and the center of the screen is the shift amount x.
  • the deviation angle detection unit 260 is based on the deviation amount x obtained from the deviation amount detection unit 250 and the focal length f obtained from the imaging control unit 111, and the optical image of the imaging target P on the imaging surface of the imaging element 102.
  • the shift angle ⁇ formed by the line connecting P ′ and the focal point and the central axis is detected.
  • the deviation angle detection unit 260 When the deviation angle detection unit 260 obtains the deviation angle ⁇ in this manner, the deviation angle detection unit 260 outputs the deviation angle ⁇ to the multi-channel phase calculation unit 280. Then, the multi-channel phase calculation unit 280 calculates the phase adjustment amount ⁇ t to be given to the sound data for each channel of the multi-speaker during the sound generation period, based on the shift angle ⁇ detected by the shift angle detection unit 260. That is, the multi-channel phase calculation unit 280, according to Equation 4, has a phase adjustment amount ⁇ t R given to the sound channel audio data output to the speakers FR (front right) and RR (back right) arranged on the right side of the user.
  • the multi-channel phase calculation unit 280 in accordance with Equation 5, gives the phase given to the audio data of the right channel output to the speaker FL (front left) and RR (rear left) arranged on the left side of the user.
  • the adjustment amount ⁇ t L is calculated, and ⁇ 0.1 ms is obtained as the phase adjustment amount ⁇ t L at position 1, and +0.2 ms is obtained as the phase adjustment amount ⁇ t L at position 2.
  • the values of the phase adjustment amounts ⁇ t R and ⁇ t L obtained in this way are shown in FIG.
  • the imaging control unit 111 outputs the focus position obtained by the lens driving unit 104 to the distance measurement unit 240 in the above-described focus adjustment.
  • the distance measurement unit 240 calculates the subject distance d from the subject to the focal point in the optical system 101 based on the focus position input from the imaging control unit 111 and outputs the subject distance d to the multi-channel gain calculation unit 270.
  • the multi-channel gain calculation unit 270 calculates the gain (amplification factor) of the audio data for each channel of the multi-speaker based on the subject distance d calculated by the distance measurement unit 240.
  • the multi-channel gain calculation unit 270 calculates the gain Gf given to the audio data of the front channel output to the speakers FR (front right side) and FL (front left side) arranged in front of the user according to Equation 2. As a gain Gf at position 1, 1.2 is obtained, and as a gain Gf at position 2, 0.8 is obtained. Similarly, the multi-channel gain calculation unit 270 gains given to the audio data of the rear channel output to the speakers RR (rear right side) and RL (rear left side) arranged behind the user according to Equation 3. Gr is calculated to obtain 0.8 as the gain Gr at position 1 and 1.5 as the gain Gr at position 2. The values of gains Gf and Gr obtained in this way are shown in FIG.
  • the gain obtained by the multichannel gain calculation unit 270 and the phase adjustment amount obtained by the multichannel phase calculation unit 280 are input to the audio data synthesis unit 230, the gain is output to the multi-speaker.
  • the gain and phase of the target audio data are controlled for each of the audio data channels FR, FL, RR, and RL (step ST4), and the target audio data and the surrounding audio data are synthesized (step ST5).
  • step ST4 the target audio data and the surrounding audio data
  • the sound data synthesizer detects a section in which the opening / closing state of the mouth to be imaged is continuously changing in the image data as a pronunciation period, and is acquired simultaneously with the image data. From the audio data, Fourier transform is performed on each of the audio data corresponding to this sound generation period and the sound data obtained in the time domain other than this sound generation period and in the vicinity of the sound generation period, The frequency band outside the pronunciation period was obtained. Then, the frequency band corresponding to the sound emitted from the imaging target in the sound generation period frequency band can be detected by comparing the sound generation period frequency band with the frequency band outside the sound generation period. Therefore, the gain and phase can be controlled with respect to the frequency band of the sound data corresponding to the sound emitted from the imaging target, and sound data that reproduces a pseudo acoustic effect can be generated.
  • the audio data synthesizer includes a multi-channel gain calculator 270.
  • the audio data synthesizer includes a multi-channel gain calculator 270.
  • a different gain is provided for each channel corresponding to the speaker.
  • the effect may not be obtained.
  • the audio data correction based on the phase adjustment amount ⁇ t obtained by the multi-channel phase calculation unit 280 may not be appropriate.
  • the multi-channel gain calculation unit 270 in addition to the multi-channel phase calculation unit 280 as described above, it is possible to solve the problem that cannot be solved by the multi-channel phase calculation unit 280 alone.
  • the audio data synthesizer may be configured to include at least one audio data acquisition unit 12 and to decompose audio data into at least two or more channels.
  • the audio data acquisition unit 12 is a stereo input audio (two channels) provided on the left and right, based on the audio data acquired from the audio data acquisition unit 12, four channels or 5.1 channels are provided. It can be set as the structure which produces
  • the FFT unit 221 performs a Fourier transform on the audio data for each microphone and for each of the audio data in the pronunciation period and the audio data other than the pronunciation period.
  • the sound generation period frequency band and the sound generation period outside frequency band are obtained from the sound data for each microphone.
  • the audio frequency detection unit 222 detects the audio frequency band for each microphone, and the inverse FFT unit 223 separately performs the inverse Fourier transform for each of the ambient frequency band and the audio frequency band for each microphone, and the ambient audio data And target audio data. Then, for each channel of audio data to be output to the multi-speaker, the audio data synthesizer 230 calculates the gain and phase by using the surrounding audio data of each microphone and the gain and phase adjustment amount set for the channel corresponding to the microphone. Is synthesized with the target audio data of each microphone for which control is performed.
  • an imaging device in order to realize a function that can be easily carried by a user and that captures a wide range of image data such as a moving image and a still image, the device is required to be downsized and mounted in the imaging device.
  • the space in the imaging device cannot be effectively used, and the size of the imaging device is hindered. Since the distance between the two microphones cannot be sufficient, the direction and position where the sound is generated cannot be detected sufficiently, and there is a problem that a sufficient acoustic effect cannot be obtained.
  • the distance between the photographer and the subject at the time of imaging can be reproduced in a pseudo manner using the sound pressure level difference with the above configuration. Therefore, it is possible to reproduce a sound with a sense of presence while effectively making space in the imaging apparatus.

Abstract

　この音声データ合成装置は、光学系による対象の像を撮像し、画像データを出力する撮像部（１０）と、音声データを取得する音声データ取得部（１２）と、前記音声データから前記対象の発生する第１音声データと、この第１音声データ以外の第２音声データとを分離する音声データ分離部（２２０）と、マルチスピーカへ出力する音声データのチャンネル毎に、このチャンネル毎に設定されたゲイン及び位相調整量により、ゲインと位相とを制御した前記第１音声データと前記第２音声データとを合成する音声データ合成部（２３０）と、を備える。

Description

音声データ合成装置
　本発明は、光学系による光学像を撮像する撮像部を備える音声データ合成装置に関する。
　本願は、２００９年９月４日に、日本に出願された特願２００９－２０４６０１号に基づき優先権を主張し、その内容をここに援用する。
　近年、撮像装置において、音声を録音するマイクを１つ搭載するものが知られている（例えば、下記特許文献１参照）。
特開２００５－２１５０７９号公報
　しかしながら、１つのマイクから得られたモノラルの音声データは、２つのマイクから得られるステレオの音声に比べて、音声が発生した位置や方向の検出が困難である。このため、このような音声データをマルチスピーカにおいて再生した場合、十分な音響効果が得られないという問題があった。
　本発明の態様は、マイクを搭載する小型装置において、マイクによって得られる音声データがマルチスピーカにおいて再生された場合に、音響効果を向上させることができる音声データを生成する音声データ合成装置を提供することを目的とする。
　本発明の一態様にかかる音声データ合成装置は、光学系による対象の像を撮像し、画像データを出力する撮像部と、音声データを取得する音声データ取得部と、前記音声データから前記対象の発生する第１音声データと、この第１音声データ以外の第２音声データとを分離する音声データ分離部と、マルチスピーカへ出力する音声データのチャンネル毎に、このチャンネル毎に設定されたゲイン及び位相調整量により、ゲインと位相とを制御した前記第１音声データと前記第2音声データとを合成する音声データ合成部とを備える。
　本発明の態様にかかる音声データ合成装置によれば、マイクを搭載する小型装置において、マイクによって得られる音声データがマルチスピーカにおいて再生された場合に、音響効果を向上させることができる音声データを生成することができる。
本発明の一実施形態に係る音声データ合成装置を含む撮像装置の一例を示す概略斜視図である。 図１に示す撮像装置の構成の一例を示すブロック図である。 本発明の一実施形態に係る音声データ合成装置の構成の一例を示すブロック図である。 本発明の一実施形態に係る音声データ合成装置に含まれる発音期間検出部によって検出される発音期間について説明する概略図である。 本発明の一実施形態に係る音声データ合成装置に含まれる音声データ分離部における処理によって得られる周波数帯域を示す概略図である。 本発明の一実施形態に係る音声データ合成装置に含まれる音声データ分離部における処理によって得られる周波数帯域を示す概略図である。 本発明の一実施形態に係る音声データ合成装置に含まれる音声データ分離部における処理によって得られる周波数帯域を示す概略図である。 本発明の一実施形態に係る音声データ合成装置に含まれる音声データ合成部による処理の一例を説明するための概念図である。 本発明の一実施形態に係る音声データ合成装置に含まれる光学系を介して被写体の光学像が撮像素子に形成される際の被写体と光学像の位置関係について説明する概略図である。 本発明の一実施形態に係る撮像装置が撮像した動画を説明するための参考図である。 本発明の一実施形態に係る音声データ合成装置に含まれる発音期間検出部によって発音期間が検出される方法の一例を説明するためのフローチャートである。 本発明の一実施形態に係る音声データ合成装置に含まれる音声データ分離部および音声データ合成部による音声データの分離と合成方法の一例を説明するためのフローチャートである。 図８に示す例において得られるゲインと位相調整量を示す参考図である。
　以下、図面を参照して、本発明の一実施形態に係る撮像装置について説明する。
　図１は、本発明の一実施形態に係る音声データ合成装置を含む撮像装置１の一例を示す概略斜視図である。なお、撮像装置１は、動画データを撮像可能な撮像装置であって、複数のフレームとして複数の画像データを連続して撮像する装置である。
　図１に示す通り、撮像装置１は、撮影レンズ１０１ａと、音声データ取得部１２と、操作部１３とを備える。また、操作部１３は、ユーザからの操作入力を受けつけるズームボタン１３１と、レリーズボタン１３２と、電源ボタン１３３とを含む。
　このズームボタン１３１は、撮影レンズ１０１ａを移動させて焦点距離を調整する調整量の入力をユーザから受け付ける。また、レリーズボタン１３２は、撮影レンズ１０１ａを介して入力される光学像の撮影の開始を指示する入力と、撮影の終了を指示する入力を受け付ける。さらに、電源ボタン１３３は、撮像装置１を起動させる電源オンの入力と、撮像装置１の電源を切断する電源オフの入力を受け付ける。
　音声データ取得部１２は、撮像装置１の前面（すなわち、撮像レンズ１０１ａが取り付けられている面）に設けられており、撮影時に発生している音声の音声データを取得する。なお、この撮像装置１においては予め方向が決められており、Ｘ軸の正方向が左、Ｘ軸の負方向が右、Ｚ軸の正方向が前、Ｚ軸の負方向が後と決められている。
　次に、図２を用いて、撮像装置１の構成例について説明する。図２は、撮像装置１の構成の一例を説明するためのブロック図である。
　図２に示すとおり、本実施形態に係る撮像装置１は、撮像部１０と、ＣＰＵ（ Central processing unit ）１１と、音声データ取得部１２と、操作部１３、画像処理部１４と、表示部１５と、記憶部１６と、バッファメモリ部１７と、通信部１８と、バス１９とを備える。
　撮像部１０は、光学系１０１と、撮像素子１０２と、Ａ/Ｄ（ Analog / Digital ）変換部１０３と、レンズ駆動部１０４と、測光素子１０５とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ１１により制御されて、光学系１０１による光学像を撮像素子１０２に結像させ、Ａ/Ｄ変換部１０３によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
　光学系１０１は、ズームレンズ１０１ａと、焦点調整レンズ（以下、ＡＦ（ Auto Focus ）レンズという）１０１ｂと、分光部材１０１ｃとを備える。光学系１０１は、ズームレンズ１０１ａ、ＡＦレンズ１０１ｂおよび分光部材１０１ｃを通過した光学像を撮像素子１０２の撮像面に導く。また、光学系１０１は、ＡＦレンズ１０１ｂと撮像素子１０２との間で分光部材１０１ｃによって分離された光学像を測光素子１０５の受光面に導く。
　撮像素子１０２は、撮像面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部１０３に出力する。
　また、撮像素子１０２は、操作部１３のレリーズボタン１３２を介して撮影指示を受け付けた際に得られる画像データを、撮影された動画の画像データとして、記憶媒体２０に記憶させるとともに、ＣＰＵ１１および表示部１４に出力する。
　Ａ/Ｄ変換部１０３は、撮像素子１０２によって変換された電気信号をデジタル化して、デジタル信号である画像データを出力する。
　レンズ駆動部１０４は、ズームレンズ１０１ａの位置を表わすズームポジション、およびＡＦレンズ１０１ｂの位置を表わすフォーカスポジションを検出する検出手段と、ズームレンズ１０１ａおよびＡＦレンズ１０１ｂを移動させる駆動手段とを有する。このレンズ駆動部１０４は、検出手段によって検出されたズームポジションおよびフォーカスポジションをＣＰＵ１１に出力する。さらに、これらの情報に基づきＣＰＵ１１によって駆動制御信号が生成されると、レンズ駆動部１０４の駆動手段は、この駆動制御信号に従って両レンズの位置を制御する。
　測光素子１０５は、分光部材１０１ｃで分離された光学像を受光面に結像させ、光学像の輝度分布を表わす輝度信号を得て、Ａ/Ｄ変換部１０３に出力する。
　ＣＰＵ１１は、撮像装置１を統括的に制御するメイン制御部であって、撮像制御部１１１を備える。
　撮像制御部１１１は、レンズ駆動部１０４の検出手段によって検出されたズームポジションおよびフォーカスポジションが入力され、これらの情報に基づき駆動制御信号を生成する。
　この撮像制御部１１１は、例えば、後に説明する発音期間検出部２１０によって撮像対象の顔が認識されると、撮像対象の顔にピントを合わせるようにＡＦレンズ１０１ｂを移動させながら、レンズ駆動部１０４によって得られたフォーカスポジションに基づき、焦点から撮像素子１０２の撮像面までの焦点距離ｆを算出する。なお、撮像制御部１１１は、この算出した焦点距離ｆを、後に説明するずれ角検出部２６０に出力する。
　また、ＣＰＵ１１は、連続して撮像部１０によって取得される画像データと、連続して音声データ取得部１２によって取得される音声データとに対して、互いに同じ時間軸において、撮像を開始した時からのカウントされる経過時間を表わす同期情報を付与する。これにより、音声データ取得部１２によって取得された音声データと、撮像部１０によって取得された画像データとは同期している。
　音声データ取得部１２は、例えば撮像装置１の周辺の音声を取得するマイクロフォンであって、取得した音声の音声データを、ＣＰＵ１１に出力する。
　操作部１３は、上述の通り、ズームボタン１３１と、レリーズボタン１３２と、電源ボタン１３３とを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１１に信号を出力する。
　画像処理部１４は、記憶部１６に記憶されている画像処理条件を参照して、記憶媒体２０に記録されている画像データに対して画像処理を行う。
　表示部１５は、例えば液晶ディスプレイであって、撮像部１０によって得られた画像データや、操作画面等を表示する。
　記憶部１６は、ＣＰＵ１１によってゲインや位相調整量が算出される際に参照される情報や、撮像条件等の情報を記憶する。
　バッファメモリ部１７は、撮像部１０によって撮像された画像データ等を、一時的に記憶する。
　通信部１８は、カードメモリ等の取り外しが可能な記憶媒体２０と接続され、この記憶媒体２０への情報の書込み、読み出し、あるいは消去を行う。
　バス１９は、撮像部１０と、ＣＰＵ１１と、音声データ取得部１２、操作部１３と、画像処理部１４と、表示部１５と、記憶部１６と、バッファメモリ部１７と、通信部１８とにそれぞれ接続され、各部から出力されたデータ等を転送する。
　記憶媒体２０は、撮像装置１に対して着脱可能に接続される記憶部であって、例えば、撮像部１０によって取得された画像データと、音声データ取得部１２によって取得された音声データとを記憶する。
　次に、本実施形態に係る音声データ合成装置について、図３を用いて説明する。図３は、本実施形態に係る音声データ合成装置の構成の一例を示すブロック図である。
　図３に示す通り、音声データ合成装置は、撮像部１０と、音声データ取得部１２と、ＣＰＵ１１に含まれる撮像制御部１１１と、発音期間検出部２１０と、音声データ分離部２２０と、音声データ合成部２３０と、距離測定部２４０と、ずれ量検出部２５０と、ずれ角検出部２６０と、多チャンネルゲイン算出部２７０と、多チャンネル位相算出部２８０とを備える。
　発音期間検出部２１０は、撮像部１０によって撮像された画像データに基づき、撮像対象から音声が発せられている発音期間を検出し、発音期間を表す発音期間情報を音声データ分離部２２０に出力する。
　本実施形態において、撮像対象は人物であって、この発音期間検出部２１０は、画像データに対して顔認識処理を行い、撮像対象である人物の顔を認識し、この顔における口の領域の画像データをさらに検出して、この口の形状が変化している期間を発音期間として検出する。
　具体的に説明すると、この発音期間検出部２１０は、顔認識機能を備え、撮像部１０によって取得された画像データの中から人物の顔が撮像されている画像領域を検出する。例えば、発音期間検出部２１０は、撮像部１０によってリアルタイムに取得される画像データに対して特徴抽出の処理を行い、顔の形、眼や鼻の形や配置、肌の色等の顔を構成する特徴量を抽出する。この発音期間検出部２１０は、これら得られた特徴量と、予め決められている顔を表すテンプレートの画像データ（例えば、顔の形、眼や鼻の形や配置、肌の色等を表わす情報）とを比較して、画像データの中から人物の顔の画像領域を検出するとともに、この顔において口が位置する画像領域を検出する。
　この発音期間検出部２１０は、画像データの中から人物の顔の画像領域を検出すると、この顔に対応する画像データに基づく顔を表わすパターンデータを生成し、この生成した顔のパターンデータに基づき、画像データ内を移動する撮像対象の顔を追尾する。
　また、発音期間検出部２１０は、検出された口が位置する画像領域の画像データと、予め決められている口の開閉状態を表すテンプレートの画像データとを比較して、撮像対象の口の開閉状態を検出する。
　より詳細に説明すると、発音期間検出部２１０は、人物の口が開いている状態を表す口開テンプレートと、人物の口が閉じている状態を表す口閉テンプレートと、これら口開テンプレートあるいは口閉テンプレートと画像データが比較された結果に基づき人物の口が開状態あるいは閉状態であることを判断する判断基準が記憶されている記憶部を内部に備えている。発音期間検出部２１０は、この記憶部を参照して、口が位置する画像領域の画像データと口開テンプレートとを比較して、比較結果に基づき口が開状態であるか否かを判断する。開状態である場合、この口が位置する画像領域を含む画像データを開状態であると判断する。同様にして、発音期間検出部２１０は、閉状態であるか否かを判断し、閉状態である場合、この口が位置する画像領域を含む画像データを閉状態であると判断する。
　発音期間検出部２１０は、このようにして得られた画像データの開閉状態が、時系列において変化している変化量を検出し、例えば、この開閉状態が一定期間以上継続して変化している場合、この期間を発音期間として検出する。
　これについて、図４を用いて、以下さらに詳細に説明する。図４は、発音期間検出部２１０によって検出される発音期間について説明する概略図である。
　図４に示す通り、各フレームに対応する複数の画像データが撮像部１０によって取得されると、発音期間検出部２１０によって上述の通り、口開テンプレートおよび口閉テンプレートと比較され、画像データが口開状態であるか、あるいは口閉状態であるかが判断される。この判断結果が図４に示されており、ここでは、撮像開始時点を０秒として、０．５～１．２秒間のｔ１区間と、１．７～２．３秒間のｔ２区間と、３．５～４．３秒間のｔ３区間において、画像データが、口開状態と口閉状態とに変化している。
　発音期間検出部２１０は、このように、この開閉状態の変化が一定期間以上継続しているｔ１、ｔ２、ｔ３のそれぞれの区間を発音期間として検出する。
　音声データ分離部２２０は、音声データ取得部１２によって取得された音声データに基づき、撮像対象から発せられる対象音声データと、この対象以外から発せられる音声である周囲音声データとに分離する。
　詳細に説明すると、音声データ分離部２２０は、ＦＦＴ部２２１と、音声周波数検出部２２２と、逆ＦＦＴ部２２３とを備え、発音期間検出部２１０によって検出された発音期間情報に基づき、撮影対象である人物から発せられる対象音声データを、音声データ取得部１２から取得された音声データから分離し、音声データから対象音声データが取り除かれた残りを周囲音声データとする。
　次に、この音声データ取得部１２の各構成について、図５Ａ～図５Ｃを用いて、以下詳細に説明する。図５Ａ～図５Ｃは、音声データ分離部２２０における処理によって得られる周波数帯域を示す概略図である。
　ＦＦＴ部２２１は、発音期間検出部２１０から入力される発音期間情報に基づき、音声データ取得部１２によって取得された音声データを、発音期間に対応する音声データとそれ以外の期間に対応する音声データに分割して、それぞれの音声データに対してフーリエ変換を行う。これにより、図５Ａに示すような発音期間に対応する音声データの発音期間周波数帯域と、図５Ｂに示すような発音期間以外の期間に対応する音声データの発音期間外周波数帯域とが得られる。
　なお、ここでの発音期間周波数帯域と発音期間外周波数帯域とは、音声データ取得部１２によって取得された時間の近傍の時間領域の音声データに基づくものであることが好ましく、ここでは、発音期間外周波数帯域の音声データとしては、発音期間の直前あるいは直後の発音期間以外の音声データから生成されている。
　ＦＦＴ部２２１は、発音期間に対応する音声データの発音期間周波数帯域と、発音期間以外の期間に対応する音声データの発音期間外周波数帯域とを音声周波数検出部２２２に出力するとともに、発音期間情報に基づき音声データ取得部１２によって取得された音声データから分割された発音期間以外の期間に対応する音声データを音声データ合成部２３０に出力する。
　音声周波数検出部２２２は、ＦＦＴ部２２１によって得られた音声データのフーリエ変換の結果に基づき、発音期間に対応する音声データの発音期間周波数帯域と、それ以外の期間に対応する音声データの発音期間外周波数帯域とを比較し、発音期間における撮像対象の周波数帯域である音声周波数帯域を検出する。
　つまり、図５Ａに示す発音期間周波数帯域と図５Ｂに示す発音期間外周波数帯域とを比較して、両者の差をとることで、図５Ｃに示す差分が検出される。この差分は、発音期間周波数帯域においてのみ出現している値である。なお、音声周波数検出部２２２は、両者の差をとるとき、一定値未満の微差については切り捨て、一定値以上の差分について検出するものとする。
　よって、この差分は、撮像対象の口の部分の開閉状態が変化している発音期間において発生する周波数帯域であって、撮像対象が発声することによって出現した音声の周波数帯域であると考えられる。
　音声周波数検出部２２２は、この差分に対応する周波数帯域を、発音期間における撮像対象の音声周波数帯域として検出する。ここでは、図５Ｃに示すように、９３２～９９７Ｈｚが、この音声周波数帯域として検出され、それ以外の帯域が周囲周波数帯域として検出される。
　ここで、撮像対象は人物であるため、音声周波数検出部２２２は、人間が音の方向を認識できる可指向領域（５００Ｈｚ以上）の周波数領域において、発音期間の音声データに対応する発音期間周波数帯域と、発音期間以外の音声データに対応する発音期間外周波数帯域の比較を行う。これにより、仮に発音期間にのみ５００Ｈｚ未満の音声が含まれている場合であっても、この５００Ｈｚ未満の周波数帯域の音声データを誤って撮像対象から発せられた音声として検出することを防止することができる。
　逆ＦＦＴ部２２３は、ＦＦＴ部２２１によって得られた発音期間における発音期間周波数帯域から、音声周波数検出部２２２によって得られた音声周波数帯域を取り出し、この取り出した音声周波数帯域に対して逆フーリエ変換を行い、対象音声データを検出する。また、逆ＦＦＴ部２２３は、発音期間周波数帯域から音声周波数帯域が取り除かれた残りである周囲周波数帯域に対しても逆フーリエ変換を行い周囲音声データを検出する。
　具体的に説明すると、逆ＦＦＴ部２２３は、音声周波数帯域を透過させる通過させるバンドパスフィルタと、周囲周波数帯域を通過させるバンドエリミネーションフィルタとを生成する。この逆ＦＦＴ部２２３は、このバンドパスフィルタにより音声周波数帯域を発音期間周波数帯域から抽出し、またバンドエリミネーションフィルタにより周囲周波数帯域を発音期間外周波数帯域から抽出して、それぞれに逆フーリエ変換を行う。この逆ＦＦＴ部２２３は、発音期間における音声データから得られた周囲音声データと対象音声データを、音声データ合成部２３０に出力する。
　音声データ合成部２３０は、マルチスピーカへ出力する音声データのチャンネル毎に、チャンネルに設定されたゲインおよび位相調整量に基づき対象音声データのゲインと位相とを制御し、この対象音声データと周囲音声データとを合成する。
　ここで、図６を用いて詳細に説明する。図６は、音声データ合成部２３０による処理の一例を説明するための概念図である。
　図６に示す通り、音声データ分離部２２０によって発音期間周波数帯域の音声データからそれぞれ分離された周囲音声データと、対象音声データとが音声データ合成部２３０に入力される。音声データ合成部２３０は、この対象音声データに対してのみ、後で詳細に説明するゲインおよび位相調整量を制御し、この制御された対象音声データと、制御されない周囲音声データとを合成し、発音期間に対応する音声データを復元する。
　また、この音声データ分離部２２０は、上述の通り復元された発音期間に対応する音声データと、ＦＦＴ部２２３から入力される発音期間以外の期間に対応する音声データとを、同期情報に基づき時系列に合成する。
　次に、図７を参照して、ゲインと位相の算出方法の一例について説明する。図７は、光学系１０１を介して被写体の光学像が撮像素子１０２に形成される際の被写体と光学像の位置関係について説明する概略図である。
　図７に示す通り、被写体から光学系１０１における焦点までの距離を被写体距離ｄ、この焦点から撮像素子１０２に形成される光学像までの距離を焦点距離ｆとする。光学系１０１の焦点から離れた位置に撮像対象である人物Ｐがある場合、撮像素子１０２に形成される光学像が、焦点を通り撮像素子１０２の撮像面に対して垂直な軸（以下、中心軸という）と直交する位置よりもずれ量ｘだけずれた位置に形成される。このように、ずれ量ｘだけ中心軸からずれた位置に形成される人物Ｐの光学像Ｐ´と焦点を結ぶ線と、中心軸とがなす角をずれ角θという。
　距離測定部２４０は、撮像制御部１１１から入力されるズームポジションおよびフォーカスポジションに基づき、被写体から光学系１０１における焦点までの被写体距離ｄを算出する。
　ここで、上述の通り撮像制御部１１１によって生成される駆動制御信号に基づき、レンズ駆動部１０４がフォーカスレンズ１０１ｂを光軸方向に動かしてピントを合わせるが、距離測定部２４０は、この「フォーカスレンズ１０１ｂの移動量」と「フォーカスレンズ１０１ｂの像面移動係数（γ）」との積が「∞から被写体位置までの像位置の変化量Δｂ」となる関係に基づき、この距離測定部２４０は、被写体距離ｄを求める。
　ずれ量検出部２５０は、発音期間検出部２１０によって検出された撮像対象の顔の位置情報に基づき、撮像素子１０２の中心を通過する中心軸から、被写体の左右方向に、撮像対象の顔がずれているずれ量を表すずれ量ｘを検出する。
　なお、被写体の左右方向とは、撮像装置１において決められている上下左右方向が、撮像対象の上下左右方向と同一である場合、撮像素子１０２によって取得される画像データにおける左右方向と一致する。一方、撮像装置１が回転されることによって、撮像装置１において決められている上下左右方向が、撮像対象の上下左右方向と同一とならない場合、例えば、撮像装置１に備えられている角速度検出装置等によって得られる撮像装置１の変位量に基づき、被写体の左右方向を算出し、得られた画像データにおける被写体の左右方向を算出して得られるものであってもよい。
　ずれ角検出部２６０は、ずれ量検出部２５０から得られるずれ量ｘと、撮像制御部１１１から得られる焦点距離ｆに基づき、撮像素子１０２の撮像面上の撮像対象である人物Ｐの光学像Ｐ´と焦点を結ぶ線と、中心軸とがなすずれ角θを検出する。
　このずれ角検出部２６０は、例えば、次式に示すような演算式を用いて、ずれ角θを検出する。
Figure JPOXMLDOC01-appb-M000001
　多チャンネルゲイン算出部２７０は、距離測定部２４０によって算出された被写体距離ｄに基づき、マルチスピーカのチャンネル毎の音声データのゲイン（増幅率）を算出する。
　この多チャンネルゲイン算出部２７０は、マルチスピーカのチャンネルに応じて、例えばユーザの前後に配置されるスピーカに出力される音声データに対して、次式で示すようなゲインを与える。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　なお、Ｇｆは、ユーザの前方に配置されるスピーカに出力されるフロントチャンネルの音声データに与えられるゲインであって、Ｇｒは、ユーザの後方に配置されるスピーカに出力されるリアチャンネルの音声データに与えられるゲインである。また、ｋ１とｋ３は、特定の周波数を強調できる効果係数であって、ｋ２とｋ４は、特定の周波数の音源の距離感を変えるための効果係数を表す。例えば、多チャンネルゲイン算出部２７０は、特定の周波数に対しては、ｋ１およびｋ３の効果係数を用いて式２、式３に示すＧｆ、Ｇｒを算出するとともに、特定の周波数以外の周波数に対しては、特定の周波数に対するｋ１やｋ３と異なる効果係数を用いて式２、式３に示すＧｆ、Ｇｒを算出することで、特定の周波数が強調されたＧｆ、Ｇｒを算出することができる。
　これは、音圧のレベル差を利用して擬似的な音像定位を行うものであり、前方の距離感に対して定位を行うものである。
　このように、多チャンネルゲイン算出部２７０は、被写体距離ｄを基に、音声データ合成装置を含む撮像装置１の前後のチャンネルの音圧のレベル差により、この前後のチャンネル（フロントチャンネルとリアチャンネル）のゲインを算出するものである。
　多チャンネル位相算出部２８０は、ずれ角検出部２６０によって検出されるずれ角θに基づき、発音期間におけるマルチスピーカのチャンネル毎の音声データに与える位相調整量Δｔを算出する。
　この多チャンネル位相算出部２８０は、マルチスピーカのチャンネルに応じて、例えばユーザの左右に配置されるスピーカに出力される音声データに対して、次式で示すような位相調整量Δｔを与える。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　なお、ΔｔＲは、ユーザの右側に配置されるスピーカに出力されるライトチャンネルの音声データに与えられる位相調整量であって、ΔｔＬは、ユーザの左側に配置されるスピーカに出力されるレフトチャンネルの音声データに与えられる位相調整量である。この式４、式５によって、左右の位相差を求め、この位相差に応じた左右のずれ時間ｔＲ、ｔＬ（位相）を求めることができる。
　これは、時間差制御による擬似的な音像定位を行うものであり、左右の音像定位を利用するものである。
　具体的に説明すると、人は音の入射角に応じて左右の耳で聴こえる音声の到達時間がずれていることによって、左右のいずれかの方向から聴こえているかを認識することができる（ハース効果）。このような音の入射角と両耳の時間差の関係において、ユーザの正面から入射する音声（入射角が０度）と、ユーザの真横から入射する音声（入射角が９５度）とでは、約０．６５ｍｓの到達時間のずれが生じる。但し、音速Ｖ＝３４０ｍ／秒とする。
　上述の式４、式５は、多チャンネル位相算出部２８０が、音の入射角であるずれ角θと音声が両耳に入力される時間差との関係式であって、この式４、式５を用いて、左右のチャンネル毎の制御する位相調整量ΔｔＲ、ΔｔＬを算出する。
　次に、図８～１１を用いて、本実施形態に係る音声データ合成装置を備える撮像装置１の音声データ合成方法の一例について説明する。
　図８は、撮像装置１が撮像した動画を説明するための参考図である。また、図９は、発音期間検出部２１０によって発音期間が検出される方法の一例を説明するためのフローチャートである。さらに、図１０は、音声データ分離部２２０および音声データ合成部２３０による音声データの分離と合成方法の一例を説明するためのフローチャートである。図１１は、図８に示す例において得られるゲインと位相調整量を示す参考図である。
　以下、撮像装置１が、図８に示すように、画面奥のポジション１から画面手前のポジション２に近づいてくる撮像対象Ｐを追尾しつつ撮像して、複数の連続した画像データを取得する例を説明する。
　撮像装置１は、電源ボタン１３３を介して電源オンの操作指示がユーザによって入力されると、電力が投入される。次いで、レリーズボタン１３２が押下されると、撮像部１０は、撮像を開始し、撮像素子１０２に結像した光学像を画像データに変換して、連続したフレームとして複数の画像データを生成し、発音期間検出部２１０に出力する。
　この発音期間検出部２１０は、この画像データに対して顔認識機能を用いて顔認識処理を行い、撮像対象Ｐの顔を認識する。そして、認識した撮像対象Ｐの顔を表わすパターンデータを作成し、このパターンデータに基づく同一人である撮像対象Ｐを追尾する。また、発音期間検出部２１０は、この撮像対象Ｐの顔における口の領域の画像データをさらに検出して、口が位置する画像領域の画像データと口開テンプレートおよび口閉テンプレートとを比較して、比較結果に基づき口が開状態であるか、あるいは閉状態であるか否かを判断する（ステップＳＴ１）。
　次いで、発音期間検出部２１０は、このようにして得られた画像データの開閉状態が、時系列において変化している変化量を検出し、例えば、この開閉状態が一定期間以上継続して変化している場合、この期間を発音期間として検出する。ここでは、撮像対象Ｐがポジション１付近にいる期間ｔ１１と、撮像対象Ｐがポジション２付近にいる期間ｔ１２が、発音期間であるとして検出される。
　そして、この発音期間検出部２１０は、発音期間ｔ１１、ｔ１２を表わす発音期間情報をＦＦＴ部２２１に出力する。この発音期間検出部２１０は、例えば、この発音期間に対応する画像データに付与されている同期情報を、検出された発音期間ｔ１１、ｔ１２を表わす発音期間情報として出力する。
　このＦＦＴ部２２１は、この発音期間情報を受信すると、発音期間情報である同期情報に基づき、音声データ取得部１２によって取得された音声データのうち、発音期間ｔ１１、ｔ１２に対応する音声データを特定して、この発音期間ｔ１１、ｔ１２に対応する音声データとそれ以外の期間に対応する音声データに分割して、それぞれの期間における音声データに対してフーリエ変換を行う。これにより、発音期間ｔ１１、ｔ１２に対応する音声データの発音期間周波数帯域と、発音期間以外の期間に対応する音声データの発音期間外周波数帯域とが得られる。
　そして、音声周波数検出部２２２が、ＦＦＴ部２２１によって得られた音声データのフーリエ変換の結果に基づき、発音期間ｔ１１、ｔ１２に対応する音声データの発音期間周波数帯域と、それ以外の期間に対応する音声データの発音期間外周波数帯域とを比較し、発音期間ｔ１１、ｔ１２における撮像対象の周波数帯域である音声周波数帯域を検出する（ステップＳＴ２）。
　次いで、逆ＦＦＴ部２２３が、ＦＦＴ部２２１によって得られた発音期間ｔ１１、ｔ１２における発音期間周波数帯域から、音声周波数検出部２２２によって得られた音声周波数帯域を取り出して分離し、この分離された音声周波数帯域に対して逆フーリエ変換を行い、対象音声データを検出する。また、逆ＦＦＴ部２２３は、発音期間周波数帯域から音声周波数帯域が取り除かれた残りである周囲周波数帯域に対しても逆フーリエ変換を行い周囲音声データを検出する（ステップＳＴ３）。
　そして、逆ＦＦＴ部２２３は、発音期間ｔ１１、ｔ１２における音声データから得られた周囲音声データと対象音声データを、音声データ合成部２３０に出力する。
　一方、図８に示すように、画面奥から画面手前に向かってくる撮像対象が撮像されると、撮像部１０によって取得された画像データが、ステップＳＴ１に説明した通り、発音期間検出部２１０に出力され、顔認識機能により撮像対象Ｐの顔が認識される。これにより、撮像制御部１１１は、撮像対象Ｐの顔にピントを合わせるようにＡＦレンズ１０１ｂを移動させながら、レンズ駆動部１０４によって得られたフォーカスポジションに基づき、焦点から撮像素子１０２の撮像面までの焦点距離ｆを算出する。そして、撮像制御部１１１は、この算出した焦点距離ｆを、ずれ角検出部２６０に出力する。
　また、ステップＳＴ１において、発音期間検出部２１０によって顔認識処理が行われると、発音期間検出部２１０によって撮像対象Ｐの顔の位置情報が検出され、この位置情報がずれ量検出部２５０に出力される。このずれ量検出部２５０は、この位置情報に基づき、撮像素子１０２の中心を通過する中心軸から、被写体の左右方向に、撮像対象Ｐの顔に対応する画像領域が離れている距離を表すずれ量ｘを検出する。つまり、撮像部１０によって撮像された画像データの画面内において、撮像対象Ｐの顔に対応する画像領域と画面中央との距離が、ずれ量ｘである。
　そして、ずれ角検出部２６０は、ずれ量検出部２５０から得られたずれ量ｘと、撮像制御部１１１から得られる焦点距離ｆに基づき、撮像素子１０２の撮像面上の撮像対象Ｐの光学像Ｐ´と焦点を結ぶ線と、中心軸とがなすずれ角θを検出する。
　ずれ角検出部２６０は、このようにしてずれ角θを得ると、多チャンネル位相算出部２８０にずれ角θを出力する。
　そして、多チャンネル位相算出部２８０は、ずれ角検出部２６０によって検出されるずれ角θに基づき、発音期間におけるマルチスピーカのチャンネル毎の音声データに与える位相調整量Δｔを算出する。
　つまり、多チャンネル位相算出部２８０は、式４に従って、ユーザの右側に配置されるスピーカＦＲ（前方右側）、ＲＲ（後方右側）に出力されるライトチャンネルの音声データに与えられる位相調整量ΔｔＲを算出し、ポジション１における位相調整量ΔｔＲとして、＋０．１ｍｓを、ポジション２における位相調整量ΔｔＲとして、－０．２ｍｓを得る。
　これと同様にして、多チャンネル位相算出部２８０は、式５に従って、ユーザの左側に配置されるスピーカＦＬ（前方左側）、ＲＲ（後方左側）に出力されるライトチャンネルの音声データに与えられる位相調整量ΔｔＬを算出し、ポジション１における位相調整量ΔｔＬとして、－０．１ｍｓを、ポジション２における位相調整量ΔｔＬとして、＋０．２ｍｓを得る。
　なお、このようにして得られた位相調整量ΔｔＲ、ΔｔＬの値を、図１１に示す。
　一方、撮像制御部１１１は、上述のピント調整において、レンズ駆動部１０４によって得られたフォーカスポジションを距離測定部２４０に出力する。
　この距離測定部２４０は、撮像制御部１１１から入力されるフォーカスポジションに基づき、被写体から光学系１０１における焦点までの被写体距離ｄを算出し、多チャンネルゲイン算出部２７０に出力する。
　そして、多チャンネルゲイン算出部２７０は、距離測定部２４０によって算出された被写体距離ｄに基づき、マルチスピーカのチャンネル毎の音声データのゲイン（増幅率）を算出する。
　つまり、多チャンネルゲイン算出部２７０は、式２に従って、ユーザの前方に配置されるスピーカＦＲ（前方右側）、ＦＬ（前方左側）に出力されるフロントチャンネルの音声データに与えられるゲインＧｆを算出し、ポジション１におけるゲインＧｆとして１．２を、ポジション２におけるゲインＧｆとして、０．８を得る。
　これと同様にして、多チャンネルゲイン算出部２７０は、式３に従って、ユーザの後方に配置されるスピーカＲＲ（後方右側）、ＲＬ（後方左側）に出力されるリアチャンネルの音声データに与えられるゲインＧｒを算出し、ポジション１におけるゲインＧｒとして０．８を、ポジション２におけるゲインＧｒとして１．５を得る。
　なお、このようにして得られたゲインＧｆ、Ｇｒの値を、図１１に示す。
　図１０に戻って、多チャンネルゲイン算出部２７０によって得られたゲインと、多チャンネル位相算出部２８０によって得られた位相調整量とが、音声データ合成部２３０に入力されると、マルチスピーカへ出力する音声データのチャンネルＦＲ、ＦＬ、ＲＲ、ＲＬ毎に、対象音声データのゲインと位相とが制御され（ステップＳＴ４）、この対象音声データと周囲音声データとが合成される（ステップＳＴ５）。これにより、チャンネルＦＲ、ＦＬ、ＲＲ、ＲＬ毎に、対象音声データのみゲインと位相が制御された音声データが生成される。
　上述の通り、本実施形態に係る音声データ合成装置は、画像データにおいて、撮像対象の口の開閉状態が継続的に変化している区間を発音期間として検出し、この画像データと同時に取得された音声データから、この発音期間に対応する音声データと、この発音期間以外であって発音期間の近傍の時間領域で取得された音声データとのそれぞれに対してフーリエ変換を行い、発音期間周波数帯域と発音期間外周波数帯域とを得るようにした。
　そして、発音期間周波数帯域と発音期間外周波数帯域とを比較することで、発音期間周波数帯域における撮像対象から発せられた音声に対応する周波数帯域を検出することができる。
　よって、撮像対象から発せられた音声に対応する音声データの周波数帯域に対してゲインと位相を制御することができ、擬似的な音響効果を再現する音声データを生成することができる。
　また、本実施形態に係る音声データ合成装置は、多チャンネル位相算出部２８０に加えて多チャンネルゲイン算出部２７０を備え、音声データにゲインを与えて補正することによって、被写体距離ｄに基づく前後のスピーカに対応するチャンネル毎に、異なるゲインを与えるようにした。これにより、スピーカから出力される音声を聴くユーザに対して、撮像時における撮像者と被写体との距離間を、音圧レベル差を利用して擬似的に再現することができる。
　仮に、予め擬似サラウンド効果の手法として前後スピーカの音声データの位相をずらして再生する手法を利用したサウンドシステムスピーカーでは、単に多チャンネル位相算出部２８０によって得られる位相調整量Δｔだけでは、充分な音響効果が得られない場合がある。また、被写体距離ｄによる頭部伝達関数の変化が小さい場合、多チャンネル位相算出部２８０によって得られる位相調整量Δｔに基づく音声データの補正が適切でない場合がある。このため、上述のように、多チャンネル位相算出部２８０に加えて多チャンネルゲイン算出部２７０を備えることによって、上述のような多チャンネル位相算出部２８０だけでは解決できない問題を解決することができる。
　なお、本実施形態に係る音声データ合成装置は、少なくとも１つの音声データ取得部１２を備え、少なくとも２つ以上の複数のチャンネルに音声データを分解する構成であればよい。例えば、音声データ取得部１２が左右に２つ備えているステレオ入力音声（２チャンネル）である場合、この音声データ取得部１２から取得された音声データに基づき、４チャンネルや、５．１チャンネルに対応する音声データを生成する構成とすることができる。
　例えば、音声データ取得部１２が複数のマイクを有する場合、ＦＦＴ部２２１が、マイク毎の音声データに対し、発音期間の音声データと、発音期間以外の音声データのそれぞれに対してフーリエ変換を行い、マイク毎の音声データから発音期間周波数帯域と発音期間外周波数帯域とを得る。
　また音声周波数検出部２２２が、マイク毎に音声周波数帯域を検出し、逆ＦＦＴ部２２３が、マイク毎に周囲周波数帯域および音声周波数帯域のそれぞれに対して、別々に逆フーリエ変換し、周囲音声データと、対象音声データとを生成する。
　そして、音声データ合成部２３０が、マルチスピーカへ出力する音声データのチャンネル毎に、各マイクの周囲音声データと、マイクに対応してチャンネルに設定されたゲイン及び位相調整量により、ゲインと位相とを制御した各マイクの対象音声データとを合成する。
　また、近年、撮像装置において、ユーザが手軽に携帯でき、かつ、動画や静止画等の幅広い画像データを撮影する機能を実現するため、装置の小型化が求められるとともに、撮像装置に搭載されている表示部をより大きくすることが求められている。
　ここで、仮に、音声の発する方向性を考慮して、２つのマイクを撮像装置に搭載した場合、撮像装置内のスペースの有効活用が図られず撮像装置の小型化を阻害する問題や、２つのマイクの間隔を十分にとることができないため音声の発生する方向や位置を十分に検出することができず、十分な音響効果が得られないという問題がある。しかし、本実施形態に係る撮像装置のように１つのマイクであっても、上記構成により、撮像時における撮像者と被写体との距離間を音圧レベル差を利用して擬似的に再現することができるため、撮像装置内のスペースを有効に図りつつ、臨場感のある音声を再現することができる。
　１　　　撮像装置
　１０　　撮像部
　１１　　ＣＰＵ
　１２　　音声データ取得部
　１３　　操作部
　１４　　画像処理部
　１５　　表示部
　１６　　記憶部
　１７　　バッファメモリ部
　１８　　通信部
　１９　　バス
　２０　　記憶媒体
　１０１　光学系
　１０２　撮像素子
　１０３　Ａ/Ｄ変換部
　１０４　レンズ駆動部
　１０５　測光センサ
　１１１　撮像制御部
　２１０　発音期間検出部
　２２０　音声データ分離部
　２２１　ＦＦＴ部
　２２２　音声周波数検出部
　２２３　逆ＦＦＴ部
　２３０　音声データ合成部
　２４０　距離測定部
　２５０　ずれ量検出部
　２６０　ずれ角検出部
　２７０　多チャンネルゲイン算出部
　２８０　多チャンネル位相算出部

Claims (12)

  1. 　光学系による対象の像を撮像し、画像データを出力する撮像部と、
    　音声データを取得する音声データ取得部と、
    　前記音声データから前記対象の発生する第１音声データと、この第１音声データ以外の第２音声データとを分離する音声データ分離部と、
    　マルチスピーカへ出力する音声データのチャンネル毎に、このチャンネル毎に設定されたゲイン及び位相調整量により、ゲインと位相とを制御した前記第１音声データと前記第２音声データとを合成する音声データ合成部と、
    を備えることを特徴とする音声データ合成装置。
  2. 　前記対象の像に対して焦点を合わせる位置に前記光学系を移動させる制御信号を出力するとともに、前記光学系と前記対象との位置関係を示す位置情報を得る撮像制御部と、
    　前記位置情報に基づき前記ゲインおよび前記位相調整量を算出する制御係数決定部と、をさらに備えることを特徴とする請求項１に記載の音声データ合成装置。
  3. 　前記制御係数決定部は、
    　前記位置情報に基づき前記対象までの被写体距離を測定する被写体距離測定部と、
    　前記撮像部の撮像面における中心からのずれ量を検出するずれ量検出部と、
    　前記ずれ量と前記撮像部における焦点距離とから、焦点を通り前記撮像面に対して垂直な軸と、前記焦点と前記撮像面上の前記対象の像とを結ぶ線とがなすずれ角を求めるずれ角検出部と、
    　前記ずれ角から前記チャンネル毎の音声データの前記位相調整量を求める多チャンネル位相算出部と、
    　前記被写体距離から前記チャンネル毎の音声データの前記ゲインを算出する多チャンネルゲイン算出部と、をさらに備える
    ことを特徴とする請求項１又は請求項２に記載の音声データ合成装置。
  4. 　前記多チャンネル位相算出部が、音の入射角である前記ずれ角と音声が両耳に入力される時間差との関係式から前記チャンネル毎の制御する前記位相調整量を算出する
    ことを特徴とする請求項３に記載の音声データ合成装置。
  5. 　前記多チャンネルゲイン算出部が、前記被写体距離を基に、音声データ合成装置の前後のチャンネルの音圧のレベル差により、このチャンネル毎のゲインを算出する
    ことを特徴とする請求項３又は請求項４に記載の音声データ合成装置。
  6. 　前記音声データ分離部が、
    　前記対象から音声が発生されている発音期間の前記音声データと、前記発音期間以外の期間の前記音声データとのフーリエ変換をそれぞれ行うＦＦＴ部と、
    　前記発音期間の周波数帯域と、前記発音期間以外の周波数帯域とを比較し、前記発音期間における前記対象の音声の周波数帯域である第１周波数帯域を検出する音声周波数検出部と、
    　前記発音期間における前記周波数帯域から、前記第１周波数帯域を取り出し、前記第１周波数帯域が取り除かれた第２周波数帯域と、前記第１周波数帯域とを別々に逆フーリエ変換し、前記第１音声データと、前記第2データとを生成する逆ＦＦＴ部と、を備える
    ことを特徴とする請求項１から請求項５のいずれか一項に記載の音声データ合成装置。
  7. 　前記対象から音声が発生されている前記発音期間を検出する発音期間検出部をさらに備え、
    　この発音期間検出部が、前記画像データに対する画像認識の処理により、前記対象の顔を認識し、この認識した顔における口の領域を検出し、この口の形状が変化している期間を、前記発音期間として検出する
    ことを特徴とする請求項１から請求項６のいずれか一項に記載の音声データ合成装置。
  8. 　前記発音期間検出部が、予め設定されている顔のテンプレートと比較することにより、前記認識した顔における口の位置を検出する
    ことを特徴とする請求項７に記載の音声データ合成装置。
  9. 　前記発音期間検出部が、前記顔のテンプレートにて前記口の領域を検出し、口が開かれている口開テンプレートと、口が閉じられている口閉テンプレートとを有し、口の開閉状態を、前記口の領域の画像と、前記口開テンプレート及び前記口閉テンプレートとを比較することにより、前記対象の口の開閉状態を検出する
    ことを特徴とする請求項８に記載の音声データ合成装置。
  10. 　前記音声周波数検出部が、前記第１周波数帯域を通過させるバンドパスフィルタ及び前記第２周波数帯域を通過させるバンドエリミネーションフィルタを生成し、
    　前記逆ＦＦＴ部が、前記バンドパスフィルタにより前記第１周波数帯域を前記周波数帯域から抽出し、また前記バンドエリミネーションフィルタにより前記第２周波数帯域を前記周波数帯域から抽出する
    ことを特徴とする請求項３から請求項９のいずれか一項に記載の音声データ合成装置。
  11. 　前記音声周波数検出部が、人間が音の方向を認識できる可指向領域の周波数領域において、前記発音期間の周波数帯域と、前記発音期間以外の周波数帯域の比較を行う
    ことを特徴とする請求項３から請求項１０のいずれか一項に記載の音声データ合成装置。
  12. 　前記音声取得部が、複数のマイクを備え、
    　前記ＦＦＴ部が、前記マイク毎の音声データに対し、前記発音期間の音声データと、前記発音期間以外の音声データとのフーリエ変換をそれぞれ行い、
    　前記音声周波数検出部が、前記マイク毎に前記第１周波数帯域を検出し、
    　前記逆ＦＦＴ部が、前記マイク毎に前記第１周波数帯域及び前記第２周波数帯域とを別々に逆フーリエ変換し、前記第１音声データと、前記第２音声データとを生成し、
    　前記音声データ合成部が、前記マルチスピーカへ出力する音声データのチャンネル毎に、前記各マイクの前記第２音声データと、前記マイクに対応して前記チャンネルに設定された前記ゲイン及び前記位相調整量により前記ゲインと前記位相とを制御した前記各マイクの前記第１音声データとを合成する
    ことを特徴とする請求項３から請求項１１のいずれか一項に記載の音声データ合成装置。
PCT/JP2010/065146 2009-09-04 2010-09-03 音声データ合成装置 WO2011027862A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2010800387870A CN102483928B (zh) 2009-09-04 2010-09-03 声音数据合成装置
US13/391,951 US20120154632A1 (en) 2009-09-04 2010-09-03 Audio data synthesizing apparatus
US14/665,445 US20150193191A1 (en) 2009-09-04 2015-03-23 Audio data synthesizing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-204601 2009-09-04
JP2009204601A JP5597956B2 (ja) 2009-09-04 2009-09-04 音声データ合成装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/391,951 A-371-Of-International US20120154632A1 (en) 2009-09-04 2010-09-03 Audio data synthesizing apparatus
US14/665,445 Continuation US20150193191A1 (en) 2009-09-04 2015-03-23 Audio data synthesizing apparatus

Publications (1)

Publication Number Publication Date
WO2011027862A1 true WO2011027862A1 (ja) 2011-03-10

Family

ID=43649397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/065146 WO2011027862A1 (ja) 2009-09-04 2010-09-03 音声データ合成装置

Country Status (4)

Country Link
US (2) US20120154632A1 (ja)
JP (1) JP5597956B2 (ja)
CN (1) CN102483928B (ja)
WO (1) WO2011027862A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011101110A (ja) * 2009-11-04 2011-05-19 Ricoh Co Ltd 撮像装置
JP5926571B2 (ja) * 2012-02-14 2016-05-25 川崎重工業株式会社 電池モジュール
US10194239B2 (en) * 2012-11-06 2019-01-29 Nokia Technologies Oy Multi-resolution audio signals
US9607609B2 (en) * 2014-09-25 2017-03-28 Intel Corporation Method and apparatus to synthesize voice based on facial structures
CN105979469B (zh) * 2016-06-29 2020-01-31 维沃移动通信有限公司 一种录音处理方法及终端
JP6747266B2 (ja) * 2016-11-21 2020-08-26 コニカミノルタ株式会社 移動量検出装置、画像形成装置および移動量検出方法
US10148241B1 (en) * 2017-11-20 2018-12-04 Dell Products, L.P. Adaptive audio interface
CN110970057B (zh) * 2018-09-29 2022-10-28 华为技术有限公司 一种声音处理方法、装置与设备
CN111050269B (zh) * 2018-10-15 2021-11-19 华为技术有限公司 音频处理方法和电子设备
US10820131B1 (en) 2019-10-02 2020-10-27 Turku University of Applied Sciences Ltd Method and system for creating binaural immersive audio for an audiovisual content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946798A (ja) * 1995-07-27 1997-02-14 Victor Co Of Japan Ltd 擬似ステレオ装置
JPH11176101A (ja) * 1997-12-15 1999-07-02 Nec Corp 疑似多チャンネルステレオ再生装置
JP2002354597A (ja) * 2001-03-22 2002-12-06 New Japan Radio Co Ltd 疑似ステレオ回路および疑似ステレオ装置
JP2003195883A (ja) * 2001-12-26 2003-07-09 Toshiba Corp 雑音除去装置およびその装置を備えた通信端末
JP2008197577A (ja) * 2007-02-15 2008-08-28 Sony Corp 音声処理装置、音声処理方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483532B1 (en) * 1998-07-13 2002-11-19 Netergy Microelectronics, Inc. Video-assisted audio signal processing system and method
JP4577543B2 (ja) * 2000-11-21 2010-11-10 ソニー株式会社 モデル適応装置およびモデル適応方法、記録媒体、並びに音声認識装置
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP4066737B2 (ja) * 2002-07-29 2008-03-26 セイコーエプソン株式会社 画像処理システム
KR100831187B1 (ko) * 2003-08-29 2008-05-21 닛본 덴끼 가부시끼가이샤 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템
JP2005311604A (ja) * 2004-04-20 2005-11-04 Sony Corp 情報処理装置及び情報処理装置に用いるプログラム
KR100636252B1 (ko) * 2005-10-25 2006-10-19 삼성전자주식회사 공간 스테레오 사운드 생성 방법 및 장치
US8848927B2 (en) * 2007-01-12 2014-09-30 Nikon Corporation Recorder that creates stereophonic sound
WO2008106680A2 (en) * 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946798A (ja) * 1995-07-27 1997-02-14 Victor Co Of Japan Ltd 擬似ステレオ装置
JPH11176101A (ja) * 1997-12-15 1999-07-02 Nec Corp 疑似多チャンネルステレオ再生装置
JP2002354597A (ja) * 2001-03-22 2002-12-06 New Japan Radio Co Ltd 疑似ステレオ回路および疑似ステレオ装置
JP2003195883A (ja) * 2001-12-26 2003-07-09 Toshiba Corp 雑音除去装置およびその装置を備えた通信端末
JP2008197577A (ja) * 2007-02-15 2008-08-28 Sony Corp 音声処理装置、音声処理方法およびプログラム

Also Published As

Publication number Publication date
JP2011055409A (ja) 2011-03-17
JP5597956B2 (ja) 2014-10-01
CN102483928A (zh) 2012-05-30
CN102483928B (zh) 2013-09-11
US20120154632A1 (en) 2012-06-21
US20150193191A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
JP5597956B2 (ja) 音声データ合成装置
US10142618B2 (en) Imaging apparatus and imaging method
US10721521B1 (en) Determination of spatialized virtual acoustic scenes from legacy audiovisual media
US20100302401A1 (en) Image Audio Processing Apparatus And Image Sensing Apparatus
KR101421046B1 (ko) 안경 및 그 제어방법
JP2006222618A (ja) カメラ装置、カメラ制御プログラム及び記録音声制御方法
US11671739B2 (en) Adjustment mechanism for tissue transducer
JP2009156888A (ja) 音声補正装置及びそれを備えた撮像装置並びに音声補正方法
JP2009147768A (ja) 映像音声記録装置および映像音声再生装置
JP7428763B2 (ja) 情報取得システム
JP2010154259A (ja) 画像音声処理装置
WO2018179623A1 (ja) 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
EP3812837B1 (en) Imaging apparatus
JP2018182751A (ja) 音処理装置および音処理プログラム
US11670321B2 (en) Audio visual correspondence based signal augmentation
JP2009130767A (ja) 信号処理装置
JP5638897B2 (ja) 撮像装置
JPWO2014155961A1 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
JP2010124039A (ja) 撮像装置
US20240098409A1 (en) Head-worn computing device with microphone beam steering
US11683634B1 (en) Joint suppression of interferences in audio signal
JP2013176049A (ja) カメラ、再生装置、および再生方法
JP2003264897A (ja) 音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム
JP2022106109A (ja) 音声認識装置、音声処理装置および方法、音声処理プログラム、撮像装置
JP5072714B2 (ja) 音声記録装置及び音声再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080038787.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10813809

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13391951

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10813809

Country of ref document: EP

Kind code of ref document: A1