WO2021020197A1 - 映像生成方法 - Google Patents

映像生成方法 Download PDF

Info

Publication number
WO2021020197A1
WO2021020197A1 PCT/JP2020/028072 JP2020028072W WO2021020197A1 WO 2021020197 A1 WO2021020197 A1 WO 2021020197A1 JP 2020028072 W JP2020028072 W JP 2020028072W WO 2021020197 A1 WO2021020197 A1 WO 2021020197A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
video
unit
sound
audio
Prior art date
Application number
PCT/JP2020/028072
Other languages
English (en)
French (fr)
Inventor
祐也 西尾
和田　哲
田中　康一
幸徳 西山
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021536957A priority Critical patent/JPWO2021020197A1/ja
Publication of WO2021020197A1 publication Critical patent/WO2021020197A1/ja
Priority to JP2024003291A priority patent/JP2024026741A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • the present invention relates to a video generation method.
  • audio different from the main audio may be recorded together.
  • Patent Document 1 includes a means for displaying the presence / absence or strength of wind noise, a means for manually selecting the presence / absence or strength of wind noise countermeasures, and a means for selecting the presence / absence of wind noise countermeasures even after recording.
  • a video camera is listed.
  • Patent Document 2 describes a video camera having a function of automatically reducing wind noise and allowing the operation of the function to be arbitrarily set.
  • One embodiment according to the technique of the present disclosure provides a video generation method capable of generating a video with audio in which a specific audio is emphasized or reduced.
  • a video generation method comprising a video generation step of associating and generating a second video.
  • the sound generation step is the image generation method of (1) in which the emphasized or reduced second sound is combined with the first sound to generate the third sound.
  • a strength setting step for setting the intensity of the second voice is further provided before the voice generation step, and the voice generation step synthesizes the second voice with the first voice with the strength set in the strength setting step.
  • the first voice contains a common component which is a voice component common to the second voice, and in the voice generation step, the second voice is used to perform a process of emphasizing or reducing the common component on the first voice.
  • Video generation method for generating a third sound is a common component which is a voice component common to the second voice, and in the voice generation step, the second voice is used to perform a process of emphasizing or reducing the common component on the first voice.
  • a processing condition setting step for setting processing conditions for common components is further provided before the voice generation step, and the voice generation step emphasizes or reduces common components according to the processing conditions set in the processing condition setting step.
  • the voice generation step performs a predetermined process on the first voice or the second voice when the movement is detected in the detection step.
  • the video generation method according to any one of (1) to (5), which generates the third audio.
  • the image of any one of (1) to (6) further including a first information acquisition step of acquiring the imaging information of the first image by the imaging unit and a first display step of displaying the imaging information. Generation method.
  • the imaging information includes at least one of motion information and focal length information of the imaging apparatus main body including the imaging unit.
  • a second information acquisition step of acquiring information of the sound collecting unit that collects the first sound and the second sound is further provided, and a second display step of displaying the information of the sound collecting unit is further provided (The image generation method according to any one of 1) to (8).
  • the second audio recording step is a video generation method according to any one of (1) to (9), which records the second audio in synchronization with the first video.
  • the video of (10) further comprising a second voice detection step of detecting the recorded timing of the second voice and an association step of associating the information detected in the second voice detection step with the first video. Generation method.
  • the second audio recording step is a video generation method according to any one of (1) to (11), in which the second audio is recorded before the video recording step.
  • the first voice recording step records the first voice through the first sound collecting unit, and the second voice recording step is the second sound collecting unit different from the first sound collecting unit.
  • the image generation method according to any one of (1) to (12), which records audio.
  • the second sound collecting unit has a directional sound collecting characteristic, and the second sound generation step detects the position of the sound source of the second sound and the second sound collecting unit in the direction of the detected sound source. (13) or (14) image generation method.
  • a block diagram showing a schematic configuration of an image pickup apparatus having a function of generating an image by using the image generation method according to the present invention Block diagram of the main functions realized by the CPU when recording video and audio Block diagram of the main functions realized by the CPU when playing back recorded video Block diagram of the main functions realized by the CPU when generating video with audio Block diagram of the function of the third voice generator Block diagram of the main functions realized by the CPU when generating video with audio Block diagram of the function of the third voice generator
  • Block diagram of the main functions realized by the CPU when recording video and audio Block diagram of the function of the third voice generation unit of the third embodiment The figure which shows the modification of the 3rd voice generation part of the 3rd Embodiment Block diagram of functions realized by the CPU when acquiring and recording imaging information and when displaying imaging information Block diagram of functions realized by the CPU when acquiring and recording microphone information and when displaying microphone information Block diagram of the function realized by the CPU when detecting and recording the timing when the second voice is recorded and when displaying the recorded information.
  • FIG. 1 is a block diagram showing a schematic configuration of an image pickup apparatus having a function of generating an image by using the image generation method according to the present invention.
  • the image pickup device 1 of the present embodiment records the first sound and the second sound in synchronization with the image pickup. Then, by processing the first sound using the second sound after imaging, a third sound containing the second sound with a predetermined intensity (voice level) is generated. Then, the generated third sound is associated with the image obtained by imaging (first image) to generate an image with sound (second image).
  • the imaging device 1 includes an imaging unit 10, a first audio input unit 12, a second audio input unit 14, a display unit 16, a storage unit 18, an audio output unit 20, an operation unit 22, and a CPU (Central).
  • the imaging unit 10 including a processing unit (24), a ROM (Read Only Memory) 26, a RAM (Random Access Memory) 28, and the like captures an image.
  • the image pickup unit 10 includes an image pickup optical system 10A, an image pickup element 10B, an image signal processing unit 10C, and the like.
  • the image pickup optical system 10A forms an image of a subject on a light receiving surface of the image pickup element 10B.
  • the image sensor 10B converts the image of the subject imaged on the light receiving surface of the image sensor 10A into an electric signal.
  • the image signal processing unit 10C performs predetermined signal processing on the signal output from the image sensor 10B to generate a video signal.
  • the first voice input unit 12 is an input unit for the main voice (first voice).
  • the first voice input unit 12 includes a first microphone 12A and a first voice signal processing unit 12B.
  • the first microphone 12A collects the first voice as the main voice. This first voice is a voice that does not include the second voice (including a case where a slight second voice is included).
  • the first microphone 12A is an example of the first sound collecting unit.
  • the first voice signal processing unit 12B performs predetermined signal processing on the signal from the first microphone 12A to generate the voice signal of the first voice.
  • the second voice input unit 14 is a (second voice) input unit of a specific voice to be synthesized with the main voice.
  • the second voice input unit 14 includes a second microphone 14A and a second voice signal processing unit 14B.
  • the second microphone 14A collects a second sound, which is a specific sound. This second voice is a voice that does not include the first voice (including the case where it is recognized that the first voice is not substantially contained).
  • the second microphone 14A is an example of the second sound collecting unit.
  • the second audio signal processing unit 14B performs predetermined signal processing on the signal from the second microphone 14A to generate an audio signal of the second audio.
  • the display unit 16 displays the image being captured by the imaging unit 10 in real time. In addition, the display unit 16 displays the reproduced video. In addition, the display unit 16 displays an operation screen, a menu screen, a message, and the like, if necessary.
  • the display unit 16 includes, for example, a display device such as an LCD (Liquid Crystal Display), a drive circuit thereof, and the like.
  • the storage unit 18 mainly stores the captured video and the collected sound.
  • the storage unit 18 includes, for example, a storage medium such as a non-volatile memory, a control circuit thereof, and the like.
  • the audio output unit 20 outputs the reproduced audio. Further, the voice output unit 20 outputs a warning sound or the like as needed.
  • the audio output unit 20 includes a speaker, a signal processing circuit that processes an audio signal output from the speaker, and the like.
  • the operation unit 22 receives an operation input from the user.
  • the operation unit 22 includes various operation buttons such as a recording button, a detection circuit for the operation, and the like.
  • the CPU 24 functions as a control unit for the entire device by executing a predetermined control program.
  • the CPU 24 controls the operation of each part based on the operation of the user, and controls the operation of the entire device in an integrated manner. Further, the CPU 24 functions as a video generation device that generates a video with audio by using the recorded video and audio by executing a predetermined program.
  • the CPU 24, which functions as a video generation device processes the recorded video and audio based on the user's operation, and generates a video with audio.
  • the ROM 26 stores various programs executed by the CPU 24, data necessary for control, and the like.
  • the RAM 28 provides the CPU 24 with a working memory space.
  • FIG. 2 is a block diagram of the main functions realized by the CPU when recording video and audio.
  • the CPU 24 functions as an image pickup control unit 101, a video output unit 102, a first video recording unit 103, a first audio recording unit 104, a second audio recording unit 105, and the like.
  • the image pickup control unit 101 controls the image pickup by the image pickup unit 10.
  • the image pickup control unit 101 controls the image pickup unit 10 so that an image is captured with an appropriate exposure based on the image signal obtained from the image pickup unit 10. Further, the image pickup control unit 101 controls the image pickup unit 10 so as to focus on the main subject based on the video signal obtained from the image pickup unit 10.
  • the video output unit 102 outputs the video captured by the imaging unit 10 to the display unit 16 in real time. As a result, the live view is displayed on the display unit 16.
  • the first video recording unit 103 records the video (first video) captured by the imaging unit 10 in the storage unit 18.
  • the first video recording unit 103 starts recording video in response to an instruction from the user.
  • the recording of the video is finished according to the instruction from the user.
  • the user instructs the start and end of recording via the operation unit 22.
  • the video (first video) is recorded in the storage unit 18 in association with the first voice and the second voice collected in synchronization with the imaging.
  • the first voice recording unit 104 records the first voice (main voice) input from the first voice input unit 12 in the storage unit 18 in synchronization with the imaging of the first video.
  • the first sound is recorded in the storage unit 18 in association with the first video.
  • the second voice recording unit 105 records the second voice (specific voice) input from the second voice input unit 14 in the storage unit 18 in synchronization with the imaging of the first video.
  • the second audio is recorded in the storage unit 18 in association with the first video.
  • FIG. 3 is a block diagram of the main functions realized by the CPU when playing back the recorded video. As shown in the figure, the CPU 24 functions as a video reproduction unit 111, an audio reproduction unit 112, and the like.
  • the video reproduction unit 111 reproduces the video recorded in the storage unit 18 on the display unit 16 in response to a reproduction instruction from the user.
  • the user uses the display unit 16 and the operation unit 22 to select a video to be reproduced and instruct the reproduction.
  • the video reproduction unit 111 reads the selected video from the storage unit 18 and reproduces it.
  • the audio reproduction unit 112 reproduces the audio in synchronization with the video when the audio is associated with the video.
  • the sound reproduction unit 112 synthesizes and reproduces the first sound and the second sound.
  • the reproduced voice is output from the voice output unit 20.
  • FIG. 4 is a block diagram of the main functions realized by the CPU when generating a video with audio.
  • the CPU 24 includes a first video acquisition unit 121, a first audio acquisition unit 122, a second audio acquisition unit 123, a third audio generation unit 124, an intensity setting unit 125, an image generation unit 126, and a second. It functions as a video recording unit 127 and the like.
  • the first video acquisition unit 121 reads the video (first video) selected by the user as the processing target from the storage unit 18 and acquires it.
  • the user selects the image to be processed by using the display unit 16 and the operation unit 22.
  • the acquired video data is added to the video generation unit 126.
  • the first audio acquisition unit 122 reads the data of the first audio (main audio) associated with the video selected as the processing target from the storage unit 18 and acquires it.
  • the acquired first voice data is added to the third voice generation unit 124.
  • the second audio acquisition unit 123 reads the second audio (specific audio) associated with the video selected as the processing target from the storage unit 18 and acquires it.
  • the acquired second voice data is added to the third voice generation unit 124.
  • the first voice acquisition unit 122 and the second voice acquisition unit 123 may directly acquire the corresponding voice data from the first voice input unit 12 and the second voice input unit 14 without going through the storage unit 18. ..
  • the image pickup device 1 may record audio data in an external storage unit instead of the storage unit 18 inside the device. In this case, the first voice acquisition unit 122 and the second voice acquisition unit 123 may acquire voice data from an external storage unit.
  • the third voice generation unit 124 processes the first voice using the second voice and generates the third voice.
  • the third voice is generated as a voice in which the second voice is included in the first voice with a predetermined intensity (voice level).
  • the predetermined strength is a strength set by the user.
  • FIG. 5 is a block diagram of the function of the third voice generation unit. As shown in the figure, the third voice generation unit 124 has the functions of the intensity adjusting unit 124A and the synthesis unit 124B.
  • the intensity adjusting unit 124A adjusts the intensity of the second voice according to the setting of the intensity setting unit 125.
  • the synthesis unit 124B synthesizes the second voice after adjusting the intensity with the first voice to generate the third voice.
  • a voice (third voice) containing the second voice with a predetermined intensity in the first voice is generated.
  • the generated third sound is also the sound synchronized with the video.
  • the generated third audio data is added to the video generation unit 126.
  • the intensity setting unit 125 sets the intensity (voice level) of the second voice when synthesizing with the first voice.
  • the strength setting unit 125 sets the strength based on the operation input from the operation unit 22. The user can emphasize or reduce the second voice with respect to the first voice by setting the intensity of the second voice via the operation unit 22.
  • the video generation unit 126 associates the video (first video) acquired by the first video acquisition unit 121 with the third audio generated by the third audio generation unit 124 to produce a video with audio (second video).
  • a video file and an audio file are containerized to generate a video file in a predetermined video format.
  • files such as AVI (Audio Video Interleave) and MP4 (MPEG-4 Part 14 (ISO / IEC 14496-14: 2003, ISO / IEC JTC 1)) are generated.
  • the second video recording unit 127 stores the video with audio (second video) generated by the video generation unit 126 in the storage unit 18.
  • imaging is performed, and the video, the first sound, and the second sound are recorded.
  • the image (first image) captured by the imaging unit 10 is recorded in the storage unit 18 (image recording step).
  • the first voice and the second voice are collected and recorded in the storage unit 18 (first voice recording step and second voice recording step).
  • the main voice is recorded in the first voice.
  • a specific voice is recorded in the second voice.
  • the "specific voice” here is a voice different from the main voice and is a voice included in the main voice.
  • the voice of the person when capturing an image of a person talking in a windy environment, the voice of the person can be recorded as the main voice, and the wind noise (the sound generated when the wind hits the microphone) can be recorded as a specific voice. ..
  • the voice of the person in the case of capturing an image of a person talking on the beach, the voice of the person can be recorded as the main voice and the sound of the waves can be recorded as a specific voice.
  • the strength (voice level) of the second voice when synthesizing the second voice with respect to the first voice is set (strength setting step).
  • the user sets the strength thereof via the operation unit 22. With this setting, the user can arbitrarily emphasize or reduce the second voice with respect to the first voice.
  • the first voice is processed using the second voice, and a third voice containing the second voice with a predetermined intensity is generated in the first voice (voice generation step).
  • the predetermined strength is the strength set in the above-mentioned strength setting step.
  • the second voice is adjusted to the intensity set by the user.
  • a second voice that is emphasized or reduced with respect to the first voice is generated.
  • the second voice after adjusting the intensity is synthesized with the first voice to generate the third voice.
  • a voice (third voice) containing the second voice with a predetermined intensity in the first voice is generated.
  • a voice (third voice) in which the wind sound is included in the main voice with a predetermined intensity is generated.
  • a voice (third voice) in which the sound of the wave is included in the main voice with a predetermined intensity is generated.
  • the video (first video) obtained by imaging is associated with the audio (third audio) generated in the audio generation step, and the video with audio (second video) is generated (video generation step).
  • a video with audio is generated in the above series of processes.
  • the generated video with audio is recorded in the storage unit 18.
  • the video generation method of the present embodiment by recording a specific sound (second sound) separately from the main sound (first sound), the specific sound can be separated and edited. As a result, it is possible to generate a video with audio according to the user's intention.
  • the second audio may be configured to be synthesized only in a specific section (section on the time axis) of the video.
  • the section to be combined is specified, and the second voice is combined with the first voice.
  • the section is specified, for example, the section to be combined while playing back the first video and the first audio.
  • the strength of the second voice when synthesizing with the first voice can be arbitrarily set by the user, but a plurality of predetermined strength settings (for example, it is possible to synthesize with a strength selected from (strongly reduced, weakly reduced, strongly emphasized, weakly emphasized).
  • the second audio does not necessarily have to be recorded in synchronization with the imaging of the first video.
  • the second voice may be recorded in advance or after the fact.
  • the first voice input unit 12 and the second voice input unit 14 perform filtering processing on the voice signal of the collected voice, if necessary. Is preferable. For example, it is preferable that the first voice input unit 12 performs a filtering process so that the main voice is clearly recorded. Similarly, it is preferable that the second voice input unit 14 performs a filtering process so that a specific voice is clearly recorded.
  • the first voice input unit 12 and the second voice input unit 14 use a microphone according to the purpose.
  • a microphone having a lower omnidirectional (preferably omnidirectional) sound collecting characteristic than the second microphone 14A is used for the first microphone 12A.
  • a microphone having a directional sound collecting characteristic for example, a gun microphone or the like.
  • the first microphone 12A and the second microphone 14A may have a configuration built in the main body of the image pickup apparatus 1 or an external configuration.
  • the voice including the second voice is recorded as the first voice. Then, using the second voice recorded separately from the first voice, a process of emphasizing or reducing the second voice is performed on the first voice to generate the third voice.
  • the basic configuration of the image pickup apparatus is the same as that of the first embodiment, and the functions realized by the CPU 24 are different.
  • FIG. 6 is a block diagram of the main functions realized by the CPU when generating a video with audio.
  • the CPU 24 includes a first video acquisition unit 121, a first audio acquisition unit 122, a second audio acquisition unit 123, a third audio generation unit 124, a processing condition setting unit 128, a video generation unit 126, and a first. 2 Functions as a video recording unit 127 or the like.
  • the functions of each unit except the third voice generation unit 124 and the processing condition setting unit 128 are substantially the same as those of the first embodiment. Therefore, here, only the functions of the third voice generation unit 124 and the processing condition setting unit 128 will be described.
  • FIG. 7 is a block diagram of the function of the third voice generation unit.
  • the voice including the second voice is recorded as the first voice.
  • the third voice generation unit 124 generates a third voice by performing a process of emphasizing or reducing a voice component (common component) common to the second voice on the first voice. Specifically, a voice component having the same frequency as the second voice is used as a common component, and the voice component having the same frequency as the second voice is processed under the processing conditions set by the user to generate the third voice. Therefore, the third voice generation unit 124 has the functions of the frequency detection unit 124C and the voice processing unit 124D.
  • the frequency detection unit 124C analyzes the data of the second voice and detects the frequency of the second voice.
  • the second voice is a specific voice in the first voice, which the user wants to emphasize or reduce. Similar to the first embodiment, the second voice is collected by the second microphone 14A. The information detected by the frequency detection unit 124C is added to the voice processing unit 124D.
  • the voice processing unit 124D acquires the frequency information of the second voice detected by the frequency detection unit 124C, processes the first voice under the processing conditions set by the processing condition setting unit 128, and generates the third voice. To do. That is, a voice component (common component) having the same frequency as the second voice is processed under the processing conditions set by the user to generate the third voice.
  • the processing condition setting unit 128 sets the processing conditions for processing the first voice. Specifically, the processing conditions (sound enhancement or reduction processing) of the common component, which is a sound component common to the second sound, are set.
  • the processing condition setting unit 128 sets the processing condition based on the operation input from the operation unit 22. The user can emphasize, reduce, or cancel the second voice included in the first voice by setting the processing conditions for processing the first voice via the operation unit 22.
  • imaging is performed, and the video, the first sound, and the second sound are recorded.
  • the image (first image) captured by the imaging unit 10 is recorded in the storage unit 18 (image recording step).
  • the first voice and the second voice are collected and recorded in the storage unit 18 (first voice recording step and second voice recording step).
  • the first voice is recorded with the voice including the second voice. That is, a voice containing a common component, which is a voice component common to the second voice, is recorded.
  • the second voice a specific voice in the first voice is recorded.
  • the "specific voice" here is a voice that the user wants to emphasize or reduce in the voice included in the first voice. For example, when capturing an image of a person talking in a windy environment, the wind noise can be recorded as a second voice. Alternatively, when capturing an image of a person talking on the beach, the sound of the waves can be recorded as the second sound.
  • processing condition setting process the processing conditions for the common components of the first voice when processing the first voice are set (processing condition setting process).
  • the user sets the processing conditions via the operation unit 22. With this setting, the user can arbitrarily emphasize, reduce, or cancel the second voice included in the first voice.
  • a process of emphasizing or reducing common components is performed on the first voice to generate a third voice (speech generation step).
  • the frequency of the second voice is detected.
  • a process of emphasizing or reducing the sound component of that frequency according to the processing conditions set in the processing condition setting step is performed on the first sound, and the third sound is generated.
  • a voice (third voice) containing or canceled the second voice included in the first voice with the intensity intended by the user is generated.
  • the first voice is recorded in an environment where the wind is blowing and the wind noise is recorded as the second voice, it is possible to generate a voice in which the wind noise is reduced or canceled.
  • the video (first video) obtained by imaging is associated with the audio (third audio) generated in the audio generation step, and the video with audio (second video) is generated (video generation step).
  • a video with audio is generated in the above series of processes.
  • the generated video with audio is recorded in the storage unit 18.
  • a specific sound (second sound) included in the main sound is recorded separately from the main sound (first sound), so that the specific sound is recorded. Can be separated and edited. As a result, it is possible to generate a video with audio according to the user's intention.
  • Modification Example of Generation of Third Audio The process of emphasizing, reducing, or canceling common components can be performed only in a specific section of the video. In this case, the process is performed by designating the section.
  • processing conditions for common components can be partially changed along the time axis.
  • the processing conditions for common components can be partially changed along the time axis.
  • the second audio does not necessarily have to be recorded in synchronization with the imaging of the first video.
  • the second voice may be recorded in advance or after the fact.
  • the sound of the environment to be edited in advance (wind sound, waterfall sound, construction sound, etc.) can be recorded as the second sound.
  • the sound of the environment to be edited may be recorded as a sample sound in advance, and the second sound may be created from the common components of the recording and the sample sound during the video recording process.
  • a representative one can be stored in the imaging device in advance as preset data.
  • the sound including the sound held as preset data is recorded together with the video, the sound can be emphasized or reduced to generate the sound.
  • the frequency data of the wind noise of the preset data is used to generate an image with audio that emphasizes or reduces the wind noise of the first audio. it can.
  • the preset data is recorded in, for example, the ROM 26 or the storage unit 18. The user selects audio data to be edited when generating a video.
  • the 1st voice input unit 12 and the 2nd voice input unit 14 collect sound as necessary. It is preferable to perform filtering processing on the voice signal of the voice. Further, it is preferable that the first voice input unit 12 and the second voice input unit 14 use a microphone according to the purpose.
  • the second sound may be configured to be collected by the first microphone 12A. That is, when the second voice is recorded before or after the fact, the second voice can be collected and recorded by using the first voice input unit 12. Therefore, when recording the second voice in advance or after the fact, the second voice input unit 14 is not required in the main body of the device.
  • the movement of the image pickup apparatus main body is detected during the recording of video and audio, and the information of the movement is added to generate the third audio.
  • FIG. 8 is a block diagram showing a schematic configuration of the image pickup apparatus of the present embodiment. As shown in the figure, the image pickup apparatus 1 of the present embodiment is different from the image pickup apparatus of the first and second embodiments in that it further includes a motion detection unit 30.
  • the motion detection unit 30 detects the motion of the image pickup apparatus main body including the image pickup unit 10.
  • the motion detection unit 30 detects the motion of the image pickup apparatus main body in synchronization with the imaging by the image pickup unit 10. That is, motion detection is started at the same time as the start of imaging, and detection is terminated at the same time as the end of imaging (motion detection step).
  • the motion detection unit 30 is composed of, for example, an acceleration sensor or the like.
  • the sensor used for shake detection or the like can be used as the motion detection sensor.
  • FIG. 9 is a block diagram of the main functions realized by the CPU when recording video and audio.
  • the CPU 24 functions as an image pickup control unit 101, a video output unit 102, a first video recording unit 103, a first audio recording unit 104, a second audio recording unit 105, a motion recording unit 106, and the like.
  • the functions of each unit except the motion recording unit 106 are substantially the same as those of the first embodiment.
  • the motion recording unit 106 records the motion information of the image pickup device main body detected by the motion detection unit 30 in the storage unit 18 in synchronization with the imaging of the first image.
  • the motion information is recorded in the storage unit 18 in association with the first video.
  • the motion information stored in the storage unit 18 is used to generate audio (third audio) associated with the video.
  • the third voice generation unit 124 generates the third voice by adding motion information.
  • the first voice is a voice that does not substantially include the second voice
  • the second voice is a voice that does not substantially include the first voice.
  • FIG. 10 is a block diagram of the function of the third voice generation unit of the present embodiment.
  • the third voice generation unit 124 of the present embodiment has the functions of the second voice processing unit 124E, the intensity adjusting unit 124A, and the synthesis unit 124B.
  • the functions of each unit except the second voice processing unit 124E are substantially the same as those of the first embodiment.
  • the second audio processing unit 124E acquires information on the movement of the image pickup device main body when the video and audio are recorded, and processes the second audio based on the movement information. Specifically, the second sound is processed according to predetermined processing conditions according to the movement of the image pickup apparatus main body. As an example, a case where a voice (third voice) including a wind noise (second voice) in the main voice (first voice) is generated will be described as an example. It is assumed that the second microphone 14A is composed of a pair of left and right microphones and is integrally provided in the image pickup apparatus main body. Therefore, in this case, the second microphone 14A moves integrally with the image pickup apparatus main body.
  • the second audio processing unit 124E performs a process of changing the intensity of the left and right audio according to the movement of the image pickup device main body. Specifically, the voice on the moving side is weakened. This makes it possible to appropriately process the wind noise that changes with the left and right microphones according to the movement of the image pickup apparatus main body. That is, since the wind noise of the moving microphone becomes stronger, it is possible to synthesize a sound that is balanced on the left and right by weakening it according to the movement.
  • the intensity adjusting unit 124A adjusts the intensity of the second voice after processing according to the setting of the intensity setting unit 125.
  • the synthesis unit 124B synthesizes the second voice after adjusting the intensity with the first voice to generate the third voice.
  • the second sound is automatically processed according to the movement of the image pickup apparatus main body to generate the third sound.
  • the influence of the movement of the image pickup apparatus main body can be automatically removed.
  • FIG. 11 is a block diagram of the function of the third voice generation unit of this example.
  • the third voice generation unit 124 of this example is the second embodiment in that the voice processing unit 124D processes the first voice based on the information of the movement of the image pickup apparatus main body. It is different from the third voice generation unit 124 of.
  • the audio processing unit 124D processes the first audio according to predetermined processing conditions according to the movement of the image pickup apparatus main body.
  • a sound (first sound) including a wind sound (second sound) in the main sound is recorded in synchronization with imaging
  • a sound (third sound) in which the wind sound is emphasized or reduced is generated.
  • the first voice is recorded with a wind sound (second voice) in addition to the main voice.
  • a wind noise is recorded in the second voice.
  • the frequency detection unit 124C analyzes the data of the second voice and detects the frequency of the second voice.
  • the voice processing unit 124D acquires the frequency information of the second voice detected by the frequency detection unit 124C and the motion information of the image pickup apparatus main body, and obtains the processing conditions and the motion information set by the processing condition setting unit 128.
  • the first voice is processed in combination to generate the third voice. For example, consider a case where video and audio are recorded while moving in an environment in which wind noise (second audio) is included in the main audio (first audio) and recorded. The loudness of the wind noise (second voice) changes according to the moving speed.
  • the audio processing unit 124D corrects the preset intensity setting or changes the frequency of the processing target (frequency of the common component) according to the moving speed (movement) of the image pickup apparatus main body.
  • the target audio second audio
  • the target audio second audio
  • the user's setting is to reduce the wind noise (second sound) a little
  • the scene recognized as having a high moving speed of the image pickup device body greatly reduces the wind noise as compared with other scenes.
  • the image capture information of the image is acquired and recorded in the storage unit 18.
  • the recorded imaging information is used when generating an image with sound (second image). Specifically, it is displayed on the display unit 16 when generating a video with audio. The user uses the information displayed on the display unit 16 to specify a section (scene) for editing the sound.
  • the imaging information is information related to imaging of an image. For example, information on the focal length when an image is captured, information on the subject distance, information on exposure, and the like are included. Further, when the imaging device has a function of detecting the movement of the imaging device main body, information on the movement of the imaging device main body during imaging is also included.
  • FIG. 12 is a block diagram of a function realized by the CPU when acquiring and recording the imaging information and when displaying the imaging information. As shown in the figure, the CPU 24 functions as an image pickup information acquisition unit 131, an image pickup information recording unit 132, and an image pickup information display unit 133.
  • the imaging information acquisition unit 131 acquires the imaging information of the first image in synchronization with the imaging of the first image by the imaging unit 10.
  • the imaging information information on the subject distance, information on the focal length, information on the movement of the imaging device (for example, the output of the acceleration sensor), and the like are acquired.
  • the image pickup information recording unit 132 records the image pickup information acquired by the image pickup information acquisition unit 131 in the storage unit 18.
  • the imaging information is recorded in association with the image (first image).
  • the imaging information display unit 133 acquires imaging information from the storage unit 18 based on the operation input from the operation unit 22, and displays it on the display unit 16. For example, the imaging information is displayed in chronological order.
  • Generation of a video with syllables using the imaging device of the present embodiment is performed, for example, as follows.
  • the first image is captured by the imaging unit 10 and recorded in the storage unit 18 (video recording process).
  • the imaging information of the first image is acquired in synchronization with the imaging (first information acquisition step), and is recorded in the storage unit 18 in association with the first image.
  • the first sound and the second sound are collected in synchronization with the imaging and recorded in the storage unit 18 in association with the first video (first sound recording step and second sound recording step).
  • a video with audio (second video) is generated using the recorded first video, first audio, and second audio.
  • the imaging information of the first image is read from the storage unit 18 and displayed on the display unit 16 (first display step).
  • the imaging information is displayed in chronological order of the first image. By displaying this imaging information, it is possible to easily identify the location where audio editing is required.
  • the user identifies a place where the second voice is synthesized or a place where the second voice is edited (a place where the second voice is emphasized, reduced, or canceled) via the operation unit 22. Instructs the generation of a video with audio (second video).
  • the first audio is processed using the second audio based on the operation input from the operation unit 22, and the third audio is generated (audio generation step). Then, the generated third audio and the first video are associated with each other, and a video with audio (second video) is generated (video generation step).
  • the imaging information of the first video is acquired and recorded.
  • the imaging information of the first video is acquired and recorded.
  • the use of the acquired imaging information is not limited to the above example.
  • a part where the movement of the image pickup device is large a part where the movement is equal to or more than the threshold value
  • a part where the movement of the subject is large (a part where the fluctuation of the subject distance is equal to or more than the threshold value), etc.
  • the audio editing method can be automatically changed by using the imaging information.
  • the intensity to be reduced can be automatically changed based on the imaging information (the intensity is changed to the part where the movement of the image pickup device is large, the part where the movement of the subject is large, etc.). .. Further, for example, it is possible to detect a part requiring a voice editing method by using the imaging information and automatically find the part.
  • the information of the first microphone 12A that collects the first sound and the second microphone 14A that collects the second sound is acquired and recorded in the storage unit 18.
  • the recorded information of the first microphone 12A and the second microphone 14A is used when generating a video with audio (second video). Specifically, it is displayed on the display unit 16 when generating a video with audio.
  • the user sets the intensity of the second voice by using the information displayed on the display unit 16.
  • the microphone information includes, for example, information on the presence / absence of a windshield, information on the type of windshield (sponge type, fur type, basket type, etc.) when a windshield is provided, information on the presence / absence of directivity, and the like. is there.
  • the microphone information includes information on various performance elements of the microphone (for example, information on the directional characteristics of the microphone (information on changes in sensitivity with respect to the direction in which sound arrives), and information on frequency characteristics (sensitivity depends on the pitch of sound). Information on how it changes), maximum sound pressure level (the loudest sound level that the microphone can pick up), equivalent noise level (input conversion noise level) information, output impedance information, open circuit sensitivity information Etc.) etc. can also be included.
  • the information of the first microphone 12A and the second microphone 14A is input to the image pickup apparatus 1 by the user via the operation unit 22.
  • the CPU 24 stores the information of the first microphone 12A and the second microphone 14A input via the operation unit 22 into the storage unit 18. Further, when generating an image with sound, the information of the first microphone 12A and the second microphone 14A recorded in the storage unit 18 is displayed on the display unit 16.
  • FIG. 13 is a block diagram of functions realized by the CPU when acquiring and recording microphone information and when displaying microphone information.
  • the CPU 24 functions as a microphone information acquisition unit 141, a microphone information recording unit 142, and a microphone information display unit 143.
  • the microphone information acquisition unit 141 acquires the information of the first microphone 12A and the second microphone 14A. As described above, the information of the first microphone 12A and the second microphone 14A is input by the user via the operation unit 22. The user inputs information such as the presence / absence of a windshield, the type of windshield (sponge type, fur type, basket type, etc.) when the windshield is provided, and the presence / absence of directivity for the first microphone 12A and the second microphone 14A. To do.
  • the microphone information recording unit 142 records the information of the first microphone 12A and the second microphone 14A acquired by the microphone information acquisition unit 141 in the storage unit 18.
  • the information of the first microphone 12A and the second microphone 14A is recorded in association with the video (first video).
  • the microphone information display unit 143 acquires the information of the first microphone 12A and the second microphone 14A from the storage unit 18 based on the operation input from the operation unit 22, and displays the information on the display unit 16.
  • the generation of an image with audio using the imaging device of the present embodiment is performed as follows.
  • the first image is captured by the imaging unit 10 and recorded in the storage unit 18 (video recording process). Further, the first sound and the second sound are collected in synchronization with the imaging and recorded in the storage unit 18 in association with the first video (first sound recording step and second sound recording step). Further, the information of the first microphone 12A and the second microphone 14A used at the time of imaging is input (second information acquisition step) and recorded in the storage unit 18.
  • a video with audio (second video) is generated using the recorded first video, first audio, and second audio.
  • the information of the first microphone 12A and the second microphone 14A is read from the storage unit 18 and displayed on the display unit 16 (second display step).
  • the user sets the intensity when synthesizing the second voice based on the information of the first microphone 12A and the second microphone 14A.
  • the processing conditions for processing the first voice are set based on the information of the first microphone 12A and the second microphone 14A. For example, the strength is set according to the presence or absence of a windshield and the type.
  • the first audio is processed using the second audio based on the operation input from the operation unit 22, and the third audio is generated (audio generation step). Then, the generated third audio and the first video are associated with each other, and a video with audio (second video) is generated (video generation step).
  • the information of the first microphone 12A and the second microphone 14A is acquired and recorded. This makes it possible to more appropriately generate the third sound when generating the video with sound. For example, main audio loss can be minimized.
  • the use of the acquired information of the first microphone 12A and the second microphone 14A is not limited to the above example.
  • the information of the first microphone 12A and the second microphone 14A may be used to automatically process the first voice to generate the third voice.
  • the strength at the time of synthesizing the second voice can be automatically set according to the type of the second microphone 14A.
  • the frequency to be processed is automatically changed according to the type of the second microphone 14A. It can also be configured.
  • the user inputs the information of the first microphone 12A and the second microphone 14A to the image pickup apparatus 1, but the information of the first microphone 12A and the second microphone 14A is automatically collected. It can also be.
  • the timing at which the second sound is recorded is detected and recorded during the imaging of the first image.
  • the recorded information is used when generating a video with audio (second video). Specifically, it is displayed on the display unit 16 when generating a video with audio. The user uses the information displayed on the display unit 16 to specify a section (scene) for editing the sound.
  • FIG. 14 is a block diagram of a function realized by the CPU when detecting and recording the timing at which the second voice is recorded and when displaying the recorded information. As shown in the figure, the CPU 24 functions as a second voice detection unit 151, a timing information recording unit 152, and a timing information display unit 153.
  • the second voice detection unit 151 detects the timing at which the second voice is recorded based on the voice signal of the second voice input from the second voice input unit 14. That is, the input of the voice signal of the second voice is detected, and the timing at which the second voice is recorded is detected.
  • the timing information recording unit 152 records the recording timing information (timing information) of the second voice detected by the second voice detection unit 151 in the storage unit 18.
  • the timing information is recorded in association with the video (first video).
  • the timing information display unit 153 acquires timing information from the storage unit 18 based on the operation input from the operation unit 22, and displays it on the display unit 16. For example, the timing at which the second voice is recorded is displayed on the time axis.
  • Generation of a video with syllables using the imaging device of the present embodiment is performed, for example, as follows.
  • the first image is captured by the imaging unit 10 and recorded in the storage unit 18 (video recording process).
  • the timing information of the first image is acquired in synchronization with the imaging (first information acquisition step), and is recorded in the storage unit 18 in association with the first image.
  • the first sound and the second sound are collected in synchronization with the imaging and recorded in the storage unit 18 in association with the first video (first sound recording step and second sound recording step).
  • the timing at which the second voice is recorded is detected (second voice detection step).
  • the detected information is associated with the first video and recorded in the storage unit 18 (association step).
  • a video with audio (second video) is generated using the recorded first video, first audio, and second audio.
  • the timing information is read from the storage unit 18 and displayed on the display unit 16. For example, the timing at which the second voice is recorded is displayed on the time axis.
  • the user identifies a place where the second sound is synthesized or a place where the second sound is edited via the operation unit 22, and instructs the generation of a video with the sound (second video).
  • the first audio is processed using the second audio based on the operation input from the operation unit 22, and the third audio is generated (audio generation step). Then, the generated third audio and the first video are associated with each other, and a video with audio (second video) is generated (video generation step).
  • the timing at which the second voice is recorded is detected and recorded. As a result, when generating a video with audio, it is possible to easily identify a part (scene) where the audio needs to be edited.
  • the use of the acquired timing information is not limited to the above example.
  • it may be configured to automatically identify a part requiring voice editing based on timing information.
  • the timing at which the second sound is recorded may be detected after the imaging of the first image is completed. That is, the audio data of the second audio may be analyzed after the imaging is completed to detect the timing at which the second audio is recorded.
  • the second microphone 14A for collecting the second sound it is preferable to use a microphone having a directional sound collecting characteristic (for example, a gun microphone or the like).
  • a microphone having a directional sound collecting characteristic for example, a gun microphone or the like.
  • the directivity of the microphone is changed according to the change in the position of the sound source of the second sound. It is more preferable to change.
  • the direction of the second microphone 14A is changed according to the change in the position of the sound source of the second sound in the video. Changes in the position of the sound source are detected, for example, by analyzing an image. For example, a subject to be a sound source of the second voice is specified in the video, the position of the subject is detected by image recognition or the like, and the position of the sound source is specified.
  • the present invention is carried out by an imaging device
  • the device and system for carrying out the present invention are not limited to this.
  • it can be carried out on a portable electronic device having an imaging function and a recording function (for example, a smartphone, a tablet computer, a laptop computer, etc.).
  • the recorded first video, first audio, and second audio are taken into a computer (for example, a personal computer), the third audio is generated by the computer, and the video with audio (second video) is generated. You can also.
  • a control unit that executes a function of generating a third sound, a function of generating a second video, and the like can be realized by using various processors.
  • Various processors include, for example, a CPU, which is a general-purpose processor that executes software (programs) to realize various functions.
  • the above-mentioned various processors include a programmable logic device (Programmable) which is a processor whose circuit configuration can be changed after manufacturing such as GPU (Graphics Processing Unit) and FPGA (Field Programmable Gate Array) which are processors specialized in image processing.
  • Logic Device PLD
  • the above-mentioned various processors include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • the control unit may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example of configuring a plurality of functions with one processor, first, as represented by a computer such as a server, one processor is configured by a combination of one or more CPUs and software, and there are a plurality of these processors. There is a form realized as a function of.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system with one IC (Integrated Circuit) chip
  • various functions are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (cyclery) in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above functions by using logical sum, logical product, logical negation, exclusive logical sum, and logical operations combining these.
  • the processor (computer) readable code of the software to be executed is stored in a non-temporary recording medium such as ROM, and the processor refers to the software.
  • the software stored in the non-temporary recording medium includes a program for executing image input, analysis, display control, and the like.
  • the code may be recorded on a non-temporary recording medium such as various optical magnetic recording devices or semiconductor memories instead of the ROM.
  • a RAM is used as a temporary storage area, and for example, data stored in an EEPROM (Electronicly Erasable and Programmable Read Only Memory) (not shown) can be referred to.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • Imaging device 10 Imaging unit 10A Imaging optical system 10B Imaging element 10C Image signal processing unit 12 1st audio input unit 12A 1st microphone 12B 1st audio signal processing unit 14 2nd audio input unit 14A 2nd microphone 14B 2nd audio signal Processing unit 16 Display unit 18 Storage unit 20 Audio output unit 22 Operation unit 24 CPU 26 ROM 28 RAM 30 Motion detection unit 101 Imaging control unit 102 Video output unit 103 First video recording unit 104 First voice recording unit 105 Second voice recording unit 106 Motion recording unit 111 Video playback unit 112 Voice playback unit 121 First video acquisition unit 122 1 Audio acquisition unit 123 2nd audio acquisition unit 124 3rd audio generation unit 124A Strength adjustment unit 124B Synthesis unit 124C Frequency detection unit 124D Audio processing unit 124E 2nd audio processing unit 125 Strength setting unit 126 Video generation unit 127 2nd video recording Unit 128 Processing condition setting unit 131 Imaging information acquisition unit 132 Imaging information recording unit 133 Imaging information display unit 141 Microphone information acquisition unit 142 Microphone information recording unit 143 Microphone information display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

特定の音声を強調又は低減させた音声付きの映像を生成できる映像生成方法を提供する。撮像部で撮像された第１映像を記録する。第１映像に同期して第１音声を記録する。第１音声と異なる第２音声を記録する。第２音声を用いて第１音声を処理し、強調又は低減させた第２音声を含む第３音声を生成する。第１映像と第３音声を関連付けて音声付きの映像を生成する。

Description

映像生成方法
　本発明は、映像生成方法に関する。
　映像と音声を記録する際、メインの音声とは異なる音声（風雑音、環境音、操作音、話し声など）が一緒に記録される場合がある。
　特許文献１には、風雑音の有無又は強弱を表示する手段と、風雑音対策の有無又は強弱を手動で選択できる手段と、記録後でも風雑音対策の有無を選択できる手段と、を備えたビデオカメラが記載されている。
　また、特許文献２には、風雑音を自動で低減させる機能を備え、かつ、その機能の動作を任意設定可能にしたビデオカメラが記載されている。
特開２０１０－４３３９号公報 特開２００９－１２４４１４号公報
　本開示の技術に係る一つの実施形態は、特定の音声を強調又は低減させた音声付きの映像を生成できる映像生成方法を提供する。
　（１）撮像部で撮像された第１映像を記録する映像記録工程と、第１映像に同期して第１音声を記録する第１音声記録工程と、第１音声と異なる第２音声を記録する第２音声記録工程と、第２音声を用いて第１音声を処理し、強調又は低減させた第２音声を含む第３音声を生成する音声生成工程と、第１映像と第３音声を関連付けて第２映像を生成する映像生成工程と、を備えた映像生成方法。
　（２）音声生成工程は、強調又は低減させた第２音声を第１音声に合成して、第３音声を生成する、（１）の映像生成方法。
　（３）音声生成工程の前に、第２音声の強度を設定する強度設定工程を更に備え、音声生成工程は、強度設定工程で設定された強度で第２音声を第１音声に合成する、（２）の映像生成方法。
　（４）第１音声は第２音声と共通する音声成分である共通成分を含み、音声生成工程は、第２音声を用いて、共通成分を強調又は低減させる処理を第１音声に行って、第３音声を生成する、（１）の映像生成方法。
　（５）音声生成工程の前に、共通成分の処理条件を設定する処理条件設定工程を更に備え、音声生成工程は、処理条件設定工程で設定された処理条件に従って、共通成分を強調又は低減させる処理を第１音声に対して行う、（４）の映像生成方法。
　（６）撮像部を含む撮像装置本体の動きを検出する検出工程を更に備え、音声生成工程は、検出工程において動きの検出があった場合、第１音声又は第２音声に所定の処理を行って第３音声を生成する、（１）から（５）のいずれか一の映像生成方法。
　（７）撮像部による第１映像の撮像情報を取得する第１情報取得工程と、撮像情報を表示する第１表示工程と、を更に備えた（１）から（６）のいずれか一の映像生成方法。
　（８）撮像情報には、撮像部を含む撮像装置本体の動きの情報及び焦点距離の情報の少なくとも一つが含まれる、（７）の映像生成方法。
　（９）第１音声及び第２音声を集音する集音部の情報を取得する第２情報取得工程を更に備え、集音部の情報を表示する第２表示工程と、を更に備えた（１）から（８）のいずれか一の映像生成方法。
　（１０）第２音声記録工程は、第１映像に同期して第２音声を記録する、（１）から（９）のいずれか一の映像生成方法。
　（１１）第２音声の記録されたタイミングを検出する第２音声検出工程と、第２音声検出工程で検出された情報を第１映像に関連付ける関連付け工程と、を更に備えた（１０）の映像生成方法。
　（１２）第２音声記録工程は、映像記録工程の前に第２音声を記録する、（１）から（１１）のいずれか一の映像生成方法。
　（１３）第１音声記録工程は、第１集音部を介して第１音声を記録し、第２音声記録工程は、第１集音部とは異なる第２集音部を介して第２音声を記録する、（１）から（１２）のいずれか一の映像生成方法。
　（１４）第２集音部は、指向性の集音特性を有し、第１集音部は、第２収音部よりも低い指向性の集音特性を有する、（１３）の映像生成方法。
　（１５）第２集音部は、指向性の集音特性を有し、第２音声生成工程は、第２音声の音源の位置を検出し、検出された音源の方向に第２収音部を指向する、（１３）又は（１４）の映像生成方法。
本発明に係る映像生成方法を用いて映像を生成する機能を備えた撮像装置の概略構成を示すブロック図 映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図 記録済みの映像を再生する場合にＣＰＵが実現する主な機能のブロック図 音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図 第３音声生成部が有する機能のブロック図 音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図 第３音声生成部が有する機能のブロック図 第３の実施の形態の撮像装置の概略構成を示すブロック図 映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図 第３の実施の形態の第３音声生成部が有する機能のブロック図 第３の実施の形態の第３音声生成部の変形例を示す図 撮像情報を取得して記録する場合及び撮像情報を表示する場合にＣＰＵが実現する機能のブロック図 マイクロフォンの情報を取得して記録する場合及びマイクロフォンの情報を表示する場合にＣＰＵが実現する機能のブロック図 第２音声が記録されたタイミングを検出して記録する場合及び記録された情報を表示する場合にＣＰＵが実現する機能のブロック図
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［第１の実施の形態］
　図１は、本発明に係る映像生成方法を用いて映像を生成する機能を備えた撮像装置の概略構成を示すブロック図である。
　本実施の形態の撮像装置１は、撮像に同期して第１音声及び第２音声を記録する。そして、撮像後に第２音声を用いて第１音声を処理することにより、第２音声が所定の強度（音声レベル）で含まれた第３音声を生成する。そして、生成した第３音声を撮像により得られた映像（第１映像）に関連付けて音声付きの映像（第２映像）を生成する。
　図１に示すように、撮像装置１は、撮像部１０、第１音声入力部１２、第２音声入力部１４、表示部１６、記憶部１８、音声出力部２０、操作部２２、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２４、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２６、及び、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２８等を備える　撮像部１０は、映像を撮像する。撮像部１０は、撮像光学系１０Ａ、撮像素子１０Ｂ及び画像信号処理部１０Ｃ等を備える。撮像光学系１０Ａは、被写体の像を撮像素子１０Ｂの受光面上に結像させる。撮像素子１０Ｂは、撮像光学系１０Ａによってその受光面上に結像された被写体の像を電気信号に変換する。画像信号処理部１０Ｃは、撮像素子１０Ｂから出力される信号に所定の信号処理を施して、映像信号を生成する。
　第１音声入力部１２は、メインとなる音声（第１音声）の入力部である。第１音声入力部１２は、第１マイクロフォン１２Ａ及び第１音声信号処理部１２Ｂを備える。第１マイクロフォン１２Ａは、メインの音声としての第１音声を集音する。この第１音声は、第２音声を含まない音声（わずかに第２音声が含まれている場合を含む）である。第１マイクロフォン１２Ａは、第１集音部の一例である。第１音声信号処理部１２Ｂは、第１マイクロフォン１２Ａからの信号に所定の信号処理を施して、第１音声の音声信号を生成する。
　第２音声入力部１４は、メインの音声に合成する特定の音声の（第２音声）の入力部である。第２音声入力部１４は、第２マイクロフォン１４Ａ及び第２音声信号処理部１４Ｂを備える。第２マイクロフォン１４Ａは、特定の音声である第２音声を集音する。この第２音声は、第１音声を含まない音声（実質的に含んでいないと認められる場合を含む）である。第２マイクロフォン１４Ａは、第２集音部の一例である。第２音声信号処理部１４Ｂは、第２マイクロフォン１４Ａからの信号に所定の信号処理を施して、第２音声の音声信号を生成する。
　表示部１６は、撮像部１０で撮像中の映像をリアルタイムに表示する。また、表示部１６は、再生された映像を表示する。また、表示部１６は、必要に応じて、操作画面、メニュー画面及びメッセージ等を表示する。表示部１６は、たとえば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示デバイス、及び、その駆動回路等を含んで構成される。
　記憶部１８は、主として、撮像された映像及び集音された音声を記憶する。記憶部１８は、たとえば、不揮発性メモリ等の記憶媒体、及び、その制御回路等を含んで構成される。
　音声出力部２０は、再生された音声を出力する。また、音声出力部２０は、必要に応じて警告音等を出力する。音声出力部２０は、スピーカ、及び、そのスピーカから出力させる音声の信号を処理する信号処理回路等を含んで構成される。
　操作部２２は、ユーザからの操作の入力を受け付ける。操作部２２は、録画ボタン等の各種操作ボタン類、及び、その操作の検出回路等を含んで構成される。
　ＣＰＵ２４は、所定の制御プログラムを実行することにより、装置全体の制御部として機能する。ＣＰＵ２４は、ユーザの操作に基づいて、各部の動作を制御し、装置全体の動作を統括制御する。また、ＣＰＵ２４は、所定のプログラムを実行することにより、記録済みの映像及び音声を用いて音声付きの映像を生成する映像生成装置として機能する。映像生成装置として機能するＣＰＵ２４は、ユーザの操作に基づいて、記録済みの映像及び音声を処理し、音声付きの映像を生成する。ＲＯＭ２６は、ＣＰＵ２４が実行する各種プログラム、及び、制御に必要なデータ等を記憶する。ＲＡＭ２８は、ＣＰＵ２４に作業用のメモリ空間を提供する。
　図２は、映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、撮像制御部１０１、映像出力部１０２、第１映像記録部１０３、第１音声記録部１０４及び第２音声記録部１０５等として機能する。
　撮像制御部１０１は、撮像部１０による撮像を制御する。撮像制御部１０１は、撮像部１０から得られる映像信号に基づいて、適正露出で映像が撮像されるように、撮像部１０を制御する。また、撮像制御部１０１は、撮像部１０から得られる映像信号に基づいて、主要被写体に焦点が合うように、撮像部１０を制御する。
　映像出力部１０２は、撮像部１０で撮像された映像をリアルタイムに表示部１６に出力する。これにより、表示部１６にライブビューが表示される。
　第１映像記録部１０３は、撮像部１０で撮像された映像（第１映像）を記憶部１８に記録する。第１映像記録部１０３は、ユーザからの指示に応じて、映像の記録を開始する。また、ユーザから指示に応じて、映像の記録を終了する。ユーザは、操作部２２を介して、記録の開始及び終了を指示する。映像（第１映像）は、その撮像に同期して集音された第１音声及び第２音声を関連付けて、記憶部１８に記録される。
　第１音声記録部１０４は、第１音声入力部１２から入力される第１音声（メインの音声）を第１映像の撮像に同期して記憶部１８に記録する。第１音声は、第１映像に関連付けて、記憶部１８に記録される。
　第２音声記録部１０５は、第２音声入力部１４から入力される第２音声（特定の音声）を第１映像の撮像に同期して記憶部１８に記録する。第２音声は、第１映像に関連付けて、記憶部１８に記録される。
　図３は、記録済みの映像を再生する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、映像再生部１１１及び音声再生部１１２等として機能する。
　映像再生部１１１は、ユーザからの再生指示に応じて、記憶部１８に記録された映像を表示部１６で再生する。ユーザは、表示部１６及び操作部２２を利用して、再生する映像を選択し、再生を指示する。映像再生部１１１は、選択された映像を記憶部１８から読み出して再生する。
　音声再生部１１２は、映像に音声が関連付けられている場合に映像に同期させて音声を再生する。映像に第１音声及び第２音声が関連付けられている場合、音声再生部１１２は、第１音声及び第２音声を合成して再生する。再生された音声は、音声出力部２０から出力される。
　図４は、音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、第１映像取得部１２１、第１音声取得部１２２、第２音声取得部１２３、第３音声生成部１２４、強度設定部１２５、映像生成部１２６及び第２映像記録部１２７等として機能する。
　第１映像取得部１２１は、処理対象としてユーザに選択された映像（第１映像）を記憶部１８から読み出して取得する。ユーザは、表示部１６及び操作部２２を利用して、処理対象の映像を選択する。取得した映像のデータは、映像生成部１２６に加えられる。
　第１音声取得部１２２は、処理対象として選択された映像に関連付けられた第１音声（メインの音声）のデータを記憶部１８から読み出して取得する。取得した第１音声のデータは、第３音声生成部１２４に加えられる。
　第２音声取得部１２３は、処理対象として選択された映像に関連付けられた第２音声（特定の音声）を記憶部１８から読み出して取得する。取得した第２音声のデータは、第３音声生成部１２４に加えられる。なお、第１音声取得部１２２と第２音声取得部１２３は、記憶部１８を介さずに、第１音声入力部１２と第２音声入力部１４から対応する音声データを直接取得しても良い。また、撮像装置１は装置内部の記憶部１８ではなく、外部の記憶部に音声データを記録してもよい。この場合、第１音声取得部１２２と第２音声取得部１２３は外部の記憶部から音声データを取得してもよい。
　第３音声生成部１２４は、第２音声を用いて第１音声を処理し、第３音声を生成する。第３音声は、第１音声中に第２音声が所定の強度（音声レベル）で含まれた音声として生成される。所定の強度は、ユーザが設定した強度である。図５は、第３音声生成部が有する機能のブロック図である。同図に示すように、第３音声生成部１２４は、強度調整部１２４Ａ及び合成部１２４Ｂの機能を有する。強度調整部１２４Ａは、強度設定部１２５の設定に従って、第２音声の強度を調整する。合成部１２４Ｂは、強度の調整後の第２音声を第１音声に合成して第３音声を生成する。これにより、第１音声中に第２音声を所定の強度で含んだ音声（第３音声）が生成される。なお、上記のように、第１音声は映像に同期して記録されているので、生成される第３音声も映像に同期する音声となる。生成された第３音声のデータは、映像生成部１２６に加えられる。
　強度設定部１２５は、第１音声に合成する際の第２音声の強度（音声レベル）を設定する。強度設定部１２５は、操作部２２からの操作入力に基づいて強度を設定する。ユーザは、操作部２２を介して第２音声の強度を設定することにより、第１音声に対して第２音声を強調したり、低減したりできる。
　映像生成部１２６は、第１映像取得部１２１で取得された映像（第１映像）と第３音声生成部１２４で生成された第３音声を関連付けて、音声付きの映像（第２映像）を生成する。たとえば、映像ファイル及び音声ファイルをコンテナ化し、所定の動画形式の映像ファイルを生成する。たとえば、ＡＶＩ（Ａｕｄｉｏ　Ｖｉｄｅｏ　Ｉｎｔｅｒｌｅａｖｅ）、ＭＰ４（ＭＰＥＧ－４　Ｐａｒｔ　１４（ＩＳＯ／ＩＥＣ　１４４９６－１４：２００３、ＩＳＯ／ＩＥＣ　ＪＴＣ　１））等のファイルを生成する。
　第２映像記録部１２７は、映像生成部１２６で生成された音声付きの映像（第２映像）を記憶部１８に記憶する。
　次に、上記構成の撮像装置１を用いて音声付きの映像を生成する場合の手順（映像生成方法）について説明する。
　まず、撮像を実施し、映像、第１音声及び第２音声を記録する。具体的には、撮像部１０で撮像される映像（第１映像）を記憶部１８に記録する（映像記録工程）。また、その撮像に同期して、第１音声及び第２音声を集音し、記憶部１８に記録する（第１音声記録工程及び第２音声記録工程）。ここで、第１音声には、メインの音声を記録する。一方、第２音声には、特定の音声を記録する。ここでの「特定の音声」とは、メインの音声とは異なる音声であって、メインの音声に含ませる音声である。たとえば、風が吹いている環境で話をしている人物の映像を撮像する場合において、人物の話し声をメインの音声、風切り音（風がマイクロフォンに当たることで生じる音）を特定の音声として記録できる。あるいは、海岸で話をしている人物の映像を撮像する場合において、人物の話し声をメインの音声、波の音を特定の音声として記録できる。
　次に、第１音声に対して第２音声を合成する際の第２音声の強度（音声レベル）を設定する（強度設定工程）。ユーザは、操作部２２を介して、その強度を設定する。この設定により、ユーザは、第１音声に対して第２音声を任意に強調したり、低減したりできる。
　次に、第２音声を用いて第１音声を処理し、第１音声中に第２音声を所定の強度で含んだ第３音声を生成する（音声生成工程）。所定の強度は、上記強度設定工程で設定された強度である。この際、まず、第２音声をユーザによって設定された強度に調整する。これにより、第１音声に対して強調又は低減させた第２音声が生成される。そして、その強度調整後の第２音声を第１音声に合成して、第３音声を生成する。これにより、第１音声中に第２音声を所定の強度で含んだ音声（第３音声）が生成される。たとえば、風切り音を第２音声として記録した場合には、メインの音声中に風切り音が所定の強度で含まれた音声（第３音声）が生成される。また、たとえば、波の音を第２音声として記録した場合には、メインの音声中に波の音が所定の強度で含まれた音声（第３音声）が生成される。
　次に、撮像により得られた映像（第１映像）に上記音声生成工程で生成された音声（第３音声）を関連付け、音声付きの映像（第２映像）を生成する（映像生成工程）。
　以上一連の工程で音声付きの映像が生成される。生成された音声付きの映像は、記憶部１８に記録される。
　本実施の形態の映像生成方法によれば、メインの音声（第１音声）とは別に特定の音声（第２音声）を記録しておくことにより、特定の音声を切り分けて編集できる。これにより、ユーザの意図に沿った音声付きの映像を生成できる。
　［第１の実施の形態の変形例］
　（１）第２音声の合成についての変形例
　第２音声については、映像の特定の区間（時間軸上における区間）でのみ合成する構成とすることができる。この場合、合成する区間を指定して、第１音声に第２音声を合成する。区間の指定は、たとえば、第１映像及び第１音声を再生しながら、合成する区間を指定する。
　また、合成する際の第２音声の強度の設定を時間軸に沿って部分的に変化させることもできる。これにより、たとえば、シーンに応じて、特定の音声の強度を変えた音声付きの映像を生成できる。
　（２）強度の設定について変形例
　上記実施の形態では、第１音声に合成する際の第２音声の強度をユーザが任意に設定できるようにしているが、あらかじめ定められた複数の強度設定（例えば、強めに低減、弱めに低減、強めに強調、弱めに強調）から選択した強度で合成する構成とすることもできる。
　（３）第２音声の記録についての変形例
　第２音声については、必ずしも第１映像の撮像に同期して記録する必要はない。たとえば、上記のように、特定の区間でのみ第２音声を合成する場合には、事前に又は事後的に第２音声を記録する構成としてもよい。
　（４）第１音声入力部及び第２音声入力部の変形例
　第１音声入力部１２及び第２音声入力部１４は、必要に応じて、集音された音声の音声信号にフィルタリング処理を施すことが好ましい。たとえば、第１音声入力部１２は、メインとする音声がクリアに記録されるように、フィルタリング処理を施すことが好ましい。同様に、第２音声入力部１４は、特定の音声がクリアに記録されるように、フィルタリング処理を施すことが好ましい。
　また、第１音声入力部１２及び第２音声入力部１４は、目的に応じたマイクロフォンを使用することが好ましい。たとえば、メインの音声として、広域の音声を収集する場合には、第１マイクロフォン１２Ａに、第２マイクロフォン１４Ａよりも低い無指向性（好ましくは無指向性）の集音特性を有するマイクロフォンを使用する。また、特定の音声を集音する第２マイクロフォン１４Ａには、指向性の集音特性を有するマイクロフォン（たとえば、ガンマイク等）を使用する。これにより、第１音声及び第２音声を精度よく記録できる。
　なお、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａは、撮像装置１の装置本体に内蔵された構成でもよいし、外付けされた構成でもよい。
　［第２の実施の形態］
　上記第１の実施の形態と同様に、撮像装置を用いて映像を生成する場合を例に説明する。
　本実施の形態では、第２音声を含んだ音声を第１音声として記録する。そして、その第１音声とは別に記録した第２音声を用いて、第２音声を強調又は低減させる処理を第１音声に行い、第３音声を生成する。撮像装置の基本構成は、上記第１の実施の形態と同じであり、ＣＰＵ２４によって実現される機能が相違する。
　図６は、音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、第１映像取得部１２１、第１音声取得部１２２、第２音声取得部１２３、第３音声生成部１２４、処理条件設定部１２８、映像生成部１２６及び第２映像記録部１２７等として機能する。第３音声生成部１２４及び処理条件設定部１２８を除く各部の機能は、上記第１の実施の形態と実質的に同じである。したがって、ここでは、第３音声生成部１２４及び処理条件設定部１２８の機能についてのみ説明する。
　図７は、第３音声生成部が有する機能のブロック図である。
　上記のように、本実施の形態では第２音声を含んだ音声が第１音声として記録される。第３音声生成部１２４は、第２音声と共通する音声成分（共通成分）を強調又は低減させる処理を第１音声に行って、第３音声を生成する。具体的には、第２音声と同じ周波数の音声成分を共通成分とし、その第２音声と同じ周波数の音声成分をユーザによって設定された処理条件で処理して、第３音声を生成する。このため、第３音声生成部１２４は、周波数検出部１２４Ｃ及び音声処理部１２４Ｄの機能を有する。
　周波数検出部１２４Ｃは、第２音声のデータを解析して、第２音声の周波数を検出する。第２音声は、第１音声中の特定の音声であり、ユーザが強調又は低減させることを希望する音声である。上記第１の実施の形態と同様に、第２音声は第２マイクロフォン１４Ａで集音される。周波数検出部１２４Ｃで検出された情報は、音声処理部１２４Ｄに加えられる。
　音声処理部１２４Ｄは、周波数検出部１２４Ｃで検出される第２音声の周波数の情報を取得し、処理条件設定部１２８で設定された処理条件で第１音声を処理して、第３音声を生成する。すなわち、第２音声と同じ周波数の音声成分（共通成分）をユーザによって設定された処理条件で処理して、第３音声を生成する。
　処理条件設定部１２８は、第１音声を処理する際の処理条件を設定する。具体的には、第２音声と共通する音声成分である共通成分の処理条件（音の強調又は低減処理）を設定する。処理条件設定部１２８は、操作部２２からの操作入力に基づいて処理条件を設定する。ユーザは、操作部２２を介して第１音声を処理する際の処理条件を設定することにより、第１音声中に含まれる第２音声を強調したり、低減したり、キャンセルしたりできる。
　次に、上記構成の撮像装置を用いて音声付きの映像を生成する場合の手順（映像生成方法）について説明する。
　まず、撮像を実施し、映像、第１音声及び第２音声を記録する。具体的には、撮像部１０で撮像される映像（第１映像）を記憶部１８に記録する（映像記録工程）。また、その撮像に同期して、第１音声及び第２音声を集音し、記憶部１８に記録する（第１音声記録工程及び第２音声記録工程）。上記のように、第１音声には、第２音声を含んだ音声を記録する。すなわち、第２音声と共通する音声成分である共通成分を含んだ音声を記録する。一方、第２音声には、第１音声中の特定の音声を記録する。ここでの「特定の音声」とは、第１音声中に含まれる音声の中でユーザが強調させたり、低減させたりすることを希望する音声である。たとえば、風が吹いている環境で話をしている人物の映像を撮像する場合において、風切り音を第２音声として記録できる。あるいは、海岸で話をしている人物の映像を撮像する場合において、波の音を第２音声として記録できる。
　次に、第１音声を処理する際の第１音声の共通成分の処理条件設定する（処理条件設定工程）。ユーザは、操作部２２を介して、その処理条件を設定する。この設定により、ユーザは、第１音声に含まれている第２音声を任意に強調したり、低減したり、キャンセルしたりできる。
　次に、第２音声を用いて、共通成分を強調又は低減させる処理を第１音声に行い、第３音声を生成する（音声生成工程）。この工程では、まず、第２音声の周波数を検出する。そして、その周波数の音声成分を上記処理条件設定工程で設定された処理条件に従って強調又は低減させる処理を第１音声に行い、第３音声を生成する。これにより、第１音声に含まれる第２音声をユーザの意図した強度で含んだ、又は、キャンセルされた音声（第３音声）が生成される。たとえば、風が吹いている環境で第１音声を記録し、風切り音を第２音声として記録した場合には、風切り音を低減又はキャンセルさせた音声を生成できる。また、必要に応じて風切り音を強調した音声を生成できる。
　次に、撮像により得られた映像（第１映像）に上記音声生成工程で生成された音声（第３音声）を関連付け、音声付きの映像（第２映像）を生成する（映像生成工程）。
　以上一連の工程で音声付きの映像が生成される。生成された音声付きの映像は、記憶部１８に記録される。
　本実施の形態の映像生成方法によれば、メインの音声（第１音声）とは別に、そのメインの音声に含まれる特定の音声（第２音声）を記録しておくことにより、特定の音声を切り分けて編集できる。これにより、ユーザの意図に沿った音声付きの映像を生成できる。
　［第２の実施の形態の変形例］
　（１）第３音声の生成についての変形例
　共通成分を強調したり、低減したり、キャンセルしたりする処理は、映像の特定の区間でのみ実施することができる。この場合、区間を指定して処理を実施する。
　また、共通成分の処理条件は、時間軸に沿って部分的に変化させることもできる。これにより、たとえば、シーンに応じて、特定の音声の強度を変えた音声付きの映像を生成できる。
　（２）第２音声の記録についての変形例
　第２音声については、必ずしも第１映像の撮像に同期して記録する必要はない。事前に又は事後的に第２音声を記録する構成としてもよい。たとえば、事前に編集したい環境の音声（風切り音、滝の音、工事の音など）を第２音声として記録しておくことができる。また、事前に編集をしたい環境の音声をサンプル音声として録音をしておき、映像記録工程中に、録音とサンプル音声の共通成分から第２音声を作成してもよい。
　また、第２音声については、代表的なものをプリセットデータとして、あらかじめ撮像装置に保持しておくこともできる。これにより、たとえば、プリセットデータとして保持した音声を含む音声を映像と共に記録した場合に、その音声を強調したり、低減したりした音声を生成できる。たとえば、風切り音をプリセットデータとして保持している場合、そのプリセットデータが持つ風切り音の周波数データを利用して、第１音声の風切り音を強調したり、低減したりした音声付きの映像を生成できる。プリセットデータは、たとえば、ＲＯＭ２６又は記憶部１８に記録しておく。ユーザは、映像を生成する際に、編集対象の音声のデータを選択する。
　（３）第１音声入力部及び第２音声入力部の変形例
　上記第１の実施の形態と同様に、第１音声入力部１２及び第２音声入力部１４は、必要に応じて、集音された音声の音声信号にフィルタリング処理を施すことが好ましい。また、第１音声入力部１２及び第２音声入力部１４は、目的に応じたマイクロフォンを使用することが好ましい。
　なお、第２音声を撮像に同期して記録する場合を除き、第２音声は、第１マイクロフォン１２Ａで集音する構成とすることもできる。すなわち、事前に又は事後的に第２音声を記録する場合には、第１音声入力部１２を利用して、第２音声を集音し、記録することができる。したがって、事前に又は事後的に第２音声を記録する場合、装置本体に第２音声入力部１４は不要である。
　［第３の実施の形態］
　本実施の形態では、映像及び音声の記録中に撮像装置本体の動きを検出し、その動きの情報を加味して、第３音声を生成する。
　図８は、本実施の形態の撮像装置の概略構成を示すブロック図である。同図に示すように、本実施の形態の撮像装置１は、動き検出部３０を更に備えている点で上記第１及び第２の実施の形態の撮像装置と相違する。
　動き検出部３０は、撮像部１０を含む撮像装置本体の動きを検出する。動き検出部３０は、撮像部１０による撮像に同期して撮像装置本体の動きを検出する。すなわち、撮像の開始と同時に動きの検出を開始し、撮像終了と同時に検出を終了する（動き検出工程）。動き検出部３０は、たとえば、加速度センサ等で構成される。なお、撮像装置本体が像振れ補正機能等を備えている場合には、振れ検出等に使用するセンサを動き検出用のセンサに使用することができる。
　図９は、映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、撮像制御部１０１、映像出力部１０２、第１映像記録部１０３、第１音声記録部１０４、第２音声記録部１０５、動き記録部１０６等として機能する。動き記録部１０６を除く各部の機能は、上記第１の実施の形態と実質的に同じである。
　動き記録部１０６は、動き検出部３０で検出される撮像装置本体の動きの情報を第１映像の撮像に同期して記憶部１８に記録する。動きの情報は、第１映像に関連付けて、記憶部１８に記録される。音声付きの映像（第２映像）を生成する場合は、この記憶部１８に記憶された動きの情報を利用して、映像に関連付ける音声（第３音声）を生成する。
　第３音声生成部１２４は、動きの情報を加味して、第３音声を生成する。ここでは、第１音声に第２音声を合成して第３音声を生成する場合を例に説明する。上記第１の実施の形態で説明したように、第１音声は、実質的に第２音声を含まない音声であり、第２音声は、実質的に第１音声を含まない音声である。
　図１０は、本実施の形態の第３音声生成部が有する機能のブロック図である。同図に示すように、本実施の形態の第３音声生成部１２４は、第２音声処理部１２４Ｅ、強度調整部１２４Ａ及び合成部１２４Ｂの機能を有する。第２音声処理部１２４Ｅを除く各部の機能は、上記第１の実施の形態と実質的に同じである。
　第２音声処理部１２４Ｅは、映像及び音声を記録した際の撮像装置本体の動きの情報を取得し、その動きの情報に基づいて、第２音声を処理する。具体的には、撮像装置本体の動きに応じて、あらかじめ定められた処理条件に従って第２音声を処理する。一例として、メインの音声（第１音声）に風切り音（第２音声）を含めた音声（第３音声）を生成する場合を例に説明する。第２マイクロフォン１４Ａが左右一組のマイクロフォンで構成され、撮像装置本体に一体的に備えられているとする。したがって、この場合、第２マイクロフォン１４Ａは、撮像装置本体と一体的に動く。撮像装置本体をパンニングする動きが検出された場合、第２音声処理部１２４Ｅは、その撮像装置本体の動きに応じて、左右の音声の強度を変える処理を行う。具体的には、動かす側の音声を弱める。これにより、撮像装置本体の動きに応じて左右のマイクロフォンで変化する風切り音を適切に処理できる。すなわち、動かす側のマイクロフォンは、風切り音が強くなるので、動きに応じて弱めることにより、左右でバランスの取れた音声を合成できる。
　強度調整部１２４Ａは、強度設定部１２５の設定に従って、処理後の第２音声の強度を調整する。合成部１２４Ｂは、強度の調整後の第２音声を第１音声に合成して第３音声を生成する。
　このように、本実施の形態では、撮像装置本体の動きに応じて第２音声を自動で処理して、第３音声を生成する。これにより、撮像装置本体の動きの影響を自動で除去できる。
　［第３の実施の形態の変形例］
　以下においては、第２音声を用いて、共通成分を強調又は低減させる処理を第１音声に行って、第３音声を生成する場合において、撮像装置本体の動きの情報を加味して、第３音声を生成する場合について説明する。
　図１１は、本例の第３音声生成部が有する機能のブロック図である。同図に示すように、本例の第３音声生成部１２４は、音声処理部１２４Ｄが、撮像装置本体の動きの情報に基づいて、第１音声を処理する点で上記第２の実施の形態の第３音声生成部１２４と相違する。
　音声処理部１２４Ｄは、撮像装置本体の動きに応じて、あらかじめ定められた処理条件に従って第１音声を処理する。一例として、メインの音声に風切り音（第２音声）を含む音声（第１音声）を撮像に同期して記録した場合において、風切り音を強調又は低減させた音声（第３音声）を生成する場合を例に説明する。この場合、第１音声には、メインの音声の他に風切り音（第２音声）が含まれた音声が記録される。第２音声には、風切り音が記録される。
　周波数検出部１２４Ｃは、第２音声のデータを解析して、第２音声の周波数を検出する。
　そして、ユーザは予め定められた複数の音声の強度設定から一つ強度の設定を選択する。音声処理部１２４Ｄは、周波数検出部１２４Ｃで検出される第２音声の周波数の情報及び撮像装置本体の動きの情報を取得し、処理条件設定部１２８で設定された処理条件と動きの情報とを組み合わせて第１音声を処理して、第３音声を生成する。たとえば、メインの音声（第１音声）に風切り音（第２音声）が含まれて記録される環境において、移動しながら映像及び音声を記録する場合を考える。風切り音（第２音声）の大きさは、移動する速度に応じて変化する。よって、音声処理部１２４Ｄは、撮像装置本体の移動速度（動き）に応じて、予め設定された強度設定を補正したり、処理対象の周波数（共通成分の周波数）を変える。これにより、移動しながら映像及び音声を記録した場合であっても、対象とする音声（第２音声）を適切に処理できる。例えば、ユーザの設定が風切り音（第２音声）を少し低減させる設定だった場合に、撮像装置本体の移動速度が速いと認定されたシーンは、他のシーンと比べて風切り音を大きく低減させる補正をかけて第３音声とする。これによって、第３音声の特定のシーンだけ、特定の音（風や波等）が大きくなり過ぎることが防止できる。
　［第４の実施の形態］
　本実施の形態では、映像（第１映像）を撮像する際に、その映像の撮像情報を取得して、記憶部１８に記録しておく。記録した撮像情報は、音声付きの映像（第２映像）を生成する際に使用される。具体的には、音声付きの映像を生成する際に、表示部１６に表示される。ユーザは、表示部１６に表示された情報を利用して、音声の編集を行う区間（シーン）を特定する。ここで、撮像情報とは、映像の撮像に関する情報である。たとえば、映像を撮像した際の焦点距離の情報、被写体距離の情報、露出の情報等が含まれる。また、撮像装置が、撮像装置本体の動き等を検出する機能を備えている場合には、撮像中の撮像装置本体の動きの情報等も含まれる。
　撮像情報の取得、記録及び表示等の処理はＣＰＵ２４が行う。図１２は、撮像情報を取得して記録する場合及び撮像情報を表示する場合にＣＰＵが実現する機能のブロック図である。同図に示すように、ＣＰＵ２４は、撮像情報取得部１３１、撮像情報記録部１３２及び撮像情報表示部１３３として機能する。
　撮像情報取得部１３１は、撮像部１０による第１映像の撮像に同期して、第１映像の撮像情報を取得する。撮像情報としては、被写体距離の情報、焦点距離の情報、撮像装置の動き（たとえば、加速度センサの出力）の情報等を取得する。
　撮像情報記録部１３２は、撮像情報取得部１３１で取得した撮像情報を記憶部１８に記録する。撮像情報は、映像（第１映像）に関連付けて記録される。
　撮像情報表示部１３３は、操作部２２からの操作入力に基づいて、記憶部１８から撮像情報を取得し、表示部１６に表示する。たとえば、時系列に沿って撮像情報を表示する。
　本実施の形態の撮像装置を用いた音節付き映像の生成は、たとえば、次のように行われる。
　まず、撮像部１０によって第１映像が撮像され、記憶部１８に記録される（映像記録工程）。撮像に同期して第１映像の撮像情報が取得され（第１情報取得工程）、第１映像に関連付けて記憶部１８に記録される。また、撮像に同期して第１音声及び第２音声が集音され、第１映像に関連付けて記憶部１８に記録される（第１音声記録工程及び第２音声記録工程）。
　次に、記録された第１映像、第１音声及び第２音声を用いて、音声付きの映像（第２映像）が生成される。まず、第１映像の撮像情報が記憶部１８から読み出され、表示部１６に表示される（第１表示工程）。撮像情報は、第１映像の時系列に沿って表示される。この撮像情報が表示されることにより、音声編集が必要な個所を特定しやすくできる。ユーザは、操作部２２を介して、第２音声を合成する個所、又は、第２音声を編集する個所（第２音声を強調したり、低減させたり、キャンセルしたりする個所）を特定し、音声付きの映像（第２映像）の生成を指示する。
　音声付きの映像の生成が指示されると、操作部２２からの操作入力に基づき、第２音声を用いて第１音声が処理され、第３音声が生成される（音声生成工程）。そして、生成された第３音声と第１映像とが関連付けられて、音声付きの映像（第２映像）が生成される（映像生成工程）。
　このように、本実施の形態によれば、第１映像の撮像情報を取得して、記録しておく。これにより、音声付きの映像を生成する際に、音声の編集が必要な個所を簡単に特定できる。
　［第４の実施の形態の変形例］
　取得した撮像情報の用途は、上記例に限定されない。たとえば、撮像情報を利用して、自動で音声編集が必要な個所を特定し、自動で第１音声を処理して、第３音声を生成する構成とすることもできる。たとえば、撮像装置本体の動きの大きい個所（動きが閾値以上の個所）、被写体の動きが大きい個所（被写体距離の変動が閾値以上の個所）等を撮像情報に基づいて特定し、自動で処理する構成とすることもできる。また、たとえば、撮像情報を利用して、自動で音声編集方法が変えることもできる。映像の全体を通じて第２音声を低減させる場合において、低減させる強度を撮像情報に基づいて自動で変えることができる（撮像装置本体の動きの大きい個所、被写体の動きが大きい個所に強度を変える等）。また、たとえば、撮像情報を利用して、音声編集方法が必要な個所を検出し、自動で頭出しすることもできる。
　［第５の実施の形態］
　本実施の形態では、第１音声を集音する第１マイクロフォン１２Ａ及び第２音声を集音する第２マイクロフォン１４Ａの情報を取得し、記憶部１８に記録しておく。記録した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、音声付きの映像（第２映像）を生成する際に使用される。具体的には、音声付きの映像を生成する際に、表示部１６に表示される。ユーザは、表示部１６に表示された情報を利用して、第２音声の強度の設定等を行う。ここで、マイクロフォンの情報とは、たとえば、風防の有無の情報、風防が備えられている場合に風防の種類（スポンジ型、ファー型、カゴ型等）の情報、指向性の有無の情報等である。この他、マイクロフォンの情報には、マイクロフォンの性能諸要素の情報（たとえば、マイクロフォンの指向特性の情報（音が到来する方向に対する感度の変化の情報）、周波数特性の情報（音の高低によって感度がどのように変わるかの情報）、最大音圧レベル（マイクロフォンが収音できる最も大きな音のレベル）の情報、等価雑音レベル（入力換算雑音レベル）の情報、出力インピーダンスの情報、開回路感度の情報等）等も含めることができる。
　第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、ユーザが操作部２２を介して撮像装置１に入力する。ＣＰＵ２４は、操作部２２を介して入力された第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を記憶部１８にする。また、音付きの映像を生成する際は、記憶部１８に記録された第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を表示部１６に表示する。
　図１３は、マイクロフォンの情報を取得して記録する場合及びマイクロフォンの情報を表示する場合にＣＰＵが実現する機能のブロック図である。同図に示すように、ＣＰＵ２４は、マイクロフォン情報取得部１４１、マイクロフォン情報記録部１４２及びマイクロフォン情報表示部１４３として機能する。
　マイクロフォン情報取得部１４１は、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を取得する。上記のように、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、操作部２２を介して、ユーザが入力する。ユーザは、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａについて、風防の有無、風防が備えられている場合に風防の種類（スポンジ型、ファー型、カゴ型等）、指向性の有無等の情報を入力する。
　マイクロフォン情報記録部１４２は、マイクロフォン情報取得部１４１で取得した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を記憶部１８に記録する。第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、映像（第１映像）に関連付けて記録される。
　マイクロフォン情報表示部１４３は、操作部２２からの操作入力に基づいて、記憶部１８から第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を取得し、表示部１６に表示する。
　本実施の形態の撮像装置を用いた音声付き映像の生成は、たとえば、次のように行われる。
　まず、撮像部１０によって第１映像が撮像され、記憶部１８に記録される（映像記録工程）。また、撮像に同期して第１音声及び第２音声が集音され、第１映像に関連付けて記憶部１８に記録される（第１音声記録工程及び第２音声記録工程）。また、撮像の際に使用した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報が入力され（第２情報取得工程）、記憶部１８に記録される。
　次に、記録された第１映像、第１音声及び第２音声を用いて、音声付きの映像（第２映像）が生成される。まず、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報が記憶部１８から読み出され、表示部１６に表示される（第２表示工程）。ユーザは、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を元に第２音声を合成する際の強度を設定する。また、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を元に第１音声を処理する際の処理条件を設定する。たとえば、風防の有無、種類に応じて、強度を設定する。
　音声付きの映像の生成が指示されると、操作部２２からの操作入力に基づき、第２音声を用いて第１音声が処理され、第３音声が生成される（音声生成工程）。そして、生成された第３音声と第１映像とが関連付けられて、音声付きの映像（第２映像）が生成される（映像生成工程）。
　このように、本実施の形態によれば、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を取得して、記録しておく。これにより、音声付きの映像を生成する際に、より適切に第３音声を生成できる。たとえば、メインの音声の損失を最小限に抑えることができる。
　［第５の実施の形態の変形例］
　取得した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報の用途は、上記の例に限定されない。たとえば、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を利用して、自動で第１音声を処理して、第３音声を生成する構成とすることもできる。たとえば、第１音声に第２音声を合成して、第３音声を生成する場合において、第２音声を合成する際の強度を第２マイクロフォン１４Ａの種類に応じて自動で設定することもできる。また、たとえば、第１音声に対して第２音声と同じ周波数の音声成分を処理して第３音声を生成する場合において、第２マイクロフォン１４Ａの種類に応じて、処理対象の周波数を自動で変える構成とすることもできる。
　また、上記の例では、ユーザが、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を撮像装置１に入力する構成としているが、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を自動で収集する構成とすることもできる。
　［第６の実施の形態］
　本実施の形態では、第１映像の撮像中、第２音声が記録されたタイミングを検出して記録しておく。記録した情報は、音声付きの映像（第２映像）を生成する際に使用される。具体的には、音声付きの映像を生成する際に、表示部１６に表示される。ユーザは、表示部１６に表示された情報を利用して、音声の編集を行う区間（シーン）を特定する。
　第２音声が記録されたタイミングの検出はＣＰＵ２４が行う。図１４は、第２音声が記録されたタイミングを検出して記録する場合及び記録された情報を表示する場合にＣＰＵが実現する機能のブロック図である。同図に示すように、ＣＰＵ２４は、第２音声検出部１５１、タイミング情報記録部１５２及びタイミング情報表示部１５３として機能する。
　第２音声検出部１５１は、第２音声入力部１４から入力される第２音声の音声信号に基づいて第２音声が記録されたタイミングを検出する。すなわち、第２音声の音声信号の入力を検出して、第２音声が記録されたタイミングを検出する。
　タイミング情報記録部１５２は、第２音声検出部１５１で検出された第２音声の記録タイミングの情報（タイミング情報）を記憶部１８に記録する。タイミング情報は、映像（第１映像）に関連付けて記録される。
　タイミング情報表示部１５３は、操作部２２からの操作入力に基づいて、記憶部１８からタイミング情報を取得し、表示部１６に表示する。たとえば、第２音声が記録されたタイミングを時間軸上で表示する。
　本実施の形態の撮像装置を用いた音節付き映像の生成は、たとえば、次のように行われる。
　まず、撮像部１０によって第１映像が撮像され、記憶部１８に記録される（映像記録工程）。撮像に同期して第１映像のタイミング情報が取得され（第１情報取得工程）、第１映像に関連付けて記憶部１８に記録される。また、撮像に同期して第１音声及び第２音声が集音され、第１映像に関連付けて記憶部１８に記録される（第１音声記録工程及び第２音声記録工程）。また、第２音声の記録されたタイミングの検出が行われる（第２音声検出工程）。検出された情報は、第１映像に関連付けられて記憶部１８に記録される（関連付け工程）。
　次に、記録された第１映像、第１音声及び第２音声を用いて、音声付きの映像（第２映像）が生成される。まず、タイミング情報が記憶部１８から読み出され、表示部１６に表示される。たとえば、第２音声が記録されたタイミングが時間軸上で表示される。ユーザは、操作部２２を介して、第２音声を合成する個所、又は、第２音声を編集する個所を特定し、音声付きの映像（第２映像）の生成を指示する。
　音声付きの映像の生成が指示されると、操作部２２からの操作入力に基づき、第２音声を用いて第１音声が処理され、第３音声が生成される（音声生成工程）。そして、生成された第３音声と第１映像とが関連付けられて、音声付きの映像（第２映像）が生成される（映像生成工程）。
　このように、本実施の形態によれば、第２音声が記録されたタイミングを検出して、記録しておく。これにより、音声付きの映像を生成する際に、音声の編集が必要な個所（シーン）を簡単に特定できる。
　［第６の実施の形態の変形例］
　取得したタイミング情報の用途は、上記例に限定されない。たとえば、タイミング情報に基づいて、音声編集が必要な個所を自動的に特定する構成とすることもできる。
　また、第２音声が記録されたタイミングは、第１映像の撮像終了後に検出してもよい。すなわち、撮像終了後に第２音声の音声データを解析して、第２音声が記録されたタイミングを検出する構成としてもよい。
　［その他の実施の形態］
　上記のように、メインの音声である第１音声を集音する第１マイクロフォン１２Ａについては、無指向性の集音特性を有するマイクロフォンを使用することが好ましい。また、第２音声を集音する第２マイクロフォン１４Ａについては、指向性の集音特性を有するマイクロフォン（たとえば、ガンマイク等）を使用することが好ましい。これにより、第１音声及び第２音声の録音の精度を向上できる。また、たとえば、特定の声の音声特性を維持しながら音の調整を行うこともできる。
　また、指向性の集音特性を有するマイクロフォンを使用して第２音声を集音する場合において、指向性を調整できる場合、第２音声の音源の位置の変化に応じて、マイクロフォンの指向性を変えることがより好ましい。たとえば、映像内における第２音声の音源の位置の変化に追従して、第２マイクロフォン１４Ａの向きを変える。音源の位置の変化は、たとえば、映像を解析して検出する。たとえば、第２音声の音源となる被写体を映像内で特定し、その被写体の位置を画像認識等で検出し、音源の位置を特定する。
　また、上記実施の形態では、本発明を撮像装置で実施する場合を例に説明したが、本発明を実施する装置及びシステムは、これに限定されるものではない。たとえば、撮像機能及び録音機能を備えた携帯電子機器（たとえば、スマートフォン、タブレットコンピュータ、ノートパソコン等）でも実施できる。また、記録済みの第１映像、第１音声及び第２音声をコンピュータ（たとえば、パーソナルコンピュータ等）に取り込み、コンピュータで第３音声を生成し、音声付きの映像（第２映像）を生成することもできる。
　第３音声を生成する機能、及び、第２映像を生成する機能等を実行する制御部は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、たとえば、ソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵが含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。
　制御部は、１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（たとえば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。
　上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には、たとえばＲＡＭが一時的記憶領域として用いられ、また、たとえば、不図示のＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に記憶されたデータを参照することもできる。
１　撮像装置
１０　撮像部
１０Ａ　撮像光学系
１０Ｂ　撮像素子
１０Ｃ　画像信号処理部
１２　第１音声入力部
１２Ａ　第１マイクロフォン
１２Ｂ　第１音声信号処理部
１４　第２音声入力部
１４Ａ　第２マイクロフォン
１４Ｂ　第２音声信号処理部
１６　表示部
１８　記憶部
２０　音声出力部
２２　操作部
２４　ＣＰＵ
２６　ＲＯＭ
２８　ＲＡＭ
３０　動き検出部
１０１　撮像制御部
１０２　映像出力部
１０３　第１映像記録部
１０４　第１音声記録部
１０５　第２音声記録部
１０６　動き記録部
１１１　映像再生部
１１２　音声再生部
１２１　第１映像取得部
１２２　第１音声取得部
１２３　第２音声取得部
１２４　第３音声生成部
１２４Ａ　強度調整部
１２４Ｂ　合成部
１２４Ｃ　周波数検出部
１２４Ｄ　音声処理部
１２４Ｅ　第２音声処理部
１２５　強度設定部
１２６　映像生成部
１２７　第２映像記録部
１２８　処理条件設定部
１３１　撮像情報取得部
１３２　撮像情報記録部
１３３　撮像情報表示部
１４１　マイクロフォン情報取得部
１４２　マイクロフォン情報記録部
１４３　マイクロフォン情報表示部
１５１　第２音声検出部
１５２　タイミング情報記録部
１５３　タイミング情報表示部

Claims (15)

  1. 　撮像部で撮像された第１映像を記録する映像記録工程と、
    　前記第１映像に同期して第１音声を記録する第１音声記録工程と、
    　前記第１音声と異なる第２音声を記録する第２音声記録工程と、
    　前記第２音声を用いて前記第１音声を処理し、強調又は低減させた前記第２音声を含む第３音声を生成する音声生成工程と、
    　前記第１映像と前記第３音声を関連付けて第２映像を生成する映像生成工程と、
    　を備えた映像生成方法。
  2. 　前記音声生成工程は、強調又は低減させた前記第２音声を前記第１音声に合成して、前記第３音声を生成する、
    　請求項１に記載の映像生成方法。
  3. 　前記音声生成工程の前に、前記第２音声の強度を設定する強度設定工程を更に備え、
    　前記音声生成工程は、前記強度設定工程で設定された強度で前記第２音声を前記第１音声に合成する、
    　請求項２に記載の映像生成方法。
  4. 　前記第１音声は前記第２音声と共通する音声成分である共通成分を含み、
    　前記音声生成工程は、前記第２音声を用いて、前記共通成分を強調又は低減させる処理を前記第１音声に行って、前記第３音声を生成する、
    　請求項１に記載の映像生成方法。
  5. 　前記音声生成工程の前に、前記共通成分の処理条件を設定する処理条件設定工程を更に備え、
    　前記音声生成工程は、前記処理条件設定工程で設定された処理条件に従って、前記共通成分を強調又は低減させる処理を前記第１音声に対して行う、
    　請求項４に記載の映像生成方法。
  6. 　前記撮像部を含む撮像装置本体の動きを検出する検出工程を更に備え、
    　前記音声生成工程は、前記検出工程において前記動きの検出があった場合、前記第１音声又は前記第２音声に所定の処理を行って前記第３音声を生成する、
    　請求項１から５のいずれか１項に記載の映像生成方法。
  7. 　前記撮像部による前記第１映像の撮像情報を取得する第１情報取得工程と、
    　前記撮像情報を表示する第１表示工程と、
    　を更に備えた請求項１から６のいずれか１項に記載の映像生成方法。
  8. 　前記撮像情報には、前記撮像部を含む撮像装置本体の動きの情報及び焦点距離の情報の少なくとも一つが含まれる、
    　請求項７に記載の映像生成方法。
  9. 　前記第１音声及び前記第２音声を集音する集音部の情報を取得する第２情報取得工程を更に備え、
    　前記集音部の情報を表示する第２表示工程と、
    　を更に備えた請求項１から８のいずれか１項に記載の映像生成方法。
  10. 　前記第２音声記録工程は、前記第１映像に同期して前記第２音声を記録する、
    　請求項１から９のいずれか１項に記載の映像生成方法。
  11. 　前記第２音声の記録されたタイミングを検出する第２音声検出工程と、
    　前記第２音声検出工程で検出された情報を前記第１映像に関連付ける関連付け工程と、
    　を更に備えた請求項１０に記載の映像生成方法。
  12. 　前記第２音声記録工程は、前記映像記録工程の前に前記第２音声を記録する、
    　請求項１から１１のいずれか１項に記載の映像生成方法。
  13. 　前記第１音声記録工程は、第１集音部を介して前記第１音声を記録し、
    　前記第２音声記録工程は、前記第１集音部とは異なる第２集音部を介して前記第２音声を記録する、
    　請求項１から１２のいずれか１項に記載の映像生成方法。
  14. 　前記第２集音部は、指向性の集音特性を有し、
    　前記第１集音部は、前記第２収音部よりも低い指向性の集音特性を有する、
    　請求項１３に記載の映像生成方法。
  15. 　前記第２集音部は、指向性の集音特性を有し、
    　前記第２音声生成工程は、前記第２音声の音源の位置を検出し、検出された前記音源の方向に前記第２収音部を指向する、
    　請求項１３又は１４に記載の映像生成方法。
PCT/JP2020/028072 2019-07-26 2020-07-20 映像生成方法 WO2021020197A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021536957A JPWO2021020197A1 (ja) 2019-07-26 2020-07-20
JP2024003291A JP2024026741A (ja) 2019-07-26 2024-01-12 映像生成方法、映像生成装置及び映像生成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-137874 2019-07-26
JP2019137874 2019-07-26

Publications (1)

Publication Number Publication Date
WO2021020197A1 true WO2021020197A1 (ja) 2021-02-04

Family

ID=74228573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028072 WO2021020197A1 (ja) 2019-07-26 2020-07-20 映像生成方法

Country Status (2)

Country Link
JP (2) JPWO2021020197A1 (ja)
WO (1) WO2021020197A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088887A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 録音装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008178090A (ja) * 2006-12-22 2008-07-31 Victor Co Of Japan Ltd 映像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088887A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 録音装置

Also Published As

Publication number Publication date
JPWO2021020197A1 (ja) 2021-02-04
JP2024026741A (ja) 2024-02-28

Similar Documents

Publication Publication Date Title
CN112165590B (zh) 视频的录制实现方法、装置及电子设备
US10848889B2 (en) Intelligent audio rendering for video recording
JP5801026B2 (ja) 画像音響処理装置及び撮像装置
JP4896838B2 (ja) 撮像装置、画像検出装置及びプログラム
US20170289681A1 (en) Method, apparatus and computer program product for audio capture
JP2013106298A (ja) 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置
US8712207B2 (en) Digital photographing apparatus, method of controlling the same, and recording medium for the method
JP2009284001A (ja) 画像処理装置、撮像装置及び画像処理方法
WO2000077537A1 (fr) Procede et appareil de determination d'une source sonore
JP4513699B2 (ja) 動画像編集装置、動画像編集方法及びプログラム
KR102655625B1 (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
JP2009141555A (ja) 音声入力機能付き撮像装置及びその音声記録方法
JP4968346B2 (ja) 撮像装置、画像検出装置及びプログラム
JP2017011504A (ja) 撮像装置、画像処理方法及びプログラム
JP2014187551A (ja) 画像取得装置、画像取得方法及びプログラム
WO2021020197A1 (ja) 映像生成方法
JP2019021966A (ja) 収音装置および収音方法
JP2011139306A (ja) 撮像装置及び再生装置
JP2016127419A (ja) 画像補正装置、画像補正方法及びプログラム
WO2010061791A1 (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
CN104079822B (zh) 摄像装置、信号处理装置及方法
WO2021029294A1 (ja) データ作成方法及びデータ作成プログラム
JP5712599B2 (ja) 撮像装置及びプログラム
JP3043034B2 (ja) 画像入出力装置
JP6372176B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20847605

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536957

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20847605

Country of ref document: EP

Kind code of ref document: A1