WO2018216499A1 - データ処理装置、データ処理方法、プログラム、及び、データ処理システム - Google Patents

データ処理装置、データ処理方法、プログラム、及び、データ処理システム Download PDF

Info

Publication number
WO2018216499A1
WO2018216499A1 PCT/JP2018/018246 JP2018018246W WO2018216499A1 WO 2018216499 A1 WO2018216499 A1 WO 2018216499A1 JP 2018018246 W JP2018018246 W JP 2018018246W WO 2018216499 A1 WO2018216499 A1 WO 2018216499A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
data
video
unit
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/018246
Other languages
English (en)
French (fr)
Inventor
知伸 早川
信瑩 何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US16/609,290 priority Critical patent/US10932000B2/en
Priority to JP2019519566A priority patent/JP7196066B2/ja
Publication of WO2018216499A1 publication Critical patent/WO2018216499A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/055—Time compression or expansion for synchronising with other signals, e.g. video signals

Definitions

  • the present technology relates to a data processing device, a data processing method, a program, and a data processing system, and in particular, a data processing device, a data processing method, a program, and a data processing suitable for use in recording intermittent images. About the system.
  • the time zone for recording video and the time zone for recording audio can be set individually, and both video and audio can be recorded for each time zone, or only one of them can be recorded.
  • a video / audio recording apparatus has been proposed (see, for example, Patent Document 1).
  • the present technology has been made in view of such a situation, and makes it possible to record significant audio for intermittent images.
  • the data processing device provides video based on the plurality of images from the first sound data corresponding to the sound captured within the first period in which the plurality of intermittent images are captured.
  • An audio extraction unit is provided that extracts one or more audio blocks to be reproduced together with data based on a predetermined feature amount.
  • the data processing method is one or more that is reproduced together with video data based on the plurality of images from the sound data corresponding to the sound captured within a period in which the plurality of intermittent images are captured.
  • the program according to the first aspect of the present technology provides one or more audios to be reproduced together with video data based on the plurality of images from audio data corresponding to the audio captured within a period in which the plurality of intermittent images are captured.
  • a computer is caused to execute a process including an audio extraction step of extracting a block based on a predetermined feature amount.
  • the data processing system reproduces together with video data based on the plurality of images from the first sound data corresponding to the sound captured within a period in which the plurality of intermittent images are captured.
  • An audio extraction unit that extracts one or more audio blocks based on a predetermined feature amount, and audio processing that processes the extracted audio blocks to generate second audio data having the same length as the video data
  • a video / audio data generation unit that multiplexes the video data and the second audio data to generate video / audio data, the audio extraction unit, the audio processing unit, and the video / audio data generation
  • the units are provided dispersed in a plurality of devices.
  • one or more audio blocks that are reproduced together with video data based on the plurality of images from audio data corresponding to the audio captured within a period in which the plurality of intermittent images are captured. Are extracted based on a predetermined feature amount.
  • the extracted audio block is processed to generate second audio data having the same length as the video data, and the video data and the second audio are generated.
  • the data is multiplexed and video / audio data is generated.
  • significant audio can be recorded for intermittent images.
  • 1 is a block diagram illustrating an embodiment of a recording apparatus to which the present technology is applied. It is a block diagram which shows the structural example of a feature-value process part. It is a block diagram which shows the structural example of an audio
  • 1 is a block diagram illustrating an embodiment of an editing apparatus to which the present technology is applied. It is a figure which shows the structural example of a computer.
  • FIG. 1 is a block diagram illustrating a configuration example of a recording apparatus 10 that is a first embodiment of a data processing apparatus to which the present technology is applied.
  • the recording device 10 is a device that captures an image and sound, and generates and records video / audio data based on the captured image and sound.
  • the recording apparatus 10 can record video / audio data in at least two modes, a normal recording mode and an interval recording mode.
  • the normal recording mode is a mode for continuously capturing images at a high frame rate (for example, 30 fps) and recording video / audio data.
  • the interval recording mode is a mode in which video / audio data is recorded by intermittently capturing images at predetermined intervals at a low frame rate (for example, 1 fps).
  • the recording apparatus 10 includes an input unit 11, a sensor unit 12, a control unit 13, an image capturing unit 14, an image processing unit 15, an audio capturing unit 16, a feature amount processing unit 17, an audio processing unit 18, a video / audio data generating unit 19, And the recording part 20 is provided.
  • the input unit 11 includes an operation device for operating the recording apparatus 10 and an input device for inputting data.
  • the input unit 11 supplies an operation signal corresponding to a user operation and data input from the outside to the control unit 13.
  • the sensor unit 12 includes various sensors necessary for processing of the recording apparatus 10.
  • the sensor unit 12 includes an acceleration sensor, a gyro sensor, a vibration sensor, a human sensor, and the like.
  • the sensor unit 12 supplies the sensor data output from each sensor to the control unit 13 together with the time information when the data is acquired.
  • the control unit 13 includes, for example, various processors such as a CPU, and controls each unit of the recording apparatus 10.
  • the image capturing unit 14 includes, for example, a camera module and captures images.
  • the image capturing unit 14 supplies image data corresponding to the captured image to the image processing unit 15.
  • the image capturing unit 14 continuously captures images at a high frame rate (for example, 30 fps), and interval capturing (or time-lapse capturing) for intermittently capturing images at a low frame rate (for example, 1 fps). Is possible.
  • the image processing unit 15 performs various types of image processing on the image data supplied from the image capturing unit 14 as necessary, and supplies the image data to the video / audio data generation unit 19.
  • the voice capturing unit 16 includes, for example, a microphone and performs voice capturing.
  • the sound capturing unit 16 supplies sound data corresponding to the captured sound to the feature amount processing unit 17 or the sound processing unit 18.
  • the feature amount processing unit 17 extracts the feature amount of the voice data, and performs a filtering process on the voice data based on the extracted feature amount. Thereby, a part of the audio data is supplied to the audio processing unit 18 and the rest is discarded.
  • the audio processing unit 18 performs various types of audio processing on the audio data supplied from the audio capturing unit 16 or the feature amount processing unit 17 as necessary, and supplies the audio data to the video / audio data generation unit 19.
  • the video / audio data generation unit 19 generates video / audio data based on the video data based on the image data supplied from the image processing unit 15 and the audio data supplied from the audio processing unit 18, and records it in the recording unit 20. To perform the process.
  • the recording unit 20 includes a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • FIG. 2 is a block diagram illustrating a configuration example of the feature amount processing unit 17 of FIG.
  • the feature amount processing unit 17 includes a sound pressure detection unit 31 and a feature amount extraction unit 32.
  • the sound pressure detection unit 31 detects a sound pressure that is one of the feature amounts of the sound data supplied from the sound capturing unit 16. The sound pressure detection unit 31 supplies a part of the sound data to the feature amount extraction unit 32 based on the detection result of the sound pressure, and discards the rest.
  • the feature quantity extraction unit 32 divides the audio data supplied from the sound pressure detection unit 31 into audio blocks of a predetermined length, and has one or more dimensions based on one or more viewpoints other than the sound pressure of each audio block. Extract features.
  • the feature amount extraction unit 32 assigns a score based on the extracted feature amount to each speech block, supplies a part of the speech blocks to the feature amount processing unit 17 based on the score, and the remaining speech blocks Discard.
  • FIG. 3 is a block diagram illustrating a configuration example of the audio processing unit 18 of FIG.
  • the audio processing unit 18 includes a buffer 51, an audio extraction unit 52, an audio processing unit 53, and an encoding unit 54.
  • the buffer 51 temporarily stores the audio block supplied from the feature amount processing unit 17.
  • the voice extraction unit 52 extracts a part of the voice blocks from the voice blocks stored in the buffer 51 based on the score based on the feature amount given to each voice block, and sends it to the voice processing unit 53. Supply.
  • the audio processing unit 53 performs various processing on the audio block extracted by the audio extraction unit 52 to generate audio data to be multiplexed and recorded on the video / audio data.
  • the audio processing unit 53 supplies the generated audio data to the encoding unit 54.
  • the encoding unit 54 performs a predetermined encoding process on the audio data supplied from the audio capturing unit 16 or the audio processing unit 53 and supplies the encoded audio data to the video / audio data generation unit 19.
  • This process is started, for example, when an instruction to start the recording process is input to the control unit 13 via the input unit 11. Alternatively, this process is started when, for example, a recording process schedule is preset and the start time is reached. In addition, the normal recording mode or the interval recording mode is selected by the start of the recording process.
  • step S1 the voice capturing unit 16 starts capturing voice.
  • the image capturing unit 14 captures an image at a predetermined frame rate, and starts processing to supply image data corresponding to the captured image to the image processing unit 15.
  • the frame rate at which an image is captured is set to 30 fps, for example, when the normal recording mode is set, and is set to 1 fps, for example, when the interval recording mode is set.
  • the image processing unit 15 performs predetermined image processing such as encoding on the image data and starts processing to be supplied to the video / audio data generation unit 19.
  • step S2 the control unit 13 determines whether or not the normal recording mode is set. If it is determined that the normal recording mode is set, the process proceeds to step S3.
  • step S3 the recording apparatus 10 starts an encoding process. Specifically, under the control of the control unit 13, the audio capturing unit 16 starts a process of supplying audio data corresponding to continuously acquired audio to the encoding unit 54.
  • the encoding unit 54 performs a predetermined encoding process on the audio data, and starts a process of supplying the encoded audio data to the video / audio data generation unit 19.
  • step S4 the video / audio data generation unit 19 starts generating and recording the video / audio data. For example, the following processing is started.
  • the video / audio data generation unit 19 generates video data that is a bit stream of a predetermined format based on the image data of each frame supplied from the image processing unit 15.
  • the video / audio data generation unit 19 converts the audio data supplied from the encoding unit 54 into a bit stream having a predetermined format. Further, the video / audio data generation unit 19 generates video / audio data by multiplexing the video data and the audio data, and causes the recording unit 20 to record the video / audio data.
  • step S5 the control unit 13 determines whether or not the interval recording mode is set. If it is determined that the interval recording mode is not set, the process proceeds to step S6.
  • step S6 the control unit 13 determines whether or not to end the recording process. If it is determined not to end the recording process, the process returns to step S5.
  • step S5 Thereafter, until it is determined in step S5 that the interval recording mode has been set or until it is determined in step S6 that the recording process is to be terminated, the determination processes in steps S5 and S6 are repeatedly executed, and the video in the normal recording mode is obtained. Audio data recording continues.
  • step S6 when an instruction to stop the recording process is input via the input unit 11, the control unit 13 determines to end the recording process.
  • the control unit 13 determines that the recording process is to be ended when the recording process schedule is preset and the end time is reached. If it is determined that the recording process is to be terminated, the recording process is terminated.
  • step S5 for example, when an instruction for setting the interval recording mode is input via the input unit 11, the control unit 13 determines that the interval recording mode is set, and the process proceeds to step S7. This is a case where the normal recording mode is changed to the interval recording mode.
  • step S2 determines whether the interval recording mode is set. If it is determined in step S2 that the interval recording mode is set, the process proceeds to step S7.
  • step S7 the recording apparatus 10 starts detecting the sound pressure.
  • the sound capturing unit 16 starts a process of supplying sound data indicating the continuously captured sound to the sound pressure detecting unit 31 under the control of the control unit 13.
  • the sound pressure detection unit 31 starts a process of detecting the sound pressure of the sound data supplied from the sound capturing unit 16.
  • step S8 the sound pressure detection unit 31 starts filtering the voice data based on the sound pressure.
  • the sound pressure detection unit 31 supplies the feature amount extraction unit 32 with the sound data of a section in which the state where the sound pressure is equal to or higher than a predetermined threshold continues for a predetermined time and discards the sound data of the other sections. Start processing.
  • the length of this section is set to, for example, a time during which short-time noise included in audio data can be removed.
  • This threshold value is set to a level at which, for example, significant audio, that is, audio that is unlikely to contain audio to be recorded can be discarded.
  • significant audio varies depending on, for example, the scene to be recorded and the purpose. For example, when recording the growth of a plant, the voice of a person around the plant is a significant voice. For example, when it is desired to record the progress of the construction, the sound at the construction site is a significant voice. For example, when it is desired to record the transition of the landscape such as the sea, mountains, and sky, the sound of nature, the sound of animals and insects, and the like are considered significant sounds.
  • This filtering process can reduce the processing of the feature extraction unit 32 at the subsequent stage.
  • the feature amount extraction unit 32 starts extracting feature amounts.
  • the feature quantity extraction unit 32 divides the voice data supplied from the sound pressure detection unit 31 into voice blocks having a predetermined length, extracts the feature quantity of each voice block, and extracts each voice based on the extracted feature quantity. Start the process of scoring blocks.
  • the type of feature value to be extracted is set based on the type of audio to be recorded, for example. For example, when a person's voice is desired to be recorded, a feature amount representing the human voice is set as an extraction target. For example, when only the voice of a specific person is desired to be recorded, a feature quantity at a level that can identify each individual voice is set as an extraction target. Furthermore, for example, when it is desired to record only a statement of specific contents, the result of sentence analysis is extracted as a feature amount.
  • the length of the voice block is set, for example, to be equal to or longer than the minimum length at which the voice included in the voice block can be recognized as a voice meaningful to a person.
  • step S7 and step S8 may be omitted, and feature values of all audio data may be extracted.
  • the feature quantity extraction unit 32 starts filtering audio data based on the feature quantity. For example, the feature quantity extraction unit 32 starts a process of accumulating voice blocks whose score based on the feature quantity is a predetermined threshold or more together with the score in the buffer 51 and discarding other voice blocks without accumulating them in the buffer 51. To do.
  • the capacity of the buffer 51 can be reduced by this filtering process.
  • step S11 the control unit 13 determines whether it is time to record the video / audio data. If it is determined that it is not time to record the video / audio data, the process proceeds to step S12.
  • step S12 the control unit 13 determines whether or not the normal recording mode is set. If it is determined that the normal recording mode is not set, the process proceeds to step S13.
  • step S13 similarly to the process in step S6, it is determined whether or not to end the recording process. If it is determined not to end the recording process, the process returns to step S11.
  • step S11 After it is determined in step S11 that it is time to record the video / audio data, in step S12, it is determined that the normal recording mode is set, or in step S13, it is determined that the recording process is ended.
  • the processes from step S11 to step S13 are repeatedly executed.
  • step S13 determines whether the recording process is to be terminated. If it is determined in step S13 that the recording process is to be terminated, the process proceeds to step S14.
  • step S12 for example, when an instruction for setting the normal recording mode is input via the input unit 11, the control unit 13 determines that the normal recording mode is set, and the process proceeds to step S14. This is a case where the interval recording mode is changed to the normal recording mode.
  • step S11 the control unit 13 starts recording processing in the interval recording mode when recording of video / audio data has not yet been performed since the recording processing in the interval recording mode has started.
  • a predetermined time it is determined that it is time to record the video / audio data.
  • the control unit 13 has passed a predetermined time since the previous video / audio data was recorded. It is determined that it is time to record the video / audio data. If it is determined that it is time to record the video / audio data, the process proceeds to step S11.
  • the video / audio data is periodically generated and recorded at a predetermined interval.
  • This interval may be set by the user, for example, or may be automatically set by the recording apparatus 10.
  • the shorter the interval for recording the video / audio data the smaller the time difference between the video data and the audio data, and the higher the correlation between the video data and the audio data. Further, the capacity of the buffer 51 can be reduced, and the processing of the audio processing unit 18 can be distributed. On the other hand, if the interval at which the video / audio data is recorded is too short, for example, the audio may be too short or may be interrupted in the middle, making it impossible to record significant audio.
  • step S11 the determination process in step S11 can be omitted.
  • this determination process is omitted, video and audio data are collectively generated and recorded at the end of the recording process in the interval recording mode.
  • step S14 the control unit 13 calculates the video recording time. Specifically, the control unit 13 starts recording processing in the interval recording mode and starts recording processing in the interval recording mode when recording of video and audio data has not been performed yet. The length of the period until (hereinafter referred to as the recording target period) is calculated. On the other hand, when the video / audio data is recorded one or more times after the recording process in the interval recording mode is started, the control unit 13 records the period from the time when the previous video / audio data was recorded to the present (recording). Calculate the length of the target period).
  • step S15 the voice extraction unit 52 extracts a voice block based on the feature amount.
  • the audio extraction unit 52 collects audio blocks that are temporally continuous from the audio blocks stored in the buffer 51 into one audio block. Also, the voice extraction unit 52 calculates, for example, the average value of the scores of each voice block as the score of the voice blocks combined into one.
  • the voice extraction unit 52 performs the processing to be combined into one of the above, and then extracts a voice block having a score equal to or higher than a predetermined threshold from the voice blocks stored in the buffer 51.
  • the voice extraction unit 52 supplies the extracted voice block together with the score to the voice processing unit 53.
  • the sound extraction unit 52 deletes the sound block stored in the buffer 51 and resets the buffer 51.
  • step S16 the audio processing unit 53 generates audio data having the same length as the video recording time based on the extracted audio block.
  • the voice processing unit 53 arranges and connects the extracted voice blocks in the order of the fetched time. At this time, for example, the audio processing unit 53 performs fade processing (fade in and fade out) on each audio block so that the user does not feel uncomfortable when listening.
  • the audio processing unit 53 compresses the audio data in the time direction so that the connected audio data has the same length as the video recording time. Do.
  • the voice processing unit 53 increases the playback speed of each voice block by speaking speed conversion. Note that the maximum value of the reproduction speed is limited to a level at which a person can hear a conversation (for example, double speed).
  • the audio processing unit 53 superimposes adjacent audio blocks without a sense of incongruity by cross-fade processing.
  • the audio processing unit 53 performs the above processing, if the length of the audio data is longer than the video recording time, for example, the audio block is discarded in descending order of the score, and the length of the audio data is reduced. Adjust to equal the video recording time.
  • the audio processing unit 53 inserts one or more silent audio blocks (hereinafter referred to as silent blocks) to thereby increase the length of the audio data.
  • silent blocks are one or more silent audio blocks (hereinafter referred to as silent blocks) to thereby increase the length of the audio data.
  • the insertion position of the silent block is set so that the time lag between each audio block and the image data captured near the time when each audio block is captured becomes small.
  • the voice processing unit 53 performs processing such as gain adjustment of the voice data and noise removal as necessary.
  • the audio processing unit 53 supplies the generated audio data to the encoding unit 54.
  • step S17 the encoding unit 54 performs an encoding process. Specifically, the encoding unit 54 performs a predetermined encoding process on the audio data supplied from the audio processing unit 53 and supplies the encoded audio data to the video / audio data generation unit 19.
  • the video / audio data generation unit 19 generates and records video / audio data.
  • the video / audio data generation unit 19 generates video data that is a bit stream of a predetermined format based on the image data (intermittent image data) of each frame captured within the recording target period.
  • the video / audio data generation unit 19 converts the audio data supplied from the encoding unit 54 into a bit stream having a predetermined format.
  • time information for example, time stamps, etc.
  • the video / audio data generation unit 19 generates video / audio data by multiplexing the video data and the audio data, and causes the recording unit 20 to record the video / audio data.
  • step S19 similarly to the process in step S6, it is determined whether or not to end the recording process. If it is determined not to end the recording process, the process proceeds to step S20.
  • step S20 the control unit 13 determines whether or not the interval recording mode is set. If it is determined that the interval recording mode is set, the process returns to step S11, and the processes after step S11 are executed. This is a case where video and audio data is generated and recorded at a predetermined timing during the recording process in the interval recording mode, and the recording process in the interval recording mode is continued.
  • step S20 determines whether the normal recording mode is set. If it is determined in step S20 that the normal recording mode is set, the process returns to step S3, and the processes after step S3 are executed. This is a case where the interval recording mode is changed to the normal recording mode, and then the recording process in the normal recording mode is started.
  • step S19 If it is determined in step S19 that the recording process is to be terminated, the recording process is terminated.
  • FIG. 6 shows an example of timing for capturing an image and sound when capturing the image and sound at the same time when the flower growth is recorded intermittently.
  • the first line in the figure shows how the flower grows
  • the second line shows the timing for capturing the image with a frame including a picture of the camera
  • the third line shows the timing for capturing the sound with a waveform. It is shown by a frame including a figure.
  • an image having a length of 33 ms is captured and recorded at a predetermined interval. Further, in synchronization with the image, sound having a length of 33 ms is captured and recorded at a predetermined interval.
  • significant sound does not always flow in the background.
  • FIG. 7 shows an example of the timing of capturing an image and sound when the present technology is used when the flower growth is intermittently recorded, as in FIG.
  • a specific example of the audio to be captured is shown below the row indicating the timing for capturing the audio.
  • the video / audio data recorded in the interval recording mode can be reproduced by the same method as the video / audio data recorded in the normal recording mode, without depending on the reproduction environment or the apparatus.
  • the normal recording mode and the interval recording mode can be switched seamlessly. Further, even if the recording mode is switched in the middle, it is possible to continuously reproduce without performing special processing during reproduction.
  • FIG. 8 is a block diagram illustrating a configuration example of the editing apparatus 100 that is the second embodiment of the data processing apparatus to which the present technology is applied. In the figure, portions corresponding to those of the recording apparatus 10 in FIG.
  • the editing device 100 is, for example, a device that generates video / audio data in which images are recorded intermittently from video / audio data in which images are continuously recorded at a normal frame rate.
  • the editing apparatus 100 is provided with a control unit 101 instead of the control unit 13, a separation unit 102 and an image extraction unit 103 are added, a sensor unit 12, an image capture unit 14, and an audio The difference is that the capturing unit 16 is deleted.
  • the control unit 101 includes, for example, various processors such as a CPU, and controls each unit of the editing apparatus 100.
  • the separation unit 102 separates the video data and the audio data multiplexed in the video / audio data supplied from the outside. Then, the separation unit 102 supplies the video data to the image extraction unit 103 and supplies the audio data to the feature amount processing unit 17.
  • the image extraction unit 103 extracts image data of a plurality of frames included in the video data at a predetermined interval, and supplies the extracted image data to the image processing unit 15.
  • intermittent image data similar to the image data captured intermittently by the recording apparatus 10 in the interval shooting mode is supplied to the image processing unit 15.
  • the image processing unit 15 performs predetermined image processing on each image data and supplies the image data to the video / audio data generation unit 19.
  • the feature amount extraction unit 17 and the audio processing unit 18 generate audio data based on the audio data supplied from the separation unit 102 by the same process as the process in the interval shooting mode of the recording apparatus 10 described above, and The audio data generation unit 19 is supplied.
  • the video / audio data generation unit 19 generates video data based on the intermittent image data by the same processing as the processing in the interval shooting mode of the recording apparatus 10 described above. Then, the video / audio data generation unit 19 generates video / audio data based on the video data and the audio data, and causes the recording unit 20 to record the video / audio data.
  • video / audio data in which images are recorded intermittently is generated from video / audio data in which images are recorded continuously.
  • audio data including significant audio is extracted from the already recorded audio data and recorded in the video / audio data.
  • the image capturing unit 14 and the sound capturing unit 16 may be provided outside the recording apparatus 10.
  • a photographing device including the image capturing unit 14 and the sound capturing unit 16 is installed in a place where it is desired to photograph, and the photographing is always performed in the interval photographing mode, and the captured image data and sound data are transmitted to the recording device 10. Also good. Thereby, the load on the photographing device can be reduced and the power consumption can be reduced. In addition, the amount of data transmission between the photographing apparatus and the recording apparatus 10 is reduced, and the transmission capacity of the transmission path between them can be reduced.
  • the video / audio data generation unit 19 and the recording unit 20 may be provided outside the recording apparatus 10.
  • image data and audio data can be transmitted intermittently or at a low bit rate from the recording apparatus 10 to a subsequent apparatus including the video / audio data generation unit 19 and the recording unit 20.
  • the transmission capacity of the path can be further reduced.
  • the recording unit 20 may be provided outside the recording device 10 or the editing device 100.
  • the recording device 10 or the editing device 100 supplies the generated video / audio data to an external device (for example, a local server, a smartphone, etc.) and records it or supplies it to a server that provides a cloud service or the like via a network. However, it may be recorded.
  • image data and audio data to which a score based on the feature amount (hereinafter referred to as audio data with a score) is transmitted from the recording apparatus 10 to an external device or server, and audio data for recording outside.
  • audio data with a score a score based on the feature amount
  • image data and scored audio data may be transmitted to a plurality of devices, and different audio data may be generated in each device, and video / audio data including different audio data may be generated.
  • image data and scored voice data may be transmitted to a plurality of smartphones, and the voice data may be extracted and recorded in each smartphone based on the voice of the owner of the smartphone.
  • ⁇ Modification regarding processing> For example, when the video / audio data is recorded in the interval recording mode, or when the video / audio data is generated and recorded in the interval recording mode and the recording interval (hereinafter referred to as recording interval) is determined in advance, the steps of FIG.
  • the video recording time calculated in the process of S14 is determined in advance. Then, in consideration of speech speed conversion, cross-fade processing, etc., the maximum time before compression in the time direction of the audio data that can be multiplexed with the video data of the video recording time (hereinafter referred to as audio recording possible time) Is determined in advance.
  • the audio block having a small score is set so that the total time of the audio block does not exceed the audio recordable time.
  • the buffer 51 For example, based on the time of the video data that has not yet been recorded, the total time of the audio blocks stored in the buffer 51, the score of each audio block, and the like, it is predicted that the data will be reliably extracted and recorded. For a speech block with a high score, processing and encoding processing may be performed in advance. Thereby, the capacity of the buffer 51 can be reduced.
  • an audio block having a high score may be encoded almost in real time, converted into a predetermined format, and recorded in the recording unit 20. Thereby, the capacity of the buffer 51 can be reduced. If the final audio data time is longer than the video recording time, for example, the audio data length is adjusted by decoding the audio around the discontinuity of the audio data and then re-encoding it while crossfading. Is possible. On the other hand, when the time of the final audio data is shorter than the video recording time, for example, the length of the audio data can be adjusted by inserting a silence block.
  • the processing of the feature amount processing unit 17 and the sound processing unit 18 can be performed in parallel, and the processing time can be shortened.
  • the example in which the audio data to be recorded is extracted based on the feature amount extracted from the audio data has been described.
  • the recording is performed based on the feature amount other than the feature amount extracted from the audio data.
  • Audio data may be extracted.
  • audio data to be recorded may be extracted based on feature quantities based on time-series sensor data detected in parallel with audio acquisition by various sensors included in the sensor unit 12. For example, audio data during a period in which the presence of a person is detected by a human sensor may be extracted. Further, for example, audio data during a period in which a vibration greater than a predetermined threshold is detected by the vibration sensor may be extracted.
  • the feature quantity extraction unit 32 may extract the feature quantity from the sensor data supplied from the sensor unit 12.
  • the image capturing unit 14 in FIG. 1 may capture an image at the same frame rate as the normal recording mode in the interval recording mode, extract image data at a predetermined interval, and supply the image data to the image processing unit 15. Good.
  • the present technology can be applied to an apparatus (for example, a photographing apparatus, a recording apparatus, an editing apparatus, etc.) or a system including a function for generating audio data to be reproduced together with video data based on intermittent images.
  • an apparatus for example, a photographing apparatus, a recording apparatus, an editing apparatus, etc.
  • the video data that is the subject of the present technology may be video data based on an intermittently captured image or video data based on an image extracted from a continuously captured image. Further, the time interval between intermittent images may be fixed or variable. For example, video data based on images captured intermittently in accordance with the movement of the subject is also an object of the present technology.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 405 is connected to the bus 404.
  • An input unit 406, an output unit 407, a recording unit 408, a communication unit 409, and a drive 410 are connected to the input / output interface 405.
  • the input unit 406 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 407 includes a display, a speaker, and the like.
  • the recording unit 408 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 409 includes a network interface.
  • the drive 410 drives a removable recording medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads, for example, the program recorded in the recording unit 408 to the RAM 403 via the input / output interface 405 and the bus 404 and executes the program. Is performed.
  • the program executed by the computer (CPU 401) can be provided by being recorded in, for example, a removable recording medium 411 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 408 via the input / output interface 405 by attaching the removable recording medium 411 to the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. In addition, the program can be installed in the ROM 402 or the recording unit 408 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a data processing apparatus comprising a voice extraction unit that extracts based on a quantity.
  • the data processing apparatus according to (1) further including an audio processing unit that processes the extracted audio block to generate second audio data having the same length as the video data.
  • the data processing device according to (2) wherein when a plurality of the audio blocks are extracted, the audio processing unit arranges and connects the plurality of audio blocks in time order.
  • the voice processing unit performs fade processing of each voice block.
  • the data processing apparatus according to any one of (2) to (7), further including a video / audio data generation unit that multiplexes the video data and the second audio data to generate video / audio data.
  • the data processing apparatus wherein the video / audio data generation unit changes time information of the video data and the audio data so as to continuously reproduce the plurality of images.
  • the data processing device according to any one of (1) to (9), further including a feature amount extraction unit that extracts the feature amount.
  • the feature amount includes at least one of a feature amount of the first audio data and a feature amount based on data detected by a predetermined sensor within the first period. (1) to (10 ).
  • the voice extraction unit includes, for each second period having a predetermined length, a plurality of intermittent data captured in the second period from voice data corresponding to the voice captured in the second period.
  • the data processing device according to any one of (1) to (11), wherein one or more audio blocks to be reproduced together with video data based on the image of the image is extracted based on the feature amount.
  • An image capture unit for capturing images;
  • the data processing device according to any one of (1) to (12), further including: a voice capturing unit that captures voice.
  • One or more audio blocks to be reproduced together with video data based on the plurality of images are extracted based on a predetermined feature amount from the audio data corresponding to the audio captured within the period when the plurality of intermittent images are captured.
  • a data processing method including an audio extraction step.
  • One or more audio blocks to be reproduced together with video data based on the plurality of images are extracted based on a predetermined feature amount from the audio data corresponding to the audio captured within the period when the plurality of intermittent images are captured.
  • a program for causing a computer to execute processing including a voice extraction step.
  • a voice extraction unit for extracting An audio processing unit that processes the extracted audio block to generate second audio data having the same length as the video data;
  • a video / audio data generating unit that multiplexes the video data and the second audio data to generate video / audio data;
  • An image capture unit for capturing images;

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、間欠的な画像に対して有意な音声を記録することができるようにするデータ処理装置、データ処理方法、プログラム、及び、データ処理システムに関する。 データ処理装置は、間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出部を備える。本技術は、例えば、インターバル撮影を行う記録装置に適用できる。

Description

データ処理装置、データ処理方法、プログラム、及び、データ処理システム
　本技術は、データ処理装置、データ処理方法、プログラム、及び、データ処理システムに関し、特に、間欠的な画像を記録する場合に用いて好適なデータ処理装置、データ処理方法、プログラム、及び、データ処理システムに関する。
　従来、所定の間隔で間欠的に画像を撮影するインターバル撮影を行うことが可能な装置が普及している。
　また、従来、映像を記録する時間帯と音声を記録する時間帯とを個別に設定し、時間帯毎に映像と音声の両方を記録したり、いずれか一方のみを記録したりすることが可能な映像音声記録装置が提案されている（例えば、特許文献１参照）。
特開２００７－１６６０４２号公報
　しかしながら、インターバル撮影時に画像と音声を同期して取り込んだ場合、音声が間欠的に取り込まれるため、必ずしも有意な音声を記録できるとは限らない。また、１フレーム分の画像の記録時間は非常に短いため、画像と同期して記録した音声の内容を人が認識することは困難である。
　また、特許文献１に記載の発明では、インターバル撮影において有意な音声を記録できるようにすることは考慮されていない。
　本技術は、このような状況に鑑みてなされたものであり、間欠的な画像に対して有意な音声を記録できるようにするものである。
　本技術の第１の側面のデータ処理装置は、間欠的な複数の画像が取り込まれた第１の期間内に取り込まれた音声に対応する第１の音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出部を備える。
　本技術の第１の側面のデータ処理方法は、間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出ステップを含む。
　本技術の第１の側面のプログラムは、間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出ステップを含む処理をコンピュータに実行させる。
　本技術の第２の側面のデータ処理システムは、間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する第１の音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出部と、抽出された前記音声ブロックを加工して、前記映像データと同じ長さの第２の音声データを生成する音声加工部と、前記映像データと前記第２の音声データとを多重化し、映像音声データを生成する映像音声データ生成部とを備え、前記音声抽出部、前記音声加工部、及び、前記映像音声データ生成部が、複数の装置に分散して設けられている。
　本技術の第１の側面においては、間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックが所定の特徴量に基づいて抽出される。
　本技術の第２の側面においては、間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する第１の音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックが所定の特徴量に基づいて抽出され、抽出された前記音声ブロックが加工され、前記映像データと同じ長さの第２の音声データが生成され、前記映像データと前記第２の音声データとが多重化され、映像音声データが生成される。
　本技術の第１の側面又は第２の側面によれば、間欠的な画像に対して有意な音声を記録することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した記録装置の一実施の形態を示すブロック図である。 特徴量処理部の構成例を示すブロック図である。 音声処理部の構成例を示すブロック図である。 記録処理を説明するためのフローチャートである。 記録処理を説明するためのフローチャートである。 画像と音声を同時に間欠的に取り込む場合を説明するための図である。 本技術を用いて画像と音声を取り込む場合を説明するための図である。 本技術を適用した編集装置の一実施の形態を示すブロック図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（記録装置の例）
　２．第２の実施の形態（編集装置の例）
　３．変形例
　４．その他
　＜＜１．第１の実施の形態＞＞
　まず、図１乃至図７を参照して、本技術の第１の実施の形態について説明する。
　＜記録装置の構成例＞
　図１は、本技術を適用したデータ処理装置の第１の実施の形態である記録装置１０の構成例を示すブロック図である。
　記録装置１０は、画像及び音声を取り込み、取り込んだ画像及び音声に基づく映像音声データを生成し、記録する装置である。
　また、記録装置１０は、通常記録モード及びインターバル記録モードの少なくとも２つのモードで映像音声データの記録を行うことができる。通常記録モードは、高いフレームレート（例えば、３０ｆｐｓ）で連続的に画像を取り込み、映像音声データを記録するモードである。インターバル記録モードは、低いフレームレート（例えば、１ｆｐｓ）で、所定の間隔を空けて間欠的に画像を取り込み、映像音声データを記録するモードである。
　記録装置１０は、入力部１１、センサ部１２、制御部１３、画像取込み部１４、画像処理部１５、音声取込み部１６、特徴量処理部１７、音声処理部１８、映像音声データ生成部１９、及び、記録部２０を備える。
　入力部１１は、記録装置１０の操作を行うための操作デバイスや、データを入力するための入力デバイスを備える。入力部１１は、ユーザ操作に対応する操作信号や、外部から入力されたデータを制御部１３に供給する。
　センサ部１２は、記録装置１０の処理に必要な各種のセンサを備える。例えば、センサ部１２は、加速度センサ、ジャイロセンサ、振動センサ、人感センサ等を備える。センサ部１２は、各センサから出力されるセンサデータをデータを取得した時刻情報とともに制御部１３に供給する。
　制御部１３は、例えば、ＣＰＵ等の各種のプロセッサ等を備え、記録装置１０の各部の制御を行う。
　画像取込み部１４は、例えば、カメラモジュール等を備え、画像の取込みを行う。画像取込み部１４は、取り込んだ画像に対応する画像データを画像処理部１５に供給する。
　また、画像取込み部１４は、高いフレームレート（例えば、３０ｆｐｓ）で連続的に画像を取り込む連続撮影、及び、低いフレームレート（例えば、１ｆｐｓ）で間欠的に画像を取り込むインターバル撮影（または、タイムラプス撮影）が可能である。
　画像処理部１５は、画像取込み部１４から供給される画像データに対して、必要に応じて各種の画像処理を施して、映像音声データ生成部１９に供給する。
　音声取込み部１６は、例えば、マイクロホン等を備え、音声の取込みを行う。音声取込み部１６は、取り込んだ音声に対応する音声データを特徴量処理部１７又は音声処理部１８に供給する。
　特徴量処理部１７は、音声データの特徴量を抽出し、抽出した特徴量に基づいて、音声データのフィルタリング処理を行う。これにより、音声データの一部が音声処理部１８に供給され、残りが破棄される。
　音声処理部１８は、音声取込み部１６又は特徴量処理部１７から供給される音声データに対して、必要に応じて各種の音声処理を施して、映像音声データ生成部１９に供給する。
　映像音声データ生成部１９は、画像処理部１５から供給される画像データに基づく映像データと、音声処理部１８から供給される音声データに基づいて、映像音声データを生成し、記録部２０に記録させる処理を行う。
　記録部２０は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等の記録媒体を備える。
　＜特徴量処理部の構成例＞
　図２は、図１の特徴量処理部１７の構成例を示すブロック図である。
　特徴量処理部１７は、音圧検出部３１及び特徴量抽出部３２を備える。
　音圧検出部３１は、音声取込み部１６から供給される音声データの特徴量の１つである音圧を検出する。音圧検出部３１は、音圧の検出結果に基づいて、音声データの一部を特徴量抽出部３２に供給し、残りを破棄する。
　特徴量抽出部３２は、音圧検出部３１から供給される音声データを所定の長さの音声ブロックに分割するとともに、各音声ブロックの音圧以外の１つ以上の視点に基づく１次元以上の特徴量を抽出する。また、特徴量抽出部３２は、抽出した特徴量に基づくスコアを各音声ブロックに付与し、そのスコアに基づいて、一部の音声ブロックを特徴量処理部１７に供給し、残りの音声ブロックを破棄する。
　＜音声処理部の構成例＞
　図３は、図１の音声処理部１８の構成例を示すブロック図である。
　音声処理部１８は、バッファ５１、音声抽出部５２、音声加工部５３、及び、符号化部５４を備える。
　バッファ５１は、特徴量処理部１７から供給される音声ブロックを一時的に蓄積する。
　音声抽出部５２は、バッファ５１に蓄積されている音声ブロックの中から、各音声ブロックに付与されている特徴量に基づくスコアに基づいて、一部の音声ブロックを抽出し、音声加工部５３に供給する。
　音声加工部５３は、音声抽出部５２により抽出された音声ブロックに対して各種の加工処理を行うことにより、映像音声データに多重化して記録する音声データを生成する。音声加工部５３は、生成した音声データを符号化部５４に供給する。
　符号化部５４は、音声取込み部１６又は音声加工部５３から供給される音声データに対して所定の符号化処理を行い、符号化した音声データを映像音声データ生成部１９に供給する。
　＜記録処理＞
　次に、図４及び図５のフローチャートを参照して、記録装置１０により実行される記録処理について説明する。なお、ここでは、記録装置１０が音声を取り込み、記録する処理を中心に説明し、その他の処理は必要に応じて適宜説明する。
　この処理は、例えば、記録処理の開始の指示が入力部１１を介して制御部１３に入力されたとき開始される。或いは、この処理は、例えば、記録処理のスケジュールが予め設定されており、その開始時刻になったとき開始される。また、記録処理の開始時までに、通常記録モード又はインターバル記録モードの選択が行われる。
　ステップＳ１において、音声取込み部１６は、音声の取込みを開始する。
　なお、このとき、画像取込み部１４は、所定のフレームレートで画像の取込みを行い、取り込んだ画像に対応する画像データを画像処理部１５に供給する処理を開始する。画像を取り込むフレームレートは、通常記録モードに設定されている場合、例えば、３０ｆｐｓに設定され、インターバル記録モードに設定されている場合、例えば、１ｆｐｓに設定される。
　また、画像処理部１５は、符号化等の所定の画像処理を画像データに施して、映像音声データ生成部１９に供給する処理を開始する。
　なお、通常記録モード又はインターバル記録モードのいずれの場合においても、音声は連続して取り込まれる。
　ステップＳ２において、制御部１３は、通常記録モードに設定されているか否かを判定する。通常記録モードに設定されていると判定された場合、処理はステップＳ３に進む。
　ステップＳ３において、記録装置１０は、符号化処理を開始する。具体的には、音声取込み部１６は、制御部１３の制御の下に、連続して取り込んだ音声に対応する音声データを符号化部５４に供給する処理を開始する。符号化部５４は、音声データに対して所定の符号化処理を行い、符号化後の音声データを映像音声データ生成部１９に供給する処理を開始する。
　ステップＳ４において、映像音声データ生成部１９は、映像音声データの生成及び記録を開始する。例えば、以下の処理が開始される。
　映像音声データ生成部１９は、画像処理部１５から供給される各フレームの画像データに基づいて、所定のフォーマットのビットストリームである映像データを生成する。また、映像音声データ生成部１９は、符号化部５４から供給される音声データを所定のフォーマットのビットストリームに変換する。さらに、映像音声データ生成部１９は、映像データと音声データを多重化することにより映像音声データを生成し、記録部２０に記録させる。
　ステップＳ５において、制御部１３は、インターバル記録モードに設定されたか否かを判定する。インターバル記録モードに設定されていないと判定された場合、処理はステップＳ６に進む。
　ステップＳ６において、制御部１３は、記録処理を終了するか否かを判定する。記録処理を終了しないと判定された場合、処理はステップＳ５に戻る。
　その後、ステップＳ５において、インターバル記録モードに設定されたと判定されるか、ステップＳ６において、記録処理を終了すると判定されるまで、ステップＳ５及びステップＳ６の判定処理が繰り返し実行され、通常記録モードによる映像音声データの記録が継続する。
　一方、ステップＳ６において、制御部１３は、例えば、記録処理の停止の指示が入力部１１を介して入力された場合、記録処理を終了すると判定する。或いは、制御部１３は、例えば、記録処理のスケジュールが予め設定されており、その終了時刻になったとき、記録処理を終了すると判定する。そして、記録処理を終了すると判定された場合、記録処理は終了する。
　また、ステップＳ５において、制御部１３は、例えば、インターバル記録モードの設定の指示が入力部１１を介して入力された場合、インターバル記録モードに設定されたと判定し、処理はステップＳ７に進む。これは、通常記録モードからインターバル記録モードに変更された場合である。
　さらに、ステップＳ２において、インターバル記録モードに設定されていると判定された場合、処理はステップＳ７に進む。
　ステップＳ７において、記録装置１０は、音圧の検出を開始する。具体的には、音声取込み部１６は、制御部１３の制御の下に、連続して取り込んだ音声を示す音声データを音圧検出部３１に供給する処理を開始する。音圧検出部３１は、音声取込み部１６から供給される音声データの音圧を検出する処理を開始する。
　ステップＳ８において、音圧検出部３１は、音圧に基づく音声データのフィルタリングを開始する。例えば、音圧検出部３１は、音圧が所定の閾値以上となる状態が所定の時間以上継続する区間の音声データを特徴量抽出部３２に供給し、それ以外の区間の音声データを破棄する処理を開始する。
　この区間の長さは、例えば、音声データに含まれる短時間のノイズを除去することが可能な時間に設定される。
　この閾値は、例えば、有意な音声、すなわち記録したい音声が含まれている可能性が低い音声を破棄することが可能なレベルに設定される。何を有意な音声とするかは、例えば、記録するシーンや目的等により変化する。例えば、植物の成長を記録する場合、その植物の周辺の人の声等が有意な音声とされる。例えば、工事の進捗を記録したい場合、工事現場の音等が有意な音声とされる。例えば、海、山、空等の風景の移り変わりを記録したい場合、自然の音や動物や虫の鳴き声等が有意な音声とされる。
　このフィルタリング処理により、後段の特徴量抽出部３２の処理を軽減することができる。
　ステップＳ９において、特徴量抽出部３２は、特徴量の抽出を開始する。例えば、特徴量抽出部３２は、音圧検出部３１から供給される音声データを所定の長さの音声ブロックに区切り、各音声ブロックの特徴量を抽出し、抽出した特徴量に基づいて各音声ブロックのスコアリングを行う処理を開始する。
　ここで、抽出する特徴量の種類は、例えば、記録したい音声の種類に基づいて設定される。例えば、人の声を記録したい場合、人の声らしさを表す特徴量が抽出対象に設定される。また、例えば、特定の人の声のみを記録したい場合、各個人の声を識別可能なレベルの特徴量が抽出対象に設定される。さらに、例えば、特定の内容の発言のみを記録したい場合、文章解析の結果が特徴量と抽出される。
　また、音声ブロックの長さは、例えば、音声ブロックに含まれる音声が人にとって意味のある音声として認識可能な最低限の長さ以上に設定される。
　なお、抽出する特徴量は、２種類（２次元）以上であってもよい。
　また、例えば、記録したい音声の種類によっては、ステップＳ７及びステップＳ８の処理を省略し、全ての音声データの特徴量を抽出するようにしてもよい。
　ステップＳ１０において、特徴量抽出部３２は、特徴量に基づく音声データのフィルタリングを開始する。例えば、特徴量抽出部３２は、特徴量に基づくスコアが所定の閾値以上の音声ブロックをスコアととともにバッファ５１に蓄積し、それ以外の音声ブロックをバッファ５１に蓄積せずに破棄する処理を開始する。
　このフィルタリング処理により、バッファ５１の容量を削減することができる。
　ステップＳ１１において、制御部１３は、映像音声データを記録するタイミングであるか否かを判定する。映像音声データを記録するタイミングでないと判定された場合、処理はステップＳ１２に進む。
　ステップＳ１２において、制御部１３は、通常記録モードに設定されたか否かを判定する。通常記録モードに設定されていないと判定された場合、処理はステップＳ１３に進む。
　ステップＳ１３において、ステップＳ６の処理と同様に、記録処理を終了するか否かが判定され、記録処理を終了しないと判定された場合、処理はステップＳ１１に戻る。
　その後、ステップＳ１１において、映像音声データを記録するタイミングであると判定されるか、ステップＳ１２において、通常記録モードに設定されたと判定されるか、ステップＳ１３において、記録処理を終了すると判定されるまで、ステップＳ１１乃至ステップＳ１３の処理が繰り返し実行される。
　一方、ステップＳ１３において、記録処理を終了すると判定された場合、処理はステップＳ１４に進む。
　また、ステップＳ１２において、例えば、制御部１３は、通常記録モードの設定の指示が入力部１１を介して入力された場合、通常記録モードに設定されたと判定し、処理はステップＳ１４に進む。これは、インターバル記録モードから通常記録モードに変更された場合である。
　さらに、ステップＳ１１において、例えば、制御部１３は、インターバル記録モードによる記録処理が開始されてから、まだ映像音声データの記録が１回も行われていない場合、インターバル記録モードによる記録処理の開始から所定の時間が経過したとき、映像音声データを記録するタイミングであると判定する。また、例えば、制御部１３は、インターバル記録モードによる記録処理が開始されてから、１回以上映像音声データの記録が行われている場合、前回映像音声データが記録されてから所定の時間が経過したとき、映像音声データを記録するタイミングであると判定する。そして、映像音声データを記録するタイミングであると判定された場合、処理はステップＳ１１に進む。
　これにより、インターバル記録モードによる記録処理が継続している期間中に、所定の間隔で定期的に映像音声データが生成され、記録されるようになる。この間隔は、例えば、ユーザが設定するようにしてもよいし、或いは、記録装置１０が自動的に設定するようにしてもよい。
　また、映像音声データを記録する間隔が短くなるほど、映像データと音声データの時間のズレを小さくし、映像データと音声データの相関度を高めることができる。また、バッファ５１の容量を小さくし、音声処理部１８の処理を分散することができる。一方、映像音声データを記録する間隔を短くしすぎると、例えば、音声が短すぎたり、途中で途切れたりして、有意な音声が記録できなくなる場合がある。
　一方、ステップＳ１１の判定処理を省略することも可能である。この判定処理を省略した場合、インターバル記録モードによる記録処理の終了時に、まとめて映像音声データが生成され、記録されるようになる。
　ステップＳ１４において、制御部１３は、映像記録時間を計算する。具体的には、制御部１３は、インターバル記録モードによる記録処理が開始されてから、まだ映像音声データの記録が１回も行われていない場合、インターバル記録モードによる記録処理が開始されてから現在までの期間（以下、記録対象期間と称する）の長さを計算する。一方、制御部１３は、インターバル記録モードによる記録処理が開始されてから、１回以上映像音声データの記録が行われている場合、前回映像音声データが記録された時点から現在までの期間（記録対象期間）の長さを計算する。
　そして、制御部１３は、記録対象期間内に取り込まれた画像データの長さを映像記録時間として計算する。例えば、記録対象期間の長さが１時間であり、画像の取込みが１ｆｐｓのフレームレートで行われ、１フレームの画像データの長さが３３ｍｓである場合、映像記録時間は１１８．８秒（＝３３ｍｓ×３６００フレーム）となる。
　ステップＳ１５において、音声抽出部５２は、特徴量に基づいて、音声ブロックを抽出する。例えば、音声抽出部５２は、バッファ５１に蓄積されている音声ブロックのうち時間的に連続する音声ブロックを１つの音声ブロックにまとめる。また、音声抽出部５２は、例えば、１つにまとめた音声ブロックのスコアとして、各音声ブロックのスコアの平均値を計算する。
　そして、音声抽出部５２は、上記の１つにまとめる処理を行った後、バッファ５１に蓄積されている音声ブロックの中から、スコアが所定の閾値以上の音声ブロックを抽出する。音声抽出部５２は、抽出した音声ブロックをスコアとともに音声加工部５３に供給する。また、音声抽出部５２は、バッファ５１に蓄積されている音声ブロックを削除し、バッファ５１をリセットする。
　ステップＳ１６において、音声加工部５３は、抽出された音声ブロックに基づいて、映像記録時間と同じ長さの音声データを生成する。
　例えば、音声加工部５３は、抽出された音声ブロックを取り込まれた時間順に並べて接続する。このとき、音声加工部５３は、例えば、ユーザが聞いて違和感が生じないように、各音声ブロックにフェード処理（フェードイン及びフェードアウト）を施す。
　また、音声加工部５３は、抽出された音声ブロックの合計時間が映像記録時間より長い場合、接続後の音声データが映像記録時間と同じ長さになるように、音声データの時間方向の圧縮を行う。例えば、音声加工部５３は、話速変換により各音声ブロックの再生速度を上げる。なお、再生速度の最大値は、人が会話を聞き取れるレベル（例えば、２倍速）に制限される。また、例えば、音声加工部５３は、クロスフェード処理により、隣接する音声ブロックを違和感なく重畳させる。
　なお、音声加工部５３は、以上の処理を施したとしても、音声データの長さが映像記録時間より長い場合、例えば、スコアが低いものから順に音声ブロックを破棄し、音声データの長さが映像記録時間と等しくなるように調整する。
　一方、音声加工部５３は、抽出された音声ブロックの合計時間が映像記録時間より短い場合、１以上の無音の音声ブロック（以下、無音ブロックと称する）を挿入することにより、音声データの長さを映像記録時間に合わせる。このとき、例えば、各音声ブロックと、各音声ブロックが取り込まれた時刻付近に取り込まれた画像データとの時間のズレが小さくなるように、無音ブロックの挿入位置が設定される。
　また、音声加工部５３は、必要に応じて、音声データのゲイン調整やノイズ除去等の処理を行う。
　そして、音声加工部５３は、生成した音声データを符号化部５４に供給する。
　ステップＳ１７において、符号化部５４は、符号化処理を行う。具体的には、符号化部５４は、音声加工部５３から供給された音声データに対して所定の符号化処理を行い、符号化後の音声データを映像音声データ生成部１９に供給する。
　ステップＳ１８において、映像音声データ生成部１９は、映像音声データを生成し、記録する。例えば、映像音声データ生成部１９は、記録対象期間内に取り込まれた各フレームの画像データ（間欠的な画像データ）に基づいて、所定のフォーマットのビットストリームである映像データを生成する。また、映像音声データ生成部１９は、符号化部５４から供給された音声データを所定のフォーマットのビットストリームに変換する。このとき、通常記録モードで記録された映像データ及び音声データと同じように間欠的に取り込まれた画像を連続して再生するように、映像データと音声データの時間情報（例えば、タイムスタンプ等）の変更が行われる。さらに、映像音声データ生成部１９は、映像データと音声データを多重化することにより映像音声データを生成し、記録部２０に記録させる。
　ステップＳ１９において、ステップＳ６の処理と同様に、記録処理を終了するか否かが判定され、記録処理を終了しないと判定された場合、処理はステップＳ２０に進む。
　ステップＳ２０において、制御部１３は、インターバル記録モードに設定されているか否かを判定する。インターバル記録モードに設定されていると判定された場合、処理はステップＳ１１に戻り、ステップＳ１１以降の処理が実行される。これは、インターバル記録モードによる記録処理中に、所定のタイミングで映像音声データの生成及び記録が行われた場合であり、引き続き、インターバル記録モードによる記録処理が継続される。
　一方、ステップＳ２０において、通常記録モードに設定されていると判定された場合、処理はステップＳ３に戻り、ステップＳ３以降の処理が実行される。これは、インターバル記録モードから通常記録モードに変更された場合であり、その後、通常記録モードによる記録処理が開始される。
　また、ステップＳ１９において、記録処理を終了すると判定された場合、記録処理は終了する。
　以上のようにして、間欠的な画像に対して有意な音声を記録できるようになる。
　例えば、図６は、花の成長を間欠的に記録する場合に、画像と音声を同時に取り込むようにしたときの画像と音声を取り込むタイミングの例を示している。図内の１行目は、花が成長する様子を示しており、２行目は、画像を取り込むタイミングを、カメラの絵を含む枠で示し、３行目は、音声を取り込むタイミングを、波形図を含む枠で示している。
　例えば、３３ｍｓの長さの画像が所定の間隔で取り込まれ、記録される。また、画像と同期して、３３ｍｓの長さの音声が所定の間隔で取り込まれ、記録される。しかし、画像を取り込んでいるときに、必ずしも有意な音声が背景に流れているとは限らない。また、３３ｍｓの長さの音声は、人にとって有意な音声として認識することが困難である。
　一方、図７は、花の成長を間欠的に記録する場合に、本技術を用いたときの画像と音声を取り込むタイミングの例を、図６と同様に示している。なお、図７では、音声を取り込むタイミングを示した行の下に、取り込まれる音声の具体例が示されている。
　本技術を用いた場合、画像の取込みとは同期せずに、例えば花を観察している子供の声等の有意な音声のみが抽出され記録されるため、映像音声データの価値が向上する。そして、間欠的に取り込まれた複数のフレームの画像からなる映像と合わせて、抽出された音声が再生されるため、臨場感が増す。
　また、有意な音声のみ記録され、不要な音声は破棄されるため、映像音声データの容量が増大することが防止される。
　さらに、再生環境や装置に依存することなく、インターバル記録モードで記録された映像音声データを、通常記録モードで記録された映像音声データと同様の方法により再生することができる。
　また、上述したように、通常記録モードとインターバル記録モードの切り替えをシームレスに行うことができる。また、途中で記録モードが切り替わっても、再生時に特別な処理を行うことなく連続して再生することが可能である。
　さらに、抽出する特徴量の種類を変更することにより、記録するシーンや目的に適した有意な音声を適切に抽出することが可能になる。
　なお、間欠的に取り込まれた画像を連続して再生する場合、実質的に映像が早送り再生されるようになるため、映像と音声の間に少々の時間のズレが生じても、ユーザはあまり気にならない。また、話速変換により音声の再生速度を上げても、ユーザは、あまり違和感を覚えない。
　＜＜２．第２の実施の形態＞＞
　次に、図８を参照して、本技術の第２の実施の形態について説明する。
　＜編集装置の構成例＞
　図８は、本技術を適用したデータ処理装置の第２の実施の形態である編集装置１００の構成例を示すブロック図である。なお、図中、図１の記録装置１０と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　編集装置１００は、例えば、画像が通常のフレームレートで連続的に記録された映像音声データから、画像が間欠的に記録された映像音声データを生成する装置である。
　編集装置１００は、記録装置１０と比較して、制御部１３の代わりに制御部１０１が設けられ、分離部１０２及び画像抽出部１０３が追加され、センサ部１２、画像取込み部１４、及び、音声取込み部１６が削除されている点が異なる。
　制御部１０１は、例えば、ＣＰＵ等の各種のプロセッサ等を備え、編集装置１００の各部の制御を行う。
　分離部１０２は、外部から供給される映像音声データに多重化されている映像データと音声データを分離する。そして、分離部１０２は、映像データを画像抽出部１０３に供給し、音声データを特徴量処理部１７に供給する。
　画像抽出部１０３は、映像データに含まれる複数のフレームの画像データを所定の間隔で抽出し、抽出した画像データを画像処理部１５に供給する。これにより、上述した記録装置１０がインターバル撮影モードにより間欠的に取り込んだ画像データと同様の間欠的な画像データが、画像処理部１５に供給されるようになる。そして、画像処理部１５は、各画像データに対して所定の画像処理を行い、映像音声データ生成部１９に供給する。
　特徴量抽出部１７及び音声処理部１８は、分離部１０２から供給される音声データに基づいて、上述した記録装置１０のインターバル撮影モード時の処理と同様の処理により、音声データを生成し、映像音声データ生成部１９に供給する。
　映像音声データ生成部１９は、上述した記録装置１０のインターバル撮影モード時の処理と同様の処理により、間欠的な画像データに基づいて映像データを生成する。そして、映像音声データ生成部１９は、映像データと音声データに基づいて映像音声データを生成し、記録部２０に記録させる。
　このようにして、画像が連続的に記録された映像音声データから、画像が間欠的に記録された映像音声データが生成される。また、すでに記録されている音声データの中から有意な音声を含む音声データが抽出され、映像音声データに記録される。
　＜＜３．変形例＞＞
　以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
　＜システムの構成に関する変形例＞
　以上の説明では、図１の記録装置１０及び図８の編集装置１００が、それぞれ１台で全ての処理を行う例を示したが、複数の装置（或いは、複数のＬＳＩ、プラットフォーム等）で分散して処理を行うようにしてもよい。複数の装置で分散して処理を行う場合、各装置が直接接続されるようにしてもよいし、ネットワーク等を介して間接的に接続されるようにしてもよい。或いは、各装置を直接又は間接的に接続せずに、装置間のデータの授受を、記録媒体等を介して行うようにしてもよい。
　例えば、画像取込み部１４及び音声取込み部１６を記録装置１０の外部に設けるようにしてもよい。例えば、画像取込み部１４及び音声取込み部１６を備える撮影機器を撮影したい場所に設置し、常にインターバル撮影モードで撮影を行い、取り込まれた画像データ及び音声データを記録装置１０に伝送するようにしてもよい。これにより、撮影機器の負荷を軽減し、消費電力を削減することができる。また、撮影機器と記録装置１０の間のデータの伝送量が小さくなり、両者の間の伝送路の伝送容量を小さくすることができる。
　また、例えば、映像音声データ生成部１９及び記録部２０を記録装置１０の外部に設けるようにしてもよい。この場合、記録装置１０から映像音声データ生成部１９及び記録部２０を備える後段の装置への画像データ及び音声データの伝送を間欠的に又は低ビットレートで行うことができ、両者の間の伝送路の伝送容量をさらに削減することができる。
　また、例えば、記録部２０を記録装置１０又は編集装置１００の外部に設けるようにしてもよい。例えば、記録装置１０又は編集装置１００は、生成した映像音声データを外部の機器（例えば、ローカルサーバ、スマートフォン等）に供給し、記録させたり、ネットワークを介してクラウドサービス等を提供するサーバに供給し、記録させたりするようにしてもよい。
　さらに、例えば、画像データ、及び、特徴量に基づくスコアを付与した音声データ（以下、スコア付き音声データと称する）を記録装置１０から外部の機器やサーバに送信し、外部で記録用の音声データを生成し、その音声データを含む映像音声データを生成するようにしてもよい。
　また、例えば、画像データ及びスコア付き音声データを複数の装置に送信し、各装置で異なる音声データを生成し、異なる音声データを含む映像音声データを生成するようにしてもよい。例えば、複数のスマートフォンに画像データ及びスコア付き音声データを送信し、各スマートフォンにおいて、スマートフォンの持ち主の声に基づいて音声データを抽出し、記録するようにしてもよい。
　＜処理に関する変形例＞
　例えば、インターバル記録モードにより映像音声データを記録する期間、又は、インターバル記録モードにおいて映像音声データを生成し、記録する間隔（以下、記録間隔と称する）が事前に決まっている場合、図５のステップＳ１４の処理で計算した映像記録時間が事前に定まる。そして、話速変換及びクロスフェード処理等を考慮して、その映像記録時間の映像データに多重化可能な音声データの時間方向の圧縮前の時間の最大値（以下、音声記録可能時間と称する）が事前に定まる。この場合、例えば、バッファ５１に蓄積されている音声ブロックの合計時間が音声記録可能時間を超えそうな場合、音声ブロックの合計時間が音声記録可能時間を超えないように、スコアが小さい音声ブロックから順に消去していくことにより、必要なバッファ５１の容量を削減することができる。
　また、例えば、まだ記録していない映像データの時間、バッファ５１に蓄積されている音声ブロックの合計時間、及び、各音声ブロックのスコア等に基づいて、確実に抽出して記録されると予測されるスコアの高い音声ブロックに対して、加工処理や符号化処理を前倒しして行うようにしてもよい。これにより、バッファ５１の容量を削減することができる。
　さらに、例えば、スコアが高い音声ブロックを、ほぼリアルタイムに符号化し、所定のフォーマットに変換し、記録部２０に記録させるようにしてもよい。これにより、バッファ５１の容量を削減することができる。なお、最終的な音声データの時間が映像記録時間より長い場合、例えば、音声データの不連続点周辺の音声をデコードした後、クロスフェードしながら再エンコードすることにより、音声データの長さを調整することが可能である。一方、最終的な音声データの時間が映像記録時間より短い場合、例えば、無音ブロックを挿入することにより、音声データの長さを調整することが可能である。
　また、例えば、インターバル記録モードにおいて記録間隔が予め定められている場合、特徴量処理部１７と音声処理部１８の処理を並列に行うことができ、処理時間を短縮することができる。
　さらに、以上の説明では、音声データから抽出された特徴量に基づいて、記録する音声データを抽出する例を示したが、音声データから抽出された特徴量以外の特徴量に基づいて、記録する音声データを抽出するようにしてもよい。
　例えば、センサ部１２が備える各種のセンサが音声の取り込みと並行して検出した時系列のセンサデータに基づく特徴量に基づいて、記録する音声データを抽出するようにしてもよい。例えば、人感センサにより周囲に人の存在が検出された期間の音声データを抽出するようにしてもよい。また、例えば、振動センサより所定の閾値以上の振動が検出された期間の音声データを抽出するようにしてもよい。
　なお、音声データから抽出された特徴量とそれ以外の特徴量の両方を用いるようにしてもよい。
　また、例えば、特徴量抽出部３２が、センサ部１２から供給されるセンサデータから特徴量を抽出するようにしてもよい。
　また、例えば、図１の画像取込み部１４が、インターバル記録モード時に通常記録モードと同じフレームレートで画像を取り込み、所定の間隔で画像データを抽出して画像処理部１５に供給するようにしてもよい。
　＜本技術の適用例＞
　本技術は、間欠的な画像に基づく映像データとともに再生する音声データを生成する機能を含む装置（例えば、撮影装置、記録装置、編集装置等）やシステムに適用することができる。
　また、本技術の対象となる映像データは、間欠的に取り込んだ画像に基づく映像データでも、連続的に取り込んだ画像から抽出された画像に基づく映像データでもよい。また、間欠的な画像間の時間間隔は、固定でも可変でもよい。例えば、被写体の動きに合わせて断続的に取り込んだ画像に基づく映像データも、本技術の対象となる。
　＜＜４．その他＞＞
　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。
　入力部４０６は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　間欠的な複数の画像が取り込まれた第１の期間内に取り込まれた音声に対応する第１の音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出部を
　備えるデータ処理装置。
（２）
　抽出された前記音声ブロックを加工して、前記映像データと同じ長さの第２の音声データを生成する音声加工部を
　さらに備える前記（１）に記載のデータ処理装置。
（３）
　前記音声加工部は、複数の前記音声ブロックが抽出された場合、複数の前記音声ブロックを時間順に並べて接続する
　前記（２）に記載のデータ処理装置。
（４）
　前記音声加工部は、各前記音声ブロックのフェード処理を行う
　前記（３）に記載のデータ処理装置。
（５）
　前記音声加工部は、抽出された前記音声ブロックの合計時間が前記映像データの時間より長い場合、隣接する前記音声ブロック間でクロスフェード処理を行う
　前記（４）に記載のデータ処理装置。
（６）
　前記音声加工部は、抽出された前記音声ブロックの合計時間が前記映像データの時間より長い場合、前記音声ブロックの話速変換を行う
　前記（２）乃至（５）のいずれかに記載のデータ処理装置。
（７）
　前記音声加工部は、抽出された前記音声ブロックの合計時間が前記映像データの時間より短い場合、無音の音声ブロックを挿入する
　前記（２）乃至（６）のいずれかに記載のデータ処理装置。
（８）
　前記映像データと前記第２の音声データとを多重化し、映像音声データを生成する映像音声データ生成部を
　さらに備える前記（２）乃至（７）のいずれかに記載のデータ処理装置。
（９）
　前記映像音声データ生成部は、前記複数の画像を連続して再生するように前記映像データ及び前記音声データの時間情報を変更する
　前記（８）に記載のデータ処理装置。
（１０）
　前記特徴量を抽出する特徴量抽出部を
　さらに備える前記（１）乃至（９）のいずれかに記載のデータ処理装置。
（１１）
　前記特徴量は、前記第１の音声データの特徴量、及び、前記第１の期間内に所定のセンサにより検出されたデータに基づく特徴量のうち少なくとも１つを含む
　前記（１）乃至（１０）のいずれかに記載のデータ処理装置。
（１２）
　前記音声抽出部は、所定の長さの第２の期間毎に、前記第２の期間内に取り込まれた音声に対応する音声データから、前記第２の期間内に取り込まれた間欠的な複数の画像に基づく映像データとともに再生する１以上の前記音声ブロックを前記特徴量に基づいて抽出する
　前記（１）乃至（１１）のいずれかに記載のデータ処理装置。
（１３）
　画像の取込みを行う画像取込み部と、
　音声の取込みを行う音声取込み部と
　をさらに備える前記（１）乃至（１２）のいずれかに記載のデータ処理装置。
（１４）
　間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出ステップを
　含むデータ処理方法。
（１５）
　間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出ステップを
　含む処理をコンピュータに実行させるためのプログラム。
（１６）
　間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する第１の音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出部と、
　抽出された前記音声ブロックを加工して、前記映像データと同じ長さの第２の音声データを生成する音声加工部と、
　前記映像データと前記第２の音声データとを多重化し、映像音声データを生成する映像音声データ生成部と
　を備え、
　前記音声抽出部、前記音声加工部、及び、前記映像音声データ生成部が、複数の装置に分散して設けられている
　データ処理システム。
（１７）
　画像の取込みを行う画像取込み部と、
　音声の取込みを行う音声取込み部と
　をさらに備える前記（１６）に記載のデータ処理システム。
　１０　記録装置，　１２　センサ部，　１３　制御部，　１４　画像取込み部，　１５　画像処理部，　１６　音声取込み部，　１７　特徴量処理部，　１８　音声処理部，　１９　映像音声データ生成部，　３１　音圧検出部，　３２　特徴量抽出部，　５１　バッファ，　５２　音声抽出部，　５３　音声加工部，　５４　符号化部，　１００　編集装置，　１０１　制御部，　１０２　分離部，　１０３　画像抽出部

Claims (17)

  1. 　間欠的な複数の画像が取り込まれた第１の期間内に取り込まれた音声に対応する第１の音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出部を
    　備えるデータ処理装置。
  2. 　抽出された前記音声ブロックを加工して、前記映像データと同じ長さの第２の音声データを生成する音声加工部を
    　さらに備える請求項１に記載のデータ処理装置。
  3. 　前記音声加工部は、複数の前記音声ブロックが抽出された場合、複数の前記音声ブロックを時間順に並べて接続する
    　請求項２に記載のデータ処理装置。
  4. 　前記音声加工部は、各前記音声ブロックのフェード処理を行う
    　請求項３に記載のデータ処理装置。
  5. 　前記音声加工部は、抽出された前記音声ブロックの合計時間が前記映像データの時間より長い場合、隣接する前記音声ブロック間でクロスフェード処理を行う
    　請求項４に記載のデータ処理装置。
  6. 　前記音声加工部は、抽出された前記音声ブロックの合計時間が前記映像データの時間より長い場合、前記音声ブロックの話速変換を行う
    　請求項２に記載のデータ処理装置。
  7. 　前記音声加工部は、抽出された前記音声ブロックの合計時間が前記映像データの時間より短い場合、無音の音声ブロックを挿入する
    　請求項２に記載のデータ処理装置。
  8. 　前記映像データと前記第２の音声データとを多重化し、映像音声データを生成する映像音声データ生成部を
    　さらに備える請求項２に記載のデータ処理装置。
  9. 　前記映像音声データ生成部は、前記複数の画像を連続して再生するように前記映像データ及び前記音声データの時間情報を変更する
    　請求項８に記載のデータ処理装置。
  10. 　前記特徴量を抽出する特徴量抽出部を
    　さらに備える請求項１に記載のデータ処理装置。
  11. 　前記特徴量は、前記第１の音声データの特徴量、及び、前記第１の期間内に所定のセンサにより検出されたデータに基づく特徴量のうち少なくとも１つを含む
    　請求項１に記載のデータ処理装置。
  12. 　前記音声抽出部は、所定の長さの第２の期間毎に、前記第２の期間内に取り込まれた音声に対応する音声データから、前記第２の期間内に取り込まれた間欠的な複数の画像に基づく映像データとともに再生する１以上の前記音声ブロックを前記特徴量に基づいて抽出する
    　請求項１に記載のデータ処理装置。
  13. 　画像の取込みを行う画像取込み部と、
    　音声の取込みを行う音声取込み部と
    　をさらに備える請求項１に記載のデータ処理装置。
  14. 　間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出ステップを
    　含むデータ処理方法。
  15. 　間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出ステップを
    　含む処理をコンピュータに実行させるためのプログラム。
  16. 　間欠的な複数の画像が取り込まれた期間内に取り込まれた音声に対応する第１の音声データから、前記複数の画像に基づく映像データとともに再生する１以上の音声ブロックを所定の特徴量に基づいて抽出する音声抽出部と、
    　抽出された前記音声ブロックを加工して、前記映像データと同じ長さの第２の音声データを生成する音声加工部と、
    　前記映像データと前記第２の音声データとを多重化し、映像音声データを生成する映像音声データ生成部と
    　を備え、
    　前記音声抽出部、前記音声加工部、及び、前記映像音声データ生成部が、複数の装置に分散して設けられている
    　データ処理システム。
  17. 　画像の取込みを行う画像取込み部と、
    　音声の取込みを行う音声取込み部と
    　をさらに備える請求項１６に記載のデータ処理システム。
PCT/JP2018/018246 2017-05-26 2018-05-11 データ処理装置、データ処理方法、プログラム、及び、データ処理システム Ceased WO2018216499A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/609,290 US10932000B2 (en) 2017-05-26 2018-05-11 Data processing device, data processing method, and data processing system
JP2019519566A JP7196066B2 (ja) 2017-05-26 2018-05-11 データ処理装置、データ処理方法、プログラム、及び、データ処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017104132 2017-05-26
JP2017-104132 2017-05-26

Publications (1)

Publication Number Publication Date
WO2018216499A1 true WO2018216499A1 (ja) 2018-11-29

Family

ID=64395664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018246 Ceased WO2018216499A1 (ja) 2017-05-26 2018-05-11 データ処理装置、データ処理方法、プログラム、及び、データ処理システム

Country Status (3)

Country Link
US (1) US10932000B2 (ja)
JP (1) JP7196066B2 (ja)
WO (1) WO2018216499A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003991A (ja) * 2009-06-16 2011-01-06 Canon Inc 情報処理装置、その動作方法、プログラム
JP2016090774A (ja) * 2014-11-04 2016-05-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4712812B2 (ja) * 2005-10-21 2011-06-29 パナソニック株式会社 記録再生装置
JP4479651B2 (ja) 2005-12-12 2010-06-09 株式会社日立製作所 映像音声記録装置
US8447065B2 (en) * 2008-09-16 2013-05-21 Cyberlink Corp. Method of facial image reproduction and related device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003991A (ja) * 2009-06-16 2011-01-06 Canon Inc 情報処理装置、その動作方法、プログラム
JP2016090774A (ja) * 2014-11-04 2016-05-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US10932000B2 (en) 2021-02-23
JPWO2018216499A1 (ja) 2020-03-26
JP7196066B2 (ja) 2022-12-26
US20200077140A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
US10825480B2 (en) Automatic processing of double-system recording
US9940969B2 (en) Audio/video methods and systems
JP3629253B2 (ja) 音声再生装置および同装置で用いられる音声再生制御方法
JP3063838B2 (ja) オーディオ・ビデオ同期再生装置および方法
IL282770B1 (en) Method and system for object-aware automatic editing of contracts or audio
JP6882057B2 (ja) 信号処理装置、信号処理方法、およびプログラム
JP4934580B2 (ja) 映像音声記録装置および映像音声再生装置
JP5146503B2 (ja) 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム
JP2013042356A (ja) 画像処理装置および方法、並びにプログラム
JP5155092B2 (ja) カメラ、再生装置、および再生方法
JP2012100216A (ja) カメラおよび動画撮影プログラム
CN110476437A (zh) 捕获运动并使运动与记录的音频/视频同步
WO2022120051A3 (en) Estimation of acoustic scene metrics using acoustic direct sequence spread spectrum signals
JP2011254400A (ja) 画像音声記録装置
JP7196066B2 (ja) データ処理装置、データ処理方法、プログラム、及び、データ処理システム
WO2022120006A3 (en) Orchestration of acoustic direct sequence spread spectrum signals for estimation of acoustic scene metrics
JP2013131871A (ja) 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体
CN114257771B (zh) 一种多路音视频的录像回放方法、装置、存储介质和电子设备
JP5401930B2 (ja) 撮像装置
CN114866813A (zh) 全景直播系统、方法和装置、电子设备、存储介质
JP2011151784A (ja) 動画像多重化装置、映像音声記録装置及び動画像多重化方法
US12262082B1 (en) Audience reactive media
KR20140100151A (ko) 슬로우모션 동영상 녹화장치 및 방법
JP2012253692A (ja) 撮像装置、再生装置、データ構造、撮像装置の制御方法および撮像装置用プログラム
JP2019096950A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18805439

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519566

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18805439

Country of ref document: EP

Kind code of ref document: A1