WO2017154723A1 - 収録データ処理方法および収録データ処理装置 - Google Patents

収録データ処理方法および収録データ処理装置 Download PDF

Info

Publication number
WO2017154723A1
WO2017154723A1 PCT/JP2017/008267 JP2017008267W WO2017154723A1 WO 2017154723 A1 WO2017154723 A1 WO 2017154723A1 JP 2017008267 W JP2017008267 W JP 2017008267W WO 2017154723 A1 WO2017154723 A1 WO 2017154723A1
Authority
WO
WIPO (PCT)
Prior art keywords
recorded data
candidate values
recording
time
time difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/008267
Other languages
English (en)
French (fr)
Inventor
祐 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of WO2017154723A1 publication Critical patent/WO2017154723A1/ja
Anticipated expiration legal-status Critical
Priority to US16/126,082 priority Critical patent/US10629240B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Definitions

  • the present invention relates to a technique for processing recorded data.
  • Patent Document 1 generates time shift information for synchronizing a plurality of images by analyzing a plurality of sound data recorded at the time of photographing a plurality of images obtained by photographing the same subject from different photographing positions. Techniques to do this are disclosed. Specifically, time shift information is generated according to the shift time at which the cross-correlation function between the two audio data is maximized.
  • an object of the present invention is to specify a time difference between recorded data with high accuracy.
  • the recorded data processing method cyclically stores N (N is a natural number of 3 or more) recorded data, each representing a recording target including at least one of sound and images.
  • N is a natural number of 3 or more
  • the time difference of the time signal that represents the time change of the recording target in each of the two recorded data of the recorded data pair N candidate values are calculated, and N values are recorded so that the total number of the candidate values calculated for each of the N recorded data pairs over N recorded data pairs approaches zero.
  • Any one of a plurality of candidate values in each data pair is specified as a time difference between the two recorded data in the recorded data pair.
  • the recorded data processing apparatus is arranged when N pieces of recorded data each representing a recording target including at least one of sound and image (N is a natural number of 3 or more) are arranged cyclically. For each of the N recorded data pairs composed of two recorded data before and after, a plurality of candidate values relating to the time difference of the time signal representing the time change of the recording target in each of the two recorded data of the recorded data pair A candidate calculation unit that calculates N, and N recorded data so that the total value of any of a plurality of candidate values calculated for each of the N recorded data pairs over N recorded data pairs approaches 0 An analysis processing unit that identifies any one of a plurality of candidate values in each of the pairs as a time difference between the two recorded data in the recorded data pair.
  • 1 is a configuration diagram of a recorded data editing system according to a first embodiment. It is explanatory drawing of the time difference in N recorded data pairs. It is explanatory drawing of the absolute value of the cross correlation of recorded data pair. It is explanatory drawing of the cross correlation after smoothing. It is a flowchart of the process which a control apparatus produces
  • FIG. 1 is a configuration diagram of a recorded data editing system 10 according to the first embodiment.
  • the recorded data editing system 10 is a computer system for processing sound (for example, voice or musical sound) and moving images.
  • a sound emitting device 34 and an operation device 36 are provided.
  • the recorded data editing system 10 can be suitably realized by a portable information processing device such as a mobile phone, a smartphone, a tablet terminal, or a personal computer.
  • the recorded data editing system 10 can also be realized by a stationary information processing device. Is possible.
  • the control device 22 is an arithmetic processing device (for example, CPU) that comprehensively controls each element of the recorded data editing system 10.
  • the communication device 26 communicates with a plurality (N) of recording devices 12 (N is a natural number of 3 or more).
  • Each recording device 12 is a video device including a sound collection device that collects sound and an image pickup device that picks up moving images, and represents data representing sound collected by the sound collection device and moving images picked up by the image pickup device (Hereinafter referred to as “recorded data”) X is generated.
  • an information terminal such as a mobile phone or a smartphone equipped with a recording function can be used as the recording device 12.
  • the communication device 26 of the first embodiment receives the recorded data X from each of the N recording devices 12. Specifically, the communication device 26 receives the recording data X from each recording device 12 by known short-range wireless communication such as Wi-Fi (registered trademark) or Bluetooth (registered trademark). However, the communication method between the communication device 26 and each recording device 12 is arbitrary. For example, the communication device 26 can communicate with each recording device 12 by wire.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the storage device 24 is configured by a known recording medium such as a magnetic recording medium or a semiconductor recording medium, and stores a program executed by the control device 22 and various data used by the control device 22.
  • the storage device 24 of the first embodiment stores N pieces of recorded data X 1 to X N received by the communication device 26 from the respective recording devices 12. N pieces of recorded data X 1 to X N can be stored in the storage device 24 in advance.
  • the communication device 26 can be omitted from the recorded data editing system 10.
  • the storage device 24 (that is, cloud storage) can be installed in a server with which the recorded data editing system 10 can communicate. In this case, the storage device 24 can be omitted from the recorded data editing system 10.
  • Each of the N recording devices 12 records, for example, sounds and images that are common recording targets (recording objects) at different positions in parallel.
  • a plurality of recording devices 12 are arranged at different points in a common acoustic space such as an acoustic hall, and the recording data X is generated by recording, for example, the state of the stage and the audience from different angles.
  • the recorded data X of the first embodiment represents a recording target including the sound collected by the sound collecting device and the image taken by the imaging device.
  • the recorded data X includes an acoustic signal that represents a temporal change in the sound collected by the sound collection device and a moving image signal that represents a temporal change (that is, a moving image) of the image captured by the imaging device.
  • the sound of the recorded data X recorded by each recording device 12 includes a performance sound.
  • a performance sound for example, a speaker
  • the user of each recording device 12 starts recording by his / her recording device 12 separately. Therefore, the recording start point of the recording of the sound and the moving image is not exactly the same among the N pieces of recorded data X 1 to X N and may be different for each recorded data X. That is, there is a time difference between the N pieces of recorded data X 1 to X N.
  • the recording periods of all N pieces of recorded data X 1 to X N partially overlap on the time axis.
  • voice and an image was illustrated, the recording target containing only any one of an audio
  • the display device 32 (for example, a liquid crystal display panel) in FIG. 1 displays an image instructed from the control device 22.
  • the sound emitting device 34 (for example, a speaker or headphones) emits sound instructed from the control device 22.
  • the operation device 36 is an input device that receives an instruction from the user, and includes, for example, a plurality of operators that detect an operation by the user or a touch panel that detects a user's contact with the display surface of the display device 32.
  • the control device 22 executes a program stored in the storage device 24 and thereby has a plurality of functions (recorded data analysis unit 40 and edit processing unit 46) for processing the N pieces of recorded data X 1 to X N. Realize. A configuration in which a part of the function of the control device 22 is realized by an electronic circuit dedicated for sound processing or image processing, or a configuration in which the function of the control device 22 is distributed to a plurality of devices may be employed.
  • the recorded data analysis unit 40 includes two adjacent data when the N recorded data X 1 to X N generated by the recording device 12 are cyclically arranged (adjacent when arranged).
  • a cyclic arrangement of N recorded data X 1 to X N means that N recorded data X 1 to X N are arranged in series and the last recorded data X N is followed by the first recorded data X 1. Sequence (circular sequence).
  • the time difference O ij means a relative time (offset) of the recorded data X j of when based on the recording data X i. Note that the permutation of N pieces of recorded data X 1 to X N arranged in a circular manner is arbitrary.
  • the recorded data analysis unit 40 of the first embodiment includes a candidate calculation unit 42 and an analysis processing unit 44.
  • the candidate calculation unit 42 includes N recorded data pairs P 12 to P 12 that are composed of two recorded data X i and X j that follow each other when N recorded data X 1 to X N are arranged cyclically.
  • a plurality of candidate values related to the time difference between the acoustic signals (an example of a time signal) in each of the two recorded data X i and X j of the recorded data pair P ij are calculated.
  • One of the plurality of candidate values calculated for the recorded data pair P ij is adopted as an established time difference O ij.
  • the candidate calculation unit 42 depends on the cross-correlation C ij ( ⁇ ) of the acoustic signal between the recorded data X i and the recorded data X j for each of the N recorded data pairs P 12 to P N1. Multiple candidate values.
  • a plurality of candidate values are calculated according to the absolute value
  • Cross correlation C ij (tau) is as follows expressed in Equation (1), the recorded data X acoustic signal is included in the start point and recording data X j of the i acoustic signal is included in y i (t) y j ( After the start point of t) is matched on the time axis, the time difference (shift amount on the time axis) ⁇ of the acoustic signal y j (t) with respect to the acoustic signal y i (t) is used as a variable for the time waveform between the two. It is a numerical string indicating the degree of correlation.
  • the time difference ⁇ can be a negative value.
  • the time difference O ij is a positive number
  • the recorded data X j is positioned in front of the recorded data X i on the time axis.
  • the time difference O ij is a negative number.
  • a plurality of candidate values may be calculated regardless of the absolute value of the cross correlation C ij ( ⁇ ).
  • the cross-correlation C ij (tau) is the frequency spectrum Y j equation as represented by (2), the frequency spectrum Y i (f) and the audio signal y j (t) of the audio signal y i (t) ( It is also possible to calculate by the inverse Fourier transform (IFFT) of the cross spectrum with f). f means frequency, and Y i * (f) is a complex conjugate of Y i (f). According to the configuration for calculating the cross-correlation C ij ( ⁇ ) by the calculation of the mathematical formula (2), the calculation amount for calculating the cross-correlation C ij ( ⁇ ) can be reduced as compared with the configuration for calculating the mathematical formula (1). There is an advantage.
  • FIG. 3 is an explanatory diagram of the absolute value
  • can take a larger value as the correlation between the time waveform of the acoustic signal y i (t) and the time waveform of the acoustic signal y j (t) is higher.
  • the recording period of the recorded data X is partially overlapped on the time axis, the sound included in each of the recorded data X is partially shared on the time axis (for demonstration purposes). (Musical sound) component.
  • of the cross-correlation C ij ( ⁇ ) of the recorded data pair P ij can be the time difference O ij of the recorded data.
  • any one of a plurality of candidate values D calculated according to the cross-correlation C ij ( ⁇ ) is used as the time difference O ij between the two recorded data X i and X j.
  • the configuration specified as is adopted.
  • the candidate calculation unit 42 in FIG. 1 specifically smoothes the absolute value
  • FIG. 4 is an explanatory diagram of the cross-correlation C ij _s ( ⁇ ) after smoothing. M candidate values D (D 1 , D 2 ,..., D M ) are, as illustrated in FIG. 4, a plurality of time differences respectively corresponding to M local maximum points in the cross-correlation C ij — s ( ⁇ ).
  • the M local maximum points are, for example, M local maximum points in descending order of local maximum values, or M local maximum points whose local maximum values exceed a threshold value among a plurality of local maximum points.
  • M local maximum points exceeding the threshold are specified, the total number M of candidate values D may differ for each recorded data pair P ij .
  • the threshold value is selected experimentally or statistically.
  • the total number M of candidate values D is arbitrary, and the processing load on the control device 22 can be reduced as the total number of candidate values D decreases.
  • is large
  • locally absolute value is the near time difference tau to be the maximum range
  • the M candidate values D of the time difference O ij are calculated in descending order of the absolute value
  • of the correlation C ij ( ⁇ ) locally increases, there is a possibility that a plurality of candidate values D are specified locally from the vicinity thereof.
  • the first embodiment as illustrated in FIG.
  • a plurality of time differences ⁇ respectively corresponding to a plurality of maximum points of the cross-correlation C ij _s ( ⁇ ) after smoothing are specified as a plurality of candidate values D.
  • a plurality of candidate values D are distributed. That is, for example, even when the absolute value
  • the plurality of candidate values D can be specified from the absolute value
  • the cross-correlation C ij ( ⁇ ) of the time difference ⁇ between the recorded data X
  • the cross-correlation C ij ( ⁇ ) can be easily calculated as compared with a configuration in which a plurality of candidate values D are calculated according to an index other than ⁇ ).
  • the analysis processing unit 44 in FIG. 1 uses any one of the M candidate values D for each of the N recorded data pairs P 12 to P N1 as two recorded data X i and X j in the recorded data pair P ij . It is specified as the time difference O ij between them.
  • the analysis processing unit 44 selects all the candidate values Dm from the M candidate values D of the recorded data pairs P ij over the N recorded data pairs P 12 to P N1 .
  • a combination that is, a combination of N candidate values Dm
  • a total value S of N candidate values Dm is calculated, and a combination of candidate values Dm whose total value S is closest to 0 (that is, an absolute value of the total value S) (A combination of candidate values Dm that minimizes).
  • the analysis processing unit 44 determines each of the N candidate values Dm included in the specified combination as the time difference O 12 to O N1 of the N data pairs P 12 to P N1 .
  • the analysis processing unit 44 selects any one of the plurality of candidate values D calculated for each of the N recorded data pairs P 12 to P N1 as N recorded data pairs P 12 to P 12 .
  • Two of the plurality of candidate values D in each of the N recorded data pairs P 12 to P N1 are set to two in the recorded data pair P ij so that the numerical value (total value S) totaled over P N1 approaches 0.
  • the recorded data X i functions as an element for specifying a time difference O ij between X j.
  • the edit processing unit 46 generates content Z in which N pieces of recorded data X 1 to X N are synchronized with each other according to the N time differences O 12 to O N1 determined by the analysis processing unit 44.
  • the synchronization of the recorded data X means a state in which the sound and moving image time axes of the recorded data X are made to coincide with each other with respect to the N recorded data X 1 to X N.
  • the edit processing unit 46 is arranged on the time axis of each recorded data X so that a specific time in each recorded data X is a common time point on the time axis over N recorded data X 1 to X N. Adjust the position. That is, as illustrated in FIG. 2, the position on the time axis of each recorded data X so that the time difference between the recorded data X i and the recorded data X j becomes the time difference O ij calculated by the analysis processing unit 44. Is adjusted.
  • the moving image of the content Z is displayed on the display device 32, and the sound of the content Z is emitted by the sound emitting device 34.
  • FIG. 5 is a flowchart of a process in which the control device 22 generates the content Z. 5 is started in response to an instruction from the user to the operation device 36. For example, if there are four pieces of recorded data X 1 to X 4 recorded from different positions, the candidate calculation unit 42 sets the four pieces of recorded data. pair P 12, P 23, P 34 and each about P 41, From the data X i of the acoustic signal y i (t) and the recorded data X j of the audio signal y j (t) and the cross-correlation C ij of (tau) The absolute value
  • the candidate calculation unit 42 smoothes the absolute value
  • the five time differences ⁇ are specified as five candidate values D (D 1 to D 5 ) (SA3). Steps SA1 to SA3 are processes for calculating a plurality of candidate values D.
  • the analysis processing unit 44 covers all the four combinations of recorded data P 12 to P 41 and selects all candidate combinations D from one of the five candidate values D of each recorded data pair P (that is, four combinations) One arbitrary combination is determined from the combination of candidate values Dm (SB1).
  • the analysis processing unit 44 calculates the total value S of the four candidate values Dm in the determined combination (SB2).
  • the analysis processing unit 44 repeats the processing of step SB1 and step SB2 until the calculation of the total value S is completed for all combinations (SB3: NO).
  • the analysis processing unit 44 calculates each of the four candidate values Dm corresponding to the total value S closest to 0 among the total values S of all combinations.
  • Steps SB1 to SB4 are processes for specifying respective time differences O 12 to O 41 of the four recorded data pairs P 12 to P 41 .
  • the editing processing unit 46 generates content Z by editing processing for synchronizing the four recorded data X 1 to X 4 with each other according to the time differences O 12 to O 41 specified by the analysis processing unit 44 (SC1).
  • N recorded data pairs are set such that the total value S of the candidate values Dm of the time difference ⁇ over N recorded data pairs P 12 to P N1 approaches zero.
  • Any of a plurality of candidate values D in each of P 12 to P N1 is specified as a time difference O ij between the two recorded data X i and X j in the recorded data pair P ij .
  • time difference O ij the time difference between the recorded data X i and X j
  • the time difference O ij between the recorded data X can be specified with high accuracy by comparing the time difference ⁇ at which the correlation C ij ( ⁇ ) is maximum as the time difference O ij between the recorded data X. That is, it is possible to reduce the error between the time difference Oij between the recorded data X and the actual time difference.
  • Second Embodiment A second embodiment of the present invention will be described.
  • symbol used by description of 1st Embodiment is diverted, and each detailed description is abbreviate
  • FIG. 6 is an explanatory diagram of N time differences O 12 to O N1 in each of N recorded data pairs P 12 to P N1 according to the second embodiment.
  • the first embodiment the case where the recording periods partially overlap on the time axis over all of the N pieces of recorded data X 1 to X N is exemplified.
  • the second embodiment it is assumed that two pieces of recorded data X i and X j selected from N pieces do not overlap each other on the time axis. For example, recording data X 2 in FIG. 6, the captured data X 5 but partially overlaps the recorded data X 1 do not overlap in time.
  • the recording data X i and recorded data X j is the recorded data pair P ij that is not partially overlap on the time axis, that is, the time difference of the actual recorded data pair P ij is the recorded data X i
  • the cross-correlation C ij ( ⁇ ) of the recorded data pair P ij does not take a significant value. Therefore, the candidate value D specified from the cross correlation C ij ( ⁇ ) does not become a significant value.
  • the candidate value D specified from the cross correlation C ij ( ⁇ ) does not become a significant value.
  • the total value S of O N1 is a value close to 0.
  • the two recorded data X i, N pieces of recording data as X j is tandem that do not overlap with each other on the time axis
  • the total value S of the N time differences O 12 to O N1 is a numerical value separated from 0.
  • the suitability of the candidate value D can be different depending on the order of the arrangement of the N pieces of recorded data X 1 to X N. Therefore, in the second embodiment, for each of K permutations Q 1 to Q K in which the arrangement order of N pieces of recorded data X 1 to X N is different, the candidate values of the recorded data pairs P 12 to P N1 are set. The total value S of D is calculated.
  • the recorded data analysis unit 40 in the second embodiment includes a candidate calculation unit 42 and an analysis processing unit 44 as in the first embodiment.
  • N pieces of recorded data X 1 to X N are circularly arranged in K permutations (circle permutations) Q 1 to Q K , N pieces composed of two pieces of adjacent recorded data X i and X j
  • the recorded data pairs P 12 to P N1 are specified.
  • the candidate calculation unit 42 of the second embodiment for each of the N recorded data pairs P 12 to P N1 in each of the permutations Q 1 to Q K , two recorded data X i and X of the recorded data pair P ij.
  • the candidate calculation unit 42 of the first embodiment does not need to consider a plurality of permutations Q in the calculation of the candidate value D, and calculates the candidate value D of the recorded data pair P ij for only one arbitrary permutation.
  • the candidate calculation unit 42 of the second embodiment calculates the candidate value D of each recorded data pair P ij for each of the K permutations Q 1 to Q K.
  • the plurality of candidate values D are the cross correlations C ij of the acoustic signals between the recorded data X i and the recorded data X j for each of the N recorded data pairs P 12 to P N1. It is calculated according to the absolute value
  • the analysis processing unit 44 in the second embodiment selects any one of the M candidate values D for each of the N recorded data pairs P 12 to P N1 in the recorded data pair P ij .
  • the time difference O ij between the two recorded data X i and X j is specified.
  • the analysis processing unit 44 for each of the K permutations Q 1 to Q K , provides one candidate from the M candidate values D of each recorded data pair P ij as in the first embodiment.
  • a total value S of N candidate values Dm is calculated for all combinations of values Dm.
  • the analysis processing unit 44 identifies the combination of candidate values Dm closest to 0 out of the total value S calculated for each combination of candidate values D for each of the K permutations Q 1 to Q K , and the combination each of the N candidate values Dm included in determining the time difference O ij of N data pairs P ij. As understood from the above description, the analysis processing unit 44 applies any one of the plurality of candidate values D calculated for each of the K permutations Q 1 to Q K to N recorded data pairs P 12 to P N1 .
  • the edit processing unit 46 synchronizes the N recorded data X 1 to X N with each other in accordance with the N time differences O 12 to O N1 determined by the analysis processing unit 44.
  • Content Z is generated.
  • FIG. 8 is a flowchart of a process in which the control device 22 generates the content Z. 8 is started in response to an instruction from the user to the operation device 36. For example, if there are four pieces of recorded data X 1 to X 4 recorded from different positions, the candidate calculation unit 42 sets the four pieces of recorded data. One arbitrary permutation Q is determined from the six permutations Q 1 to Q 6 in which X is circularly arranged (SD1).
  • the recorded data analysis unit 40 (candidate calculation unit 42 and analysis processing unit 44) determines the cross-correlation C ij ( ⁇ for each of the four recorded data pairs P ij for the determined permutation Q, as in the first embodiment. ) To the absolute value
  • the analysis processing unit 44 repeats the processing of step SB1 and step SB2 until the calculation of the total value S is completed for all combinations of candidate values Dm (SB3: NO).
  • the candidate calculation unit 42 adds up all combinations of candidate values Dm for all permutations Q 1 to Q 6 in which the four recorded data X are arranged. It is determined whether the calculation of the value S (steps SA1 to SB2) has been completed (SD2).
  • the analysis processing unit 44 calculates the total value closest to 0 among the total values S of all the combinations in all the permutations Q 1 to Q 6 .
  • each of the four candidate values Dm corresponding to S is determined as four time difference O ij respectively corresponding to the four recording data pairs P ij (SB4).
  • the candidate calculation unit 42 newly selects an unprocessed permutation Q (SD1) and performs steps SA1 to SB3. Repeat the process.
  • the edit processing unit 46 generates the content Z as in the first embodiment (SC1).
  • the candidate calculation unit 42 determines the permutation Q of the N pieces of recorded data X 1 to X N (steps SD1 and SD2) and the process of calculating M candidate values D ( step SA1 ⁇ SA3) and performs the analysis processing unit 44 performs a process of specifying four time difference O ij respectively corresponding to the four recording data pairs P ij (step SB1 ⁇ SB3 and step SB4).
  • the same effect as in the first embodiment is realized.
  • the time difference O ij can be appropriately specified even if the recording periods of the recording data X do not partially overlap all over the time axis. Even when the recording periods partially overlap on the time axis over all the recorded data X 1 to X N exemplified in the first embodiment, the time difference O ij is specified by the configuration exemplified in the second embodiment. can do.
  • a plurality of candidate values D are calculated according to the time difference ⁇ of the acoustic signal y (t) included in each recorded data X i , X j of the recorded data pair P ij , but the time difference ⁇
  • the signal used for calculating is not limited to the acoustic signal y (t).
  • the uttered content of each recorded data X is analyzed by speech recognition, and the analysis result is compared between the two recorded data X i and X j. It is also possible to calculate a plurality of candidate values D.
  • a signal indicating a temporal change of a feature amount (for example, pitch) extracted from the acoustic signal y (t) is compared between the two recorded data X i and X j (for example, a cross-correlation C ij ( ⁇ ) is calculated).
  • a plurality of candidate values D may be calculated.
  • a signal indicating a temporal change in brightness of the image is generated from a moving image signal representing a temporal change (that is, a moving image) of the image included in the recorded data pair P ij, and between the two recorded data X i and X j It is also possible to calculate a plurality of candidate values D by comparing the signals.
  • the signal used for calculating the plurality of candidate values D represents the time change of the recording target (sound or moving image) in each of the two recording data X of the recording data pair P ij. It is comprehensively expressed as a time signal.
  • signals acoustic signals and video signals
  • signals that represent changes in the amount of characteristics of the recording target are also included in the time signal. Included in the concept.
  • the structure of each of the above-described embodiments using the acoustic signal y (t) Compared to the configuration using the time signals of N , there is an advantage that the N time differences O 12 to O N1 between the N pieces of recorded data X 1 to X N can be specified with high accuracy.
  • the plurality of candidate values D of the recorded data pair P ij are calculated according to the cross-correlation C ij ( ⁇ ), but the index used for calculating the plurality of candidate values D is the cross-correlation C It is not limited to ij ( ⁇ ).
  • the index used for calculating the plurality of candidate values D is arbitrary as long as the time difference of the time signal representing the time change of the recording target in each of the two recording data X i and X j of the recording data pair P ij can be calculated.
  • the editing processing unit 46 is mounted on the recorded data editing system 10.
  • the editing processing unit 46 can be mounted on a server device or terminal device that is separate from the recorded data editing system 10. is there.
  • the recorded data editing system 10 transmits the N recorded data X 1 to X N and the N time differences O 12 to O N1 specified by the analysis processing unit 44 to the server device or the terminal device.
  • the recorded data editing system 10 in each of the above embodiments includes the recorded data analysis unit 40 that analyzes N time differences O 12 to O N1 for N recorded data X 1 to X N. It is an example of a device (that is, a recorded data analysis device) provided, and editing processing (editing processing unit 46) is not essential in the recorded data processing device of the present invention.
  • the time difference O ij is specified for all the recording data X acquired from the plurality of recording devices 12, but the time difference O for a part of the recording data X acquired from the plurality of recording devices 12. It is also possible to analyze ij .
  • the recorded data analysis unit 40 acquires time information indicating the recording period (for example, start time and end time) of each recorded data X from each recording device 12 together with the recorded data X, and the recording time indicated by the time information is a time axis.
  • the N pieces of recorded data X 1 to X N that overlap with each other are identified and the same operation as in the first embodiment is executed.
  • the candidate calculation unit 42 selects a plurality of recorded data X for each of N recorded data pairs P 12 to P N1 in N recorded data X 1 to X N that overlap each other on the time axis. It functions as an element for calculating the candidate value D. That is, the recording data X estimated from the time information if it does not overlap with the other recording data X on the time axis is excluded from the processing target. Although it is possible to specify the temporal relationship (time difference O ij ) of each recorded data X from the time information, actually, there is an error for each recording device 12 at the time measured by the recording device 12. Since it may occur, it is meaningful to specify the time difference O ij with the configuration of each of the above-described embodiments.
  • the recording data X that does not overlap with other recording data X on the time axis can be excluded from the processing target, all the recording data X generated by the recording device 12 is the processing target. Compared to the above, it is possible to reduce the processing load of the recorded data analysis unit 40.
  • the recorded data analysis unit 40 exemplified in the above embodiments is realized by the cooperation of the control device 22 and the program as described above.
  • the program may be provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but a known arbitrary one such as a semiconductor recording medium or a magnetic recording medium This type of recording medium can be included.
  • the non-transitory recording medium includes an arbitrary recording medium excluding a transient propagation signal (transitory, “propagating signal”) and does not exclude a volatile recording medium. It is also possible to provide a program to a computer in the form of distribution via a communication network.
  • the present invention can also be specified as an operation method (recorded data processing method) of the recorded data analysis unit 40 according to each of the above-described embodiments.
  • N N is a natural number of 3 or more
  • recorded data X each representing a recording target including at least one of sound and image is cyclically recorded.
  • the two recorded data X of the recorded data pair P ij A plurality of candidate values D relating to the time difference of the time signal representing the time change of the recording target in each of i and X j is calculated, and a plurality of candidate values D calculated for each of the N recorded data pairs P 12 to P N1. Any of the plurality of candidate values D in each of the N recorded data pairs P ij is set so that the numerical value obtained by summing any of the N recorded data pairs P 12 to P N1 approaches 0. All the P ij That the two recorded data X i, specified as the time difference O ij between X j.
  • a recorded data processing method is a cyclic arrangement of N pieces (N is a natural number of 3 or more) of recorded data, each representing a recording target including at least one of sound and image.
  • N is a natural number of 3 or more
  • a time signal indicating the time change of the recording target in each of the two recorded data of the recorded data pair
  • a plurality of candidate values related to a time difference are calculated, and a numerical value obtained by summing any of the plurality of candidate values calculated for each of the N recorded data pairs over the N recorded data pairs approaches 0.
  • One of the plurality of candidate values in each of the N recorded data pairs is specified as a time difference between the two recorded data in the recorded data pair.
  • a numerical value obtained by summing any of a plurality of candidate values calculated for each of the N recorded data pairs each representing a recording target including at least one of sound and image over the N recorded data pairs is obtained.
  • One of a plurality of candidate values in each of the N recorded data pairs is specified as a time difference between the two recorded data in the recorded data pair so as to approach 0.
  • the method of determining the time difference that maximizes the cross-correlation of the time signal between the two recorded data as the time difference between the recorded data When the time signal contains noise, an error may occur in the time difference between recorded data.
  • any one of a plurality of candidate values is specified as a time difference between two pieces of recorded data for each recorded data pair, it is possible to specify the time difference between the recorded data with high accuracy. is there. That is, the error between the time difference between recorded data and the actual time difference can be reduced.
  • the calculation of the plurality of candidate values depends on a cross-correlation of the time signal between the two recorded data of each recorded data pair. Then, the plurality of candidate values of the recorded data pair are calculated.
  • a plurality of candidate values relating to the time difference between the two recorded data are calculated according to the cross-correlation of the time signals. Therefore, it is possible to easily calculate a plurality of candidate values for a time difference between recorded data as compared with a method for calculating a plurality of candidate values according to an index other than the cross-correlation.
  • ⁇ Aspect 3> In the recorded data processing method according to a preferred example of aspect 2 (aspect 3), when calculating the plurality of candidate values, the absolute value of the cross-correlation of the time signal between the two recorded data is smoothed A plurality of time differences respectively corresponding to the plurality of local maximum points are specified as the plurality of candidate values.
  • the plurality of candidate values related to the time difference are calculated by smoothing the absolute value of the cross-correlation calculated for the two successive recording data.
  • multiple candidate values are localized within the range around the time difference where the absolute value of cross-correlation is maximum.
  • a plurality of candidate values may be specified locally from the vicinity thereof.
  • a plurality of candidate values are dispersed. Even when the cross-correlation is maximized, it is possible to specify a plurality of candidate values so as to include an appropriate time difference between the two recorded data (and thus to specify the time difference with high accuracy).
  • the time signal is an acoustic signal representing a temporal change in sound.
  • a plurality of candidate values relating to the time difference of the acoustic signal are calculated. Therefore, a time signal representing a time change such as a moving image has a large difference in time fluctuation according to the recording condition (for example, a shooting position), but an acoustic signal has a small difference in time fluctuation according to the recording condition.
  • the time difference between can be specified with high accuracy.
  • ⁇ Aspect 6> In the recorded data processing method according to any one of the preferred examples (Aspect 6) of Aspect 1 to Aspect 5, in the calculation of the plurality of candidate values, K permutations in the cyclic array of the N recorded data are included. For each of the N recorded data pairs, the plurality of candidate values are calculated, and any of the plurality of candidate values calculated for each of the K permutations is summed over the N recorded data pairs. The time difference between the two recorded data in the recorded data pair is any one of the plurality of candidate values in each of the N recorded data pairs in any of the K permutations so that the numerical value approaches 0. As specified.
  • the N values in any of the K permutations are such that the sum of any of the plurality of candidate values calculated for each of the K permutations over N recorded data pairs approaches zero.
  • Any one of a plurality of candidate values in each recorded data pair is specified as a time difference between two recorded data in the recorded data pair. Therefore, even if each of the N pieces of recorded data does not partially overlap the recording period on the time axis, the time difference can be appropriately specified.
  • the N recorded data are synchronized with each other according to the time difference specified for each of the N recorded data pairs.
  • the contents are generated from the synchronized N pieces of recorded data.
  • N pieces of recorded data are synchronized with each other according to the time difference specified for each of the N pieces of recorded data pairs, and content can be generated from the synchronized N pieces of recorded data.
  • the recorded data processing apparatus cyclically arranges N (N is a natural number of 3 or more) recorded data each representing a recording target including at least one of sound and image. For each of the N recorded data pairs composed of the two recorded data that precede and follow, a time signal indicating the time change of the recording target in each of the two recorded data of the recorded data pair A candidate calculation unit for calculating a plurality of candidate values relating to a time difference, and a numerical value obtained by summing any of the plurality of candidate values calculated for each of the N recorded data pairs over the N recorded data pairs is 0.
  • An analysis processing unit for specifying any of the plurality of candidate values in each of the N recorded data pairs as a time difference between the two recorded data in the recorded data pair so as to approach each other .
  • a numerical value obtained by summing any of a plurality of candidate values calculated for each of the N recorded data pairs each representing a recording target including at least one of sound and images over the N recorded data pairs is obtained.
  • One of a plurality of candidate values in each of the N recorded data pairs is specified as a time difference between the two recorded data in the recorded data pair so as to approach 0.
  • the only time difference specified between two recorded data is adopted as a deterministic value
  • the time difference that maximizes the cross-correlation of time signals between two recorded data is determined as the time difference between recorded data.
  • an error may occur in the time difference between recorded data.
  • any one of a plurality of candidate values is specified as a time difference between two pieces of recorded data for each recorded data pair, it is possible to specify the time difference between the recorded data with high accuracy. is there. That is, the error between the time difference between recorded data and the actual time difference can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

収録データ処理方法は、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データＸを循環的に配列したときに相前後する２個の収録データＸで構成されるＮ個の収録データ対の各々について、当該収録データ対の２個の収録データＸの各々における収録対象の時間変化を表す時間信号の時間差に関する複数の候補値を算定し、Ｎ個の収録データ対の各々について算定された複数の候補値の何れかをＮ個の収録データ対にわたり合計した数値が０に近づくように、Ｎ個の収録データ対の各々における複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する。

Description

収録データ処理方法および収録データ処理装置
　本発明は、収録データを処理する技術に関する。
　画像や音声を含む複数の収録データの相互間の時間的な関係を処理する技術が従来から提案されている。例えば特許文献１には、同じ被写体を異なる撮影位置から撮影した複数の画像の撮影時にそれぞれ録音された複数の音声データを解析することで、当該複数の画像を同期するための時間ずれ情報を生成する技術が開示されている。具体的には、２つの音声データ間の相互相関関数が最大となるずれ時間に応じて時間ずれ情報が生成される。
特開２００８－１９３５６１号公報
　しかし、特許文献１の技術では、２つの音声データの相互相関関数が最大値をとるずれ時間を求めて画像データを同期させるから、例えば音声データに残響や雑音が含まれる場合は、相互相関関数の最大値から算出したずれ時間と現実のずれ時間との誤差が大きくなる可能性がある。以上の事情を考慮して、本発明は、収録データ間の時間差を高精度に特定することを目的とする。
　以上の課題を解決するために、本発明に係る収録データ処理方法は、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の２個の収録データの各々における収録対象の時間変化を表す時間信号の時間差に関する複数の候補値を算定し、Ｎ個の収録データ対の各々について算定された複数の候補値の何れかをＮ個の収録データ対にわたり合計した数値が０に近づくように、Ｎ個の収録データ対の各々における複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する。
　本発明の好適な態様に係る収録データ処理装置は、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の２個の収録データの各々における収録対象の時間変化を表す時間信号の時間差に関する複数の候補値を算定する候補算定部と、Ｎ個の収録データ対の各々について算定された複数の候補値の何れかをＮ個の収録データ対にわたり合計した数値が０に近づくように、Ｎ個の収録データ対の各々における複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する解析処理部とを具備する。
第１実施形態に係る収録データ編集システムの構成図である。 Ｎ個の収録データ対における時間差の説明図である。 収録データ対の相互相関の絶対値の説明図である。 平滑化後の相互相関の説明図である。 制御装置がコンテンツを生成する処理のフローチャートである。 第２実施形態に係るＮ個の収録データ対における時間差の説明図である。 Ｎ個の収録データ対の異なる順列における時間差の説明図である。 制御装置がコンテンツを生成する処理のフローチャートである。
＜第１実施形態＞
　図１は、第１実施形態に係る収録データ編集システム１０の構成図である。収録データ編集システム１０は、音響（例えば音声または楽音）および動画を処理するためのコンピュータシステムであり、図１に例示される通り、制御装置２２と記憶装置２４と通信装置２６と表示装置３２と放音装置３４と操作装置３６とを具備する。例えば携帯電話機やスマートフォン、タブレット端末またはパーソナルコンピュータ等の可搬型の情報処理装置で収録データ編集システム１０は好適に実現され得るが、据置型の情報処理装置で収録データ編集システム１０を実現することも可能である。
　制御装置２２は、収録データ編集システム１０の各要素を統括的に制御する演算処理装置（例えばＣＰＵ）である。通信装置２６は、複数（Ｎ個）の収録装置１２と通信する（Ｎは３以上の自然数）。各収録装置１２は、音響を収音する収音装置と動画を撮像する撮像装置とを具備する映像機器であり、収音装置が収音した音響と撮像装置が撮像した動画とを表すデータ（以下「収録データ」という）Ｘを生成する。音響および動画の収録に専用されるデジタルカムコーダ等の映像機器のほか、収録機能を搭載した携帯電話機またはスマートフォン等の情報端末が収録装置１２として利用され得る。第１実施形態の通信装置２６は、Ｎ個の収録装置１２からそれぞれ収録データＸを受信する。具体的には、通信装置２６は、例えばWi-Fi（登録商標）またはBluetooth（登録商標）等の公知の近距離無線通信により各収録装置１２から収録データＸを受信する。ただし、通信装置２６と各収録装置１２との通信方式は任意であり、例えば通信装置２６が有線で各収録装置１２と通信することも可能である。
　記憶装置２４は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成され、制御装置２２が実行するプログラムおよび制御装置２２が使用する各種のデータを記憶する。第１実施形態の記憶装置２４は、通信装置２６が各収録装置１２からそれぞれ受信したＮ個の収録データＸ１～ＸＮを記憶する。Ｎ個の収録データＸ１～ＸＮをあらかじめ記憶装置２４に保存しておくことも可能である。この場合、収録データ編集システム１０から通信装置２６は省略され得る。また、収録データ編集システム１０が通信可能なサーバに記憶装置２４（すなわちクラウドストレージ）を設置することも可能である。この場合、収録データ編集システム１０から記憶装置２４は省略され得る。
　Ｎ個の収録装置１２の各々は、例えば相異なる位置で共通の収録対象（収録オブジェクト）である音響および画像を並列に収録する。例えば、音響ホール等の共通の音響空間の相異なる地点に複数の収録装置１２が配置されて各々が別個の角度から例えば舞台および観客の様子を収録して収録データＸを生成する。第１実施形態の収録データＸは、収音装置が収音した音響および撮像装置が撮像した画像を含む収録対象を表す。具体的には、収録データＸは、収音装置が収音した音響の時間変化を表す音響信号と、撮像装置が撮像した画像の時間変化（つまり動画）を表す動画信号とを含む。例えば、舞台に設置された放音装置（例えばスピーカー）から舞台で行われる演劇用の楽曲の演奏音が再生されている場合、各収録装置１２が収録する収録データＸの音響には、演奏音（ただし音量等の音響特性は相違し得る）が共通に含有される。各収録装置１２の利用者は、自身の収録装置１２による収録を別々に開始する。したがって、音響および動画の収録の開始点は、Ｎ個の収録データＸ１～ＸＮの間で厳密には一致せず、収録データＸ毎に相違し得る。つまり、Ｎ個の収録データＸ１～ＸＮには、時間差がある。なお、第１実施形態では、Ｎ個の収録データＸ１～ＸＮの全部にわたって収録期間は時間軸上で部分的に重複する場合を便宜的に想定する。なお、音響および画像の双方を含む収録対象を例示したが、音響および画像の何れか一方のみを含む収録対象も想定され得る。
　図１の表示装置３２（例えば液晶表示パネル）は、制御装置２２から指示された画像を表示する。放音装置３４（例えばスピーカーまたはヘッドホン）は、制御装置２２から指示された音響を放音する。操作装置３６は、利用者からの指示を受付ける入力機器であり、例えば利用者による操作を検知する複数の操作子または表示装置３２の表示面に対する利用者の接触を検知するタッチパネルで構成される。
　制御装置２２は、記憶装置２４に記憶されたプログラムを実行することで、Ｎ個の収録データＸ１～ＸＮを処理するための複数の機能（収録データ解析部４０および編集処理部４６）を実現する。なお、制御装置２２の一部の機能を音響処理または画像処理の専用の電子回路で実現した構成、または、制御装置２２の機能を複数の装置に分散した構成も採用され得る。
　収録データ解析部４０は、図２に例示される通り、収録装置１２が生成したＮ個の収録データＸ１～ＸＮを循環的に配列したときに相前後する２個（配列した時に隣り合う２個）の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊ（ｉ,ｊ＝１～Ｎ，ｉ≠ｊ）を特定する。Ｎ個の収録データＸ１～ＸＮの循環的な配列とは、Ｎ個の収録データＸ１～ＸＮを直列に配列するとともに最後の収録データＸＮに先頭の収録データＸ１を後続させた配列（環状配列）を意味する。したがって、Ｎ個の収録データＸ１～ＸＮの循環的な配列には、相前後する２個の収録データＸｉ，Ｘｊで構成される対（以下「収録データ対」という）Ｐｉｊが包含される。すなわち、数値ｉと数値ｊとの組合せは、（ｉ,ｊ）＝（１,２），（２,３），……（Ｎ－１,Ｎ），（Ｎ,１）のＮ通りである。つまり、Ｎ個の収録データＸ１～ＸＮの配列には、Ｎ個の収録データ対Ｐ１２～ＰＮ１が含まれる。図２から理解される通り、時間差Ｏｉｊは、収録データＸｉを基準としたときの収録データＸｊの相対的な時間（オフセット）を意味する。なお、循環的に配列されたＮ個の収録データＸ１～ＸＮの順列は任意である。
　図１に例示される通り、第１実施形態の収録データ解析部４０は、候補算定部４２と解析処理部４４とを具備する。候補算定部４２は、Ｎ個の収録データＸ１～ＸＮを循環的に配列したときに相前後する２個の収録データＸｉ，Ｘｊで構成されるＮ個の収録データ対Ｐ１２～ＰＮ１の各々について、当該収録データ対Ｐｉｊの２個の収録データＸｉ，Ｘｊの各々における音響信号（時間信号の一例）の時間差に関する複数の候補値を算定する。収録データ対Ｐｉｊについて算定された複数の候補値の何れかが確定的な時間差Ｏｉｊとして採択される。
　候補算定部４２は、具体的には、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々について、収録データＸｉと収録データＸｊとの間における音響信号の相互相関Ｃｉｊ(τ)応じて複数の候補値を算定する。第１実施形態では、相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|に応じて複数の候補値が算定される。相互相関Ｃｉｊ(τ)は、以下の数式(１)で表現される通り、収録データＸｉに含まれる音響信号ｙｉ(ｔ)の始点と収録データＸｊに含まれる音響信号ｙｊ(ｔ)の始点とを時間軸上で一致させてから、音響信号ｙｉ(ｔ)に対する音響信号ｙｊ(ｔ)の時間差（時間軸上のシフト量）τを変数として両者間の時間波形の相関の程度を示した数値列である。なお、時間差τは、負の数値もとり得る。したがって、例えば、収録データＸｊが時間軸上で収録データＸｉの後方に位置する場合に時間差Ｏｉｊは正数となり、収録データＸｊが時間軸上で収録データＸｉの前方に位置する場合に時間差Ｏｉｊは負数となる。なお、相互相関Ｃｉｊ(τ)の絶対値によらず複数の候補値の算定を行ってもよい。
Figure JPOXMLDOC01-appb-M000001
　また、相互相関Ｃｉｊ(τ)は、数式(２)で表現される通り、音響信号ｙｉ(ｔ)の周波数スペクトルＹｉ(ｆ)と音響信号ｙｊ(ｔ)の周波数スペクトルＹｊ(ｆ)とのクロススペクトルの逆フーリエ変換（IFFT）で算出することも可能である。ｆは周波数を意味し、Ｙｉ ＊(ｆ)は、Ｙｉ(ｆ)の複素共役である。数式(２)の演算により相互相関Ｃｉｊ(τ)を算定する構成によれば、数式(１)を演算する構成と比較して、相互相関Ｃｉｊ(τ)を算出する計算量を低減できるという利点がある。
Figure JPOXMLDOC01-appb-M000002
　図３は、任意の１個の収録データ対Ｐｉｊについて算定された相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|の説明図である。絶対値|Ｃｉｊ(τ)|は、音響信号ｙｉ(ｔ)の時間波形と音響信号ｙｊ(ｔ)の時間波形との相関が高いほど、大きい値をとり得る。前述した通り、収録データＸは収録期間が時間軸上で部分的に重複しているので、収録データＸの各々に含まれる音響には、時間軸上で部分的に共通の音響（実演用の楽曲の演奏音）成分が含有されている。したがって、収録データ対Ｐｉｊの相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|が最大となる時間差τが、当該収録データの時間差Ｏｉｊとなり得る。しかし、実際には、収録データＸに含まれる音響に雑音が含有されている場合など、相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|が最大となる時間差τを収録データ対Ｐｉｊの時間差Ｏｉｊとして確定すると誤差が発生する可能性がある。第１実施形態ではこの問題を解決するために、相互相関Ｃｉｊ(τ)に応じて算定される複数の候補値Ｄの何れかを２個の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊとして特定する構成を採用する。
　図１の候補算定部４２は、複数の候補値Ｄの算定において、具体的には、算出した相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|を平滑化（例えば移動平均）し、平滑化後の相互相関Ｃｉｊ_s(τ)からＭ個の候補値Ｄを特定する（Ｍは２以上の自然数）。図４は、平滑化後の相互相関Ｃｉｊ_s(τ)の説明図である。Ｍ個の候補値Ｄ（Ｄ１，Ｄ２，……，ＤＭ）は、図４に例示される通り、相互相関Ｃｉｊ_s(τ)におけるＭ個の極大点にそれぞれ対応する複数の時間差τであり、収録データ対Ｐｉｊの時間差Ｏｉｊの複数の候補値である。Ｍ個の極大点とは、複数の極大点のうち、例えば極大値の降順でＭ番目までの極大点、または、極大値が閾値を上回るＭ個の極大点である。閾値を上回るＭ個の極大点を特定した場合、収録データ対Ｐｉｊ毎に候補値Ｄの総数Ｍは異なり得る。なお、閾値は、実験的または統計的に選定される。候補値Ｄの総数Ｍは任意であり、候補値Ｄの総数が少ないほど制御装置２２の処理負荷を低減することが可能である。
　図３に例示される通り、相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|が最大となる時間差τの周辺の範囲では局所的に絶対値|Ｃｉｊ(τ)|が大きい数値となる傾向がある。したがって、仮に平滑化せずに相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|の降順で時間差ＯｉｊのＭ個の候補値Ｄを算定すると、例えば雑音等に由来して相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|が局所的に増大する場合に、その近傍から局所的に複数の候補値Ｄが特定される可能性がある。第１実施形態では、図４に例示される通り、平滑化後の相互相関Ｃｉｊ_s(τ)の複数の極大点にそれぞれ対応する複数の時間差τを複数の候補値Ｄとして特定するから、複数の候補値Ｄが分散される。すなわち、例えば雑音等に起因して相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|が最大となる場合でも、２個の収録データＸｉ，Ｘｊの適正な時間差Ｏｉｊを含むように複数の候補値Ｄを特定すること（ひいては時間差Ｏｉｊを高精度に特定すること）が可能である。もっとも、複数の候補値Ｄの局在が特段の問題とならない場合には、相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|から複数の候補値Ｄを特定することも可能である。以上に説明した通り、第１実施形態では、収録データ対Ｐｉｊの音響信号ｙ(ｔ)の相互相関Ｃｉｊ(τ)に応じて複数の候補値Ｄを算定するので、相互相関Ｃｉｊ(τ)以外の指標に応じて複数の候補値Ｄを算定する構成と比較して、収録データＸ間の時間差τの複数の候補値Ｄを簡便に算定することができるという利点がある。
　図１の解析処理部４４は、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々について、Ｍ個の候補値Ｄの何れかを収録データ対Ｐｉｊにおける２個の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊとして特定する。
　図２から理解される通り、Ｎ個の収録データ対Ｐ１２～ＰＮ１にわたる適正な時間差Ｏ１２～ＯＮ１の合計値Ｓ（Ｓ＝Ｏ１２＋Ｏ２３＋……＋ＯＮ１）は０になる。したがって、合計値Ｓが０に近い候補値Ｄの組合せは、現実の時間差に近いと評価できる。すなわち、Ｎ個の収録データ対Ｐ１２～ＰＮ１のそれぞれについて特定されたＮ個の候補値Ｄの合計値Ｓは、候補値Ｄの信頼度を表す指標として利用され得る。
　解析処理部４４は、具体的には、Ｎ個の収録データ対Ｐ１２～ＰＮ１にわたり、各収録データ対ＰｉｊのＭ個の候補値Ｄから１個の候補値Ｄmを選択する全通りの組合せ（すなわちＮ個の候補値Ｄmの組合せ）について、Ｎ個の候補値Ｄmの合計値Ｓを算出し、合計値Ｓが０に最も近い候補値Ｄmの組合せ（すなわち、合計値Ｓの絶対値が最小となる候補値Ｄmの組合せ）を特定する。解析処理部４４は、当該特定した組合せに含まれるＮ個の候補値Ｄmの各々を、Ｎ個のデータ対Ｐ１２～ＰＮ１の時間差Ｏ１２～ＯＮ１として確定する。以上の説明から理解される通り、解析処理部４４は、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々について算定された複数の候補値Ｄの何れかをＮ個の収録データ対Ｐ１２～ＰＮ１にわたり合計した数値（合計値Ｓ）が０に近づくように、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々における複数の候補値Ｄの何れかを当該収録データ対Ｐｉｊにおける２個の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊとして特定する要素として機能する。
　編集処理部４６は、解析処理部４４が確定したＮ個の時間差Ｏ１２～ＯＮ１に応じて、Ｎ個の収録データＸ１～ＸＮを相互に同期させたコンテンツＺを生成する。収録データＸの同期とは、各収録データＸの音響および動画の時間軸をＮ個の収録データＸ１～ＸＮについて相互に合致させた状態を意味する。編集処理部４６は、具体的には、各収録データＸにおける特定の時刻がＮ個の収録データＸ１～ＸＮにわたり時間軸上の共通の時点となるように各収録データＸの時間軸上の位置を調整する。すなわち、図２に例示される通り、収録データＸｉと収録データＸｊとの時間差が、解析処理部４４により算定された時間差Ｏｉｊとなるように、各収録データＸの時間軸上の位置が調整される。
　図１の編集処理部４６で生成されたコンテンツＺは、制御装置２２の指示により再生される。具体的には、コンテンツＺの動画は表示装置３２で表示され、コンテンツＺの音響は放音装置３４で放音される。
　図５は、制御装置２２がコンテンツＺを生成する処理のフローチャートである。操作装置３６に対する利用者からの指示を契機として図５の処理が開始される。例えば、舞台で実演される演劇の様子を相異なる位置から収録した４個の収録データＸ１～Ｘ４がある場合、図５の処理を開始すると、候補算定部４２は、４個の収録データ対Ｐ１２，Ｐ２３，Ｐ３４およびＰ４１の各々について、収録データＸｉの音響信号ｙｉ(ｔ)と収録データＸｊの音響信号ｙｊ(ｔ)との相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|を算出する（ＳA1）。候補算定部４２は、４個の収録データ対Ｐｉｊの各々について算出した相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|を平滑化する（ＳA2）。候補算定部４２は、４個の収録データ対Ｐ１２～Ｐ４１の平滑化後の各相互相関Ｃｉｊ_s(τ)について、降順で５番目（つまりＭ＝５）までの極大点にそれぞれ対応する５個の時間差τを５個の候補値Ｄ（Ｄ１～Ｄ５）として特定する（ＳA3）。ステップＳA1～ステップＳA3は、複数の候補値Ｄを算定する処理である。
　解析処理部４４は、４個の収録データ対Ｐ１２～Ｐ４１にわたり、各収録データ対Ｐの５個の候補値Ｄから１個の候補値Ｄmを選択する全通りの組合せ（すなわち４個の候補値Ｄmの組合せ）から、任意の１つの組合せを決定する（ＳB1）。解析処理部４４は、決定した組合せにおける４個の候補値Ｄmの合計値Ｓを算出する（ＳB2）。解析処理部４４は、全通りの組合せについて合計値Ｓの算出が完了するまで、ステップＳB1とステップＳB2との処理を繰り返す（ＳB3：ＮＯ）。全組合せの合計値Ｓを算出した場合（ＳB3：ＹＥＳ）、解析処理部４４は、全組合せの合計値Ｓの中で最も０に近い合計値Ｓに対応する４個の候補値Ｄmの各々を、４個の収録データ対Ｐ１２～Ｐ４１のそれぞれの時間差Ｏ１２，Ｏ２３，Ｏ３４およびＯ４１として確定する（ＳB4）。ステップＳB1～ステップＳB4は、４個の収録データ対Ｐ１２～Ｐ４１のそれぞれの時間差Ｏ１２～Ｏ４１を特定する処理である。
　編集処理部４６は、解析処理部４４が特定した時間差Ｏ１２～Ｏ４１に応じて、４個の収録データＸ１～Ｘ４を相互に同期させる編集処理によりコンテンツＺを生成する（ＳC1）。
　以上の説明から理解される通り、第１実施形態では、Ｎ個の収録データ対Ｐ１２～ＰＮ１にわたる時間差τの候補値Ｄmの合計値Ｓが０に近づくように、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々における複数の候補値Ｄの何れかが当該収録データ対Ｐｉｊにおける２個の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊとして特定される。したがって、２個の収録データＸｉ，Ｘｊから特定された唯一の時間差τを確定値（時間差Ｏｉｊ）として採用する構成、例えば２個の収録データＸｉ，Ｘｊ間の時間信号の相互相関Ｃｉｊ(τ)が最大となる時間差τを収録データＸ間の時間差Ｏｉｊとして確定する構成と比較して、収録データＸ間の時間差Ｏｉｊを高精度に特定することが可能である。つまり、収録データＸ間の時間差Ｏｉｊと現実の時間差との誤差を小さくすることが可能である。
＜第２実施形態＞
　本発明の第２実施形態について説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　図６は、第２実施形態に係るＮ個の収録データ対Ｐ１２～ＰＮ１のそれぞれにおけるＮ個の時間差Ｏ１２～ＯＮ１の説明図である。第１実施形態では、Ｎ個の収録データＸ１～ＸＮの全部にわたって収録期間が時間軸上で部分的に重複する場合を例示した。第２実施形態では、Ｎ個から選択された２個の収録データＸｉ，Ｘｊが時間軸上で相互に重複しない可能性を想定する。例えば、図６の収録データＸ２は、収録データＸ１とは部分的に重複するけれども収録データＸ５とは時間軸上で重複しない。
　ここで、収録データＸｉと収録データＸｊとが時間軸上で部分的に重複していない収録データ対Ｐｉｊの場合、つまり、収録データ対Ｐｉｊの現実の時間差が収録データＸｉの時間長を超えている場合、収録データ対Ｐｉｊの相互相関Ｃｉｊ(τ)は、有意な値をとらない。したがって、相互相関Ｃｉｊ(τ)から特定される候補値Ｄも有意な値にならない。図６から理解される通り、収録データＸｉと収録データＸｊとが時間軸上で部分的に重複しない場合でも、相前後する２個の収録データＸｉ，Ｘｊが時間軸上で相互に重複するようにＮ個の収録データＸ１～ＸＮを配列した場合には、第１実施形態で説明した通り、Ｎ個の収録データ対Ｐ１２～ＰＮ１にわたるＮ個の時間差Ｏ１２～ＯＮ１の合計値Ｓは０に近い数値となる。しかし、図７の収録データＸ２と収録データＸ５との関係のように、時間軸上で相互に重複しない２個の収録データＸｉ，Ｘｊが相前後するようにＮ個の収録データＸ１～ＸＮを配列した場合には、Ｎ個の時間差Ｏ１２～ＯＮ１の合計値Ｓは０から離れた数値となる。すなわち、第２実施形態では、Ｎ個の収録データＸ１～ＸＮの配列の順番に応じて候補値Ｄの適否が相違し得る。そこで、第２実施形態では、Ｎ個の収録データＸ１～ＸＮの配列の順番を相違させたＫ通りの順列Ｑ１～ＱＫの各々について、収録データ対Ｐ１２～ＰＮ１の候補値Ｄの合計値Ｓを算定する。
　第２実施形態における収録データ解析部４０は、第１実施形態と同様に、候補算定部４２と解析処理部４４とを具備する。Ｎ個の収録データＸ１～ＸＮをＫ通りの順列（円順列）Ｑ１～ＱＫで循環的に配列すると、相前後する２個の収録データＸｉ，Ｘｊで構成されるＮ個の収録データ対Ｐ１２～ＰＮ１が特定される。第２実施形態の候補算定部４２は、各順列Ｑ１～ＱＫにおけるＮ個の収録データ対Ｐ１２～ＰＮ１の各々について、当該収録データ対Ｐｉｊの２個の収録データＸｉ，Ｘｊの各々における音響信号ｙ(ｔ)の時間差τに関するＭ個の候補値Ｄ１～ＤＭを算定する。第１実施形態の候補算定部４２は、候補値Ｄの算定において複数の順列Ｑを考慮することは不要であり、任意の１通りの順列についてのみ収録データ対Ｐｉｊの候補値Ｄを算定した。一方で、第２実施形態の候補算定部４２は、Ｋ通りの順列Ｑ１～ＱＫの各々について、各収録データ対Ｐｉｊの候補値Ｄを算定する。複数の候補値Ｄは、第１実施形態と同様に、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々について、収録データＸｉと収録データＸｊとの間における音響信号の相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|に応じて算定される。
　第２実施形態における解析処理部４４は、第１実施形態と同様に、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々について、Ｍ個の候補値Ｄの何れかを収録データ対Ｐｉｊにおける２個の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊとして特定する。具体的には、解析処理部４４は、Ｋ通りの順列Ｑ１～ＱＫの各々について、第１実施形態と同様に、各収録データ対ＰｉｊのＭ個の候補値Ｄから１個の候補値Ｄmを選択する全通りの組合せでＮ個の候補値Ｄmの合計値Ｓを算出する。そして、解析処理部４４は、Ｋ通りの順列Ｑ１～ＱＫの各々について候補値Ｄの組合せ毎に算定した合計値Ｓのうち、０に最も近い候補値Ｄmの組合せを特定し、当該組合せに含まれるＮ個の候補値Ｄmの各々をＮ個のデータ対Ｐｉｊの時間差Ｏｉｊとして確定する。以上の説明から理解される通り、解析処理部４４は、Ｋ通りの順列Ｑ１～ＱＫの各々について算定した複数の候補値Ｄの何れかをＮ個の収録データ対Ｐ１２～ＰＮ１にわたり合計した数値（合計値Ｓ）が０に近づくように、Ｋ通りの順列Ｑ１～ＱＫの何れかにおけるＮ個の収録データ対Ｐ１２～ＰＮ１の各々における複数の候補値Ｄの何れかを当該収録データ対Ｐｉｊにおける２個の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊとして特定する要素として機能する。編集処理部４６は、第１実施形態と同様に、解析処理部４４が確定したＮ個の時間差Ｏ１２～ＯＮ１に応じて、Ｎ個の収録データＸ１～ＸＮを相互に同期させたコンテンツＺを生成する。
　図８は、制御装置２２がコンテンツＺを生成する処理のフローチャートである。操作装置３６に対する利用者からの指示を契機として図８の処理が開始される。例えば、舞台で実演される演劇の様子を相異なる位置から収録した４個の収録データＸ１～Ｘ４がある場合、図８の処理を開始すると、候補算定部４２は、４個の収録データＸを循環的に配列する６通りの順列Ｑ１～Ｑ６から、任意の１つの順列Ｑを決定する（ＳD1）。収録データ解析部４０（候補算定部４２および解析処理部４４）は、決定した順列Ｑについて、第１実施形態と同様に、４個の収録データ対Ｐｉｊの各々について、相互相関Ｃｉｊ(τ)の絶対値|Ｃｉｊ(τ)|を算出する処理（ＳA1）から候補値Ｄmの合計値Ｓを算出する処理（ＳB2）までを実行する。
　解析処理部４４は、候補値Ｄmの全通りの組合せについて合計値Ｓの算出が完了するまで、ステップＳB1およびステップＳB2の処理を繰り返す（ＳB3：ＮＯ）。全組合せの合計値Ｓを算出した場合（ＳB3：ＹＥＳ）、候補算定部４２は、４個の収録データＸを配列した全通りの順列Ｑ１～Ｑ６について、候補値Ｄmの全組合せの合計値Ｓの算出（ステップＳA1～ＳB2）が完了したかを判断する（ＳD2）。全順列Ｑ１～Ｑ６について合計値Ｓを算出した場合（ＳD2：ＹＥＳ）、解析処理部４４は、全順列Ｑ１～Ｑ６における全組合せの合計値Ｓの中で最も０に近い合計値Ｓに対応する４個の候補値Ｄmの各々を、４個の収録データ対Ｐｉｊにそれぞれ対応する４個の時間差Ｏｉｊとして確定する（ＳB4）。全順列Ｑ１～Ｑ６について合計値Ｓの算出が完了していない場合（ＳD2：ＮＯ）、候補算定部４２は、未処理の順列Ｑを新たに選択（ＳD1）してステップＳA1～ＳB3の処理を繰り返す。編集処理部４６は、第１実施形態と同様に、コンテンツＺを生成する（ＳC1）。
　以上の説明から理解される通り、候補算定部４２は、Ｎ個の収録データＸ１～ＸＮの順列Ｑを決定する処理（ステップＳD1およびＳD2）とＭ個の候補値Ｄを算定する処理（ステップＳA1～ＳA3）とを行い、解析処理部４４は、４個の収録データ対Ｐｉｊにそれぞれ対応する４個の時間差Ｏｉｊを特定する処理（ステップＳB1～ＳB3およびステップＳB4）を行う。
　第２実施形態においても第１実施形態と同様の効果が実現される。第２実施形態では特に、収録データＸの各々が、全部にわたって収録期間が時間軸上で部分的に重複していなくても、時間差Ｏｉｊを適切に特定することが可能である。なお、第１実施形態で例示した、全部の収録データＸ１～ＸＮにわたって収録期間が時間軸上で部分的に重複する場合においても、第２実施形態で例示した構成により時間差Ｏｉｊを特定することができる。
＜変形例＞
　以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
（１）前述の各形態では、収録データ対Ｐｉｊの各収録データＸｉ，Ｘｊに含まれる音響信号ｙ(ｔ)の時間差τに応じて複数の候補値Ｄを算定したが、時間差τの算出に使用される信号は音響信号ｙ(ｔ)に限定されない。例えば、各収録データＸの音響に共通の発話内容が含まれる場合は、各収録データＸの発話内容を音声認識により解析し、解析結果を２個の収録データＸｉ，Ｘｊ間で比較することで複数の候補値Ｄを算出することも可能である。また、音響信号ｙ(ｔ)から抽出される特徴量（例えば音高）の時間変化を示す信号を２個の収録データＸｉ，Ｘｊ間で比較する（例えば相互相関Ｃｉｊ(τ)を算定する）ことで複数の候補値Ｄを算定してもよい。さらには、収録データ対Ｐｉｊに含まれる画像の時間変化（つまり動画）を表す動画信号から、例えば画像の明度の時間変化を示す信号を生成し、２個の収録データＸｉ，Ｘｊ間で当該信号を比較することで複数の候補値Ｄを算定することも可能である。つまり、収録対象の時間変化を表す信号（音響信号および動画信号）から生成される何らかの信号を利用して複数の候補値Ｄの算定をすることも可能である。以上の説明から理解される通り、複数の候補値Ｄの算定に使用される信号は、収録データ対Ｐｉｊの２個の収録データＸの各々における収録対象（音響または動画）の時間変化を表す時間信号として包括的に表現される。すなわち、収録対象自体の時間変化を表す信号（音響信号および動画信号）の他、当該収録対象の特徴量の時間変化を表す信号（収録対象の時間変化を間接的に表す信号）も時間信号の概念に含まれる。ただし、音響信号ｙ(ｔ)は収録条件（例えば撮影位置）に応じた時間変動の相違が小さいという傾向を考慮すると、音響信号ｙ(ｔ)を使用した前述の各形態の構成では、動画等の時間信号を使用した構成と比較して、Ｎ個の収録データＸ１～ＸＮの間のＮ個の時間差Ｏ１２～ＯＮ１を高精度に特定できるという利点がある。
（２）前述の各形態では、相互相関Ｃｉｊ(τ)に応じて収録データ対Ｐｉｊの複数の候補値Ｄを算定したが、複数の候補値Ｄの算定に利用する指標は相互相関Ｃｉｊ(τ)に限定されない。例えば正規化相互相関に応じて収録データ対Ｐｉｊの複数の候補値Ｄを算定することも可能である。複数の候補値Ｄの算定に利用する指標は、収録データ対Ｐｉｊの２個の収録データＸｉ，Ｘｊの各々における収録対象の時間変化を表す時間信号の時間差が算出できれば任意である。
（３）前述の各形態では、編集処理部４６を収録データ編集システム１０に搭載したが、編集処理部４６を収録データ編集システム１０とは別個のサーバ装置または端末装置に搭載することも可能である。この場合、収録データ編集システム１０は、Ｎ個の収録データＸ１～ＸＮと解析処理部４４で特定したＮ個の時間差Ｏ１２～ＯＮ１とをサーバ装置または端末装置に送信する。以上の説明から理解される通り、前述の各形態における収録データ編集システム１０は、Ｎ個の収録データＸ１～ＸＮについてＮ個の時間差Ｏ１２～ＯＮ１を解析する収録データ解析部４０を具備する装置（すなわち収録データ解析装置）の例示であり、本発明の収録データ処理装置において編集処理（編集処理部４６）は必須ではない。
（４）前述の各形態では、複数の収録装置１２から取得した全部の収録データＸを対象として時間差Ｏｉｊを特定したが、複数の収録装置１２から取得した収録データＸの一部について時間差Ｏｉｊを解析することも可能である。例えば、収録データ解析部４０は、各収録データＸの収録期間（例えば開始時刻と終了時刻）を示す時間情報を収録データＸとともに各収録装置１２から取得し、時間情報が示す収録時間が時間軸上で相互に重複するＮ個の収録データＸ１～ＸＮを特定して第１実施形態と同様の動作を実行する。候補算定部４２は、複数の収録データＸのうち、時間軸上で相互に重複するＮ個の収録データＸ１～ＸＮにおけるＮ個の収録データ対Ｐ１２～ＰＮ１の各々について、複数の候補値Ｄを算定する要素として機能する。すなわち、他の収録データＸに対して時間軸上で重複しないと時間情報から推測される収録データＸが処理対象から除外される。なお、時間情報から各収録データＸの時間的な関係（時間差Ｏｉｊ）を特定することも可能であるが、実際には、収録装置１２で計測される時刻には収録装置１２毎に誤差が生じ得るから、前述の各形態の構成で時間差Ｏｉｊを特定する意義はある。以上の構成によれば、時間軸上で他の収録データＸと重複しない収録データＸを処理対象から除外することができるから、収録装置１２が生成した全部の収録データＸを処理対象とする構成と比較して、収録データ解析部４０の処理負荷を軽減することが可能である。
（５）前述の各形態で例示した収録データ解析部４０は、前述の通り制御装置２２とプログラムとの協働で実現される。プログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
（６）本発明は、前述の各形態に係る収録データ解析部４０の動作方法（収録データ処理方法）としても特定され得る。具体的には、本発明の好適な態様の収録データ処理方法においては、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データＸを循環的に配列したときに相前後する２個の収録データＸｉ，Ｘｊで構成されるＮ個の収録データ対Ｐ１２～ＰＮ１の各々について、当該収録データ対Ｐｉｊの２個の収録データＸｉ，Ｘｊの各々における収録対象の時間変化を表す時間信号の時間差に関する複数の候補値Ｄを算定し、Ｎ個の収録データ対Ｐ１２～ＰＮ１の各々について算定された複数の候補値Ｄの何れかをＮ個の収録データ対Ｐ１２～ＰＮ１にわたり合計した数値が０に近づくように、Ｎ個の収録データ対Ｐｉｊの各々における複数の候補値Ｄの何れかを当該収録データ対Ｐｉｊにおける２個の収録データＸｉ，Ｘｊ間の時間差Ｏｉｊとして特定する。
（７）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
　本発明の好適な態様（態様１）に係る収録データ処理方法は、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における前記収録対象の時間変化を表す時間信号の時間差に関する複数の候補値を算定し、前記Ｎ個の収録データ対の各々について算定された前記複数の候補値の何れかを前記Ｎ個の収録データ対にわたり合計した数値が０に近づくように、前記Ｎ個の収録データ対の各々における前記複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する。以上の方法では、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個の収録データ対の各々について算定された複数の候補値の何れかをＮ個の収録データ対にわたり合計した数値が０に近づくように、Ｎ個の収録データ対の各々における複数の候補値の何れかが当該収録データ対における２個の収録データ間の時間差として特定される。２個の収録データ間から特定された唯一の時間差を確定値として採用する方法、例えば２個の収録データ間の時間信号の相互相関が最大となる時間差を収録データ間の時間差として確定する方法では、時間信号に雑音が含まれる場合に、収録データ間の時間差に誤差が発生する可能性がある。本発明の前述の態様では、各収録データ対について複数の候補値の何れかが２個の収録データ間の時間差として特定されるから、収録データ間の時間差を高精度に特定することが可能である。つまり、収録データ間の時間差と現実の時間差との誤差を小さくすることが可能である。
＜態様２＞
　態様１の好適例（態様２）に係る収録データ処理方法において、前記複数の候補値の算定においては、前記各収録データ対の前記２個の収録データの間における前記時間信号の相互相関に応じて、当該収録データ対の前記複数の候補値を算定する。以上の方法では、２個の収録データ間の時間差に関する複数の候補値が時間信号の相互相関に応じて算定される。したがって、相互相関以外の指標に応じて複数の候補値を算定する方法と比較して、収録データ間の時間差の複数の候補値を簡便に算定することができる。
＜態様３＞
　態様２の好適例（態様３）に係る収録データ処理方法において、前記複数の候補値の算定においては、前記２個の収録データの間における前記時間信号の相互相関の絶対値を平滑化したときの複数の極大点にそれぞれ対応する複数の時間差を前記複数の候補値として特定する。以上の方法では、時間差に関する複数の候補値は、相前後する２個の収録データについて算出した相互相関の絶対値を平滑化して算定される。平滑化せずに相互相関の絶対値の数値の降順で時間差の複数の候補値を算定する方法では、相互相関の絶対値が最大となる時間差の周辺の範囲内に複数の候補値が局在し得るから、例えば雑音等に由来して相互相関が局所的に増大する場合には、その近傍から局所的に複数の候補値が特定される可能性がある。相互相関の絶対値を平滑化したときの極大点にそれぞれ対応する複数の時間差を複数の候補値として特定する前述の方法によれば、複数の候補値が分散されるから、例えば雑音等に起因して相互相関が最大となる場合でも、２個の収録データの適正な時間差を含むように複数の候補値を特定すること（ひいては時間差を高精度に特定すること）が可能である。
＜態様４＞
　態様１から態様３の何れかの好適例（態様４）に係る収録データ処理方法において前記時間信号は、音響の時間変化を表す音響信号である。以上の方法では、音響信号の時間差に関する複数の候補値が算定される。したがって、動画等の時間変化を表す時間信号は収録条件（例えば撮影位置）に応じた時間変動の相違が大きいが、音響信号は収録条件に応じた時間変動の相違が小さいから、複数の収録データの間の時間差を高精度に特定できるという利点がある。
＜態様５＞
　態様１から態様４の何れかの好適例（態様５）に係る収録データ処理方法において、前記候補値の算定においては、複数の収録データのうち、時間軸上で相互に重複する前記Ｎ個の収録データにおける前記Ｎ個の収録データ対の各々について、前記複数の候補値を算定する。以上の方法では、複数の収録データのうち、時間軸上で相互に重複するＮ個の収録データにおけるＮ個の収録データ対の各々について、複数の候補値が算定される。したがって、時間軸上で他の収録データと重複しない収録データを除外して収録データ対の時間差を算定する処理ができるから、収録データ対の時間差を算定する処理の負荷を軽減することが可能である。
＜態様６＞
　態様１から態様５の何れかの好適例（態様６）に係る収録データ処理方法において、前記複数の候補値の算定においては、前記Ｎ個の収録データの循環的な配列におけるＫ通りの順列の各々について、前記Ｎ個の収録データ対の各々における前記複数の候補値を算定し、前記Ｋ通りの順列の各々について算定した前記複数の候補値の何れかを前記Ｎ個の収録データ対にわたり合計した数値が０に近づくように、前記Ｋ通りの順列の何れかにおける前記Ｎ個の収録データ対の各々における前記複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する。以上の方法では、Ｋ通りの順列の各々について算定した複数の候補値の何れかをＮ個の収録データ対にわたり合計した数値が０に近づくように、Ｋ通りの順列の何れかにおけるＮ個の収録データ対の各々における複数の候補値の何れかが当該収録データ対における２個の収録データ間の時間差として特定される。したがって、Ｎ個の収録データの各々が、全部にわたって収録期間が時間軸上で部分的に重複していなくても、時間差が適切に特定され得る。
＜態様７＞
　態様１から態様６の何れかの好適例（態様７）に係る収録データ処理方法において、前記Ｎ個の収録データ対の各々について特定した時間差に応じて前記Ｎ個の収録データを相互に同期させ、前記同期させたＮ個の収録データからコンテンツを生成する。以上の構成では、Ｎ個の収録データ対の各々について特定した時間差に応じてＮ個の収録データを相互に同期させ、同期させたＮ個の収録データからコンテンツを生成することができる。
＜態様８＞
　本発明の好適な態様（態様８）に係る収録データ処理装置は、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における前記収録対象の時間変化を表す時間信号の時間差に関する複数の候補値を算定する候補算定部と、前記Ｎ個の収録データ対の各々について算定された前記複数の候補値の何れかを前記Ｎ個の収録データ対にわたり合計した数値が０に近づくように、前記Ｎ個の収録データ対の各々における前記複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する解析処理部とを具備する。以上の構成では、音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個の収録データ対の各々について算定された複数の候補値の何れかをＮ個の収録データ対にわたり合計した数値が０に近づくように、Ｎ個の収録データ対の各々における複数の候補値の何れかが当該収録データ対における２個の収録データ間の時間差として特定される。２個の収録データ間から特定された唯一の時間差を確定値として採用する構成、例えば２個の収録データ間の時間信号の相互相関が最大となる時間差を収録データ間の時間差として確定する構成では、時間信号に雑音が含まれる場合に、収録データ間の時間差に誤差が発生する可能性がある。本発明の前述の態様では、各収録データ対について複数の候補値の何れかが２個の収録データ間の時間差として特定されるから、収録データ間の時間差を高精度に特定することが可能である。つまり、収録データ間の時間差と現実の時間差との誤差を小さくすることが可能である。
１０……収録データ編集システム、１２……収録装置、２２……制御装置、２４……記憶装置、２６……通信装置、３２……表示装置、３４……放音装置、３６……操作装置、４０……収録データ解析部、４２……候補算定部、４４……解析処理部、４６……編集処理部。

Claims (8)

  1. 　音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における前記収録対象の時間変化を表す時間信号の時間差に関する複数の候補値を算定し、
    　前記Ｎ個の収録データ対の各々について算定された前記複数の候補値の何れかを前記Ｎ個の収録データ対にわたり合計した数値が０に近づくように、前記Ｎ個の収録データ対の各々における前記複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する
    　収録データ処理方法。
  2. 　前記複数の候補値の算定においては、前記各収録データ対の前記２個の収録データの間における前記時間信号の相互相関に応じて、当該収録データ対の前記複数の候補値を算定する
    　請求項１の収録データ処理方法。
  3. 　前記複数の候補値の算定においては、前記２個の収録データの間における前記時間信号の相互相関の絶対値を平滑化したときの複数の極大点にそれぞれ対応する複数の時間差を前記複数の候補値として特定する
    　請求項２の収録データ処理方法。
  4. 　前記時間信号は、前記音響の時間変化を表す音響信号である
    　請求項１から請求項３の何れかの収録データ処理方法。
  5. 　前記複数の候補値の算定においては、複数の収録データのうち、時間軸上で相互に重複する前記Ｎ個の収録データにおける前記Ｎ個の収録データ対の各々について、前記複数の候補値を算定する
    　請求項１から請求項４の何れかの収録データ処理方法。
  6. 　前記複数の候補値の算定においては、前記Ｎ個の収録データの循環的な配列におけるＫ通りの順列の各々について、前記Ｎ個の収録データ対の各々における前記複数の候補値を算定し、
    　前記Ｋ通りの順列の各々について算定した前記複数の候補値の何れかを前記Ｎ個の収録データ対にわたり合計した数値が０に近づくように、前記Ｋ通りの順列の何れかにおける前記Ｎ個の収録データ対の各々における前記複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する
    　請求項１から請求項５の何れかの収録データ処理方法。
  7. 　前記Ｎ個の収録データ対の各々について特定した時間差に応じて前記Ｎ個の収録データを相互に同期させたコンテンツを生成する
    　請求項１から請求項６の何れかの収録データ処理方法。
  8. 　音響または画像の少なくとも一方を含む収録対象を各々が表すＮ個（Ｎは３以上の自然数）の収録データを循環的に配列したときに相前後する２個の収録データで構成されるＮ個の収録データ対の各々について、当該収録データ対の前記２個の収録データの各々における前記収録対象の時間変化を表す時間信号の時間差に関する複数の候補値を算定する候補算定部と、
    　前記Ｎ個の収録データ対の各々について算定された前記複数の候補値の何れかを前記Ｎ個の収録データ対にわたり合計した数値が０に近づくように、前記Ｎ個の収録データ対の各々における前記複数の候補値の何れかを当該収録データ対における２個の収録データ間の時間差として特定する解析処理部と
    　を具備する収録データ処理装置。
PCT/JP2017/008267 2016-03-09 2017-03-02 収録データ処理方法および収録データ処理装置 Ceased WO2017154723A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/126,082 US10629240B2 (en) 2016-03-09 2018-09-10 Recorded data processing method and recorded data processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-045131 2016-03-09
JP2016045131A JP6693180B2 (ja) 2016-03-09 2016-03-09 収録データ解析方法および収録データ解析装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/126,082 Continuation-In-Part US10629240B2 (en) 2016-03-09 2018-09-10 Recorded data processing method and recorded data processing device

Publications (1)

Publication Number Publication Date
WO2017154723A1 true WO2017154723A1 (ja) 2017-09-14

Family

ID=59790644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/008267 Ceased WO2017154723A1 (ja) 2016-03-09 2017-03-02 収録データ処理方法および収録データ処理装置

Country Status (3)

Country Link
US (1) US10629240B2 (ja)
JP (1) JP6693180B2 (ja)
WO (1) WO2017154723A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119760473B (zh) * 2024-12-11 2025-09-30 江苏智檬智能科技有限公司 一种基于大数据流处理的数据展示系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148161A (ja) * 2003-11-11 2005-06-09 Ricoh Co Ltd データ同期装置、データ同期方法、およびその方法をコンピュータに実行させるプログラム
JP2005340935A (ja) * 2004-05-24 2005-12-08 Yomiuri Telecasting Corp 放送信号監視装置及び放送信号監視方法
US20090282452A1 (en) * 2008-05-07 2009-11-12 Jeff Wei Systems and methods for calculating the delay between media signals

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57190415A (en) 1981-05-19 1982-11-24 Nec Corp Timing extracting circuit
US7551832B2 (en) * 2001-12-05 2009-06-23 Scientific-Atlanta, Inc. Application management and interface for cluster control of time shift buffer
JP4748075B2 (ja) 2007-02-07 2011-08-17 カシオ計算機株式会社 画像同期システム及び画像同期方法
US8849432B2 (en) * 2007-05-31 2014-09-30 Adobe Systems Incorporated Acoustic pattern identification using spectral characteristics to synchronize audio and/or video
US8205148B1 (en) * 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
US8754947B2 (en) 2008-05-07 2014-06-17 Evertz Microsystems Ltd. Systems and methods for comparing media signals
US8780209B2 (en) 2008-05-07 2014-07-15 Evertz Microsystems Ltd. Systems and methods for comparing media signals
US8924345B2 (en) * 2011-09-26 2014-12-30 Adobe Systems Incorporated Clustering and synchronizing content
US9258459B2 (en) * 2012-01-24 2016-02-09 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US8682144B1 (en) * 2012-09-17 2014-03-25 Google Inc. Method for synchronizing multiple audio signals
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148161A (ja) * 2003-11-11 2005-06-09 Ricoh Co Ltd データ同期装置、データ同期方法、およびその方法をコンピュータに実行させるプログラム
JP2005340935A (ja) * 2004-05-24 2005-12-08 Yomiuri Telecasting Corp 放送信号監視装置及び放送信号監視方法
US20090282452A1 (en) * 2008-05-07 2009-11-12 Jeff Wei Systems and methods for calculating the delay between media signals

Also Published As

Publication number Publication date
US10629240B2 (en) 2020-04-21
JP2017161683A (ja) 2017-09-14
JP6693180B2 (ja) 2020-05-13
US20190005984A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
CN111901626B (zh) 背景音频确定方法、视频剪辑方法、装置和计算机设备
CN109478400B (zh) 现场音乐表演的多媒体内容的基于网络的处理及分布
US10122483B2 (en) Crowd sentiment detection and analysis
US9918174B2 (en) Wireless exchange of data between devices in live events
CN104768049B (zh) 一种用于同步音频数据和视频数据的方法、系统及计算机可读存储介质
US9500739B2 (en) Estimating and tracking multiple attributes of multiple objects from multi-sensor data
CN109922268B (zh) 视频的拍摄方法、装置、设备及存储介质
US11551670B1 (en) Systems and methods for generating labeled data to facilitate configuration of network microphone devices
JP6933303B2 (ja) 波源方向推定装置、波源方向推定方法、およびプログラム
US20150146874A1 (en) Signal processing for audio scene rendering
CN111863015A (zh) 一种音频处理方法、装置、电子设备和可读存储介质
US9594148B2 (en) Estimation device and estimation method using sound image localization processing
JP6746892B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2017154723A1 (ja) 収録データ処理方法および収録データ処理装置
JP6772487B2 (ja) 収録データ解析方法および収録データ解析装置
US9445210B1 (en) Waveform display control of visual characteristics
CN113488083B (zh) 数据匹配方法、装置、介质及电子设备
CN116959478A (zh) 声源分离方法、装置、设备及存储介质
JP4249697B2 (ja) 音源分離学習方法、装置、プログラム、音源分離方法、装置、プログラム、記録媒体
WO2017026387A1 (ja) 映像処理装置、映像処理方法および記録媒体
JP2018157363A (ja) データ同期方法
JP2017017387A (ja) 映像処理装置および映像処理方法
HK40030676A (en) Background audio determination method, video editing method, apparatus, and computer device
HK40030676B (en) Background audio determination method, video editing method, apparatus, and computer device
CN116631425A (zh) 音频数据的处理方法、服务器及计算机可读存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17763063

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17763063

Country of ref document: EP

Kind code of ref document: A1