WO2007058268A1 - 対応付け装置 - Google Patents

対応付け装置 Download PDF

Info

Publication number
WO2007058268A1
WO2007058268A1 PCT/JP2006/322880 JP2006322880W WO2007058268A1 WO 2007058268 A1 WO2007058268 A1 WO 2007058268A1 JP 2006322880 W JP2006322880 W JP 2006322880W WO 2007058268 A1 WO2007058268 A1 WO 2007058268A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
cut
memo
time
word
Prior art date
Application number
PCT/JP2006/322880
Other languages
English (en)
French (fr)
Inventor
Yuka Ozawa
Mitsuhiro Kageyama
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US12/093,877 priority Critical patent/US8134592B2/en
Publication of WO2007058268A1 publication Critical patent/WO2007058268A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal

Definitions

  • the present invention relates to an associating device that associates a plurality of acquired data with each other.
  • memo information regarding the content of the video material such as the power of what the target image was shot and the power of what the shooting state was, etc.
  • a general technique is that an assistant records a photographed material during or after photographing, and searches based on the memo information at the time of editing.
  • Patent Document 1 discloses a document creation apparatus that can store and manage inputted characters in units of a predetermined character string.
  • Patent Document 1 JP-A-8-185452 Pages 3 to 8 Figure 2
  • the present invention has been made in view of the above-described conventional circumstances, and explicitly assigns information for specifying which video material the memo input person corresponds to when the memo is input.
  • the object is to reduce the material search time without increasing the memo input work man-hours.
  • the associating device of the present invention is an associating device for associating a plurality of acquired data with each other, and uses input start time information of an input word and shooting time information of a shot video material. And a correspondence determining means for associating the word with the video material.
  • a word that has been input during the shooting of the video material is associated with the video material. Since it is associated with the photographic material as a memo, the entered memo information is applicable just by inputting the word as if the word input person had been handwriting without being aware of the correspondence with the video material. Corresponding to each video material. Therefore, it is not necessary to increase the labor for inputting memos, that is, the memo writer explicitly checks the identification information of the video material corresponding to the memo and fills it in simultaneously with the memo. Memo information can be associated. In addition, a desired video material can be quickly searched using the memo information as a search key.
  • the video material can be reduced to one or two without viewing the video material. This makes it possible to reduce the work time to about 1Z10.
  • the associating device of the present invention includes inter-word relevance determining means for performing word grouping by determining relevance between a plurality of input words, and the correspondence determining means
  • the grouped word group is associated with the video material.
  • the associating device of the present invention includes an inter-group relevance determining unit that determines the relevance between the grouped word groups, and the correspondence determining unit includes the inter-group relevance determining unit. On the basis of the determination result, the grouped word group is associated with the video material.
  • the memo and the video material can be appropriately associated based on the relationship between the plurality of word groups.
  • the inter-group relevance determining means determines relevance between the grouped words using the correction history information.
  • the inter-group relevance determining means determines relevance between the grouped word groups using position information when a word is input. is there.
  • the correspondence determining unit associates the word with the video material with reference to an operation log regarding the reproduction operation of the video material.
  • the relationship between the word and the video material is determined using not only the shooting time information of the video material but also the playback time information when the video material is played back.
  • the material can be associated.
  • the associating system of the present invention includes an associating device of the present invention and input opening for each word.
  • An input management device that acquires and manages a start time, and an imaging device that captures the imaging material.
  • the input device of the present invention is an input management device connected to the association device of the present invention, and acquires and manages the input start time for each word.
  • the present invention by associating a word with a video material based on the input time information of the word, a word whose input has been started during shooting of the video material corresponds to the video material. Since the memo is associated with the photographic material, the entered memo information can be applied simply by inputting the word as if it had been handwritten in the past without being aware of the correspondence with the video material. Corresponding to each video material to be performed.
  • FIG. 1 is a diagram showing an overview of an association system according to Embodiment 1 of the present invention.
  • the correlating unit associating device of correspondence off port 1 showing the procedure of an operation ⁇ in the first embodiment of the block diagram FIG. 3 present invention showing the internal structure of the first embodiment of the present invention Chia 1 ⁇ ⁇
  • FIG. 4 A diagram showing an example of memo data input by the operator to the input device.
  • FIG. 5 A diagram schematically showing the data structure of edit history data acquired by the data acquisition unit.
  • FIG. 6 A diagram that schematically shows the data structure of the captured material metadata for a single captured material
  • FIG.7 A diagram showing an example of shooting material metadata that extracts only the information necessary for mapping of shooting material metadata to memos for all shooting materials
  • FIG. 9 A diagram schematically showing the data structure of video material metadata integrated in time series for “shooting” and “playback” by internal processing.
  • FIG. 10 is a flowchart showing a calculation operation procedure of the time stamp calculation unit.
  • FIG. 11 A diagram schematically showing the data structure of the internal table when the sixth line of the editing history data shown in FIG. 5 is read.
  • FIG. 13 A diagram schematically showing the data structure of the internal table at the time when the ninth line of the editing history data shown in FIG. 5 is read.
  • FIG. 14 A diagram schematically showing the data structure of the internal table at the time when the edit history data shown in FIG. 5 is read up to the 10th line.
  • ⁇ 15 A diagram schematically showing the data structure of the output data of the time stamp calculation unit.
  • ⁇ 16 A flowchart showing an inter-word relationship determination operation procedure of the inter-word relationship determination unit.
  • ⁇ 20 Diagram for explaining the correspondence between the input time of the memo data and the shooting time of the cut ⁇ 21] Flow chart showing the procedure of the association operation using the shooting time information ⁇ 22] Correspondence using the shooting time information A diagram schematically showing the result of matching candidate determination by attaching operation
  • ⁇ 27 A diagram showing an overview of the association system according to the second embodiment of the present invention.
  • FIG. 30 is a flowchart showing a memo data input operation procedure of the input device used in the second embodiment.
  • FIG. 31 is a diagram schematically showing the data structure of edit history data acquired by the data acquisition unit of the associating device by the input device force.
  • ⁇ 32 Diagram showing the data structure of the acquired video material metadata
  • Fig.33 schematically shows the data structure of video material metadata integrated in time series for “shooting” and “playback” by internal processing.
  • ⁇ 34 Flowchart showing the calculation operation procedure of the time stamp calculation unit
  • FIG. 37 is a flowchart showing the procedure for determining the relationship between groups based on the correction history.
  • FIG. 38 is a diagram schematically showing the data structure of the output data of the inter-group relationship determination unit 50
  • ⁇ 40 Flow chart showing the procedure of the associating operation using the shooting time information.
  • ⁇ 41 A diagram schematically showing the correspondence candidate determination result by the associating operation using the shooting time information.
  • ⁇ 42 Flow chart showing the procedure of the association operation using the reproduction time information.
  • ⁇ 43 Diagram schematically showing the association candidate determination result by the association operation using the reproduction time information.
  • FIG.44 A diagram schematically showing the result of matching cut and memo data based on the input time of memo data
  • ⁇ 46 A diagram that schematically shows the result of determining candidate candidates using the relationship between word groups.
  • ⁇ 47 A diagram that conceptually shows memo data associated with a cut.
  • FIG. 48 is a diagram showing an outline of the association system according to the third embodiment of the present invention.
  • ⁇ 50 A diagram schematically showing the data structure of the position information acquired by the data acquisition unit
  • FIG. 51 Flow chart showing the procedure of the inter-group relevance determination operation based on position information.
  • FIG.53 A diagram schematically showing the data structure of the output data of the inter-group relevance determination unit 50.
  • FIG.54 The relationship between the input start time of a word group and the shooting time or playback time of a cut is organized over time.
  • FIG. 55 is a flowchart showing the procedure of the associating operation using the position information
  • FIG. 56 A diagram schematically showing a result of determining a candidate for correspondence using the relationship between word groups
  • FIG.57 A diagram conceptually showing memo data associated with a cut.
  • FIG. 1 is a diagram showing an overview of the association system according to Embodiment 1 of the present invention.
  • the associating system shown in FIG. 1 associates video material with memo data related to the video material, and includes an associating device 100, a photographing device 200, and an input device 300.
  • the imaging device 200 includes known imaging means capable of generating image data of moving images and still images.
  • the input device 300 includes an input key and a text editor program, and includes a known input means capable of text editing.
  • the associating device 100 acquires from the imaging device 200 video data captured by the imaging device 200 and video material metadata including shooting time information of the video data.
  • the operator of the input device 300 can make memo information (hereinafter referred to as memo data) regarding the content of the video material, such as the power of what the subject was captured and the power of what the imaging state was. ) Is input from the input device 300 to the information indicating the editing history of the memo data (hereinafter referred to as editing history data).
  • Correspondence device 100 appropriately determines which of a plurality of photographed video materials (hereinafter referred to as cuts) the acquired memo data is described by means described below. And associate memo data for each cut.
  • the input of memo data may be performed in parallel with the photographing by the photographing apparatus 200, or may be performed at the time of reproduction performed for confirming video content after photographing.
  • the input of memo data during playback can be associated with video material only when the photographing apparatus 200 is equipped with a function for outputting operation logs such as playback time information. it can.
  • the memo data is transmitted by using a portable input device 300 having a wireless communication function as shown in FIG. 1 (for example, using a known mobile phone terminal instead of the memo data in the mail text or attached. (It can also be sent as a file).
  • the input device 300 and the associating device 100 may be connected by wire.
  • FIG. 2 is a block diagram showing an internal configuration of the associating device according to Embodiment 1 of the present invention.
  • the association apparatus 100 includes a data acquisition unit 10, a time stamp calculation unit 20, an inter-word relevance determination unit 30, and a correspondence relationship determination unit 40.
  • the data acquisition unit 10 acquires video material metadata output from the imaging device 200. Also, edit history data output from the input device 300 is acquired.
  • the edit history data is easily generated by a text editor program (application software) installed in the input device 300, and the history is saved each time the enter key is pressed. Editing history data is generated by accumulating history such as character input and deletion Since it is based on a known function, detailed description is omitted.
  • the time stamp calculation unit 20 Based on the editing history data acquired by the data acquisition unit 10, the time stamp calculation unit 20 outputs the input start time information and the input end time information of the memo data after editing in units of words or phrases.
  • the inter-word relevance determination unit 30 determines the relevance between words based on a predetermined condition, and groups related words as “memos for the same cut (word group)”. . Also, the input start time information of the word group is extracted based on the time stamps of the grouped words. As will be described later, the predetermined condition is a condition such as “determining that words having a short input interval between words are memos for the same cut”.
  • Correspondence determination section 40 obtains shooting time information (information including shooting start time and shooting end time) or playback time information (information including playback start time and playback end time) for each cut of the acquired video material. Referring to the time stamp (including input start time information) given to the word group, the word group and the cut of the video material are associated with each other
  • FIG. 3 is a flowchart showing the procedure of the associating operation of the associating device in the first embodiment of the present invention.
  • the data acquisition unit 10 of the associating device 100 acquires memo data editing history data from the input device 300 (step S101).
  • FIG. 4 is a diagram showing an example of memo data input to the input device 300 by the operator.
  • FIG. 5 is a diagram schematically showing the data structure of the editing history data acquired by the data acquisition unit 10.
  • editing history information such as input start time, input end time, input position (row, column), etc. is held in units of words and phrases.
  • Fig. 6 is a diagram schematically showing the data structure of the acquired material metadata of one acquired image material.
  • an MPEG-2 movie shot with a digital video camera holds information such as file name, type, data size, date of data creation, and length as material file property information in the material file. Therefore, the header part of the shooting material file By analyzing it, it is possible to obtain imaging material metadata such as file name, type, data size, date and time of data creation, and length.
  • material metadata called Clip metadata is generated at the same time as shooting, so it is possible to acquire shooting material metadata without analyzing the shooting material file. Is possible.
  • FIG. 7 is an example of shooting material metadata obtained by extracting only information necessary for matching with a memo from the shooting material metadata shown in FIG. 6 for all shooting materials.
  • the “file name” in the shooting material metadata is set to “target cut” and “creation date and time” in order to associate with the memo using the “start time” and “end time” information in shooting.
  • Information is used as the “end time”, with the “start time” and time information created by adding “length” to “creation date”.
  • FIG. 8 shows an example of the operation log.
  • “operation” such as playback, playback end, fast forward, fast forward end, etc. and “time” when the operation was performed, and “target cut” are held for playback.
  • FIG. 9 is a diagram schematically showing the data structure of video material metadata integrated in time series for “shooting” and “playback” by internal processing.
  • FIGS. 8 and 9 show examples of video material metadata acquired from the photographing apparatus 200 capable of generating operation logs.
  • data related to the playback time of the cut, etc. is retained even when the playback is confirmed after shooting, not only during the shooting operation.
  • the operation until the playback of the cut is finally stopped is defined as the “playback confirmation” operation.
  • the time until the end is held as the start time and end time, respectively. For example, in Fig.
  • the target cut in Fig. 9 is performed.
  • the start time for playback confirmation of “Cut A” is “20:10”, and the end time is “20:20”.
  • the start time for playback confirmation of the target cut “Cut B” in FIG. 9 is “20:20”, and the end time is “ 20:27”.
  • the shooting order and playback accuracy The order of recognition is not always the same, and the same cut may be confirmed to be replayed multiple times, or an arbitrary cut may not be reconfirmed.
  • the time stamp calculation unit 20 uses the edit history data acquired by the data acquisition unit 10 to input the input start time information and the input end time information, that is, the word about the memo data after the end of editing the time stamp. And is calculated for each phrase (step S103).
  • FIG. 10 is a flowchart showing a calculation operation procedure of the time stamp calculation unit 20.
  • the time stamp calculation unit 20 determines whether or not the reading of all editing history data has been completed (step S201). If the reading has not been completed, the time stamp calculation unit 20 reads one edit history data (step S202). Next, it is determined whether or not the “action” of the read editing history data is “input” (step S 203), and if it is “input”, a character string having the same position information is further stored. It is determined whether or not it exists in the table (step S204).
  • the time stamp calculation unit 20 adds the target character of the edit history data to the character string of the target internal table (step S205). Correct the input position of the internal table moved by the addition (step S206). On the other hand, if a character string having the same position information does not exist in the internal table, information on the target character string, input start time, input end time, and input character position of the edit history data (that is, information on the row column) ) In the internal table (step S207) o
  • the time stamp calculation unit 20 next determines whether or not the operation is “delete” (step S208).
  • the operation is “Delete”
  • the character to be deleted is deleted from the input character string of the internal table (Step S209), and the input position of the internal table moved by the deletion is corrected (Step S210).
  • FIG. 11 is a diagram schematically showing the data structure of the internal table at the time when the sixth line of the editing history data shown in FIG. 5 is read.
  • the editing shown in FIG. When the 7th line of history data is read, the internal table is changed as shown in Figure 12. In other words, the operation power ⁇ input "and the character string with the same position information is stored in the internal table. One line of data was added because it does not exist.
  • the ninth line of the editing history data shown in FIG. 5 is read, the internal table is changed as shown in FIG. In this case, since the action is “delete”, the character string “room” in the data on the first line has been changed to blank.
  • step S206 After each processing of step S206, step S207, and step S210, or when the operation is not “delete” in the determination in step S208, the process returns to step S201 again, and the same procedure is repeated. On the other hand, when reading of all the editing history data is completed in step S201, the time stamp calculation unit 20 outputs an internal table (step S210) and ends the operation.
  • FIG. 15 is a diagram schematically showing the data structure of the output data of the time stamp calculation unit 20.
  • Input start time and input end time data are extracted for words that have been edited, such as appending or deleting.
  • the inter-word relevance determination unit 30 determines the relevance between words based on a predetermined condition for the output data of the time stamp calculation unit 20, and simply The words are grouped into one memo (word group) for the same cut (step S104).
  • Various conditions can be set for determining relevance.
  • a method for determining relevance between words based on the average number of input characters will be described.
  • the three words “study”, “no”, and “situation” are essentially one note for the same cut, that is, “study state”.
  • it is distinguished for each word of the smallest unit. Therefore, it is based on the assumption that “a plurality of words that are input before the input speed falls below a specific value (average value in the embodiment) is a part of the same memo”. Then, the relevance between words is determined and grouped as a word group.
  • FIG. 16 is a flowchart showing the inter-word relevance determination operation procedure of the inter-word relevance determination unit 30.
  • the inter-word relevance determination unit 30 calculates the average number of input characters per fixed period from the editing history data (step S301). Then, the words recognized when the average number of input characters falls below an arbitrary threshold are grouped.
  • FIG. 17 shows an outline of word grouping. In the example in the figure, the result of calculating the number of input characters per minute is graphed. A group of words is collected from the time when the number of input characters per minute falls below the average number of input characters until the point when the number of input characters falls below the average number of input characters.
  • the average number of input characters per fixed period is calculated, and when the number of input characters per minute falls below the average number of input characters, this is the method of grouping power words that separate word groups. It is not limited to. For example, if the number of input characters is less than the average number of input characters, the words may be separated and grouped. For example, the input interval of each character may be calculated, and when the average value of the input interval is exceeded or the input interval that is arbitrarily determined is determined as a character break, grouping may be performed. For example, if there are line breaks, punctuation marks, spaces, etc. in the string, it can be judged as a word break and grouped.
  • FIG. 18 is a diagram schematically showing the data structure of the output data of the inter-word relationship determining unit 30. As shown in FIG. Data power of input start time and input end time Grouped word groups are organized.
  • the correspondence determining unit 40 refers to the video material metadata (see FIG. 9) and the memo data (see FIG. 18), and the shooting time or playback time of the cut. And the input start time of the word group is determined, and the cut and the memo data are associated (step S105).
  • FIG. 19 is a diagram in which the relationship between the input start time of the word group and the shooting time or playback time of the cut is arranged over time. It is determined according to the following criteria which cuts an arbitrary word group is described as memo data.
  • FIG. 20 is a diagram for explaining “correspondence between input time of memo data and shooting time of cut”, which is a determination criterion in the association operation using shooting time information described later.
  • the memo data whose input is started during the photographing of the arbitrary cut is information on the force.
  • the memo data whose input is started between two different cuts is information about one of the previous and next cuts.
  • Estimate and later time may be set to be estimated to be information about the cut that is taken immediately after.
  • FIG. 21 is a flowchart showing the procedure of the associating operation using the shooting time information.
  • FIG. 22 is a diagram schematically showing the association candidate determination result by the association operation using the shooting time information.
  • the correspondence determining unit 40 determines that “the memo data input during shooting has a high probability of being a memo because of the cut currently being shot!”.
  • the shooting start force of the Nth cut is added to the memo association candidate having the input start time within the time until the end of shooting (step S404). For example, cut A has a shooting time from 13:00 to 13:10 (see Fig. 9), and "the state of the study” t, and the memo has an input start time of 13:01 (see Fig. 18). “Cut A” is added to the memo matching candidate “state of study” (see FIG. 22).
  • M N + the shooting start time of the first cut
  • the M of the shooting end time of the Nth cut is calculated (step S405).
  • the memo data entered within the elapsed time is a memo for the cut that has been shot.
  • the cutting end time force of the Nth cut is added to the memo matching candidate having the input start time within the MXX time (step S40 6 ).
  • X is a coefficient for arbitrarily setting the elapsed time after the end of shooting. For example, the time from the capture end time 13:10 of cut A to the start time 13:30 of the next cut B M is 20 minutes (see Fig. 9). Is 13:12 (see Fig. 18), 13:10 force 20 minutes X O.
  • the correspondence determining unit 40 determines that "the memo data input after a predetermined elapsed time after the end of shooting and before the start of shooting of the next cut is a memo for the cut for which the shooting has ended. Based on the assumption that there is a high probability that it will be a memo after a cut that starts shooting or after that, the shooting end time force of the Nth cut is also after MXX hours and N + 1st Cut N and cut N + 1 are added to memo matching candidates having an input start time within the shooting start time of the current cut (step S407). For example, the time M from the shooting end time of cut B 13:40 to the shooting start time 14:00 of the next cut C is 20 minutes (see Fig.
  • the correspondence determination unit 40 increments the numerical value of N by 1 (step S408), and determines whether the value of N has reached the value of C (step S409).
  • step S409 If the value of N has reached the value of C! / ⁇ (NO in step S409), the correspondence determining unit 40 returns to step S404 and performs the same processing as the above. Run again for.
  • the correspondence determination unit 40 determines that “the input is performed during the shooting of the last cut.
  • Memo data The probability of being the last note in the last cut being shot is high, ”and based on the estimation, the shot was taken from the start of shooting the Nth cut (meaning the last cut here) Cut N is added to the memo matching candidate having the input start time within the time until the end (step S41 0).
  • the correspondence determination unit 40 has a high probability that the memo data input after the last cut has been taken is the last memo taken, and so on.
  • the cut N is added to the memo association candidate having the input start time after the photographing of the Nth cut (which means the last cut here) is completed (step S411).
  • the shooting end time for cut E is 14:35 (see Fig. 9)
  • "Dim,” t and the memo has an input start time of 20:15 (see Fig. 18).
  • “Cut E” is added to the candidate (see Figure 22).
  • the cut that has been shot is associated with the input memo data.
  • the interval between shootings is divided by a percentage, but the division may be detected by another method. For example, it is possible to check the input interval of memos written between shootings, and use the section with the largest interval as the break.
  • a memo started to be input at a time interval may be associated with two cuts taken before and after as candidates.
  • the memo within M X 0.5 hours is associated with the previous cut, and the subsequent memo is associated with both cuts. This is an example of assignment.
  • FIG. 23 is a flowchart showing the procedure of the associating operation using the reproduction time information.
  • FIG. 24 is a diagram schematically showing a result of determining a matching candidate by a matching operation using reproduction time information.
  • the correspondence determination unit 40 determines that "the memo data input during playback has a high probability of being a memo because of the cut currently being played! , Nth cut re Cut N is added to the memo matching candidates that have the input start time within the raw confirmation time (step S503).
  • the playback confirmation time for cut A is from 20:10 to 20:20 (see Fig. 9)
  • the memo “Dim” has an input start time of 20:15 (see Fig. 18).
  • “Cut A” is added to the matching candidates (see FIG. 24).
  • the correspondence determination unit 40 determines that "the memo data input after the end of playback of an arbitrary cut and before the start of playback of another cut is recorded for the cut that has just finished playback. Based on the estimation, it is useful for memo matching candidates that have an input start time after the confirmation of playback of the Nth cut and before the playback confirmation of the Nth first cut. N is added (step S504).
  • the correspondence determination unit 40 increments the numerical value of N by 1 (step S505), and determines whether the value of N has reached the value of C (step S506).
  • step S506 If the value of N has reached the value of C! / ⁇ (NO in step S506), the correspondence determining unit 40 returns to step S503, and performs the same processing as the above. Run again for.
  • the correspondence determination unit 40 determines that “the last cut is being played or after the end of playback.
  • the input memo data has a high probability of being the last memo based on the last played cut.
  • the Nth cut in this case, means the last cut
  • Cut N is added to the memo matching candidate having the input start time within or after the playback confirmation time (step S507).
  • the playback confirmation time for cut E is 21:30 and until 21:35 (see Fig. 9)
  • the memo “Handshake NG” has an input start time of 21:33 (see Fig. 18).
  • “Cut E” is added to the matching candidates (see FIG. 24).
  • FIG. 25 is a diagram schematically showing a final matching result between cuts and memo data.
  • the memo data input after the end of the shooting of the last shot is set so that the association candidate based on the playback time is given priority. Therefore, “Category E” is determined as “Cut E” in “Association using shooting time information”, and “Dark ⁇ ” is determined as “Cut A” in “Correlation using playback time information”. Finally, it is determined as “Cut A”. Similarly, the note “Telop” has also been changed from “Cut E” to “Force A”.
  • FIG. 26 is a diagram conceptually showing memo data associated with a cut.
  • the associating system by associating a word with a video material based on word input time information, A word that has been input immediately after shooting and a word that has been input during playback confirmation are associated with the shooting material as a memo for the video material.
  • the photographic material identification information for specifying which video material corresponds to the memo is checked, or the checked photographic material identification information is input together with the memo.
  • the correspondence between words and video materials is determined with higher accuracy by determining the correspondence between words and video materials using the playback time information during video material playback as well as the shooting time information of the video material. be able to. Also, when searching for material, it is possible to quickly find the material intended by the material, using the memo words as keywords.
  • FIG. 27 is a diagram showing an overview of the association system according to Embodiment 2 of the present invention.
  • the associating system includes an associating device 110, a photographing device 200, and an input device 310.
  • the imaging apparatus 200 is the same as the imaging apparatus used in Embodiment 1, and thus the description thereof is omitted.
  • the input device 310 is a device that includes input keys and a text editor program, and includes input means capable of text editing. As shown in the figure, the input device 310 mainly includes a user input receiving unit 311, an editing history adding unit 312, a time management unit 313, a metadata holding unit 314, a metadata registration unit 315, and the like. .
  • the user input receiving unit 311 receives an input from the operator of the input device.
  • the edit history adding unit 312 refers to the time management unit 313 having a clock function and adds an edit history related to text input.
  • the metadata holding unit 314 stores metadata related to editing history. Generate and hold.
  • the metadata registration unit 315 registers the generated metadata. That is, in the present embodiment, editing history data relating to the input of memo data is generated by the input device 310.
  • the associating device 110 acquires from the imaging device 200 video data captured by the imaging device 200 and video material metadata including shooting time information of the video data. Also, edit history data of memo data input by the operator of the input device 310 is acquired from the input device 310.
  • the associating device 110 appropriately determines which of a plurality of cuts that have been taken with respect to the acquired memo data force, and has been described by means described below, and memo data for each cut. Associate.
  • memo data input during playback can be associated with video material only if the shooting device 200 is equipped with a function to output operation logs such as playback time information. .
  • the input device 310 and the photographing device 200 may be the same device having the respective functions.
  • the association apparatus 110 includes a data acquisition unit 10, a time stamp calculation unit 20, an inter-word relationship determination unit 30, a correspondence relationship determination unit 40, and an inter-group relationship determination unit 50. That is, the associating device 110 used in the second embodiment has a configuration in which the inter-group relationship determination unit 50 is added to the associating device 100 used in the first embodiment.
  • the data acquisition unit 10 acquires video material metadata output from the imaging device 200. Also, edit history data of memo data output from the input device 300 is acquired.
  • the time stamp calculation unit 20 Based on the editing history data acquired by the data acquisition unit 10, the time stamp calculation unit 20 outputs the input start time information and the input end time information of the memo data after editing in units of words or phrases.
  • the inter-word relevance determination unit 30 determines the relevance between words based on a predetermined condition, and groups related words as “memos for the same cut (word group)”. . Also, the input start time information of the word group is extracted based on the time stamps of the grouped words.
  • the inter-group relevance determination unit 50 is based on the correction history of the memo data for the word groups grouped by the inter-word relevance determination unit 30 in order to improve the correspondence accuracy between the memo data and the cut. To determine the relevance of each. For example, if there is a word group that cannot be properly associated with the cut in the judgment based on the input time information of the memo data, if it is highly relevant to the word group and the existence of another word group can be confirmed A cut that is associated with another word group can also be applied to the word group.
  • the correspondence determining unit 40 refers to the relationship information between word groups in addition to the shooting time information or playback time information of the cut and the input start time information of the word group.
  • the word group is associated with the cut of the video material.
  • FIG. 28 is a flowchart showing the procedure of the associating operation of the associating device according to the second embodiment of the present invention.
  • the data acquisition unit 10 of the associating device 110 acquires memo data editing history data from the input device 300 (step S601).
  • FIG. 29 is a diagram showing an example of memo data input to the input device 310 by the operator.
  • FIG. 30 is a flowchart showing a memo data input operation procedure of the input device 310 used in the second embodiment.
  • the user input receiving unit 311 determines whether or not a character input button for inputting characters has been pressed (step S701).
  • the editing history providing unit 312 refers to the time management unit 313 and acquires the input start time (step S702).
  • the user input receiving unit 311 determines whether or not a determination button for confirming the input has been pressed (step S703). If pressed, the editing history adding unit 312 similarly acquires the input end time (step S704), and stores the information on the character string, line, and column with “operation” as “input” (step S705). . Further, the input start time Z input end time is stored as the operation start time Z operation end time (step S706), and the row and column information is corrected for the character string after the input character (step S707). This is because the character input is described This is a process for correcting the position information (row, column) of characters written in advance after the last sentence. For example, if you add one character to the left of an arbitrary character in the memo, the arbitrary character will be shifted by one character to the right, so the (row, column) information will be +1 for the column.
  • the user input reception unit 311 presses the delete button for deleting the input character. It is determined whether or not (step S708). If pressed, the editing history adding unit 312 acquires the deletion end time (step S709), sets “operation” as “deletion”, and stores the character string, row, and column information (step S710). Further, the deletion end time is stored as the operation end time (step S711), and the row and column information is corrected for the character string after the deleted character (step S712). This is a process for correcting the position information (row, column) of characters written in advance after that when the deleted character is not in the last character. For example, if you delete one character to the left of an arbitrary character in a memo, the arbitrary character will be shifted to the left by one character, so its (row, column) information will have a column of -1.
  • FIG. 31 is a diagram schematically showing the data structure of editing history data acquired from the input device 310 by the data acquisition unit 10 of the associating device 110.
  • edit history information such as input start time, input end time, input position (row, column), etc. is held in units of words or phrases.
  • FIG. 32 is a diagram schematically showing the data structure of the acquired video material metadata.
  • FIG. 33 is a diagram schematically showing the data structure of video material metadata integrated in time series for “shooting” and “playback” by internal processing. 32 and 33 show examples of video material metadata acquired from the image capturing apparatus 200 capable of generating operation logs. In other words, the data relating to the playing time of the force is retained even during the playback confirmation operation performed after shooting, not only during the shooting operation. In the examples shown in Fig. 32 and Fig.
  • the shooting order and the playback confirmation order are not always the same, and the same cut may be played back multiple times, or an arbitrary cut may be played back once. is there.
  • the time stamp calculation unit 20 uses the edit history data acquired by the data acquisition unit 10 to input the input start time information and the input end time information, that is, the word for the memo data after editing the time stamp. And is calculated for each phrase (step S603).
  • FIG. 34 is a flowchart showing a calculation operation procedure of the time stamp calculation unit 20.
  • the time stamp calculation unit 20 determines whether or not the reading of all the editing history data has been completed (step S801). If the reading has not been completed, the time stamp calculation unit 20 reads one edit history data (step S802). Next, it is determined whether or not the “action” of the read editing history data is “input” (step S803), and if it is “input”, a character string having the same position information is further stored in the internal table. It is determined whether or not it exists in step S804.
  • the time stamp calculation unit 20 adds the target character of the edit history data to the character string of the target internal table (step S805). Then, the operation start time is stored at the editing time of the target internal table (step S806), and the input position of the internal table moved by the additional correction is corrected (step S807). On the other hand, if a character string with the same position information does not exist in the internal table, information on the target character string, operation start time, operation end time, and input character position of the edit history data (i.e., information on the row column) ) In the internal table (step S808).
  • step S803 the time stamp calculation unit 20 next determines whether or not the operation is “delete” (step S809).
  • the operation is “delete”
  • the character to be deleted is deleted from the input character string of the internal table (step S810), and the operation end time is stored at the editing time of the target internal table (step S811). Further, the input position of the internal table moved by the deletion is corrected (same as in the first embodiment) (step S812).
  • step S809 After completion of the processing of step S807, step S808, and step S812, If it is determined in step S809 that the operation is not “delete”, the process returns to step S801 again, and the same procedure is repeated. On the other hand, when reading of all the editing history data is completed in step S801, the time stamp calculation unit 20 outputs an internal table (step S813) and ends the operation.
  • FIG. 35 is a diagram schematically showing the data structure of the output data of the time stamp calculation unit 20.
  • the data is extracted from the input start time and the input end time, and the data that reflects the editing such as additional writing and deletion at the time when the editing was performed.
  • the inter-word relationship determination unit 30 determines the relevance between words based on a predetermined condition for the output data of the time stamp calculation unit 20, Relevant words are grouped together as “memos for the same cut (word group)” (step S604).
  • the ability to set various conditions for determining relevance As an example, we use a method that determines the relevance between words based on the average number of input characters. The details of this method have already been described in the first embodiment, and a description thereof will be omitted.
  • FIG. 36 is a diagram schematically showing the data structure of the output data of the inter-word relationship determining unit 30. As shown in FIG. Data power of input start time and input end time The word groups are organized.
  • the inter-group relevance determination unit 50 determines the word dull grouped by the inter-word relevance determination unit 30 based on the correction history of the memo data.
  • the relevance of each group is determined (step S605).
  • FIG. 37 is a flowchart showing the procedure for determining the relationship between groups based on the correction history.
  • the inter-group relevance determination unit 50 repeats the following operation for the word group with the correction history (step S901).
  • the inter-group relevance determination unit 50 determines whether or not there is a word dull in which the time from the input start time to the input end time overlaps within X minutes before and after the correction time of the target word group. (Step S902). If there is a corresponding word group, the inter-group relevance determination unit 50 sets the relevance between the target word group and the corresponding word group to “high” (step S903). The inter-group relationship determination unit 50 The determination operation from step S902 to step S903 is repeated for all word groups having a correction history (step S904). In the above, X may be set to any numerical value.
  • FIG. 38 is a diagram schematically showing the data structure of the output data of the inter-group relationship determination unit 50.
  • the relationship between word groups can be grasped by the number of character groups of the word groups that are related to each other. For example, the relevance “4” of the word group “state of study” of No. 1 indicates that “relationship with the word group“ insertion of narration ”of No. 4 is high”. Force determined by only “High Z Low (None)” In the determination procedure of Step S902 in Figure 37, the numerical value is used to express the relationship, for example, the higher the value, the higher the overlap. Also good. In that case, if the threshold value set arbitrarily is exceeded, it is determined that the relevance is high.
  • the correspondence determination unit 40 refers to the video material metadata (see FIG. 33) and the memo data (see FIG. 38), and the shooting time or playback of the cut.
  • the relationship between the time and the input start time of the word group and the relationship between the word groups are determined, and the cut and the memo data are associated (step S606).
  • FIG. 39 is a diagram in which the relationship between the input start time of the word group and the shooting time or playback time of the cut is arranged over time. Compared to the first embodiment, since the relationship for each word group can be used for the association between the cut and the memo data, the association can be made with higher accuracy.
  • FIG. 40 is a flowchart showing the procedure of the associating operation using the shooting time information.
  • Figure 41 shows It is a figure which shows typically the matching candidate determination result by matching operation
  • the correspondence determination unit 40 determines that the Nth cut (here, the memo data input before the start of shooting has a high probability of being a memo for the cut for which shooting starts thereafter).
  • cut N is added to the memo matching candidate having the input start time before the shooting start time (step S1003).
  • the correspondence determining unit 40 determines that “the memo data input during shooting has a high probability of being a memo because of the cut currently being shot!”.
  • the shooting start force of the Nth cut is added to the memo matching candidate having the input start time within the time until the end of shooting (step S1004).
  • cut A has a shooting time from 13:00 to 13:10:00 (see Fig. 33)
  • "study state” t and Umemo has an input start time of 13:01 (see Fig. 38).
  • “Cut A” is added to this memo association candidate (see FIG. 41).
  • the correspondence determining unit 40 increments the numerical value of N by 1 (step S1005), and determines whether or not the value of N has reached the value of C (step S1006).
  • step S1006 If the value of N reaches the value of C! /! (NO in step S1006), the correspondence determination unit 40 returns to step S1004 and performs the same processing as the above to the next cut. Run again
  • step S1006 determines that “the input was made during the shooting of the last cut.
  • the memo data for the last cut being shot has a high probability of being the last memo, ”t, based on the estimation, taking the Nth cut (which means the last cut here) Cut N is added to the memo association candidate having the input start time within the time from the start to the end of shooting (step S1007).
  • the correspondence determination unit 40 has a high probability that the memo data input after the last cut has been taken is the last memo taken, and so on.
  • the cut N is added to the memo association candidate having the input start time after the photographing of the Nth cut (meaning the last cut here) is completed (step S1008).
  • cut E The shooting end time is 14:35 (see Fig. 33), and "Dim," t, and the memo has an input start time of 20:15 (see Fig. 38). E "is added (see Figure 41).
  • the cut that has been shot is associated with the input memo data.
  • the interval between shootings is divided by a percentage, but the division may be detected by another method. For example, it is possible to check the input interval of memos written between shootings, and use the section with the largest interval as the break.
  • a memo that has started to be entered at the time between intervals may be made to associate both two cuts taken before and after as candidates.
  • FIG. 42 is a flowchart showing the procedure of the associating operation using the reproduction time information.
  • the correspondence determining unit 40 determines that the probability that the memo data input during playback is the current memo is higher than the result of the correlation based on the shooting time. ”T ⁇ ⁇
  • the association candidate is deleted, and a cut N is added to the association candidate (step S1103).
  • the playback time of the first cut A is 20:10 force up to 20:20 (see Fig. 33), and “Dim!
  • the correspondence determining unit 40 determines that the memo data input after the end of playback of an arbitrary cut and before the start of playback of another cut is recorded for the cut for which playback has just ended.
  • the correspondence determining unit 40 determines that “the memo data for which the memo correction is performed during the reproduction has a high probability that it is the memo of the current reproduction,” t ⁇ , Based on this estimation, a note that has a correction time within the playback confirmation time of the Nth cut, and if cut N is included in the candidates for correspondence based on the recording time, a response other than cut N
  • the attachment candidate is deleted (step S1105).
  • the correspondence determining unit 40 determines that the memo data for which memo correction is performed before the start of playback of another cut after the end of playback of an arbitrary cut is the cut that has just finished playback.
  • the probability of being a memo is high! '' T ⁇ , based on the estimation, it has a correction time from the end of playback confirmation of the Nth cut to the confirmation of playback of the N + 1st cut.
  • association candidates other than cut N are deleted (step S 1106).
  • the correspondence determination unit 40 increments the value of N by 1 (step S1107), and determines whether the value of N has reached the value of C (step S1108).
  • step S1108 If the value of N has not reached the value of C (NO in step S1108), the correspondence determination unit 40 returns to step S1105 and performs the same processing as described above again for the next cut Do
  • the correspondence determining unit 40 determines that “the last cut is being played or has been played.
  • the memo data that is input later is higher than the result of matching by the probabilistic power shooting time, which is a memo for the cut that was last played, '' t, based on the estimation, the Nth cut (here Input starts within the playback confirmation time (which means the last cut) or after the playback confirmation
  • the association candidate based on the recording time is deleted, and the cut N is added to the association candidate (step S 1109).
  • the correspondence determining unit 40 determines that “the memo data for which the memo correction is performed during the playback of the last cut or after the playback ends is a memo for the cut that was played back last. Based on the estimation, the recording of the memo with the correction time within the playback confirmation time of the Nth cut (which means the last cut here) or after the playback confirmation is completed. If cut N is included in the association candidates by time, association candidates other than cut N are deleted (step SI 110).
  • FIG. 43 is a diagram schematically showing the association candidate determination result by the association operation using the reproduction time information.
  • the correspondence determination unit 40 integrates the correspondence candidate determination results of "association using shooting time information" and “association using reproduction time information”, and sets the memo data input time. Based on the association is determined.
  • FIG. 44 is a diagram schematically showing a correspondence result based on the input time of the memo data between the cut and the memo data.
  • FIG. 45 is a flowchart showing the procedure of the associating operation using the inter-word group relationship information.
  • the correspondence determination unit 40 repeats the following operation for a memo having two or more candidates for association (step S1201). For example, as shown in FIG. 44, “insertion of narration” has two matching candidates of cut A and cut B. In the following, this “narration insertion” t ⁇ ⁇ memo will be described as a specific example.
  • the correspondence determination unit 40 determines whether there are word groups that are highly related to each other (step S1202). As shown in Figure 38, “Insert Narration” has “Research” as a highly related group. If it exists, the correspondence determination unit 40 determines whether or not there is a correspondence candidate that is more highly related and is common to the word group (step S 1203). As shown in FIG. 44, cut A is common as an association candidate between “narration insertion” and the highly relevant V ⁇ word group “state of study”. If there is a common association candidate, the correspondence determination unit 40 determines whether the word group is highly relevant. The candidate that is not in common with the group is deleted (step S1204), and only the common candidate for association is deleted.
  • cut B which is a non-matching candidate that is highly related to “state of study”
  • cut A which is a common matching candidate
  • Fig. 46 is a diagram schematically showing a result of determination of correspondence candidates using the relationship between word groups. For example, as described above, “Narration Insertion” in which “Cut A and Cut B” were initially associated with each other based on the input result of the memo data input time between the cut and memo data in FIG. Based on the output data of the inter-group relationship determination unit 50 shown in FIG. 38, the association is changed to “Cut A”.
  • FIG. 47 is a diagram conceptually showing memo data associated with a cut.
  • a plurality of words are grouped as memo information for the same cut using the correction history information. It is possible to appropriately associate the memo and the video material originally intended by the information input person.
  • FIG. 48 is a diagram showing an overview of the associating system according to the third embodiment of the present invention.
  • the associating system includes an associating device 110, a photographing device 200, and an input device 320.
  • the difference from the configuration of the second embodiment is that a position information acquisition unit 316 is added to the input device 320.
  • Position information acquisition section 316 outputs the current position information of 320 input devices in a predetermined cycle from a GPS (Global Positioning System).
  • GPS Global Positioning System
  • Other internal configurations and functions of the respective parts are the same as those of the second embodiment, and thus description thereof is omitted.
  • the position information acquisition unit may be provided inside the imaging device, or may be configured as a separate device and attached to the director or the like. Next, the operation of the associating device in the system having the above configuration will be described.
  • FIG. 49 is a flowchart showing the procedure of the associating operation of the associating device according to the third embodiment of the present invention.
  • the data acquisition unit 10 of the associating device 110 acquires the editing history data of the memo data and the position information of the GPS power from the input device 320 (step S1301).
  • the method for obtaining the editing history data is the same as that in the second embodiment, and a description thereof will be omitted.
  • FIG. 50 is a diagram schematically showing the data structure of the position information acquired by the data acquisition unit 10. Data related to latitude and lightness of input device 320 is output at a specified cycle
  • the inter-group relevance determination unit 50 determines the relevance of each of the word groups grouped by the inter-word relevance determination unit 30 based on the correction history and position information of the memo data. Is determined (step S 1305).
  • the determination of the relationship between groups based on the correction history is the same as in the method of the second embodiment, and the description is omitted.
  • the determination of relevance between groups based on position information will be described.
  • FIG. 51 is a flowchart showing a procedure of an inter-group relationship determination operation based on position information.
  • the inter-group relevance determination unit 50 also calculates the amount of movement of the acquired position information power for each fixed period (step S1401). In the present embodiment, the movement amount per minute is calculated with a certain period as one minute. Next, an average movement amount is calculated from the calculated movement amount (step S1402). As a result, it is possible to grasp whether the operator of the input device 320 is almost stationary or moving in the vehicle. Therefore, even if the input times of two memo data are close, for example, if it is determined that the place where the memo was input is different, the two memos are input for different cuts rather than those input for the same cut. It can be estimated that there is a high possibility that the memo data has been recorded.
  • the time of one shooting (from the start to the end of recording) in the production of a documentary program is about one minute, so calculating the amount of movement per minute
  • the shooting time is short and a genre program is produced, the work amount calculation interval may be shortened.
  • the inter-group relevance determination unit 50 determines the time when the average moving distance is below a predetermined threshold as a break in the state of the input device (moving or stationary) (step S1403). That is, when the movement amount is smaller than the threshold value, it is determined that the operator of the input device 320 is almost stationary. When the movement amount exceeds the threshold value, the operator of the input device 320 is moving. It is determined that
  • FIG. 52 is a diagram for explaining the status of the inter-group relevance determination based on the position information. Based on the above determination operation, it is distinguished whether the input device is moving or stationary. With reference to this delimiter, for example, it can be determined that the memo data input while moving and the memo data input while stationary are not related (that is, not the memo data input for the same cut).
  • preparations for shooting are made when arriving at a location, then shooting is performed, and the flow is repeated when moving to the next location. Therefore, it is likely that the location is moving while it is moving, and that it is likely that it is preparing for shooting or shooting while it is stationary.
  • There is a high possibility of writing a note of the last shot taken while moving It is highly likely that a note of a cut to be taken is written during preparations for shooting. Therefore, if there is a break between moving and stationary between shots, there is a high possibility that notes about different cuts will be written before and after this!
  • FIG. 53 is a diagram schematically showing the data structure of the output data of the inter-group relationship determination unit 50.
  • Word groups that are estimated to be less related to each other because of positional breaks (ie, different input positions) can be grasped by the number of character strings in the word groups.
  • the word group “No. 7” of No. 7 and the word group “Fishing port and power gull” of No. 8 indicate low relevance. Note that the results of determining the relevance between word groups based on the revision history are omitted here.
  • the correspondence determination unit 40 refers to the video material metadata and the memo data, and determines the shooting time or playback time of the cut and the input start time of the word group. And relevance between word groups (correction history and position information) are determined, and cuts and memo data are associated (step S 1306).
  • FIG. 54 is a diagram in which the relationship between the input start time of the word group and the shooting time or playback time of the cut is arranged over time. Based on the GPS position information, it is possible to determine that a memo with a different input location is not related, that is, a memo for another cut. Can be done.
  • the correspondence relationship determination unit 40 the following is a correspondence operation using position information! I will explain only.
  • FIG. 55 is a flowchart showing the procedure of the associating operation using the position information.
  • the correspondence determination unit 40 repeats the following operation for a memo having two or more correspondence candidates (step S 1501).
  • the correspondence determination unit 40 determines whether or not there are word groups that are not highly related to each other (step S 1502). If it exists, the correspondence determination unit 40 further determines whether there is a correspondence candidate that is less related and is in common with the word group (step S1503). If there is a common association candidate, the correspondence determination unit 40 deletes the association candidate common to the word group having low relevance (step S1504). The correspondence determination unit 40 repeats the determination operation from step S 1402 to step S 1404 for every memo having two or more correspondence candidates (step S 1505).
  • FIG. 56 is a diagram schematically showing a result of determination of association candidates using the relationship between word groups. Since it was determined that “the latter half ⁇ ” and “fishing port and power gull” are not memos for the same cuts with low relevance, “fishing port and gull” that was initially associated with “cut B and cut C” Has been changed to "Cut C". Here, the relevance determination result between word groups based on the correction history is separately reflected.
  • FIG. 57 is a diagram conceptually showing the memo data associated with the cut.
  • the associating system by using the position information of the input device, even if the input times of words are close, they are input at different places. It is possible to appropriately group multiple words as memo information for the same cut, such as determining that memo information has low relevance and is not grouped.
  • the memo entered using the character input device is managed as a character string.
  • the associating device of the present invention can be associated with the shooting material.
  • a memo input using a pen tablet or the like can be associated with a shooting material.
  • the pen tablet is an input terminal that can manage a handwritten input locus as digital data by moving a dedicated pen-type input terminal or the like on a tablet that is a plate-shaped main body.
  • the input data is managed for each specified or unspecified time interval, along with the input time information, using the input locus within that time as input data.
  • this input data is used as one word in this embodiment, and the associating device of the present invention groups input data and associates them with shooting materials, thereby using a pen tablet or the like. It is also possible to associate the memo entered with the shooting material. In this way, any input device having a function of managing input data and input time information can be associated with video material, regardless of the data input using any input device. .
  • the associating device of the present invention associates a word with a video material based on the word input time information, so that a word whose input has been started during shooting of the video material is the video material.
  • the memo information entered can be entered simply by inputting the word in the same way that a word input person has been handwriting without being aware of the correspondence with the video material. Is associated with each corresponding video material, has an effect of quickly searching for a material using a memo as a keyword, and is useful for an associating device for associating a plurality of acquired data with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　本発明は、映像素材との対応を意識することなく、映像素材毎にメモ情報の入力を行うことを可能にすることを目的とする。 　本発明の対応付け装置は、入力された単語の入力開始時刻情報と撮影された映像素材の撮影時間情報を用いて、単語と映像素材とを対応付ける対応関係判定部４０を備える。

Description

対応付け装置
技術分野
[0001] 本発明は、取得した複数のデータを互いに対応付ける対応付け装置に関する。
背景技術
[0002] 放送局などの番組制作の現場では、 1つの番組を制作する場合、予め必要な映像 素材を準備しておき、その後の編集作業において必要な映像素材を選択、編集して 所定時間の番組を構成する。映像素材を準備するには、スタジオや屋外のロケ地な ど、各地で多種多様な映像を撮影する必要があり、例えば、 45分の番組では 200以 上もの映像素材が撮影されることもある。そのため、撮影した膨大な数量の映像素材 力も所望の映像を迅速に探し出せる力否力 即ち映像素材の検索時間の短縮化が 効率的な番組制作の要諦となって 、る。
[0003] 映像素材の検索方法としては、どのような対象を撮影した映像である力、またどのよ うな撮影状態であった力などという映像素材の内容等に関するメモ情報を、撮影指示 者またはその補助者が撮影中やその後に撮影素材と対応付けて記録しておき、編 集時にはそのメモ情報を頼りに検索を行うという手法が一般的である。
[0004] 撮影素材とメモ情報を対応付けて記録するため、従来は、メモ入力の際にメモの入 力者が、どの撮影素材に対するメモである力を特定するための撮影素材識別情報を 付与する必要があった。例えば、映像素材を撮影中にメモを入力する場合、メモ入力 者は撮影素材識別情報を付与するために、現在撮影中の素材の識別情報を例えば 撮影中のカメラを操作して撮影中素材の識別情報をカメラのモニタやファインダに表 示して確認をとり、該当素材識別情報をメモとして入力した上で、本来記述したかつ たメモを入力する、という作業が必要になる。このため、メモ入力時の作業負担が大き いのが課題であった。なお、入力した文字を所定の文字列単位で記憶、管理するこ とができる文書作成装置として、例えば、特許文献 1に記載されるものがある。
特許文献 1 :特開平 8— 185452号公報 第 3頁〜第 8頁 図 2
発明の開示 発明が解決しょうとする課題
[0005] 本発明は、上記従来の事情に鑑みてなされたものであって、メモ入力者がメモ入力 時にどの映像素材に対応するメモであるかを特定するための情報を明示的に付与し なくても、メモと撮影素材を対応付けることが可能な対応付け装置を提供することによ り、メモ入力の作業工数を増やすことなぐ素材の検索時間を短縮出来ることを目的 とする。
課題を解決するための手段
[0006] 本発明の対応付け装置は、取得した複数のデータを互いに対応付ける対応付け装 置であって、入力された単語の入力開始時刻情報と撮影された映像素材の撮影時 間情報とを用いて、前記単語と前記映像素材とを対応付ける対応関係判定手段を備 える。
[0007] 上記構成によれば、単語の入力時刻情報に基づいて単語と映像素材との対応付 けを行うことにより、映像素材の撮影中に入力が開始された単語は、当該映像素材に 対するメモとして、撮影素材と対応付けられる為、単語の入力者が映像素材との対応 を意識することなく従来手書きしていたのと同じ感覚で単語を入力するだけで、入力 したメモ情報が該当する映像素材毎に対応付けられる。したがって、メモ入力におけ る労力を増やすことなぐすなわち、メモ記入者が明示的に該当メモに対応する映像 素材の識別情報を調べてメモと同時に記入するなどの作業を不要として、映像素材 毎にメモ情報を対応付けることができる。また、メモ情報を検索キーとして所望の映像 素材を迅速に検索することができる。例えば、 200本の映像素材力も所望の映像素 材を検索する際、従来は、撮影日をもとに検索して 10〜20本に絞った上で、これら の映像素材を全て視聴して所望の映像素材を探していたのに対し、本発明によれば 、映像素材について入力しておいた最適なキーワードを検索キーとすることができる ため、映像素材を視聴することなく 1〜2本に絞ることができ、作業時間を約 1Z10に 短縮することが可能になる。
[0008] また、本発明の対応付け装置は、入力された複数の単語間の関連性を判定するこ とにより単語のグループィ匕を行う単語間関連性判定手段を備え、前記対応関係判定 手段が、グループ化された単語群と前記映像素材とを対応付けるものである。 [0009] 上記構成によれば、複数の単語が同一のカットに対するメモ情報としてグループィ匕 されるため、メモ情報の入力者が本来意図したメモと映像素材とを適切に対応付ける ことができる。
[0010] また、本発明の対応付け装置は、前記グループ化された単語群間の関連性を判定 するグループ間関連性判定手段を備え、前記対応関係判定手段は、前記グループ 間関連性判定手段の判定結果に基づいて、グループ化された単語群と前記映像素 材とを対応付けるものである。
[0011] 上記構成によれば、複数の単語群の関係に基づいてメモと映像素材とを適切に対 応付けることができる。
[0012] また、本発明の対応付け装置は、前記グループ間関連性判定手段が、修正履歴 情報を用いて前記グループィ匕された単語群間の関連性を判定するものである。
[0013] 上記構成によれば、修正履歴情報を用いて単語群間の関連性を判定することによ り、たとえ単語の入力時刻が近接していなくとも、最初に入力したメモへの追記入力 は同一のカットに対するメモであると判定するなど、複数の単語群の関係に基づいて メモと映像素材とを適切に対応付けることができる。
[0014] また、本発明の対応付け装置は、前記グループ間関連性判定手段が、単語が入力 された際の位置情報を用いて前記グループ化された単語群間の関連性を判定する ものである。
[0015] 上記構成によれば、たとえ単語の入力時刻が近接していても、異なる場所で入力さ れたメモは関連性が低いため同一のカットに対するメモではないと判定するなど、複 数の単語群の関係に基づいてメモと映像素材とを適切に対応付けることができる。
[0016] また、本発明の対応付け装置は、前記対応関係判定手段が、前記映像素材の再 生動作に関する操作ログを参照して前記単語と前記映像素材とを対応付けるもので ある。
[0017] 上記構成によれば、映像素材の撮影時間情報のみならず、映像素材再生時の再 生時間情報を用いて単語と映像素材の関連性を判定するので、より高い精度で単語 と映像素材の対応付けを行うことができる。
[0018] また、本発明の対応付けシステムは、本発明の対応付け装置と、単語ごとの入力開 始時刻を取得、管理する入力管理装置と、前記撮影素材を撮影する撮像装置と、を 備える。
[0019] さらに、本発明の入力装置は、本発明の対応付け装置に接続される入力管理装置 であって、単語ごとの入力開始時刻を取得、管理する。
発明の効果
[0020] 本発明によれば、単語の入力時刻情報に基づいて単語と映像素材との対応付けを 行うことにより、映像素材の撮影中に入力が開始された単語は、当該映像素材に対 するメモとして、撮影素材と対応付けられる為、単語の入力者が映像素材との対応を 意識することなく従来手書きしていたのと同じ感覚で単語を入力するだけで、入力し たメモ情報が該当する映像素材毎に対応付けられる。
図面の簡単な説明
[0021] [図 1]本発明の実施の形態 1に係る対応付けシステムの概要を示す図
[図 2]本発明の実施の形態 1における対応付け装置の内部構成を示すブロック図 [図 3]本発明の実施の形態 1における対応付け装置の対応付け動作の手順を示すフ 口1 ~~チヤ1 ~~卜
[図 4]入力装置に操作者が入力するメモデータの入力例を示す図
[図 5]データ取得部が取得する編集履歴データのデータ構造を模式的に示す図
[図 6]取得した一つの撮影素材の撮影素材メタデータのデータ構造を模式的に示す 図
[図 7]全ての撮影素材について、撮影素材メタデータ力もメモとの対応付けに必要と なる情報のみを抽出した撮影素材メタデータの一例を示す図
[図 8]操作ログの一例を示す図
[図 9]内部処理により「撮影」と「再生」について時系列で統合された映像素材メタデ ータのデータ構造を模式的に示す図
[図 10]タイムスタンプ算出部の算出動作手順を示すフローチャート
[図 11]図 5に示す編集履歴データの 6行目までが読み込まれた時点の内部テーブル のデータ構造を模式的に示す図
[図 12]図 5に示す編集履歴データの 7行目までが読み込まれた時点の内部テーブル のデータ構造を模式的に示す図
[図 13]図 5に示す編集履歴データの 9行目までが読み込まれた時点の内部テーブル のデータ構造を模式的に示す図
[図 14]図 5に示す編集履歴データの 10行目までが読み込まれた時点の内部テープ ルのデータ構造を模式的に示す図
圆 15]タイムスタンプ算出部の出力データのデータ構造を模式的に示す図 圆 16]単語間関連性判定部の単語間関連性判定動作手順を示すフローチャート
[図 17]単語のグループ分けの概要を示す図
圆 18]単語間関連性判定部の出力データのデータ構造を模式的に示す図
[図 19]単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を 時間経過で整理した図
圆 20]メモデータの入力時刻とカットの撮影時間との対応関係を説明するための図 圆 21]撮影時間情報を用いた対応付け動作の手順を示すフローチャート 圆 22]撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的 に示す図
圆 23]再生時間情報を用いた対応付け動作の手順を示すフローチャート 圆 24]再生時間情報を用いた対応付け動作による対応付け候補判定結果を模式的 に示す図
圆 25]カットとメモデータの最終的な対応付け結果を模式的に示す図
圆 26]カットに対応付けられたメモデータを概念的に示す図
圆 27]本発明の実施の形態 2に係る対応付けシステムの概要を示す図
圆 28]本発明の実施の形態 2における対応付け装置の対応付け動作の手順を示す フローチャート
圆 29]入力装置に操作者が入力するメモデータの入力例を示す図
[図 30]実施の形態 2で用いる入力装置のメモデータ入力動作手順を示すフローチヤ ート
[図 31]対応付け装置のデータ取得部が入力装置力 取得する編集履歴データのデ ータ構造を模式的に示す図 圆 32]取得した映像素材メタデータのデータ構造を模式的に示す図
[図 33]内部処理により「撮影」と「再生」について時系列で統合された映像素材メタデ ータのデータ構造を模式的に示す図 圆 34]タイムスタンプ算出部の算出動作手順を示すフローチャート
圆 35]タイムスタンプ算出部の出力データのデータ構造を模式的に示す図 圆 36]単語間関連性判定部の出力データのデータ構造を模式的に示す図
[図 37]修正履歴に基づくグループ間関連性判定動作の手順を示すフローチャート
[図 38]グループ間関連性判定部 50の出力データのデータ構造を模式的に示す図
[図 39]単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を 時間経過で整理した図
圆 40]撮影時間情報を用いた対応付け動作の手順を示すフローチャート 圆 41]撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的 に示す図
圆 42]再生時間情報を用いた対応付け動作の手順を示すフローチャート 圆 43]再生時間情報を用いた対応付け動作による対応付け候補判定結果を模式的 に示す図
[図 44]カットとメモデータとのメモデータの入力時刻に基づいた対応付け結果を模式 的に示す図
圆 45]単語グループ間関連性情報を用いた対応付け動作の手順を示すフローチヤ ート
圆 46]単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示す図 圆 47]カットに対応付けられたメモデータを概念的に示す図
[図 48]本発明の実施の形態 3に係る対応付けシステムの概要を示す図
圆 49]本発明の実施の形態 3における対応付け装置の対応付け動作の手順を示す フローチャート
圆 50]データ取得部が取得する位置情報のデータ構造を模式的に示す図
[図 51]位置情報に基づくグループ間関連性判定動作の手順を示すフローチャート 圆 52]位置情報に基づくグループ間関連性判定の状況を説明するための図 [図 53]グループ間関連性判定部 50の出力データのデータ構造を模式的に示す図 [図 54]単語グループの入力開始時刻と、カットの撮影時間または再生時間の関係を 時間経過で整理した図
[図 55]位置情報を用いた対応付け動作の手順を示すフローチャート
[図 56]単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示す図
[図 57]カットに対応付けられたメモデータを概念的に示す図
符号の説明
[0022] 10 データ取得部
20 タイムスタンプ算出部
30 単語間関連性判定部
40 対応関係判定部
50グループ間関連性判定部
100、 110 対応付け装置
200 撮影装置
300、 310、 320 入力装置
311 ユーザ入力受付部
312 編集履歴付与部
313 時刻管理部
314 メタデータ保持部
315 メタデータ登録部
316 位置情報取得部
発明を実施するための最良の形態
[0023] 以下、本発明の実施形態について図面を参照して説明する。
[0024] [実施の形態 1]
図 1は、本発明の実施の形態 1に係る対応付けシステムの概要を示す図である。図 1に示す対応付けシステムは、映像素材と映像素材に関するメモデータとの関連付 けを行うものであり、対応付け装置 100、撮影装置 200、入力装置 300を備える。
[0025] 撮影装置 200は、動画や静止画の画像データを生成可能な公知の撮像手段を含 む装置である。また、入力装置 300は、入力用キーやテキストエディタプログラムを装 備し、テキスト編集が可能な公知の入力手段を含む装置である。
[0026] 対応付け装置 100は、撮影装置 200が撮影する映像データと、当該映像データの 撮影時間情報を含む映像素材メタデータとを撮影装置 200から取得する。また、入 力装置 300の操作者は、どのような対象を撮影した映像である力 またどのような撮 影状態であった力などという映像素材の内容等に関するメモ情報 (以下、メモデータ と称する）を入力装置に入力する力 対応付け装置 100は、このメモデータの編集履 歴を示す情報 (以降、編集履歴データと称する)を入力装置 300から取得する。
[0027] 対応付け装置 100は、取得したメモデータが、撮影された複数の映像素材 (以降、 カットと称する）のどれについて説明されたものであるかを、以下に説明する手段によ り適切に判定し、カットごとにメモデータを対応付ける。
[0028] 尚、メモデータの入力は、撮影装置 200による撮影と並行して行われる場合もある し、撮影後に映像内容の確認のために実施する再生の際に行われる場合もある。後 述するが、再生中に行われるメモデータの入力は、撮影装置 200に再生時間情報な どの操作ログを出力する機能が装備されて ヽる場合のみ、映像素材との対応付けを 行うことができる。
[0029] 尚、メモデータの送信は、図 1に示すように無線通信機能を備えた携帯型の入力装 置 300 (例えば、公知の携帯電話端末を代用し、メモデータをメール本文もしくは添 付ファイルとして送信することも可能)カゝら行ってもょ ヽし、入力装置 300と対応付け 装置 100とを有線で接続して行ってもよい。
[0030] 図 2は、本発明の実施の形態 1における対応付け装置の内部構成を示すブロック 図である。対応付け装置 100は、データ取得部 10、タイムスタンプ算出部 20、単語 間関連性判定部 30、対応関係判定部 40で構成される。
[0031] データ取得部 10は、撮影装置 200から出力される映像素材メタデータを取得する 。また、入力装置 300から出力される編集履歴データを取得する。尚、編集履歴デー タは、入力装置 300に装備されたテキストエディタ用プログラム (アプリケーションソフ トウ ア）などで容易に生成されるものであり、決定キーが押下される毎に履歴が保存 される。編集履歴データの生成は、文字の入力や削除等の履歴を蓄積しておくという 公知の機能に基づくものであるため、詳細な説明は省略する。
[0032] タイムスタンプ算出部 20は、データ取得部 10が取得した編集履歴データに基づい て、編集終了後のメモデータの入力開始時刻情報及び入力終了時刻情報を単語や 文節単位で出力する。
[0033] 単語間関連性判定部 30は、所定の条件に基づいて単語間の関連性を判定し、関 連性のある単語を「同一のカットに対するメモ（単語グループ）」としてグループィ匕する 。また、グループ化された複数の単語のタイムスタンプをもとに、単語グループの入力 開始時刻情報を抽出する。尚、後述するが、所定の条件とは「単語間の入力間隔が 短い単語は、互いに同一カットに対するメモであると判断する」などの条件である。
[0034] 対応関係判定部 40は、取得した映像素材のカットごとの撮影時間情報 (撮影開始 時刻および撮影終了時刻を含む情報)または再生時間情報 (再生開始時刻および 再生終了時刻を含む情報）と、単語グループに付与されたタイムスタンプ (入力開始 時刻情報を含む）とを参照して、単語グループと映像素材のカットとの対応付けを行う
[0035] 次に、上記構成の対応付け装置の動作について説明する。
[0036] 図 3は、本発明の実施の形態 1における対応付け装置の対応付け動作の手順を示 すフローチャートである。はじめに、対応付け装置 100のデータ取得部 10は、入力装 置 300からメモデータの編集履歴データを取得する (ステップ S101)。図 4は、入力 装置 300に操作者が入力するメモデータの入力例を示す図である。一方、図 5は、デ ータ取得部 10が取得する編集履歴データのデータ構造を模式的に示す図である。 図 4に示すようなメモ入力に対して、入力開始時刻や入力終了時刻、入力位置 (行、 列)などの編集履歴情報が単語や文節単位で保持されて ヽる。
[0037] データ取得部 10は、同様に撮影装置 200から、撮影装置の動作や撮影映像 (カツ ト）の撮影時刻等に関する映像素材メタデータを取得する (ステップ S 102)。図 6は取 得した一つの撮影素材の撮影素材メタデータのデータ構造を模式的に示す図であ る。例えば、デジタルビデオカメラで撮影された MPEG— 2ムービーは、素材ファイル プロパティ情報として、ファイル名、種別、データサイズ、データ作成日時、長さなど の情報を素材ファイル内に保持している。従って、撮影素材ファイルのヘッダ部分を 解析することにより、ファイル名、種別、データサイズ、データ作成日時、長さなどの撮 影素材メタデータを取得することが可能である。
また、撮影機器として「DVCPRO P2camjを用いた場合には、撮影と同時に Clipメ タデータと呼ばれる素材メタデータが生成されるため、撮影素材ファイルの解析を行 うことなく撮影素材メタデータを取得することが可能である。
図 7は、全ての撮影素材について、図 6に示した撮影素材メタデータからメモとの対 応付けに必要となる情報のみを抽出した撮影素材メタデータの一例である。撮影に おける「開始時刻」および「終了時刻」情報を用いてメモとの対応付けを行うため、本 実施例では撮影素材メタデータの「ファイル名」を「対象カット」、「作成日時」の時刻 情報を「開始時間」、「作成日時」に「長さ」を足した時刻情報を「終了時刻」として使 用している。
図 8は操作ログの一例を示す図である。操作ログとしては、再生、再生終了、早送り 、早送り終了などの「動作」と動作が行われた「時刻」とともに、再生については「対象 カット」が保持されている。
図 9は、内部処理により「撮影」と「再生」について時系列で統合された映像素材メタ データのデータ構造を模式的に示す図である。尚、図 8および図 9では、操作ログの 生成が可能な撮影装置 200から取得した映像素材メタデータの例を示して 、る。即 ち、撮影動作時だけでなぐ撮影後に行う再生確認時についてもカットの再生時間等 に関するデータが保持される。本実施例では、再生開始後に一時停止、巻き戻し、 早送りなどを繰り返し、最終的に当該カットの再生を停止するまでの動作を「再生確 認」動作と定義し、すべての当該動作の開始から終了までの時刻をそれぞれ開始時 刻、終了時刻として保持するようにしている。例えば、図 8において対象カット「カット A」に対して、「再生」が「20 : 10」に行われ、「再生終了」が「20 : 20」に行われている ため、図 9において対象カット「カット A」の再生確認の開始時刻は「20 : 10」、終了時 刻は「20 : 20」である。また、対象カット「カット B」に対して、「再生」が「20 : 20」に行わ れ、「早送り」が「20 : 22」に行われ、「早送り終了」が「20 : 23」に行われ、「再生終了」 が「20： 27」に行われて 、るため、図 9にお 、て対象カット「カット B」の再生確認の開 始時刻は「20 : 20」、終了時刻は「20 : 27」である。図に示すように、撮影順と再生確 認順は必ずしも同じとは限らず、また、同一カットが複数回再生確認されたり、任意の カットが一度も再生確認されなカゝつたりすることもある。
[0038] 次に、タイムスタンプ算出部 20は、データ取得部 10が取得した編集履歴データに 基づいて、入力開始時刻情報及び入力終了時刻情報、即ち、タイムスタンプを編集 終了後のメモデータについて単語や文節単位で算出する (ステップ S103)。図 10は 、タイムスタンプ算出部 20の算出動作手順を示すフローチャートである。
[0039] はじめに、タイムスタンプ算出部 20は、すべての編集履歴データの読み込みが完 了した力否かを判定する (ステップ S201)。読み込みが完了していない場合、タイム スタンプ算出部 20は、 1つ分の編集履歴データを読み込む (ステップ S202)。次に、 読み込んだ編集履歴データの「動作」が「入力」である力否かを判定し (ステップ S 20 3)、「入力」である場合は更に、同一の位置情報を持つ文字列が内部テーブルに存 在するか否かを判定する（ステップ S 204)。
[0040] 同一の位置情報を持つ文字列が内部テーブルに存在する場合、タイムスタンプ算 出部 20は、対象の内部テーブルの文字列に当該編集履歴データの対象文字を追 カロし (ステップ S205)、追加により移動した内部テーブルの入力位置を修正する (ス テツプ S206)。一方、同一の位置情報を持つ文字列が内部テーブルに存在しない 場合、当該編集履歴データの対象文字列、入力開始時刻、入力終了時刻、入力文 字の位置に関する情報 (即ち、行'列の情報）を内部テーブルに保存する (ステップ S 207) o
[0041] 一方、ステップ S203の判定において、動作が「入力」でない場合、次にタイムスタン プ算出部 20は、動作が「削除」である力否かを判定する (ステップ S208)。動作が「 削除」である場合、内部テーブルの入力文字列から削除対象の文字を消去し (ステツ プ S209)、削除により移動した内部テーブルの入力位置を修正する（ステップ S210
) o
[0042] 例えば、図 11は、図 5に示す編集履歴データの 6行目までが読み込まれた時点の 内部テーブルのデータ構造を模式的に示す図であるが、次に、図 5に示す編集履歴 データの 7行目が読み込まれると、内部テーブルは図 12に示すように変更される。つ まり、動作力 ^入力」であり、且つ「同一の位置情報を持つ文字列が内部テーブルに 存在しない」ため、データが 1行追加された。一方、図 5に示す編集履歴データの 9行 目までが読み込まれると、内部テーブルは図 13に示すように変更される。この場合、 動作が「削除」であるので、 1行目のデータの"部屋"という文字列が空白に変更され た。その際、削除に伴って、 "部屋"という文字列に続ぐ'の"ど'様子"の文字列は「入 力位置」が移動するため、内部テーブルの 2、 3行目の「列」の数値も変更された。更 に、図 5に示す編集履歴データの 10行目までが読み込まれると、内部テーブルは図 14に示すように変更される。動作力 ^入力」であり、且つ「同一の位置情報を持つ文 字列が内部テーブルに存在する」ため、対象の内部テーブルの文字列、即ち 1行目 のデータの「文字列」（空白）に"書斎"が追加された。その際、追カ卩に伴って、 "書斎" という文字列に続ぐ'の"ど'様子"の文字列の「入力位置」が再び移動するため、内部 テーブルの 2、 3行目の「列」の数値も変更された。
[0043] ステップ S206、ステップ S207、ステップ S210のそれぞれの処理終了後や、ステツ プ S208の判定において動作が「削除」でない場合は、再びステップ S201へ戻り、同 様の手順を繰り返す。一方、ステップ S 201において全ての編集履歴データの読み 込みが完了した場合、タイムスタンプ算出部 20は内部テーブルを出力して (ステップ S210)、動作を終了する。
[0044] 図 15は、タイムスタンプ算出部 20の出力データのデータ構造を模式的に示す図で ある。入力開始時刻および入力終了時刻のデータが、追記や削除などの編集が反 映された単語に関して抽出されている。
[0045] 次に、図 3のフローチャートに戻り、単語間関連性判定部 30は、タイムスタンプ算出 部 20の出力データに対して、所定の条件に基づいて単語間の関連性を判定し、単 語を、同一のカットに対する 1つのメモ（単語グループ）にグループ化する（ステップ S 104)。関連性の判定には、さまざまな条件を設定することが可能であるが、一例とし て平均入力文字数により単語間の関連性を判定する方法について説明する。例え ば、「書斎」、「の」、「様子」という 3つの単語は、本来、同一のカットに対する 1つのメ モ、即ち「書斎の様子」である。ところが、編集履歴データでは最小単位の単語ごとに 区別されてしまっている。そこで、「入力速度が特定値 (実施例では平均値)を下回る までに入力された複数の単語は、同じメモの一部である確率が高い」という推定に基 づいて、単語間の関連性を判定し、単語グループとしてグループ化する。
[0046] 図 16は、単語間関連性判定部 30の単語間関連性判定動作手順を示すフローチ ヤートである。はじめに、単語間関連性判定部 30は、編集履歴データから一定期間 毎の平均入力文字数を算出する (ステップ S301)。そして、平均入力文字数が任意 の閾値を下回った点で認識されている単語をグループ分けする。図 17は、単語のグ ループ分けの概要を示す図である。図の例では、一分ごとの入力文字数を算出した 結果をグラフ化して 、る。そして一分間の入力文字数が平均入力文字数を下回った 時点から次に平均入力文字数を下回った時点までを一つの単語グループとしてまと めている。
なお、今回は前述のように一定期間ごとの平均入力文字数を算出し、一分間の入 力文字数が平均入力文字数を下回った時点で単語グループを区切っている力 単 語をグループ化する方法はこれに限定しない。例えば、平均入力文字数ではなぐ 任意の入力文字数を下回った場合で単語を区切ってグループィ匕してもょ ヽ。例えば 、一文字一文字の文字の入力間隔を算出し、入力間隔の平均値を上回ったり、任意 に定めた入力間隔を上回ったりした時点を文字の区切れ目と判定してグループィ匕し てもよい。例えば、文字列中に改行、句読点、空白などがあれば、それを単語の区切 れ目と判定してグループィ匕してもょ ヽ。
[0047] 尚、単語のグループ化が行われると、入力開始時刻および入力終了時刻の情報も 統合される。図 18は、単語間関連性判定部 30の出力データのデータ構造を模式的 に示す図である。入力開始時刻および入力終了時刻のデータ力 グループ化された 単語グループに関して整理されて ヽる。
[0048] 次に、再び図 3のフローチャートに戻り、対応関係判定部 40は、映像素材メタデー タ（図 9参照）とメモデータ（図 18参照)を参照して、カットの撮影時間または再生時間 と単語グループの入力開始時刻との関連性を判定し、カットとメモデータの対応付け を行う（ステップ S 105)。
[0049] ここで、図 19は、単語グループの入力開始時刻と、カットの撮影時間または再生時 間の関係を時間経過で整理した図である。任意の単語グループがどのカットにっ ヽ て記述したメモデータであるかは、次の基準に従って判定される。 [0050] 図 20は、後述する撮影時間情報を用いた対応付け動作における判定基準である「 メモデータの入力時刻とカットの撮影時間との対応関係」を説明するための図である 。本実施の形態 1では、任意カットの撮影中に入力が開始されたメモデータは当該力 ットに関する情報であると推定する。また、異なる 2つのカットの撮影の合間に入力が 開始されたメモデータは前後いずれかのカットに関する情報であると推定する。但し 、後述するように、異なる 2つのカットの撮影の合間に入力が開始される場合、合間の 時間を適切な条件で二分し、前の時間は直前に撮影されたカットに関する情報であ ると推定し、後の時間は直後に撮影されるカットに関する情報であると推定するように 設定してもかまわない。
[0051] 次に、対応関係判定部 40の具体的な判定動作について説明する。図 21は、撮影 時間情報を用いた対応付け動作の手順を示すフローチャートである。また、図 22は、 撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す 図である。はじめに、「C=カット数」及び「N= 1」の初期設定を行う（ステップ S401お よびステップ S402)。次に、対応関係判定部 40は、「撮影開始前に入力されるメモ データは、その後撮影が開始されるカットについてのメモである確率が高い」という推 定に基づ 、て、 N番目のカット（ここでは N= 1であるので最初のカットを意味する）の 撮影開始時刻以前に入力開始時刻を持つメモの対応付け候補にカット Nを追加する (ステップ S403)。
[0052] 次に、対応関係判定部 40は、「撮影中に入力されるメモデータは、現在撮影中の カットにっ 、てのメモである確率が高!、」 t 、う推定に基づ 、て、 N番目のカットの撮 影開始力 撮影終了までの時間内に入力開始時刻を持つメモの対応付け候補に力 ット Nを追加する（ステップ S404)。例えば、カット Aは撮影時間が 13 : 00から 13 : 10 までで（図 9参照）、また「書斎の様子」 t 、うメモは入力開始時刻が 13： 01であるため (図 18参照）、「書斎の様子」というメモの対応付け候補に"カット A"が追加される（図 22参照)。
[0053] 次に、 M=N+ 1番目のカットの撮影開始時刻一 N番目のカットの撮影終了時刻の Mを算出し (ステップ S405)、更に対応関係判定部 40は、「撮影終了後所定の経過 時間以内に入力されるメモデータは、その撮影が終了したカットについてのメモであ る確率が高 、」 t 、う推定に基づ 、て、 N番目のカットの撮影終了時刻力 M X X時 間内に入力開始時刻を持つメモの対応付け候補にカット Nを追加する (ステップ S40 6)。ここで Xは、撮影終了後の経過時間を任意に設定するための係数である。例え ば、カット Aの撮影終了時刻 13： 10から次のカット Bの撮影開始時刻 13： 30までの時 間 Mは 20分で（図 9参照）、また「照明なし」というメモは入力開始時刻が 13 : 12で（ 図 18参照）、 13 : 10力 20分 X O. 5 = 10分以内であるため、このメモの対応付け候 補に"カット A"が追加される（図 22参照)。尚、ここでは N番目のカットの撮影終了時 刻から N+ 1番目のカットの撮影開始時刻までの時間を丁度二等分する例 (X=0. 5 )を用いた力 番組のジャンル、撮影スタイルによっては係数 Xの値が変わるため、該 当係数 Xは利用者により設定可能とする。ここで係数 Xの設定方法は本発明の主眼 ではな!/、ため説明を省略する。
[0054] 次に、対応関係判定部 40は、「撮影終了後所定の経過時間以降で、且つ次のカツ トの撮影開始前に入力されるメモデータは、その撮影が終了したカットについてのメ モであるか、またはその後撮影が開始されるカットにっ 、てのメモである確率が高!、」 という推定に基づいて、 N番目のカットの撮影終了時刻力も M X X時間以降かつ N + 1番目のカットの撮影開始時刻内に入力開始時刻を持つメモの対応付け候補にカツ ト Nとカット N+ 1を追加する (ステップ S407)。例えば、カット Bの撮影終了時刻 13 :4 0から次のカット Cの撮影開始時刻 14 : 00までの時間 Mは 20分で（図 9参照）、また「 漁港と力モメ」と!、うメモは入力開始時刻が 13： 55で（図 18参照）、 13： 40 + 20分 X 0. 5 = 13 : 50以降であるため、このメモの対応付け候補に"カット Bとカット C"が追カロ される（図 22参照)。尚、ここでは N番目のカットの撮影終了時刻から N+ 1番目の力 ットの撮影開始時刻までの時間を丁度二等分する例 (X=0. 5)を用いた。
[0055] 次に、対応関係判定部 40は、 Nの数値を 1だけインクリメントして (ステップ S408)、 Nの値が Cの値に到達したか否かを判定する（ステップ S409)。
[0056] Nの値が Cの値に到達して!/ヽな 、場合 (ステップ S409の NO)、対応関係判定部 4 0は、ステップ S404〖こ戻り、上記と同様の処理を次のカットに対して再度実行する。
[0057] 一方、 Nの値が Cの値に到達した場合 (ステップ S409の YES)、即ち最後のカットと なった場合、対応関係判定部 40は、「最後のカットの撮影中に入力されるメモデータ は、撮影中の最後のカットにっ 、てのメモである確率が高 、」と 、う推定に基づ ヽて、 N番目のカット（ここでは最後のカットを意味する）の撮影開始から撮影終了までの時 間内に入力開始時刻を持つメモの対応付け候補にカット Nを追加する (ステップ S41 0)。
[0058] 次に、対応関係判定部 40は、最後のカットの撮影終了後に入力されるメモデータ は、最後に撮影したカットにっ 、てのメモである確率が高 、」 t 、う推定に基づ 、て、 N番目のカット（ここでは最後のカットを意味する）の撮影終了以後に入力開始時刻を 持つメモの対応付け候補にカット Nを追加する (ステップ S411)。例えば、カット Eの 撮影終了時刻は 14： 35で（図 9参照）、また「薄暗 、」 t 、うメモは入力開始時刻が 20 ： 15であるため（図 18参照）、このメモの対応付け候補に"カット E"が追加される（図 2 2参照)。
[0059] 以上の手順により、撮影を行ったカットと入力されたメモデータの対応付けが行わ れる。尚、上記の手順では、撮影の合間の時間を割合で区切っているが、別の方法 で区切りを検出しても良い。例えば、撮影の合間に書かれたメモの入力間隔を調べ て、一番間隔が開いている箇所を区切れ目としても良い。また、図 14で示したように 、合間の時間に入力開始されたメモには、前後に撮影された 2つのカット両方を候補 として対応付けるようにしてもよい。ところで、本実施例では、 M X 0.5時間以内のメモ は直前のカットに、それ以降のメモは両方のカットに対応付けている力 これは割り当 ての一例である。尚、撮影の合間に入力されたメモは、図 20で示したように、前後両 方のカットに対応付けても良い（X = 0の場合がこれに該当）し、 M X X時間以内のメ モは直前のカットに、それ以降のメモは直後のカットにのみ対応付けるようにしてもよ い。
[0060] 次に、図 23は、再生時間情報を用いた対応付け動作の手順を示すフローチャート である。また、図 24は、再生時間情報を用いた対応付け動作による対応付け候補判 定結果を模式的に示す図である。はじめに、「C =再生確認した延べカット数」及び「 N= l」の初期設定を行う（ステップ S501およびステップ S502)。
[0061] 次に、対応関係判定部 40は、「再生中に入力されるメモデータは、現在再生中の カットにっ 、てのメモである確率が高!、」 t 、う推定に基づ 、て、 N番目のカットの再 生確認時間内に入力開始時刻を持つメモの対応付け候補にカット Nを追加する (ス テツプ S503)。例えば、カット Aの再生確認時間は 20 : 10から 20 : 20までで（図 9参 照）、また「薄暗い」というメモは入力開始時刻が 20 : 15であるため（図 18参照）、この メモの対応付け候補に"カット A"が追加される（図 24参照)。
[0062] 次に、対応関係判定部 40は、「任意のカットの再生終了後から次の別カットの再生 開始前にまでに入力されるメモデータは、直前に再生を終了したカットについてのメ モである確率が高 、」 t 、う推定に基づ 、て、 N番目のカットの再生確認終了後から N+ 1番目のカットの再生確認以前に入力開始時刻を持つメモの対応付け候補に力 ット Nを追加する（ステップ S 504)。
[0063] 次に、対応関係判定部 40は、 Nの数値を 1だけインクリメントして (ステップ S505)、 Nの値が Cの値に到達したか否かを判定する（ステップ S506)。
[0064] Nの値が Cの値に到達して!/ヽな 、場合 (ステップ S506の NO)、対応関係判定部 4 0は、ステップ S503〖こ戻り、上記と同様の処理を次のカットに対して再度実行する。
[0065] 一方、 Nの値が Cの値に到達した場合 (ステップ S506の YES)、即ち最後のカットと なった場合、対応関係判定部 40は、「最後のカットの再生中または再生終了後に入 力されるメモデータは、最後に再生したカットにっ 、てのメモである確率が高 、」 t ヽ う推定に基づ 、て、 N番目のカット (ここでは最後のカットを意味する）の再生確認時 間内もしくは再生確認終了後に入力開始時刻を持つメモの対応付け候補にカット N を追加する（ステップ S507)。例えば、カット Eの再生確認時間は 21： 30力も 21： 35 までで（図 9参照）、また「手振れ NG」というメモは入力開始時刻が 21： 33であるため (図 18参照）、このメモの対応付け候補に"カット E"が追加される（図 24参照)。
[0066] 以上の手順により、再生を行ったカットと入力されたメモデータの対応付けが行わ れる。
[0067] 対応関係判定部 40は、「撮影時間情報を用いた対応付け」および「再生時間情報 を用いた対応付け」の対応付け候補判定結果に基づ!ヽて、最終的な対応付けを決 定する。図 25は、カットとメモデータの最終的な対応付け結果を模式的に示す図で ある。尚、本実施の形態では、最後に撮影したカットの撮影終了後に入力されたメモ データにつ 、ては、再生時間による対応付け候補が優先されるように設定して 、る。 従って、「撮影時間情報を用いた対応付け」では"カット E"と判定されて 、た「薄暗 ヽ 」というメモは、「再生時間情報を用いた対応付け」で"カット A"と判定されたため、最 終的に"カット A"と判定されている。同様に、「テロップ」というメモも"カット E"から"力 ット A"に判定が変更されている。図 26は、カットに対応付けられたメモデータを概念 的に示す図である。
[0068] 以上説明したように、本実施の形態に係る対応付けシステムによれば、単語の入力 時刻情報に基づいて単語と映像素材との対応付けを行うことにより、映像素材の撮 影中や撮影直後に入力が開始された単語および、再生確認中に入力された単語は 、当該映像素材に対するメモとして、撮影素材と対応付けられる。すなわち、メモ入力 者がメモ入力を行う際に、どの映像素材に対応するメモであるかを特定するための撮 影素材識別情報を調べたり、調べた撮影素材識別情報をメモとともに入力したりと ヽ う作業を必要とせずに、メモした単語と撮影素材を対応付けることが出来る。また、映 像素材の撮影時間情報のみならず、映像素材再生時の再生時間情報を用いて単語 と映像素材の対応関係を判定することにより、より高い精度で単語と映像素材の対応 付けを行うことができる。また、素材検索時には、メモした単語をキーワードとして、素 材の意図する素材を素早く見つけることが可能である。
[0069] [実施の形態 2]
図 27は、本発明の実施の形態 2に係る対応付けシステムの概要を示す図である。 対応付けシステムは、対応付け装置 110、撮影装置 200、入力装置 310を備える。 撮影装置 200は、実施の形態 1で用いた撮影装置と同じであるため説明を省略する
[0070] 入力装置 310は、入力用キーやテキストエディタプログラムを装備し、テキスト編集 が可能な入力手段を含む装置である。図に示すように、入力装置 310は、主に、ュ 一ザ入力受付部 311、編集履歴付与部 312、時刻管理部 313、メタデータ保持部 3 14、メタデータ登録部 315などで構成される。
[0071] ユーザ入力受付部 311は、入力装置の操作者力もの入力を受け付ける。編集履歴 付与部 312は、時計機能を有する時刻管理部 313を参照して、テキストの入力に関 する編集履歴を付与する。メタデータ保持部 314は、編集履歴に関するメタデータを 生成、保持する。メタデータ登録部 315は、生成したメタデータを登録する。つまり、 本実施の形態では、メモデータの入力に関する編集履歴データが入力装置 310で 生成される。
[0072] 対応付け装置 110は、撮影装置 200が撮影する映像データと、当該映像データの 撮影時間情報を含む映像素材メタデータとを撮影装置 200から取得する。また、入 力装置 310の操作者が入力したメモデータの編集履歴データを入力装置 310から 取得する。
[0073] 対応付け装置 110は、取得したメモデータ力 撮影された複数のカットのどれにつ いて説明されたものであるかを、以下に説明する手段により適切に判定し、カットごと にメモデータを対応付ける。
[0074] 尚、メモデータの入力は、撮影装置 200による撮影と同時に並行して行われる場合 もあるし、撮影後に映像内容の確認のために実施する再生の際に行われる場合もあ る。後述するが、再生中に行われるメモデータの入力は、撮影装置 200に再生時間 情報などの操作ログを出力する機能が装備されて ヽる場合のみ、映像素材との対応 付けを行うことができる。
[0075] 尚、入力装置 310と撮影装置 200はそれぞれの機能を有する同一の装置としても よい。
[0076] 対応付け装置 110は、データ取得部 10、タイムスタンプ算出部 20、単語間関連性 判定部 30、対応関係判定部 40、およびグループ間関連性判定部 50で構成される。 つまり、実施の形態 2で用いる対応付け装置 110は、実施の形態 1で用いた対応付 け装置 100にグループ間関連性判定部 50が追加された構成となっている。
[0077] データ取得部 10は、撮影装置 200から出力される映像素材メタデータを取得する 。また、入力装置 300から出力されるメモデータの編集履歴データを取得する。
[0078] タイムスタンプ算出部 20は、データ取得部 10が取得した編集履歴データに基づい て、編集終了後のメモデータの入力開始時刻情報及び入力終了時刻情報を単語や 文節単位で出力する。
[0079] 単語間関連性判定部 30は、所定の条件に基づいて単語間の関連性を判定し、関 連性のある単語を「同一のカットに対するメモ（単語グループ）」としてグループィ匕する 。また、グループ化された複数の単語のタイムスタンプをもとに、単語グループの入力 開始時刻情報を抽出する。
[0080] グループ間関連性判定部 50は、メモデータとカットの対応付け精度を向上させるた め、単語間関連性判定部 30でグループィ匕された単語グループについて、メモデータ の修正履歴に基づいてそれぞれの関連性を判定する。例えば、メモデータの入力時 刻情報に基づく判定ではカットとの対応付けが適切に行えない単語グループがある 場合、もし当該単語グループと関連性が高 、別の単語グループの存在が確認でき れば、別の単語グループが対応付けられて ヽるカットを当該単語グループにも適用 することができる。
[0081] 従って、実施の形態 2では、対応関係判定部 40は、カットの撮影時間情報または再 生時間情報と、単語グループの入力開始時刻情報に加え、単語グループ間の関連 性情報を参照して、単語グループと映像素材のカットとの対応付けを行う。
[0082] 次に、上記構成のシステムにおける対応付け装置の動作について説明する。
[0083] 図 28は、本発明の実施の形態 2における対応付け装置の対応付け動作の手順を 示すフローチャートである。はじめに、対応付け装置 110のデータ取得部 10は、入力 装置 300からメモデータの編集履歴データを取得する (ステップ S601)。図 29は、入 力装置 310に操作者が入力するメモデータの入力例を示す図である。
[0084] ここで、入力装置 310におけるメモデータ入力動作について説明する。図 30は、実 施の形態 2で用いる入力装置 310のメモデータ入力動作手順を示すフローチャート である。はじめに、ユーザ入力受付部 311は、文字を入力するための文字入力ボタ ンが押下されたか否かを判定する (ステップ S 701)。押下された場合、編集履歴付与 部 312は、時刻管理部 313を参照して入力開始時刻を取得する (ステップ S702)。
[0085] 次に、ユーザ入力受付部 311は、入力を確定するための決定ボタンが押下された か否かを判定する (ステップ S703)。押下された場合、編集履歴付与部 312は、同様 に入力終了時刻を取得し (ステップ S704)、「動作」を"入力"として、文字列、行、列 の情報を保存する (ステップ S 705)。更に、入力開始時刻 Z入力終了時刻を動作開 始時刻 Z動作終了時刻として保存し (ステップ S706)、入力された文字以降の文字 列について行、列の情報を修正する（ステップ S707)。これは、文字の入力が記述の 最後尾ではなぐ文中であった場合に、それ以降に予め書かれている文字の位置情 報 (行、列）を修正するための処理である。例えば、メモ内の任意文字の左隣に 1文 字を追記すると、当該任意文字は右側に 1文字分ずれることになるので、その (行、 列)情報は、列を + 1とする。
[0086] 一方、文字入力ボタンが押下された力否かの判定においてボタンが押下されてい ない場合、次にユーザ入力受付部 311は、入力した文字を削除するための削除ボタ ンが押下されたか否かを判定する (ステップ S 708)。押下された場合、編集履歴付与 部 312は、削除終了時刻を取得し (ステップ S709)、「動作」を"削除"として、文字列 、行、列の情報を保存する (ステップ S710)。更に、削除終了時刻を動作終了時刻と して保存し (ステップ S711)、削除された文字以降の文字列について行、列の情報を 修正する (ステップ S 712)。これは、削除した文字が最後尾の文字ではなぐ文中で あった場合に、それ以降に予め書かれている文字の位置情報 (行、列）を修正するた めの処理である。例えば、メモ内の任意文字の左隣の 1文字を削除すると、当該任意 文字は左側に 1文字分ずれることになるので、その（行、列）情報は、列を— 1とする。
[0087] 図 31は、対応付け装置 110のデータ取得部 10が入力装置 310から取得する編集 履歴データのデータ構造を模式的に示す図である。図 29に示すようなメモ入力に対 して、入力開始時刻や入力終了時刻、入力位置 (行、列)などの編集履歴情報が単 語や文節単位で保持されて 、る。
[0088] 図 28のフローチャートに戻り、データ取得部 10は、同様に撮影装置 200から、撮影 装置の動作やカットの撮影時刻等に関する映像素材メタデータを取得する (ステップ S602)。図 32は、取得した映像素材メタデータのデータ構造を模式的に示す図であ る。また、図 33は、内部処理により「撮影」と「再生」について時系列で統合された映 像素材メタデータのデータ構造を模式的に示す図である。尚、図 32および図 33では 、操作ログの生成が可能な撮影装置 200から取得した映像素材メタデータの例を示 している。即ち、撮影動作時だけでなぐ撮影後に行う再生確認動作時についても力 ットの再生時刻等に関するデータが保持される。図 32および図 33の例では、再生開 始後に一時停止、巻き戻し、早送りなどを繰り返し、最終的に当該カットを停止するま での動作を「再生確認」動作と定義し、すべての当該動作の開始力 終了までの時 刻をそれぞれ開始時刻、終了時刻として保持するようにしている。図に示すように、撮 影順と再生確認順は必ずしも同じとは限らず、また、同一カットが複数回再生確認さ れたり、任意のカットが一度も再生確認されな力つたりすることもある。
[0089] 次に、タイムスタンプ算出部 20は、データ取得部 10が取得した編集履歴データに 基づいて、入力開始時刻情報及び入力終了時刻情報、即ち、タイムスタンプを編集 終了後のメモデータについて単語や文節単位で算出する (ステップ S603)。図 34は 、タイムスタンプ算出部 20の算出動作手順を示すフローチャートである。
[0090] はじめに、タイムスタンプ算出部 20は、すべての編集履歴データの読み込みが完 了した力否かを判定する (ステップ S801)。読み込みが完了していない場合、タイム スタンプ算出部 20は、 1つ分の編集履歴データを読み込む (ステップ S802)。次に、 読み込んだ編集履歴データの「動作」が「入力」である力否かを判定し (ステップ S80 3)、「入力」である場合は更に、同一の位置情報を持つ文字列が内部テーブルに存 在するか否かを判定する（ステップ S804)。
[0091] 同一の位置情報を持つ文字列が内部テーブルに存在する場合、タイムスタンプ算 出部 20は、対象の内部テーブルの文字列に当該編集履歴データの対象文字を追 カロし (ステップ S805)、対象の内部テーブルの編集時刻に動作開始時刻を保存する (ステップ S806)そして、追カ卩により移動した内部テーブルの入力位置を修正する（ ステップ S807)。一方、同一の位置情報を持つ文字列が内部テーブルに存在しない 場合、当該編集履歴データの対象文字列、動作開始時刻、動作終了時刻、入力文 字の位置に関する情報 (即ち、行'列の情報）を内部テーブルに保存する (ステップ S 808)。
[0092] 一方、ステップ S803の判定において、動作が「入力」でない場合、次にタイムスタン プ算出部 20は、動作が「削除」である力否かを判定する (ステップ S809)。動作が「 削除」である場合、内部テーブルの入力文字列から削除対象の文字を消去し (ステツ プ S810)、対象の内部テーブルの編集時刻に動作終了時刻を保存する (ステップ S 811)。更に、削除により移動した内部テーブルの入力位置を修正する（実施例 1と同 様。 ) (ステップ S812)。
[0093] ステップ S807、ステップ S808、ステップ S812のそれぞれの処理終了後や、ステツ プ S809の判定において動作が「削除」でない場合は、再びステップ S801へ戻り、同 様の手順を繰り返す。一方、ステップ S801において全ての編集履歴データの読み 込みが完了した場合、タイムスタンプ算出部 20は内部テーブルを出力して (ステップ S813)、動作を終了する。
[0094] 図 35は、タイムスタンプ算出部 20の出力データのデータ構造を模式的に示す図で ある。入力開始時刻および入力終了時刻にカ卩え、編集が行われた時刻のデータ力 追記や削除などの編集が反映された単語に関して抽出されている。
[0095] 次に、図 28のフローチャートに戻り、単語間関連性判定部 30は、タイムスタンプ算 出部 20の出力データに対して、所定の条件に基づいて単語間の関連性を判定し、 関連性のある単語を「同一のカットに対するメモ（単語グループ）」としてグループィ匕 する (ステップ S604)。関連性の判定には、さまざまな条件を設定することが可能で ある力 一例として平均入力文字数により単語間の関連性を判定する方法を用いる。 尚、この方法の詳細にっ 、ては実施の形態 1で記述したので説明を省略する。
[0096] 尚、単語のグループ化が行われると、入力開始時刻および入力終了時刻の情報も 統合される。図 36は、単語間関連性判定部 30の出力データのデータ構造を模式的 に示す図である。入力開始時刻および入力終了時刻のデータ力 単語グループに 関して整理されている。
[0097] 次に、再び図 28のフローチャートに戻り、グループ間関連性判定部 50は、メモデ ータの修正履歴に基づ ヽて、単語間関連性判定部 30でグループィ匕された単語ダル ープそれぞれの関連性を判定する (ステップ S605)。図 37は、修正履歴に基づくグ ループ間関連性判定動作の手順を示すフローチャートである。グループ間関連性判 定部 50は、修正履歴ありの単語グループについて以下の作業を繰り返す (ステップ S901)。
[0098] はじめに、グループ間関連性判定部 50は、対象の単語グループの修正時刻の前 後 X分以内と入力開始時刻から入力終了時刻までの時間が重なっている単語ダル ープがある力否かを判定する (ステップ S902)。該当する単語グループがある場合、 グループ間関連性判定部 50は、対象の単語グループと該当する単語グループとの 関連性を「高」に設定する (ステップ S903)。グループ間関連性判定部 50は、ステツ プ S902からステップ S903までの判定動作を、修正履歴を持つすべての単語グルー プに繰り返す (ステップ S904)。尚、上記において Xは任意の数値を設定してよい。
[0099] 図 38は、グループ間関連性判定部 50の出力データのデータ構造を模式的に示す 図である。単語グループ間の関連性は、相互に関連する単語グループの文字列の 番号で把握できる。例えば、 No. 1の単語グループ「書斎の様子」の関連性「4」は、 " No. 4の単語グループ「ナレーション挿入」と関連性が高い"ことを示す。尚、本実施 の形態では、関連性を「高 Z低 (無し)」だけで判定した力 図 37のステップ S902の 判定手順において重なり具合が大きいものほど数値を高くするなど、数値を用いて関 連性を表現するようにしてもよい。その際は、任意に設定した閾値を超過した場合に 関連性が高いと判定する。
[0100] 次に、再び図 28のフローチャートに戻り、対応関係判定部 40は、映像素材メタデ ータ（図 33参照）とメモデータ（図 38参照）を参照して、カットの撮影時間または再生 時間と単語グループの入力開始時刻との関連性、単語グループ間の関連性、をそれ ぞれ判定し、カットとメモデータの対応付けを行う（ステップ S606)。
[0101] ここで、図 39は、単語グループの入力開始時刻と、カットの撮影時間または再生時 間の関係を時間経過で整理した図である。実施の形態 1と比較して、単語グループ ごとの関連性をカットとメモデータの対応付けに用いることができるので、より精度の 高い対応付けが行える。
[0102] 任意の単語グループがどのカットについて記述したメモデータであるかは、実施の 形態 1で示したのと同じ次の基準に従って判定される。即ち、任意カットの撮影中に 入力が開始されたメモデータは当該カットに関する情報であると推定する。また、異 なる 2つのカットの撮影の合間に入力が開始されたメモデータは前後いずれかのカツ トに関する情報であると推定する。但し、後述するように、異なる 2つのカットの撮影の 合間に入力が開始される場合、合間の時間を適切な条件で二分し、前の時間は直 前に撮影されたカットに関する情報であると推定し、後の時間は直後に撮影される力 ットに関する情報であると推定するように設定しても力まわな 、。
[0103] 次に、対応関係判定部 40の具体的な判定動作にっ 、て説明する。図 40は、撮影 時間情報を用いた対応付け動作の手順を示すフローチャートである。また、図 41は、 撮影時間情報を用いた対応付け動作による対応付け候補判定結果を模式的に示す 図である。はじめに、「C=カット数」及び「N= 1」の初期設定を行う（ステップ S1001 およびステップ S1002)。次に、対応関係判定部 40は、「撮影開始前に入力されるメ モデータは、その後撮影が開始されるカットについてのメモである確率が高い」という 推定に基づいて、 N番目のカット（ここでは N= lであるので最初のカットを意味する） の撮影開始時刻以前に入力開始時刻を持つメモの対応付け候補にカット Nを追カロ する（ステップ S 1003)。
[0104] 次に、対応関係判定部 40は、「撮影中に入力されるメモデータは、現在撮影中の カットにっ 、てのメモである確率が高!、」 t 、う推定に基づ 、て、 N番目のカットの撮 影開始力 撮影終了までの時間内に入力開始時刻を持つメモの対応付け候補に力 ット Nを追加する（ステップ S1004)。例えば、カット Aは撮影時間が 13 : 00から 13 : 1 0までで（図 33参照）、また「書斎の様子」 t 、うメモは入力開始時刻が 13： 01である ため（図 38参照）、このメモの対応付け候補に"カット A"が追加される（図 41参照)。
[0105] 次に、対応関係判定部 40は、 Nの数値を 1だけインクリメントして (ステップ S1005) 、 Nの値が Cの値に到達したか否かを判定する（ステップ S1006)。
[0106] Nの値が Cの値に到達して!/ヽな 、場合 (ステップ S 1006の NO)、対応関係判定部 40は、ステップ S1004に戻り、上記と同様の処理を次のカットに対して再度実行する
[0107] 一方、 Nの値が Cの値に到達した場合 (ステップ S 1006の YES)、即ち最後のカット となった場合、対応関係判定部 40は、「最後のカットの撮影中に入力されるメモデー タは、撮影中の最後のカットにっ 、てのメモである確率が高 、」 t 、う推定に基づ ヽ て、 N番目のカット (ここでは最後のカットを意味する）の撮影開始から撮影終了まで の時間内に入力開始時刻を持つメモの対応付け候補にカット Nを追加する (ステップ S1007)。
[0108] 次に、対応関係判定部 40は、最後のカットの撮影終了後に入力されるメモデータ は、最後に撮影したカットにっ 、てのメモである確率が高 、」 t 、う推定に基づ 、て、 N番目のカット（ここでは最後のカットを意味する）の撮影終了以後に入力開始時刻を 持つメモの対応付け候補にカット Nを追加する (ステップ S 1008)。例えば、カット Eの 撮影終了時刻は 14： 35で（図 33参照）、また「薄暗 、」 t 、うメモは入力開始時刻が 2 0 : 15であるため（図 38参照）、このメモの対応付け候補に"カット E"が追加される（図 41参照)。
[0109] 以上の手順により、撮影を行ったカットと入力されたメモデータの対応付けが行わ れる。尚、上記の手順では、撮影の合間の時間を割合で区切っているが、別の方法 で区切りを検出しても良い。例えば、撮影の合間に書かれたメモの入力間隔を調べ て、一番間隔が開いている箇所を区切れ目としても良い。また、前述の基準に従って 、合間の時間に入力開始されたメモには、前後に撮影された 2つのカット両方を候補 として対応付けるようにしてもょ 、。
[0110] 次に、再生時間情報を用いた対応付け動作について説明する。この対応付け動作 では、実施の形態 1における対応付け動作手順のフローチャート（図 23参照）を用い て対応付けを行 、、その後撮影時間情報を用いた対応付け候補と再生時間情報を 用いた対応付け候補とをマージする方法を用いてもよい。しかし、ここでは「再生中に 入力されるメモデータは、現在再生中のカットについてのメモである確率が撮影時間 情報を用いた対応結果よりも高 、」 t 、う推定に基づ 、て対応付けを実行することに より、より精度の高い対応付けを行う例について説明する。図 42は、再生時間情報を 用いた対応付け動作の手順を示すフローチャートである。はじめに、「C =再生確認 した延べカット数」及び「N = 1」の初期設定を行う（ステップ S 1101およびステップ S 1 102)。
[0111] 次に、対応関係判定部 40は、「再生中に入力されるメモデータは、現在再生中の カットにっ 、てのメモである確率が、撮影時刻による対応付けの結果よりも高 、」 t ヽ う推定に基づいて、 N番目のカット（ここでは N= 1であるので最初のカットを意味する )の再生確認時間内に入力開始時刻を持つメモにっ 、て、録画時間による対応付け 候補を削除し、対応付け候補にカット Nを追加する (ステップ S1103)。例えば、最初 のカット Aの再生時間は 20： 10力 20： 20までで（図 33参照）、また「薄暗!/、」 t\、ぅメ モは入力開始時刻が 20 : 15であるため（図 38参照）、撮影時間による対応付けの結 果このメモの対応付け候補となっていた"カット E"を削除し、 "カット A"が採用される ( 図 41参照)。 [0112] 次に、対応関係判定部 40は、「任意のカットの再生終了後から次の別カットの再生 開始前にまでに入力されるメモデータは、直前に再生を終了したカットについてのメ モである確率力 撮影時刻による対応付けの結果よりも高 、」 t 、う推定に基づ 、て、 N番目のカット（ここでは N= 1であるので最初のカットを意味する）の再生確認終了 後から N+ 1番目のカット（同様に、ここでは 2番目のカットを意味する）の再生確認以 前に入力開始時刻を持つメモについて、録画時間による対応付け候補を削除し、対 応付け候補にカット Nを追加する (ステップ S1104)。
[0113] 次に、対応関係判定部 40は、「再生中にメモの修正が実行されるメモデータは、現 在再生中のカットにっ 、てのメモである確率が高 、」 t\、う推定に基づ 、て、 N番目 のカットの再生確認時間内に修正時刻を持つメモにっ 、て、録画時間による対応付 け候補にカット Nが含まれて 、ればカット N以外の対応付け候補を削除する (ステップ S1105)。
[0114] 更に、対応関係判定部 40は、「任意のカットの再生終了後から次の別カットの再生 開始前にまでにメモの修正が実行されるメモデータは、直前に再生を終了したカット につ 、てのメモである確率が高!、」 t\、う推定に基づ 、て、 N番目のカットの再生確 認終了後から N+ 1番目のカットの再生確認以前に修正時刻を持つメモについて、 録画時間にカット Nが含まれていればカット N以外の対応付け候補を削除する (ステ ップ S 1106)。
[0115] 次に、対応関係判定部 40は、 Nの数値を 1だけインクリメントして (ステップ S1107) 、 Nの値が Cの値に到達したか否かを判定する（ステップ S1108)。
[0116] Nの値が Cの値に到達していない場合 (ステップ S 1108の NO)、対応関係判定部 40は、ステップ S1105に戻り、上記と同様の処理を次のカットに対して再度実行する
[0117] 一方、 Nの値が Cの値に到達した場合 (ステップ S 1108の YES)、即ち最後のカット となった場合、対応関係判定部 40は、「最後のカットの再生中または再生終了後に 入力されるメモデータは、最後に再生したカットについてのメモである確率力 撮影 時刻による対応付けの結果よりも高 、」 t 、う推定に基づ 、て、 N番目のカット (ここで は最後のカットを意味する）の再生確認時間内もしくは再生確認終了後に入力開始 時刻を持つメモについて、録画時間による対応付け候補を削除し、対応付け候補に カット Nを追カロする（ステップ S 1109)。
[0118] 更に、対応関係判定部 40は、「最後のカットの再生中または再生終了後にメモの 修正が実行されるメモデータは、最後に再生したカットについてのメモである確率力 撮影時刻による対応付けの結果よりも高 、」 t 、う推定に基づ 、て、 N番目のカット（ ここでは最後のカットを意味する）の再生確認時間内もしくは再生確認終了後に修正 時刻を持つメモについて、録画時間による対応付け候補にカット Nが含まれていれば カット N以外の対応付け候補を削除する (ステップ SI 110)。
[0119] 以上の手順により、再生を行ったカットと入力されたメモデータの対応付けが行わ れる。図 43は、再生時間情報を用いた対応付け動作による対応付け候補判定結果 を模式的に示す図である。
[0120] 対応関係判定部 40は、「撮影時間情報を用いた対応付け」と「再生時間情報を用 いた対応付け」それぞれの対応付け候補判定結果を統合して、メモデータの入力時 刻に基づいた対応付けを決定する。図 44は、カットとメモデータとのメモデータの入 力時刻に基づいた対応付け結果を模式的に示す図である。
[0121] 次に、対応関係判定部 40は、単語グループ間の関連性に基づ 、た対応付け候補 の判定を行う。図 45は、単語グループ間関連性情報を用いた対応付け動作の手順 を示すフローチャートである。対応関係判定部 40は、対応付け候補が 2つ以上あるメ モについて以下の作業を繰り返す (ステップ S1201)。例えば、図 44に示すように、「 ナレーション挿入」には、カット A、カット Bという二つの対応付け候補が存在する。以 下、この「ナレーション挿入」 t ヽぅメモを具体例として説明する。
[0122] はじめに、対応関係判定部 40は、相互に関連性の高い単語グループが存在する か否かを判定する（ステップ S 1202)。図 38に示すように「ナレーション挿入」には、 関連性の高いグループとして、「書斎の様子」が存在する。存在する場合、対応関係 判定部 40は、更に関連性の高 、単語グループと共通の対応付け候補が有る力否か を判定する (ステップ S 1203)。図 44に示すように、「ナレーション挿入」と関連性の高 Vヽ単語グループである「書斎の様子」とは、対応付け候補としてカット Aが共通する。 共通の対応付け候補が有る場合、対応関係判定部 40は、関連性の高い単語グルー プと非共通の対応付け候補を削除し (ステップ S1204)、共通の対応付け候補だけ にする。すなわち、「ナレーション挿入」については、関連性の高い「書斎の様子」と 非共通の対応付け候補であるカット Bを削除し、共通の対応付け候補であるカット A を対応付ける。対応関係判定部 40は、ステップ S 1202からステップ S 1204までの判 定動作を、対応付け候補が 2つ以上あるすベてのメモについて繰り返す (ステップ S1 205)。
[0123] 図 46は、単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示 す図である。例えば、上述したように、当初、図 44のカットとメモデータとのメモデータ の入力時刻に基づいた対応付け結果により"カット Aとカット B"が対応付けられてい た「ナレーション挿入」は、図 38に示すグループ間関連性判定部 50の出力データに 基づいて、 "カット A"に対応付けが変更されている。図 47は、カットに対応付けられ たメモデータを概念的に示す図である。
[0124] 以上説明したように、本実施の形態に係る対応付けシステムによれば、修正履歴情 報を用いて、複数の単語が同一のカットに対するメモ情報としてグループィ匕されるた め、メモ情報の入力者が本来意図したメモと映像素材とを適切に対応付けることがで きる。
[0125] [実施の形態 3]
次に、実施の形態 2で説明したグループ間関連性判定部 50で、入力装置 310の位 置情報に基づ 、てグループ間関連性の判定を行う例にっ 、て説明する。図 48は、 本発明の実施の形態 3に係る対応付けシステムの概要を示す図である。対応付けシ ステムは、対応付け装置 110、撮影装置 200、入力装置 320を備える。実施の形態 2 の構成と比較して、入力装置 320に位置情報取得部 316が追加されている点が異な る。
[0126] 位置情報取得部 316は、 GPS (Global Positioning System)〖こより、入力装置 320本 体の現在位置情報を所定の周期で出力する。その他の内部構成および各部の機能 は実施の形態 2のそれらと同様であるため、説明を省略する。尚、位置情報取得部を 、撮像装置内部に設けてもよいし、別装置として構成しディレクタ一等に装着させても よい。 [0127] 次に、上記構成のシステムにおける対応付け装置の動作について説明する。
[0128] 図 49は、本発明の実施の形態 3における対応付け装置の対応付け動作の手順を 示すフローチャートである。はじめに、対応付け装置 110のデータ取得部 10は、入力 装置 320からメモデータの編集履歴データと GPS力もの位置情報を取得する（ステツ プ S1301)。編集履歴データの取得方法は、実施の形態 2と同様であるので説明を 省略する。図 50は、データ取得部 10が取得する位置情報のデータ構造を模式的に 示す図である。入力装置 320の緯度と軽度に関するデータが所定周期で出力される
[0129] 次のステップ S 1302からステップ S 1304までの手順は、実施の形態 2の図 28のフ ローチャートにおけるステップ S602からステップ S604までの手順と同様であるので 説明を省略する。
[0130] 次に、グループ間関連性判定部 50は、メモデータの修正履歴と位置情報に基づ!/ヽ て、単語間関連性判定部 30でグループィ匕された単語グループそれぞれの関連性を 判定する (ステップ S 1305)。尚、修正履歴に基づくグループ間関連性の判定は実 施の形態 2の方法と同じであるため、説明を省略する。ここでは、位置情報に基づく グループ間関連性の判定について説明する。
[0131] 図 51は、位置情報に基づくグループ間関連性判定動作の手順を示すフローチヤ ートである。グループ間関連性判定部 50は、取得した位置情報力も一定期間ごとの 移動量を算出する (ステップ S1401)。本実施例では、一定期間を一分として、一分 ごとの移動量を算出している。次に、算出した移動量から平均移動量を算出する (ス テツプ S1402)。これにより、入力装置 320の操作者がほぼ静止した状態にあるのか 、または車中などで移動している状態にあるのかなどが把握できる。従って、 2つのメ モデータの入力時刻が近接していても、例えば、メモを入力した場所が異なると判定 される場合、それら 2つのメモは同じカットについて入力されたものではなぐ別々の カットについて入力されたメモデータである可能性が高いと推定できる。
なお、一定期間を一分としている力 この値は変更可能である。
本実施例では、ドキュメンタリー番組の制作における一回の撮影 (録画開始から停 止まで)時間がおよそ一分であるため、一分ごとの移動量を算出することで移動中と 静止中の検出を行って!/、るが、一回の撮影時間が短 、ジャンルの番組を制作する場 合には、作業量算出間隔を短くすればよい。
[0132] 次に、グループ間関連性判定部 50は、平均移動距離が所定の閾値を下回った時 刻を入力装置の状態 (移動中または静止中）の区切りと判定する (ステップ S1403)。 即ち、閾値より移動量が少ない場合、当該入力装置 320の操作者はほぼ静止した状 態であると判定され、移動量が閾値を超過している場合、当該入力装置 320の操作 者は移動中であると判定される。
[0133] 図 52は、位置情報に基づくグループ間関連性判定の状況を説明するための図で ある。上記の判定動作により、入力装置が移動中であるか静止中であるかが区別さ れる。この区切りを参照して、例えば、移動中に入力されたメモデータと静止中に入 力されたメモデータとは関連性が低い (即ち、同じカットについて入力したメモデータ ではない）と判定できる。一般的な番組制作では、ロケ地に到着すると撮影準備を行 い、その後撮影を行い、次のロケ地に移動するといつたフローが繰り返される。したが つて、移動中はロケ地の移動であり、静止中は撮影準備もしくは撮影中である可能性 が高い。移動中は直前に撮影したカットのメモを書いている可能性が高ぐ撮影準備 中はこれから撮影するカットのメモを書いている可能性が高い。したがって、撮影の 合間に移動中と静止中の切れ目がある場合には、この以前と以降で別のカットに関 するメモが書かれて 、る可能性が高!、。
[0134] 図 53は、グループ間関連性判定部 50の出力データのデータ構造を模式的に示す 図である。位置的な区切りがある（即ち、入力位置が異なる）ので相互に関連性が低 いと推定される単語グループは、単語グループの文字列の番号で把握できる。例え ば、 No. 7の単語グループ「後半◎」と No. 8の単語グループ「漁港と力モメ」は、関 連性が低いことを示す。尚、ここでは修正履歴に基づく単語グループ間の関連性判 定結果は省略してある。
[0135] 次に、再び図 49のフローチャートに戻り、対応関係判定部 40は、映像素材メタデ ータとメモデータを参照して、カットの撮影時間または再生時間と単語グループの入 力開始時刻との関連性、単語グループ間の関連性 (修正履歴や位置情報)、をそれ ぞれ判定し、カットとメモデータの対応付けを行う（ステップ S 1306)。 [0136] ここで、図 54は、単語グループの入力開始時刻と、カットの撮影時間または再生時 間の関係を時間経過で整理した図である。 GPSの位置情報に基づいて、入力した 場所の異なるメモは関連性が低い、即ち、別のカットについてのメモであると判定でき るので、実施の形態 1と比較してより精度の高い対応付けが行える。対応関係判定部 40の具体的な判定動作のうち、以下では位置情報を用いた対応付け動作につ！、て のみ説明する。
[0137] 図 55は、位置情報を用いた対応付け動作の手順を示すフローチャートである。対 応関係判定部 40は、対応付け候補が 2つ以上あるメモについて以下の作業を繰り返 す (ステップ S 1501)。
[0138] はじめに、対応関係判定部 40は、相互に関連性の低い単語グループが存在する か否かを判定する (ステップ S 1502)。存在する場合、対応関係判定部 40は、更に 関連性の低 、単語グループと共通の対応付け候補が有るか否かを判定する (ステツ プ S1503)。共通の対応付け候補が有る場合、対応関係判定部 40は、関連性の低 い単語グループと共通の対応付け候補を削除する (ステップ S1504)。対応関係判 定部 40は、ステップ S 1402からステップ S 1404までの判定動作を、対応付け候補が 2つ以上あるすベてのメモにつ!、て繰り返す (ステップ S 1505)。
[0139] 図 56は、単語グループ間の関連性を用いた対応付け候補判定結果を模式的に示 す図である。「後半◎」と「漁港と力モメ」は関連性が低ぐ同じカットについてのメモで はないと判定されたため、当初"カット Bとカット C"が対応付けられていた「漁港とカモ メ」は"カット C"に対応付けが変更されている。尚、ここでは修正履歴に基づく単語グ ループ間の関連性判定結果は別途反映されるものとする。図 57は、カットに対応付 けられたメモデータを概念的に示す図である。
[0140] 以上説明したように、本実施の形態に係る対応付けシステムによれば、入力装置の 位置情報を用いることにより、たとえ単語の入力時刻が近接していても、異なる場所 で入力されたメモ情報は関連性が低 、ためグループ化しな 、と判定するなど、複数 の単語を同一のカットに対するメモ情報として適切にグループィ匕することができる。
[0141] なお、本実施例では、文字入力装置を使用して入力したメモが文字列として管理さ れているが、撮影素材と対応付けるメモが文字列でなくても、本発明の対応付け装置 により撮影素材と対応付けることができる。例えば、ペンタブレット等を用いて入力さ れたメモを撮影素材と対応付けることも可能である。ここでペンタブレットとは、板状の 本体であるタブレットの上で専用のペン型入力端末等を動かすことにより、手書き入 力された軌跡をデジタルデータとして管理出来る入力端末である。入力されたデータ は、特定もしくは不特定な時間間隔ごとに、その時間内に入力された軌跡を入力デ ータとして入力時刻情報とともに管理している。したがって、この 1つ 1つの入力デー タを本実施例における 1つの単語とし、本発明の対応付け装置によって、入力データ のグループ化、撮影素材との対応付けを行うことで、ペンタブレット等を用いて入力さ れたメモを撮影素材と対応付けることも可能である。このように、入力データと入力時 刻情報とを管理する機能を有する入力装置であれば、いずれの入力装置を使用して 入力したデータであっても、映像素材との対応付けが可能である。
[0142] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明ら かである。
本出願は、 2005年 11月 16日出願の日本特許出願 (特願 2005— 331694)に基づくも のであり、その内容はここに参照として取り込まれる。
産業上の利用可能性
[0143] 本発明の対応付け装置は、単語の入力時刻情報に基づいて単語と映像素材との 対応付けを行うことにより、映像素材の撮影中に入力が開始された単語は、当該映 像素材に対するメモとして、撮影素材と対応付けられる為、単語の入力者が映像素 材との対応を意識することなく従来手書きしていたのと同じ感覚で単語を入力するだ けで、入力したメモ情報が該当する映像素材毎に対応付けられ、メモをキーワードと して、素材の検索を迅速に行える効果を有し、取得した複数のデータを互いに対応 付ける対応付け装置等に有用である。

Claims

請求の範囲
[1] 取得した複数のデータを互いに対応付ける対応付け装置であって、
入力された単語の入力開始時刻情報と撮影された映像素材の撮影時間情報とを 用いて、前記単語と前記映像素材とを対応付ける対応関係判定手段を備える対応 付け装置。
[2] 入力された複数の単語間の関連性を判定することにより単語のグループ化を行う単 語間関連性判定手段を備え、
前記対応関係判定手段は、グループ化された単語群と前記映像素材とを対応付け る請求項 1記載の対応付け装置。
[3] 前記グループ化された単語群間の関連性を判定するグループ間関連性判定手段 を備え、
前記対応関係判定手段は、前記グループ間関連性判定手段の判定結果に基づい て、グループ化された単語群と前記映像素材とを対応付ける請求項 2記載の対応付 け装置。
[4] 前記グループ間関連性判定手段は、修正履歴情報を用いて前記グループ化され た単語群間の関連性を判定する請求項 3記載の対応付け装置。
[5] 前記グループ間関連性判定手段は、単語が入力された際の位置情報を用いて前 記グループ化された単語群間の関連性を判定する請求項 3記載の対応付け装置。
[6] 前記対応関係判定手段は、前記映像素材の再生動作に関する操作ログを参照し て前記単語と前記映像素材とを対応付ける請求項 1な 、し 5の 、ずれか一項記載の 対応付け装置。
[7] 請求項 1ないし 6のいずれか一項記載の対応付け装置と、単語ごとの入力開始時 刻を取得、管理する入力管理装置と、前記撮影素材を撮影する撮像装置と、を備え る対応付けシステム。
[8] 請求項 1ないし 6のいずれか一項記載の対応付け装置に接続される入力管理装置 であって、
単語ごとの入力開始時刻を取得、管理する入力管理装置。
PCT/JP2006/322880 2005-11-16 2006-11-16 対応付け装置 WO2007058268A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/093,877 US8134592B2 (en) 2005-11-16 2006-11-16 Associating device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005331694A JP4820627B2 (ja) 2005-11-16 2005-11-16 対応付け装置
JP2005-331694 2005-11-16

Publications (1)

Publication Number Publication Date
WO2007058268A1 true WO2007058268A1 (ja) 2007-05-24

Family

ID=38048652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/322880 WO2007058268A1 (ja) 2005-11-16 2006-11-16 対応付け装置

Country Status (4)

Country Link
US (1) US8134592B2 (ja)
JP (1) JP4820627B2 (ja)
CN (1) CN101310516A (ja)
WO (1) WO2007058268A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5781275B2 (ja) * 2010-04-22 2015-09-16 シャープ株式会社 電子機器、表示方法、および表示プログラム
KR101718027B1 (ko) * 2010-09-09 2017-03-20 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법
JP6295634B2 (ja) * 2013-12-18 2018-03-20 富士ゼロックス株式会社 情報処理システム及びプログラム
CN105068981A (zh) * 2015-08-10 2015-11-18 联想(北京)有限公司 一种信息处理方法、电子设备及电子装置
JP6588392B2 (ja) * 2016-06-24 2019-10-09 古河電気工業株式会社 点検支援システム、情報端末、点検支援方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08185452A (ja) * 1994-12-28 1996-07-16 Sharp Corp 文書作成装置
JPH09198396A (ja) * 1996-01-16 1997-07-31 Fuji Xerox Co Ltd 文書検索装置
JPH1042177A (ja) * 1996-07-26 1998-02-13 Nec Corp 取材用映像音声記録カメラ及び専用再生装置
JP2001282813A (ja) * 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP2002082684A (ja) * 2000-09-07 2002-03-22 Sony Corp プレゼンテーションシステム及びプレゼンテーションデータ生成方法、並びに記録媒体
JP2002092032A (ja) * 2000-09-12 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 次検索候補単語提示方法および装置と次検索候補単語提示プログラムを記録した記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717468A (en) * 1994-12-02 1998-02-10 International Business Machines Corporation System and method for dynamically recording and displaying comments for a video movie
JP3376314B2 (ja) * 1999-05-12 2003-02-10 株式会社東芝 デジタル映像情報媒体、デジタル映像情報記録再生装置およびデジタル映像情報処理方法
US6937295B2 (en) * 2001-05-07 2005-08-30 Junaid Islam Realistic replication of a live performance at remote locations
JP2003339006A (ja) 2002-05-21 2003-11-28 Sony Corp コンテンツ記録再生装置又はコンテンツ記録再生方法、情報処理装置又は情報処理方法、並びにコンピュータ・プログラム
US6988245B2 (en) * 2002-06-18 2006-01-17 Koninklijke Philips Electronics N.V. System and method for providing videomarks for a video program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08185452A (ja) * 1994-12-28 1996-07-16 Sharp Corp 文書作成装置
JPH09198396A (ja) * 1996-01-16 1997-07-31 Fuji Xerox Co Ltd 文書検索装置
JPH1042177A (ja) * 1996-07-26 1998-02-13 Nec Corp 取材用映像音声記録カメラ及び専用再生装置
JP2001282813A (ja) * 2000-03-29 2001-10-12 Toshiba Corp マルチメディアデータ検索方法、インデックス情報提供方法、マルチメディアデータ検索装置、インデックスサーバ及びマルチメディアデータ検索サーバ
JP2002082684A (ja) * 2000-09-07 2002-03-22 Sony Corp プレゼンテーションシステム及びプレゼンテーションデータ生成方法、並びに記録媒体
JP2002092032A (ja) * 2000-09-12 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 次検索候補単語提示方法および装置と次検索候補単語提示プログラムを記録した記録媒体

Also Published As

Publication number Publication date
US20090268017A1 (en) 2009-10-29
JP2007142644A (ja) 2007-06-07
JP4820627B2 (ja) 2011-11-24
US8134592B2 (en) 2012-03-13
CN101310516A (zh) 2008-11-19

Similar Documents

Publication Publication Date Title
KR101810578B1 (ko) 셔터 클릭을 통한 자동 미디어 공유
US7536713B1 (en) Knowledge broadcasting and classification system
CN104935782B (zh) 信息处理设备及其控制方法
US20080033983A1 (en) Data recording and reproducing apparatus and method of generating metadata
JP5289151B2 (ja) データ管理装置、その制御方法及びプログラム
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
JP4643735B1 (ja) 電子機器及び映像処理方法
KR100701132B1 (ko) 정보처리장치 및 정보처리방법
WO2004002144A1 (ja) メタデータ作成装置、その作成方法および検索装置
WO2007000949A1 (ja) 再生開始位置制御付きコンテンツ再生方法および装置
CN102129448A (zh) 图像管理设备及其控制方法
US9449646B2 (en) Methods and systems for media file management
WO2007058268A1 (ja) 対応付け装置
US20130094697A1 (en) Capturing, annotating, and sharing multimedia tips
US9195312B2 (en) Information processing apparatus, conference system, and information processing method
US20060082664A1 (en) Moving image processing unit, moving image processing method, and moving image processing program
JP4018678B2 (ja) データ管理方法および装置
CN102855235B (zh) 为电子文件建立相对时间信息的方法及设备
JP2000092419A (ja) 番組情報管理編集システムとそれに使用される階層化番組情報蓄積管理装置
JP2007316876A (ja) 文書検索プログラム
JP4326753B2 (ja) 映像情報インデキシング支援システム、プログラム及び記憶媒体
JP2005039354A (ja) メタデータ入力方法と編集システム
JP2007213350A (ja) 情報像処理装置及び情報像処理方法。
KR20150124231A (ko) 미디어 수집장치 및 방법
KR100943645B1 (ko) 네트워크 회의 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680042939.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 12093877

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06832760

Country of ref document: EP

Kind code of ref document: A1