WO2010073695A1 - 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体 - Google Patents

編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2010073695A1
WO2010073695A1 PCT/JP2009/007241 JP2009007241W WO2010073695A1 WO 2010073695 A1 WO2010073695 A1 WO 2010073695A1 JP 2009007241 W JP2009007241 W JP 2009007241W WO 2010073695 A1 WO2010073695 A1 WO 2010073695A1
Authority
WO
WIPO (PCT)
Prior art keywords
editing
section
information
content
edit
Prior art date
Application number
PCT/JP2009/007241
Other languages
English (en)
French (fr)
Inventor
平川康史
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN2009801527194A priority Critical patent/CN102265610A/zh
Priority to US12/998,960 priority patent/US8819558B2/en
Priority to JP2010543907A priority patent/JPWO2010073695A1/ja
Publication of WO2010073695A1 publication Critical patent/WO2010073695A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/60—Solid state media
    • G11B2220/61—Solid state media wherein solid state memory is used for storing A/V content

Definitions

  • the present invention relates to an editing information presenting apparatus, an editing information presenting method, an editing information presenting program, and a recording medium, and in particular, an editing information presenting apparatus capable of presenting a correspondence relationship between content before editing and content after editing. About.
  • Video editing software Adobe Premier Pro CS3 exists as existing software that can confirm content editing history information (for example, Non-Patent Document 1).
  • This software is software for editing video contents, and has a function of managing editing history information called “history” that holds editing actions performed by a user during video editing in time order.
  • Patent Document 1 describes a video editing support device.
  • this video editing support device candidates for how to arrange shots during video editing are presented to general users who have no video editing technology and knowledge.
  • This video editing support device learns the pre-edit video and post-edit video and sound time-series configuration information, synchronization information, and the same scene, illuminates the characteristics and learning results of the material video to be edited, Present candidates.
  • learning is performed using the edited video after the editing process and the pre-editing video that is the video before the editing process.
  • FIG. 19 is a diagram showing only the learning means part of the video editing support apparatus of Patent Document 1.
  • the learning unit 1000 includes a video reception unit 1001, a video signal extraction unit 1002, and a video analysis unit 1003.
  • the pre-edit video and post-edit video used for learning are input to the video accepting unit 1001.
  • the video signal extraction unit 1002 extracts the video and sound characteristics of the pre-edit video and the post-edit video obtained by the video reception unit 1001.
  • the video analysis unit 1003 determines which shot of the pre-edit video is used at which position of the post-edit video by comparing the video and sound characteristics of the pre-edit video and the post-edit video. .
  • Patent Document 2 the relationship between a material called a parent clip and a child segment created from this material is indicated by an arrow (or other correspondence expression such as color), that is, between the parent clip and the child segment.
  • An arrow or other correspondence expression such as color
  • the second problem is that the user cannot easily grasp the outline of changes in the entire content before and after editing.
  • the reason for this is that in order to show an overview of changes in the entire content before and after editing, it is necessary to calculate editing information that indicates the general structure change of the content before and after editing from the editing history information.
  • An edit history information management function cannot extract an overview of changes in the entire content.
  • the method of Patent Document 1 has a function of automatically generating content in accordance with rules obtained from learned content, the editing action performed by the user is stored as editing history information, and changes in content are explicitly displayed. Therefore, it is not possible to extract an outline of changes in the entire content.
  • Patent Document 2 does not disclose the state of movement of clips (sections) in the content before and after editing.
  • the corresponding information is obtained by grouping the parts and pre-editing content and post-editing content. By displaying, the intention of editing could not be understood more clearly.
  • the present invention has been made in view of the above-described problem, and can provide an editing information presentation device, an editing information presentation method, and a program capable of presenting a user's intention for editing and grasping the outline of the editing content. And providing a recording medium.
  • an editing information presenting apparatus that presents a correspondence relationship before and after editing in an editing process in which content having a time axis is corrected for each section, A part composed of a plurality of sections that are sandwiched between sections that are not modified in the content before editing and a section that is sandwiched between sections that are not modified in the edited content.
  • Edit section information acquisition means for associating a plurality of sections corresponding to each other between portions composed of a plurality of sections;
  • Presenting means for presenting the correspondence of the plurality of sections as one correspondence;
  • An editing information presentation apparatus characterized by comprising:
  • the editing information presentation device refers to the relationship between the pre-edit content and post-edit content sections, two types of section information, that is, an edit section and an unedited section, group information in which continuous edit sections are grouped, and sections
  • This is an apparatus that extracts and displays editing information that summarizes correspondence information between each other, between groups, and between sections and groups.
  • the editing information presentation device displays the summary of the editing content using the group information of the editing information and the correspondence information between the groups, or displays the details of the editing content using the section information and the related information between the sections. Or, it is possible to change the outline and details of the editing content by inputting to the editing information presentation device. In order to grasp the outline of the edited content, it is important to display the correspondence information between groups.
  • the correspondence information between the groups is a summary of the correspondence relations of editing sections between contents before and after editing. Therefore, if the editing section between the contents before and after editing belongs to the same group in each of the contents before and after editing, the editing section exists in the associated group by knowing the association information between the groups. Then, the outline of the editing contents that some kind of editing has been performed can be understood. In other words, by replacing the correspondence information between the editing sections between the pre-edit content and the post-edit content with the correspondence information between the groups, the correspondence relationship between the content before and after editing can be expressed succinctly. it can. Thereby, it is possible to grasp the outline of the editing content.
  • the content used here refers to content having time information such as moving image data and sound data, and does not include content having no time information such as text and still images.
  • an editing information presentation method in an editing information presentation device for presenting a correspondence relationship before and after editing in content for editing processing for correcting content having a time axis for each section, A part composed of a plurality of sections that are sandwiched between sections that are not modified in the content before editing and a section that is sandwiched between sections that are not modified in the edited content.
  • Edit section information acquisition step for associating a plurality of sections corresponding to each other between the sections composed of a plurality of sections, A presentation step of presenting the association of the plurality of sections as one correspondence;
  • an editing information presentation method characterized by comprising:
  • a program that causes a computer to function as the above-described editing information presentation device, or a recording medium that records this program.
  • FIG. 3 is a diagram illustrating an example of editing group association information by aggregating associations of editing sections in FIG. 2 in units of groups.
  • the result of associating the group ID of the pre-editing content with the section ID of the post-editing content is used. It is the figure which showed the relationship.
  • the information of each area as a component This is screen information in which an edit group component is associated with an edit section component.
  • FIG. 6 It is a figure which shows an example of the screen information which shows that the continuous edit area component of FIG. 6 can be collected by the edit group component. It is a figure which shows that the screen information using both an edit area component and an edit group component can be produced
  • FIG. 10 is a diagram illustrating an example of a flow of extracting shot / sound signal information and shot / sound synchronization information from a pre-edit video and a post-edit video of Patent Document 1.
  • FIG. 10 is a diagram illustrating an example of a flow of extracting shot / sound signal information and shot / sound synchronization information from a pre-edit video and a post-edit video of Patent Document 1.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of the editing information presentation device 1 according to the first embodiment.
  • an editing information presentation device 1 (an example of an editing information presentation device) includes an editing section information acquisition unit 2, a pre-editing content / post-editing content correspondence acquisition unit 3, and an editing information display screen generation.
  • the unit 4, the input unit 5, and the presentation unit 6 are provided.
  • the editing section information acquisition unit 2 calculates editing section information based on the editing history information, and in the process of calculating the editing section information, the editing section of the content before editing and the editing section of the edited content Are associated with the editing sections generated by editing the information, and the associated information is calculated as editing section association information.
  • the editing section association information uses the content ID and section ID of the editing section information for specifying the editing section, and associates the editing section as a pair, that is, specifies the ID and editing section of the pre-editing content. This is created by associating a combination of IDs to be edited, an ID of the edited content, and a combination of IDs specifying the editing section.
  • the editing history information is information that records an editing operation when a certain video is edited.
  • the editing section is a section that has been modified by editing in the process of repeating the editing process, the section in which the editing process is applied to the content before editing, and the section on the edited content generated as a result Refers to both.
  • the editing section information is information for specifying a section in which editing is performed between the pre-editing content and the post-editing content, and information describing the added editing processing content.
  • the pre-editing content / post-editing content correspondence acquisition unit 3 groups consecutive editing sections based on the editing section information calculated by the editing section information acquisition unit 2, and generates group information for identifying the group. .
  • group information is information in which, for example, an ID that identifies each of a plurality of sections belonging to the same group and an ID that identifies the group are associated with each other.
  • the pre-edit content / post-edit content correspondence acquisition unit 3 is based on the edit interval association information output from the edit interval information acquisition unit 2, and the association between the groups consisting of edit intervals, Perform group association.
  • inter-group association information is based on the premise that the group IDs correspond to the same content ID, and the ID for specifying the editing section in the content before editing and the ID for specifying the group in the content after editing. Or an information for associating an ID for identifying a group in the content before editing and an ID for identifying an editing section in the content after editing.
  • the section / group association information is information in which, for example, groups having a common editing section are associated with each other by a group ID in the pre-edit content and the edited content.
  • the input unit 5 sends the input content from the user to the edit information display screen generation unit 4.
  • the editing information display screen generation unit 4 includes the editing section information of the editing section information acquisition unit 2, the editing section association information, the group information of the pre-edit content / inter-contents correspondence acquisition unit 3, the inter-group association information, and the section. Screen information is generated based on six pieces of information, that is, group association information and input information of the input unit 5.
  • the presentation unit 6 displays the screen information obtained from the editing information display screen generation unit 4.
  • the editing section information acquisition unit 2 acquires editing section information and editing section association information from the editing history information output from the editing history information storage unit 100.
  • the editing history information is usually recorded and stored for each section where the editing operation is performed.
  • This stored information includes information indicating the content of the editing operation, information for identifying the section to which the editing operation of the content before and after editing is applied (start time (start frame) / end time (end frame), section length (number of frames) ) Etc.).
  • the editing history information includes information indicating that color correction has been performed as an editing process, and editing of the content before editing.
  • Information indicating that the time when the operation is started is the first second
  • information indicating that the time when the editing operation is applied is the third time in the pre-editing content
  • the editing operation is included in the post-editing content.
  • Information indicating that the start time is the first second
  • information indicating that the editing operation is third time in the edited content
  • the length of the section where the editing operation is performed is 2 seconds
  • Each piece of information indicating that it is present is stored.
  • the editing section information includes an ID for identifying the content in which the editing section exists, an ID for identifying the editing section within the content, editing processing content information, a section start / end time, and a section length.
  • the edit history information describes the change of the content for each editing process, whereas the edit section information is the final change when comparing the content before editing and the content after editing. Is only described.
  • the editing history information of the section A includes the information regarding the movement of the section A and the information regarding the deletion of the section A, which are the editing process contents.
  • the edit section information of section A describes only information related to deletion of section A.
  • the editing section information acquisition unit 2 calculates editing section information from the editing history information.
  • the correspondence between the editing section of the pre-editing content and the editing section of the post-editing content is calculated as editing section association information.
  • the editing section association information is calculated using, for example, a position change of the section indicated by the editing history information, a section length change, and the like.
  • a first edited content is created by applying a first editing process to the pre-edited content
  • a second edited content is created by adding a second editing process to the first edited content.
  • the editing history information indicates the association between the pre-editing content and the first edited content, and the association between the first edited content and the second edited content.
  • the editing section correlation information can indicate the correlation between the pre-edit content and the second post-edit content using the editing history information. That is, according to the editing section association information, it is possible to associate the section between the pre-editing content and the post-editing content after being edited a plurality of times.
  • the editing section association information is created by associating editing sections as a pair using a content ID and section ID of the editing section information specifying the editing section.
  • editing sections such as deleted or added sections cannot be associated. For example, since the section that existed before editing is deleted when the section is deleted, there is no edit section that can be associated with the edited content. Further, since the addition of the section adds the editing section, there is no section that can be associated with the content before editing. Some of the editing sections such as these deleted or added sections are associated with an ID that is prepared in advance and indicates a state where there is no section association.
  • the correspondence between the pre-edit content and post-edit content acquisition unit 3 groups continuous edit sections and generates group information including the edit sections. Then, the group-to-group association information is generated by associating the editing groups before and after editing, and the section-to-group association information is generated by associating the editing section with the editing group.
  • the grouping of editing sections means that the sections that are continuous in time order in the contents of the pre-editing content and the post-editing content are combined into one.
  • the pre-edit content / post-edit content correspondence acquisition unit 3 aggregates the edit information by grouping the edit sections.
  • an editing group consisting of editing sections.
  • the editing group is created by grouping consecutive editing sections into one group based on the section start / end time information of the editing section information obtained from the editing section information acquisition unit 2. On the other hand, if the editing sections are not continuous, an editing group is created by one section.
  • a unique group ID in the content is assigned to the created editing group. Further, a group ID of the editing group to which the editing section belongs is assigned to each editing section information.
  • association between editing groups before and after editing and association between sections and groups are performed.
  • the association between the edit groups is associated with each other before and after editing (association between edit groups).
  • association between edit sections and edit groups association between edit sections and edit groups is performed.
  • the before-editing content / after-editing content correspondence acquisition unit 3 performs the above-described two types of association, and generates association information.
  • the editing groups before and after editing are associated based on group information composed of editing sections and editing section association information obtained from the editing section information acquisition unit 2.
  • the association result of the edit group is generated as the association information between the edit groups.
  • the inter-edit group association information is information in which edit section association information is aggregated in units of groups.
  • FIG. 2 is a diagram showing an example of editing section association information.
  • FIG. 3 shows editing group association information by aggregating editing section association information in groups with respect to the example shown in FIG. It is a figure.
  • the arrows in FIGS. 2 and 3 indicate the correspondence.
  • the crosses in FIG. 2 indicate erased sections, and the crosses in FIG. 3 indicate that there are erased sections in the group.
  • the + mark in FIG. 2 indicates an added section
  • the + mark in FIG. 3 indicates that there is an added section in the group.
  • the association between the editing sections before and after editing shown in FIG. 2 is converted into the association between the groups to which the section shown in FIG.
  • the section ID and group ID of the editing section information are used to convert the section association into the group association.
  • a section ID associated with each group ID of the pre-edit content is obtained from the group information including the editing section.
  • the section ID of the edited content paired with the section ID is obtained from the editing section association information.
  • the group ID to which each section ID of the obtained edited content belongs is obtained.
  • the edit groups can be associated with each other.
  • the sections corresponding to the pre-edit content group A1 are the sections A1 and B1.
  • the sections of the edited content corresponding to the sections A1 and B1 of the content before editing are the sections A2 and B2.
  • the section A2 and the section B2 belong to the edited content group A2.
  • the association from the group A1 to the group A2 is obtained.
  • the result of association is generated as association information between groups.
  • the correspondence between the same groups is generated from the correspondence of each editing section, the correspondence between the groups is combined into one.
  • the section A1 and the section B1 of the pre-edit content shown in FIG. 2 belong to the group A1 shown in FIG.
  • the section A2 and the section B2 belong to the group A2 shown in FIG. Section A1 and section A2, and section B1 and section B2 are associated with each other.
  • the associations between the group A1 and the group A2 are combined into one correspondence relationship. That is, the information that the section A1 corresponds to the section A2 and the information that the section B1 corresponds to the section B2 are one association that the groups A1 and A2 before and after editing correspond to each other. It is put together in information.
  • section and group are associated with the pre-edit content and post-edit content. That is, the editing group and the editing section are associated with each other between the pre-editing content and the edited content using the editing section association information and the group information including the editing section.
  • section ID information and group ID information are acquired from the group information. And the section ID information used as a pair is acquired from edit area correlation information. Then, by associating the section ID obtained here with the section ID of the group information, it is possible to associate the editing section and the group information between the pre-editing content and the edited content.
  • the group information consisting of the editing sections that the group A1 of the pre-editing content consists of the sections A1 and B1. Further, it can be seen from the editing section association information that the section A1 is associated with the section A2, and the section B1 is associated with the section B2. As a result, the association with the group A1 is obtained from the section A2 and the section B2 of the edited content.
  • the group A2 of the edited content is composed of the sections A2 and B2.
  • the section A2 is associated with the section A1
  • the section B2 is associated with the section B1.
  • the association with the group A2 is obtained from the section A1 and the section B1 of the pre-edit content.
  • the section of the pre-edit content and the group of the edited content, and the group of the pre-edit content and the section of the post-edit content are associated.
  • FIG. 4 shows the result of associating the section ID of the pre-edit content with the group ID of the edited content when the sections are associated with each other as shown in FIG. It is the figure which showed the result which matched group ID of content.
  • the editing information display screen generation unit 4 includes editing section information output from the editing section information acquisition unit 2, editing section association information, group information output from the pre-editing content / post-editing content correspondence acquisition unit 3, group Screen information is generated based on six pieces of information: inter-association information, section / group association information, and input information output from the input unit 5.
  • the screen information includes pre-edit content, post-edit content, and associations between sections included in the content and content in the group / content.
  • Each content of screen information is expressed by component of section and group.
  • the component here is an object that associates each section information and each group information.
  • the component of the section is a component other than the editing section component that exists between the editing section component associated with the editing section information and the discontinuous editing section component, that is, the component corresponding to the section not edited. It consists of two types.
  • the group component is composed of an edit group component associated with group information including edit sections.
  • the presentation unit 6 represents each component with graphics such as text, images, and video.
  • the section components are arranged in time order for each content before and after each editing.
  • the edit section association information is used for this, the section as shown in FIG. 2 (however, the edit section is interpreted as an edit section component and the unedited section is interpreted as an unedited component) and the section correspondence Screen information using the attached information is generated.
  • section information of each editing section component and the section ID of the group information of the editing group correspond to each other, as shown in FIG. 6, it is possible to generate screen information that associates the editing group component with the editing section component. it can.
  • the screen information that accompanies and displays the editing section component and the editing group component to which the editing section component belongs is expressed only by the editing group component that is an aggregation of the editing section components by selecting the editing group component with the input unit 5.
  • Screen information can be generated.
  • the aggregation of the editing section components means that the content portion expressed by the editing section components is expressed by the editing group component.
  • the screen information expressed by both the editing section component and the editing group component as shown in FIG. 8 can be generated by aggregating a part of the editing group components shown in FIG. .
  • the aggregated group component can be expanded into screen information accompanied by the original section component and the group component to which the section component belongs. For example, when one aggregated group C1 which is the group component shown in FIG. 7 is selected via the input unit 5, all sections of the group C1 are displayed as shown in FIG.
  • FIG. 3 a part of FIG. 3 is expanded, and the screen information in which the editing section component and the editing group component are mixed and corresponded between the corresponding content before editing and the content after editing as shown in FIG. Can be generated.
  • the group association information is used for correspondence between these editing group components. Also, section / group association information is used for the section component / group component correspondence.
  • FIG. 9 shows that when one section component H1 is selected by the input unit 5, the group E1 to which the section belongs, the associated section H2, and the group A2 of the associated section are emphasized.
  • FIG. 10 shows that when the group component A2 of the edited content is selected by the input unit 5, the section components B2, H2, and A2 of the selected group component, and the associated group components A1 and E1, It is a figure which shows that attached
  • the input unit 5 receives an input for selecting a section component or a group component by the user. This input is used to change the screen information of the editing information display screen generation unit 4 such as aggregation / development and emphasis of section components and group components.
  • the selection method of aggregation / development and emphasis by the input unit 5 includes a method of using a mouse click or a menu screen.
  • the components are double-clicked, and when the components are emphasized, the components are single-clicked.
  • the presentation part 6 presents the screen information which the edit information display screen generation part 4 produced
  • the overall configuration of the editing information presentation device according to the second embodiment is the same as that of the editing information presentation device 1 shown in FIG. 1 except that the editing section information acquisition unit 2 determines the importance of the editing history. .
  • FIG. 11 is a diagram showing the editing section information acquisition unit 2 in the editing information presentation device according to the second embodiment.
  • the editing information presentation apparatus includes an editing history importance level determination unit 7 that calculates the importance level of editing history information in the editing history information storage unit 100 as an editing section information acquisition unit 2.
  • the editing section information acquisition unit 2 is configured to include the editing history importance degree determination unit 7 and the editing section information generation unit 8.
  • Some editing history information is not very useful for grasping changes in the overall composition of content before and after editing because the editing process is too detailed.
  • the editing history importance level determination unit 7 realizes a function of hiding such fine editing processing information when displaying the change in content before and after editing as shown in FIG.
  • the editing history importance level determination unit 7 calculates the importance level of each editing process stored in the editing history information. Then, the editing history importance level determination unit 7 generates data that associates the editing history with the importance level.
  • the importance is, for example, information indicating the degree of change in the editing process, and is used to determine whether the editing history information can be used to grasp the outline of changes in content. The value can be determined by the content of the editing process, the section length to which the editing process is applied, the change in contrast, the presence or absence of the section deletion, and the like.
  • the degree of importance is set low for a slight change in the contrast of the video content or the cut of minute noise in the audio content.
  • the length of the section to which the editing process is applied has a greater effect on the content as the length of the section of the editing process is longer. Therefore, the importance level is set higher, and a shorter editing section of less than 1 second affects the content. Since is small, the importance is set low.
  • the importance setting method determined by the content of the editing process and the section length of the editing process can be changed according to the user's preference, such as setting the importance high even in a short editing section.
  • the editing section information generation unit 8 calculates editing section information / editing section association information from the editing history information and the data obtained by associating the history and the importance obtained from the editing history importance determination section 7. Then, the editing section information generation unit 8 determines that the editing section extracted from the editing history whose importance is equal to or less than a predetermined threshold is not so meaningful as the editing content of the content. Treat as not generated. Then, instead of the extracted editing section, sub-section information that is information of a section whose importance is equal to or less than a threshold is generated.
  • the sub-section information includes information indicating an editing section whose importance is equal to or less than a certain threshold, and includes a start / end time, a section length, and a sub-section ID for identifying itself.
  • editing section information is generated in the editing section information generation unit 8
  • a sub section exists in a certain editing section, it is associated with the editing section information.
  • the sub-section does not exist in any editing section, the sub-section is converted into editing section information and held together with the already generated editing section information.
  • a sub-section not included in the editing section exists in a section that is not edited. Therefore, in order not to include a sub-section in a section that is not edited, the sub-section is treated as an editing section, and the sub-section information is converted into editing section information.
  • FIG. 12 is a diagram showing an example of merging editing sections extracted from an editing history with low importance.
  • FIG. 12 shows a process of calculating content editing section information from editing history information extracted from an editing history with low importance.
  • sections are cut and rearranged (b) and section deleted (b). This section deletion (b) is applied to several frames, and it is assumed that the importance obtained by the editing history importance determination unit 7 is low.
  • section A is cut and rearranged.
  • section I in section D is deleted. Since the importance of the section I is equal to or less than a certain threshold value, the section I is registered as a sub-section, and the section I is treated as the section D and the section I is not generated (erased).
  • the section H in which the section I is erased and the section J are merged to form a section D2.
  • FIG. 13 is a diagram illustrating an example of screen information of the editing information display screen generation unit 4 using sub-section information.
  • FIG. 13 in addition to the screen information as shown in FIG. 6, information indicating a section having sub-section information can be added. Further, the picture of the magnifying glass shown in FIG. 13 indicates that there is sub-section information in the section.
  • the edit information display screen generation unit 4 can generate screen information for displaying a sub-section as shown in FIG. 14 by selecting an interval component with a magnifying glass from the input unit 5.
  • an edit section with fine editing processing is re-recognized as a sub-section, and the content of the content before and after editing is hidden by hiding the sub-section when presenting the change in content before and after editing. It is possible to make it easy to grasp an outline of changes.
  • the overall configuration of the editing information presentation device is the same as that of the editing information presentation device 1 shown in FIG. 1, but the editing information display screen generation unit 4 has a relationship between the content before editing and the content after editing.
  • the components in the editing section or the section not edited are the same, it is different in that it is arranged so that the user can easily confirm the content change by editing by aligning in the direction perpendicular to the time axis.
  • FIG. 15 shows an editing information display screen generation unit 4 in the editing information apparatus according to the third embodiment.
  • a layout setting unit 11 is added to the editing information display screen generation unit 4 shown in FIG. FIG.
  • the edit information display screen generation unit 4 includes a component generation / association unit 9, a component / component association selection unit 10, and a layout setting unit 11.
  • the component generation / association unit 9 generates three components: an unedited section component, an editing section component, and an editing group component. As already described, this component indicates an object associated with each section information and each group information.
  • the component / component association selection unit 10 aggregates the section components from the input received from the input unit 5 as shown in FIGS. 8 to 10, and emphasizes the screen information obtained by expanding the group components and the correspondence between the components and the components. Generated screen information.
  • the layout setting unit 11 aligns the same components of the pre-edit content and the post-edit content vertically with the time axis by using the fact that the unedited section components are arranged in the content before and after editing and the order and section length do not change.
  • the unedited section components corresponding to the pre-edit content and the post-edit content are aligned in the direction perpendicular to the time axis.
  • each set when there are the same editing section components between the pre-editing content and the post-editing content, those editing components are aligned in a direction that intersects vertically.
  • those editing components are aligned in a direction that intersects vertically.
  • the editing section components are not arranged in the same row, but a blank is inserted in the direction perpendicular to the editing section component to adjust the layout.
  • this blank is inserted in the content after editing if the editing section component belongs to the content before editing, and is inserted in the content before editing if it belongs to the content after editing.
  • the edit group component does not have the same corresponding group component because the contents of the group are edited with the content before and after editing. Therefore, it is necessary to insert a space.
  • the blank insertion method is the same as that for the editing section component. If an unedited editing group component belongs to the pre-editing content, it is inserted into the post-editing content. Insert into.
  • FIG. 16 is a diagram showing an example of the change in the component layout by the layout setting unit 11.
  • the corresponding non-edited section components of the content before and after editing are aligned in the vertical direction on the time axis.
  • the editing section component D1 corresponds to the editing section component D2 between the components A2 and B2 in which the edited content is not edited. Since D1 and D2 exist between the unedited section components A1 and A2 that are aligned vertically with the time axis, and B1 and B2, D1 and D2 can be arranged with the time axes aligned in the vertical direction. it can.
  • the other editing section components and editing group components have no corresponding components, so that the blank and the time axis are aligned in the vertical direction.
  • the editing information presentation device has editing section information having a function of extracting the editing section described in the first embodiment in the editing section information acquisition unit 2 shown in FIG. It is the structure which added the production
  • the unedited section refers to a section in which editing processing existing in the content before editing and the content after editing is not added.
  • the unedited section information is information for specifying a section where editing has not been performed between the content before editing and the content after editing. It consists of an ID for identifying content in which an unedited section exists, an ID for identifying an unedited section in the content, a section start / end time, and a section length.
  • the editing section information is extracted from the editing section information generation unit 8, and the unedited section information is extracted from the unedited section information generation unit 12 based on the editing section information obtained from the editing section information generation unit 8.
  • the unedited section can be extracted by removing the edited section from the entire content. That is, all editing sections are mapped on the timeline of the entire content, and sections that are not edited are continuous on the time axis, and are determined as unedited sections. Then, unedited section information of the unedited section is extracted.
  • the editing history information may include editing history information indicating that editing has not been performed, as a record of editing operations. In this case, the information stored in association with the section is the same as when the editing operation is performed, and information indicating no editing is recorded as the editing operation content.
  • editing history information that is not edited that is, information in which an unedited section is explicitly described as unedited
  • information on the unedited section can be used as it is as unedited section information.
  • the unedited section information generation unit 12 associates unedited sections that match before and after editing the content based on the unedited section information.
  • this association information generation method is a method of generating from the order of unedited sections and section lengths, extracting image / sound characteristics of unedited sections, and comparing the contents before editing with the contents after editing.
  • the former uses the fact that the order of unedited sections and the section length do not change before and after editing, and associates unedited sections with the same section length in time order between the pre-edit content and post-edit content. In the latter, image / sound features are extracted before and after unediting, and the unedited sections with the most similar image / sound features are associated with each other.
  • the unedited section associated in this way generates unedited section association information in which a pair of a content ID in which each unedited section exists and a section ID newly assigned to the unedited section is paired.
  • the edit information display screen generation unit 4 represents an unedited section component as an unedited section component in the screen information generated by the editing information presentation device 1 of the first embodiment. This unedited section component is associated with unedited section information.
  • the editing section and editing group component presented by the presentation unit 6 of the editing information presentation device 1 of the first embodiment, and the correspondence between the unedited section component and the unedited section, which are in a corresponding relationship therewith Generates screen information with added information. Then, based on the start time and end time of the edited section and the unedited section, the section components are arranged in time order.
  • the present embodiment it is possible to display the edited content in an aggregated form based on the association information between the groups in the content before and after editing, and to grasp the summary of the edited content. Even if the editing history information increases, it is easy to check the editing contents.
  • the association information of the section / group of the content before editing and the section / group of the edited content is extracted, and a plurality of pieces of correspondence information are displayed, so that the intention of editing becomes clearer. I can understand.
  • the replacement of the sections is known from the correspondence between the two edited sections that have been moved, and the replacement of the sections is known when only one editing section is sandwiched between the unedited sections.
  • the editing information can be partially aggregated and expanded, so that the editing information of the content can be easily confirmed.
  • a part of the editing history information is aggregated, a sufficient space is provided for displaying other editing history information, and the editing history information is displayed in large detail in detail using the space, so that the user can easily confirm the editing information. become.
  • editing information that is not noticed by the user can be collected in a space-saving manner.
  • the content change before and after editing can be used as a framework for organizing and consolidating.
  • the editing section using the fact that the content consists of only two sections, the editing section and the unedited section, the editing sections that are continuous in time order are collected, and the contents before editing and the contents after editing are associated with each other. By taking this, it is possible to take a form in which editing information is organized by unedited sections.
  • association information in an aggregated form by extracting the correspondence between the edit sections, between the edit sections and the edit groups, and between the edit groups. Confirmation of information becomes easy.
  • the present embodiment by changing the display method of the association information according to the input, the information on the location that the user is interested in is presented in detail, and the information on the location that is not noted by the user is displayed in a space-saving manner Therefore, it is easy to display the information of the part that the user pays attention in a sufficient space.
  • the present invention is configured as described above, but is not limited to the above-described embodiments, and various modifications can be made within the scope of the gist of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

　編集区間情報取得部は、編集履歴情報を基にして、編集区間情報と編集区間対応付け情報を生成する。編集前コンテンツ・編集後コンテンツ間対応関係取得部は、編集区間情報取得部の編集区間情報を基にして、連続する編集区間をグルーピングし、グループ情報を生成する。編集情報表示画面生成部は、編集区間情報取得部の編集区間情報、編集区間対応付け情報、編集前コンテンツ・編集後コンテンツ間対応関係取得部のグループ情報、グループ間対応付け情報、区間・グループ間対応付け情報、入力部の入力情報を基にして、画面情報を生成する。提示部は、編集情報表示画面生成部から得た画面情報を表示する。

Description

編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体
　本発明は、編集情報提示装置、編集情報提示方法、編集情報提示プログラム、及び記録媒体に関し、特に、編集前コンテンツと編集後コンテンツとの対応関係をまとめて提示することができる編集情報提示装置等に関する。
　近年、コンテンツを扱うことが身近になっている。これに伴い、情報端末装置上で編集をすることができるソフトウェアが次々と開発されており、また、ユーザが効率的に編集を行うことを可能とするための研究もなされている。
　コンテンツの編集履歴情報を確認することができる既存のソフトウェアとして、映像編集ソフトウェアAdobe Premier Pro CS3が存在する（例えば非特許文献１）。このソフトウェアは、映像コンテンツの編集用のソフトウェアであって、ユーザが映像編集時に行った編集行為を時間順に保持する"ヒストリー"という編集履歴情報を管理する機能を有している。
　また、特許文献１には、映像編集支援装置が記載されている。この映像編集支援装置では、映像編集の技術及び知識の無い一般のユーザ向けに、映像編集時のショットの並び方についての候補を提示する。この映像編集支援装置は、編集前映像と編集後映像の映像及び音の時系列構成情報、同期情報、同一シーンを学習し、編集する素材映像の特徴と学習結果とを照らし、ショットの並びの候補を提示する。特許文献１の請求項６の映像編集支援装置では、編集処理を行った編集後映像と編集処理を行う前の映像である編集前映像とを用いて学習を行っている。
　図１９は、特許文献１の映像編集支援装置の学習手段部分のみを示した図である。
　図１９に示すように、学習手段１０００には、映像受付手段１００１と、映像信号抽出手段１００２と、映像解析手段１００３とを備えている。
　映像受付手段１００１には、学習に用いる編集前映像と編集後映像とが入力される。
　次いで、映像信号抽出手段１００２は、映像受付手段１００１で得た編集前映像と編集後映像の映像及び音の特徴を抽出する。
　次に、映像解析手段１００３で、編集前映像と編集後映像の映像及び音の特徴を比較することによって、編集前映像のどのショットが、編集後映像のどの位置に用いられているかを判定する。
　そして、編集前映像から編集に用いるショットを選択及び配置するルールを学習する。
　また、特許文献２には、親クリップという素材と、この素材から作成した子セグメントとの関連性を矢印（若しくはその他の対応表現として、例えば色）で示す、即ち親クリップと子セグメントとの間における派生関係を示すビデオ編集方法について開示されている。
特開２００７－３３６１０６ 特開２００４－０４０７６７ Adobe Premiere Pro 2.0 Studio Techniques : Studio Techniques    , ISBN-13 : 978-0321385475
　しかしながら、上記の編集ソフトウェアや映像編集支援装置では、以下のような問題点があった。
　すなわち、ユーザがコンテンツを繰り返し編集すると、編集の意図の把握が困難になることである。その理由は、ユーザの編集の意図は、複数の編集行為の関連性と、編集箇所と未編集の箇所の関連性とを用いることにより読み取りが可能になるが、従来の編集履歴情報の表示方法では、これらの関連性を考慮していないためである。例えば、非特許文献１のAdobe Premiereの場合、ヒストリーのような編集履歴情報の管理機能は、編集履歴情報がリストとして表れるため、それらの関係性を視覚的に見出すのは難しい。一方、特許文献１の編集支援装置では、このような編集履歴情報の表示がそもそも考慮されていない。
　第２の問題点は、編集前後のコンテンツ全体の変化についての概要を、ユーザが容易に把握できないことである。その理由は、編集前後のコンテンツ全体の変化についての概要を示すには、編集履歴情報から、編集前後のコンテンツの大局的な構造の変化を示す編集情報を算出する必要があるが、ヒストリーのような編集履歴情報の管理機能ではコンテンツ全体の変化の概要を抽出することはできない。また、特許文献１の手法では、学習したコンテンツから得られたルールに従ってコンテンツを自動生成する機能は有するものの、ユーザが行った編集行為を編集履歴情報として貯えて、コンテンツの変化を明示的に表示する手段を有さないため、コンテンツ全体の変化の概要を抽出することはできない。
　また、上記特許文献２には、編集前と編集後でコンテンツ内のクリップ（区間）の移動の状態を示すことについては開示されていない。また、修正されていない区間に挟まれた複数の修正が行われた区間から構成される部分を求めることはできないので、当該部分をグループ化して編集前コンテンツと編集後コンテンツとの対応付け情報を表示することにより編集の意図がより鮮明に理解することができなかった。
　本発明は、上記の問題を鑑みてなされたものであり、ユーザの編集の意図を提示することができ、かつ編集内容の大局を把握することができる編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体を提供することにある。
　上記課題を解決するため、本発明によれば、時間軸を有するコンテンツに対して区間毎に修正を行う編集処理における編集前後の対応関係を提示する編集情報提示装置であって、
　編集前コンテンツ内において修正が行われない区間に挟まれていて修正が行われる複数の区間から構成される部分と、編集後コンテンツ内において修正が行われていない区間に挟まれた修正が行われた複数の区間から構成される部分との間において、互いに対応する複数の区間の対応付けをする編集区間情報取得手段と、
　前記複数の区間の対応付けを１つの対応関係として提示する提示手段と、
を備えることを特徴とする編集情報提示装置を提供する。
　ここで、編集情報提示装置とは、編集前コンテンツと編集後コンテンツの区間の関係を、編集区間・未編集区間という２種類の区間情報と、連続する編集区間をまとめたグループ情報、及び、区間同士、グループ同士、区間・グループの対応関係情報をまとめた編集情報を抽出・表示する装置である。編集情報提示装置は、編集情報のグループ情報とグループ同士の対応関係情報を用いて、編集内容の概要を表示したり、区間情報と区間同士の関連情報を用いて、編集内容の詳細を表示したり、或いは、編集情報提示装置への入力により編集内容の概要や詳細を変更したりすることが可能である。編集内容の大局を把握するためには、グループ同士の対応関係情報の表示が重要である。当該グループ同士の対応関係情報は、編集前後のコンテンツ間における編集区間の対応関係を集約したものである。そのため、編集前後のコンテンツ間で編集区間が編集前後のコンテンツそれぞれにおいて同一のグループに属する場合、それらのグループ間の対応付け情報を知ることにより、それらの対応付けされたグループ内に編集区間が存在し、何らかの編集が行われているという編集内容の概略が分かる。即ち、編集前コンテンツと編集後コンテンツとの間の編集区間同士の対応関係情報を、グループ同士の対応関係情報に置き換えることにより、編集前後のコンテンツ間の編集による対応関係を簡潔に表現することができる。これにより、編集内容の大局を把握することが可能である。なお、ここで用いるコンテンツは、動画データや音データ等の時間情報を有するコンテンツを指し、テキスト・静止画等の時間情報を有さないコンテンツを含まない。
　また本発明によれば、時間軸を有するコンテンツを区間毎に修正を行う編集処理のためのコンテンツにおける編集前後の対応関係を提示する編集情報提示装置における編集情報提示方法であって、
　編集前コンテンツ内において修正が行われない区間に挟まれていて修正が行われる複数の区間から構成される部分と、編集後コンテンツ内において修正が行われていない区間に挟まれた修正が行われた複数の区間から構成される部分との間において、互いに対応する複数の区間の対応付けをする編集区間情報取得工程と、
　前記複数の区間の対応付けを１つの対応関係として提示する提示工程と、
　を有することを特徴とする編集情報提示方法が提供される。
　また本発明によれば、コンピュータを、上記した編集情報提示装置として機能させるプログラム、又はこのプログラムを記録した記録媒体が提供される。
　本発明によれば、ユーザの編集の意図を提示することができ、かつ編集内容の大局を把握することができる。
本発明の第１実施形態に係る編集情報提示装置の概略構成の一例を示す図である。 編集区間の対応付けの一例を示す図である。 図２の編集区間の対応付けをグループ単位で集約して、編集グループ間対応付け情報の一例を示す図である。 編集前コンテンツの区間ＩＤと編集後コンテンツのグループＩＤとを対応付けした結果、編集前コンテンツのグループＩＤと編集後コンテンツの区間ＩＤとの対応付けした結果を用いて、映像間における区間とグループの関係を示した図である。 各区間の情報をコンポーネントとして示す図である。 編集区間コンポーネントに編集グループコンポーネントを対応付けした画面情報である。 図６の連続する編集区間コンポーネントを編集グループコンポーネントによって集約可能であることを示す画面情報の一例を示す図である。 編集区間コンポーネントと編集グループコンポーネントの両者を用いた画面情報が生成可能であることを示す図である。 区間コンポーネントを選択することで、選択した区間コンポーネント自身とその区間コンポーネントが属するグループコンポーネント、また、選択した区間コンポーネントに対応付けされた区間コンポーネントとその対応付けされた区間コンポーネントが属するグループコンポーネントをハイライトする画面情報の生成が可能であることを示す図である。 グループコンポーネントを選択することで、選択したグループコンポーネント自身と選択したグループコンポーネントに属する区間コンポーネント、また選択したグループコンポーネントに対応付けされたグループコンポーネントとそのグループコンポーネントに属する区間コンポーネントをハイライトする画面情報の生成が可能であることを示す図である。 第２実施形態に係る編集情報提示装置の編集区間情報取得部の一例を示す図である。 重要度の低い編集履歴情報から抽出した編集区間をマージする一例を示す図である。 サブ区間情報を用いた編集情報表示画面生成部の画面の一例を示す図である。 区間内のサブ区間情報の有無についての表示と、区間情報からサブ区間情報の表示方法の一例を示す図である。 第３実施形態に係る編集情報提示装置の編集情報表示画面生成部の一例を示す図である。 区間コンポーネントのレイアウトをレイアウト設定部によって設定した結果を示す画面情報の一例を示す図である。 図１の編集区間情報取得情報に、第１実施形態における編集区間情報生成部と新たに未編集区間情報生成部とを追加した実施形態である第４実施形態を示す図である。 第１実施形態に係る編集情報提示装置の提示部で示す編集区間と編集グループコンポーネントと、それらの対応関係に未編集区間コンポーネントと未編集区間対応付け情報を加えた画面情報の一例を示す図である。 特許文献１の編集前映像と編集後映像とから、ショット・音の信号情報とショット・音の同期情報とを抽出する流れの一例を示す図である。
　以下、本発明の実施形態に係る編集情報提示装置に関して、添付図面を参照して説明する。なお、以下に説明する実施形態は、本願に係る編集情報提示装置を適用した場合の実施形態である。
　［第１実施形態］
　まず、本発明の第１実施形態に係る編集情報提示装置１の構成及び機能について、図１を参照して説明する。なお、図１は、第１実施形態に係る編集情報提示装置１の概略構成の一例を示す図である。
　図１に示すように、編集情報提示装置１（編集情報提示装置の一例）は、編集区間情報取得部２と、編集前コンテンツ・編集後コンテンツ間対応関係取得部３と、編集情報表示画面生成部４と、入力部５と、提示部６と、を備えている。
　編集区間情報取得部２は、編集履歴情報を基にして、編集区間情報を算出するとともに、当該編集区間情報を算出する過程で、編集前コンテンツの編集区間と、編集後コンテンツのうちその編集区間を編集することによって生成した編集区間とを対応付け、当該対応付けられた情報を編集区間対応付け情報として算出する。
　なお、編集区間の対応付けには、コンテンツのＩＤとコンテンツ内の区間のＩＤとを用いる。そして、これらＩＤの対応付けの結果を、編集区間対応付け情報として生成する。即ち、編集区間対応付け情報は、編集区間を特定する編集区間情報のコンテンツのＩＤと区間ＩＤを用いて、編集区間をペア（一対）として対応付けること、すなわち編集前コンテンツのＩＤと編集区間を特定するＩＤの組み合わせと、編集後コンテンツのＩＤと編集区間を特定するＩＤの組み合わせを対応付けることによって作成される。
　ここで、編集履歴情報とは、ある映像を編集した際の編集操作を記録した情報である。また、編集区間とは、編集処理を反復する過程で、編集により手が加えられた区間であり、編集前コンテンツに編集処理を適用する区間と、その結果として生成された編集後コンテンツ上の区間の両者を指す。
　また、編集区間情報とは、編集前コンテンツと編集後コンテンツとの間で編集が加えられた区間を特定する情報と、加えられた編集処理内容を記述する情報である。
　編集前コンテンツ・編集後コンテンツ間対応関係取得部３は、編集区間情報取得部２が算出した編集区間情報を基にして、連続する編集区間をグルーピングし、このグループを特定するグループ情報を生成する。なお、グループ情報の生成時に、コンテンツ内のグループにＩＤを生成し、グループに付与する。なおグループ情報は、例えば同一のグループに属する複数の区間それぞれを特定するＩＤと、そのグループを特定するＩＤとを互いに対応付けた情報である。
　そして、編集前コンテンツ・編集後コンテンツ間対応関係取得部３は、編集区間情報取得部２の出力する編集区間対応付け情報を基にして、編集区間からなるグループ間の対応付け、及び、区間とグループの対応付けを行う。
　なお、グループ間の対応付けには、コンテンツのＩＤとグループのＩＤとを用い、これらＩＤによる対応付けの結果を、グループ間対応付け情報として生成する。グループ間対応付け情報は、後述するように、互いに同一のコンテンツＩＤに対応していることを前提にしたうえで、編集前コンテンツにおける編集区間を特定するＩＤと編集後コンテンツにおけるグループを特定するＩＤとを互いに対応付けた情報、又は編集前コンテンツにおけるグループを特定するＩＤと編集後コンテンツにおける編集区間を特定するＩＤとを互いに対応付けた情報のいずれかである。
　また、区間とグループの対応付けには、コンテンツ・グループ・区間の３つのＩＤを用い、これらＩＤによる区間とグループの対応付け結果を、区間・グループ間対応付け情報として生成する。区間・グループ間対応付け情報は、例えば、編集前コンテンツと編集後コンテンツにおいて、共通する編集区間を保持しているグループ同士をグループＩＤで互いに対応付けたものである。
　入力部５は、ユーザからの入力内容を編集情報表示画面生成部４に送る。
　編集情報表示画面生成部４は、編集区間情報取得部２の編集区間情報、編集区間対応付け情報、編集前コンテンツ・編集後コンテンツ間対応関係取得部３のグループ情報、グループ間対応付け情報、区間・グループ間対応付け情報、入力部５の入力情報、の６つの情報を基にして、画面情報を生成する。
　提示部６は、編集情報表示画面生成部４から得た画面情報を表示する。
　次に、第１実施形態に係る編集情報提示装置１の動作について、説明する。
　先ず、編集区間情報取得部２は、編集履歴情報蓄積部１００から出力される編集履歴情報より、編集区間情報と編集区間対応付け情報とを取得する。
　ここで、編集履歴情報は、通常、編集操作が加えられた区間毎に記録され格納される。この格納される情報は、編集操作の内容を示す情報、編集前後のコンテンツの編集操作を適用した区間を特定する情報（開始時刻（開始フレーム）・終了時刻（終了フレーム）、区間長（フレーム数）等）を含む。
　例えば、コンテンツＡの１秒目から３秒目までの区間に、色補正をかけていたとすると、編集履歴情報には、編集処理として色補正を行ったことを示す情報、編集前コンテンツのうち編集操作を適用し始めた時刻が１秒目であることを示す情報、編集前コンテンツのうち編集操作を適用し終わった時刻が３秒目であることを示す情報、編集後コンテンツのうち編集操作が開始された時刻が１秒目であることを示す情報、編集後コンテンツのうち編集操作が終了した時刻３秒目であることを示す情報、編集操作が行われた区間の長さが２秒であることを示す情報それぞれが保存される。
　また、編集区間情報は、編集区間が存在するコンテンツを識別するＩＤ、そのコンテンツ内で編集区間を識別するＩＤ、編集処理内容情報、区間の開始・終了時刻、区間長からなる。
　なお、編集履歴情報は、各編集処理に対して逐一コンテンツの変化を記述したものであるのに対して、編集区間情報は、編集前コンテンツと編集後コンテンツとで比較した際の最終的な変化のみを記述したものである。
　例えば、編集前コンテンツの区間Ａを移動後、消去するという２つの編集処理を行った場合、区間Ａの編集履歴情報は、編集処理内容である区間Ａの移動に関する情報と区間Ａの消去に関する情報の２つを記述し、一方、区間Ａの編集区間情報は、区間Ａの消去に関する情報のみ記述する。
　そして、編集区間情報取得部２は、編集履歴情報から編集区間情報を算出する。編集区間情報を算出する過程で、編集前コンテンツの編集区間と編集後コンテンツの編集区間との対応関係を、編集区間対応付け情報として算出する。編集区間対応付け情報は、例えば編集履歴情報により示される区間の位置変化、及び区間長の変化などを用いて算出される。例えば、編集前コンテンツに対して第１の編集処理を加えて第１の編集後コンテンツを作成し、さらに第１の編集後コンテンツに第２の編集処理を加えて第２の編集後コンテンツを作成した場合を考える。編集履歴情報は、編集前コンテンツと第１の編集後コンテンツの対応付けと、第１の編集後コンテンツと第２の編集後コンテンツの対応付けを示している。これに対して編集区間対応付け情報は、編集履歴情報を用いて編集前コンテンツと第２の編集後コンテンツの対応付けを示すことができる。すなわち編集区間対応付け情報によれば、編集前コンテンツと、これに対して複数回編集が行われた後の編集後コンテンツ相互間で、区間の対応付けをとることができる。
　当該編集区間対応付け情報は、編集区間を特定する編集区間情報のコンテンツのＩＤと区間ＩＤを用いて、編集区間をペア（一対）として対応付けることによって作成される。
　なお、消去や追加された区間等の一部の編集区間は、対応付けができない。例えば、区間の消去は、編集前に存在した区間が消去されるため、編集後コンテンツには対応付け可能な編集区間は存在しない。また、区間の追加は、編集区間を加えるため、編集前コンテンツには対応付け可能な区間は存在しない。これら消去や追加された区間等の一部の編集区間は、予め用意した、区間の対応付けが無い状態を示すＩＤと対応付けをする。
　編集前コンテンツ・編集後コンテンツ間対応関係取得部３は、連続する編集区間をグルーピングし、編集区間からなるグループ情報を生成する。そして、編集前後の編集グループ間を対応付けしてグループ間対応付け情報を生成し、また、編集区間と編集グループを対応付けして区間・グループ間対応付け情報を生成する。ここで、編集区間のグルーピングとは、編集前コンテンツと編集後コンテンツの各コンテンツ内の時間順に連続する区間を１つにまとめることである。
　そして、編集前コンテンツ・編集後コンテンツ間対応関係取得部３は、編集区間をグルーピングすることによって、編集情報を集約する。
　ここで、編集区間からなるグループを編集グループとする。
　当該編集グループは、編集区間情報取得部２から得た編集区間情報の区間の開始・終了時刻情報を基にして、連続する編集区間を１つのグループにまとめることによって作成される。一方、編集区間が連続していない場合は、１つの区間によって編集グループを作成する。
　そして、作成された編集グループには、コンテンツ内で一意のグループＩＤを付与する。また、各編集区間情報に、属する編集グループのグループＩＤを付与する。
　次に、編集前後の編集グループ間の対応付けと、区間・グループの対応付けを行う。なお、編集グループ間の対応付けは、編集前後で編集グループ同士の対応付けをする（編集グループ間対応付け）。一方、区間・グループの対応付けには、編集区間と編集グループの対応付けをする。
　そして編集前コンテンツ・編集後コンテンツ間対応関係取得部３は、上記２通りの対応付けを行い、対応付け情報を生成する。
　編集前後のグループ間の対応付けでは、編集区間からなるグループ情報と、編集区間情報取得部２から得た編集区間対応付け情報を基にして、編集前後の編集グループの対応付けを行う。
　そして、編集グループの対応付け結果を編集グループ間対応付け情報として生成する。
　なお、編集グループ間対応付け情報とは、編集区間対応付け情報をグループ単位で集約した情報である。
　図２は、編集区間対応付け情報の一例を示す図であり、図３は、図２に示す一例に対して編集区間対応付け情報をグループ単位で集約して、編集グループ間対応付け情報を示した図である。なお、各図２及び３の矢印は、対応付けを示す。また、図２の×印は、消去された区間を示し、図３の×印は、グループ内に消去した区間があることを示す。また、図２の＋印は、追加された区間を示し、図３の＋印は、グループ内に追加した区間があることを示す。
　図２に示す編集前後の編集区間同士の対応付けを、図３に示す区間の属するグループ同士の対応付けに変換することによって、グループ間の対応付けを行う。なお、区間の対応付けからグループ同士の対応付けに変換するには、編集区間情報の区間のＩＤとグループＩＤを用いる。編集区間からなるグループ情報から、編集前コンテンツの各グループＩＤに対応付けられている区間ＩＤを求める。次に、この区間ＩＤとペアとなる編集後コンテンツの区間ＩＤを、編集区間対応付け情報より求める。最後に、求まった編集後コンテンツの区間ＩＤそれぞれが属するグループＩＤを求める。これにより、編集グループ同士の対応付けができることになる。
　図２及び図３に示す例で説明すると、まず、編集前コンテンツのグループＡ１に対応する区間は、区間Ａ１と区間Ｂ１であることが分かる。次に、編集前コンテンツの区間Ａ１と区間Ｂ１に対応する編集後コンテンツの区間は、区間Ａ２と区間Ｂ２であることが分かる。そして、区間Ａ２と区間Ｂ２は、編集後コンテンツのグループＡ２に属していることが分かる。その結果、グループＡ１からグループＡ２への対応付けが求まる。そして、対応付けの結果は、グループ間対応付け情報として生成される。
　各編集区間の対応付けから同じグループ間の対応付けが生成された場合、そのグループ間の対応付けを１つにまとめる。例えば、図２に示す編集前コンテンツの区間Ａ１と区間Ｂ１は、図３に示すグループＡ１に属する。一方、区間Ａ２と区間Ｂ２は、図３に示すグループＡ２に属する。区間Ａ１と区間Ａ２、区間Ｂ１と区間Ｂ２は、対応付けされている。このように、グループＡ１とグループＡ２との間で対応付けが２つ存在する場合、グループＡ１とグループＡ２同士の対応付けは、１つの対応関係にまとめられる。すなわち区間Ａ１が区間Ａ２に対応している、という情報と、区間Ｂ１が区間Ｂ２に対応している、という情報は、編集前後のグループＡ１，Ａ２が互いに対応している、という一つの対応付け情報にまとめられる。
　最後に、編集前コンテンツと編集後コンテンツとの間で、区間とグループの対応付けを行う。即ち、編集区間対応付け情報と編集区間からなるグループ情報とを用いて、編集前コンテンツと編集後コンテンツとの間で、編集グループと編集区間の対応付けを行う。次いでグループ情報から、区間ＩＤ情報とグループＩＤ情報とを取得する。そして、編集区間対応付け情報から、ペアとなる区間ＩＤ情報を取得する。そして、ここで求まった区間ＩＤと、グループ情報の区間ＩＤとを対応付けることによって、編集前コンテンツと編集後コンテンツとの間で、編集区間とグループ情報を対応付けることができる。
　図２及び図３に示す例で説明すると、まず、編集区間からなるグループ情報から、編集前コンテンツのグループＡ１は、区間Ａ１と区間Ｂ１からなることが分かる。また、編集区間対応付け情報から、区間Ａ１は、区間Ａ２に対応付けられていること、及び、区間Ｂ１は、区間Ｂ２に対応付けられていることが分かる。その結果として、編集後コンテンツの区間Ａ２と区間Ｂ２から、グループＡ１への対応付けが求まる。
　また、編集区間からなるグループ情報から、編集後コンテンツのグループＡ２は、区間Ａ２と区間Ｂ２からなることが分かる。そして、編集区間の対応付け情報から、区間Ａ２は、区間Ａ１に対応付けられていること、及び、区間Ｂ２は、区間Ｂ１に対応付けられていることが分かる。その結果として、編集前コンテンツの区間Ａ１と区間Ｂ１から、グループＡ２への対応付けが求まる。
　以上のように、編集前コンテンツの区間と編集後コンテンツのグループ、及び、編集前コンテンツのグループと編集後コンテンツの区間の対応付けが行われる。
　図４は、区間同士が図２のように対応付けられている場合に、編集前コンテンツの区間ＩＤと編集後コンテンツのグループＩＤとを対応付けした結果と、編集後コンテンツの区間ＩＤと編集前コンテンツのグループＩＤとを対応付けした結果と、を示した図である。
　編集情報表示画面生成部４は、編集区間情報取得部２から出力される編集区間情報、編集区間対応付け情報、編集前コンテンツ・編集後コンテンツ間対応関係取得部３から出力されるグループ情報、グループ間対応付け情報、区間・グループ間対応付け情報、及び、入力部５から出力される入力情報、の６つの情報を基にして、画面情報を生成する。当該画面情報は、編集前コンテンツと編集後コンテンツと、そのコンテンツ内に含まれる区間とグループのコンテンツ内・コンテンツ間の対応付けからなる。
　画面情報の各コンテンツは、区間とグループのコンポーネントによって表現する。ここでいうコンポーネントとは、各区間情報、各グループ情報をそれぞれ対応付けしたオブジェクトである。区間のコンポーネントは、編集区間情報に対応付けられている編集区間コンポーネントと、不連続な編集区間コンポーネントとの間に存在する、編集区間コンポーネント以外のコンポーネント、つまり編集されていない区間に対応するコンポーネントとの２種類からなる。一方、グループのコンポーネントは、編集区間からなるグループ情報に対応付けられている編集グループコンポーネントからなる。
　提示部６では、各コンポーネントをテキスト・画像・映像等のグラフィックで表現する。
　図５に示すように、編集区間情報の開始時刻・終了時刻を基にして、各区間コンポーネントを、各編集前後のコンテンツ毎に時間順に並べる。
　そして、これに編集区間対応付け情報を用いると、図２に示すような区間（ただし、編集区間を編集区間コンポーネントとし、編集していない区間を編集していないコンポーネントとして解釈する）と、区間対応付け情報を用いた画面情報が生成される。
　また、各編集区間コンポーネントの区間情報と編集グループのグループ情報の区間ＩＤ同士が対応するので、図６に示すように、編集グループコンポーネントと編集区間コンポーネントとを対応付けする画面情報を生成することができる。
　この編集区間コンポーネントとその編集区間コンポーネントが属する編集グループコンポーネントとを付随して表示する画面情報は、入力部５で編集グループコンポーネントを選択することによって、編集区間コンポーネントを集約した編集グループコンポーネントのみで表現する画面情報を生成することができる。ここで、編集区間コンポーネントの集約とは、編集区間コンポーネントで表現されたコンテンツの部分を編集グループコンポーネントで表現することである。
　例えば、入力部５を介して図６に示す編集グループコンポーネントであるグループＣ１が１つ選択されると、図７に示すようにグループＣ１の編集区間がグループＣ１に全て集約された画面情報を生成することができる。また、図６に示す編集グループコンポーネントが選択され、全ての編集区間コンポーネントを集約して、図３に示すような編集区間コンポーネントを編集グループコンポーネントのみで構成する画面情報を生成することができる。ただし、図３に示す編集グループを編集グループコンポーネントと解釈する。
　一方、入力部５で、図６に示す一部の編集グループコンポーネントを集約することによって、図８に示すような編集区間コンポーネントと編集グループコンポーネントとの両者で表現した画面情報を生成することができる。
　また、集約とは逆に、集約したグループコンポーネントを、元の区間コンポーネントとその区間コンポーネントが属するグループコンポーネントとが付随する画面情報へ展開することができる。例えば、入力部５を介して、図７に示すグループコンポーネントである集約されているグループＣ１が１つ選ばれると、図６に示すようにグループＣ１の区間が全て表示される。
　また、図３に示す区間コンポーネントを集約したグループコンポーネントを入力部５で全て選択すると、図６に示す選択したグループコンポーネントとそのグループコンポーネントに属する区間コンポーネントに全て変えた画面情報を生成することができる。
　一方、図３の一部を展開して、図８に示すような対応する編集前コンテンツと編集後コンテンツとの間で、編集区間コンポーネントと編集グループコンポーネントとを混合して対応させた画面情報を生成することができる。
　これらの編集グループコンポーネント同士の対応には、グループ対応付け情報を用いる。また、区間コンポーネント・グループコンポーネントの対応には、区間・グループ間対応付け情報を用いる。
　また、入力部５を介する入力によって、区間コンポーネント若しくはグループコンポーネントが選択されると、区間コンポーネント、グループコンポーネント、及び、コンポーネント間の対応付けを強調した画面情報を生成することができる。
　図９は、１つの区間コンポーネントＨ１を入力部５により選択した際に、その区間が属するグループＥ１、対応付けされた区間Ｈ２、及び、その対応付けされた区間のグループＡ２が強調されることを示す図である。
　また、図１０は、編集後コンテンツのグループコンポーネントＡ２を入力部５によって選択した際に、選択したグループコンポーネントの区間コンポーネントＢ２、Ｈ２、及びＡ２、また、対応付けされたグループコンポーネントＡ１及びＥ１、対応付けされた区間コンポーネントＡ１、Ｂ１、及びＨ１が強調されることを示す図である。
　入力部５は、ユーザの区間コンポーネントの選択やグループコンポーネントを選択する入力を受け付ける。この入力は、区間コンポーネントとグループコンポーネントの集約・展開や強調等、編集情報表示画面生成部４の画面情報の変更に用いる。
　例えば、入力部５を介して図６の区間コンポーネントＤ１、Ｅ１、及びＦ１により表現されるグループＣ１が選択された場合、図７に示すグループコンポーネントＣ１のように区間コンポーネントを集約した画面情報を生成するよう編集情報表示画面生成部４へ命令を出す。
　逆に、入力部５を介して図７に示すグループコンポーネントＣ１が選択された場合、図６に示す区間コンポーネントＤ１、Ｅ１、及びＦ１により表現されるグループＣ１へ展開する画面情報を生成するよう編集情報表示画面生成部４へ命令を出す。
　一方、入力部５を介して区間コンポーネントＨ２が選択されると、図９に示すように区間コンポーネントＨ２が属するグループＡ２、区間コンポーネントに対応付けされている区間コンポーネントＨ１、及び、グループコンポーネントＥ１を強調表示するよう編集情報表示画面生成部４へ命令を出す。
　なお、入力部５による集約・展開や強調の選択方法には、マウスによるクリックやメニュー画面を利用する方法等がある。
　例えば、区間コンポーネントを集約する場合と、グループコンポーネントを集約する場合は、コンポーネントをダブルクリックすることによって行い、コンポーネントを強調する場合は、コンポーネントをシングルクリックすることによって行う。
　一方、コンポーネントをシングルクリックすることによってそのコンポーネントについてのメニューを表示し、コンポーネントへ適用する集約・展開・強調を選択する。
　なお、入力部５と提示部６とが一体化されたタッチスクリーン（タッチパネル）を利用する場合は、マウスの場合と同様に、スタイラスや指によるクリック・ダブルクリックを利用する方法や、コンポーネントを長押しすることによる、メニューを表示して選択する方法がある。
　そして、提示部６は、編集情報表示画面生成部４が生成した画面情報を提示する。　
　以上説明したように、本実施形態によれば、編集情報の集約・展開による編集結果の概要・詳細と、編集履歴の関係性を用いた編集の意図とを容易に把握することができる。
　［第２実施形態］
　次に、本発明の第２実施形態に係る編集情報提示装置について、図面を用いて説明する。
　先ず、第２実施形態に係る編集情報提示装置の構成及び機能について、説明する。
　当該第２実施形態に係る編集情報提示装置の全体構成は、図１に示す編集情報提示装置１と同様であるが、編集区間情報取得部２において、編集履歴の重要度判定を行う点が異なる。
　図１１は、第２実施形態に係る編集情報提示装置における編集区間情報取得部２を示す図である。
　第２実施形態に係る編集情報提示装置は、図１１に示すように、編集履歴情報蓄積部１００の編集履歴情報の重要度を算出する編集履歴重要度判定部７を編集区間情報取得部２に追加して、編集区間情報取得部２が、当該編集履歴重要度判定部７と編集区間情報生成部８との２つを備えて構成されている。
　編集履歴情報には、編集処理が細かすぎるため、編集前後におけるコンテンツの大局的な構成の変化を把握するにはあまり役に立たないものがある。例えば、映像コンテンツの場合、数フレームの削除や色補正などの細かい編集処理がある。そこで、これら細かい編集処理情報を、図６に示すような編集前後のコンテンツの変化を表示する際に隠蔽する機能を編集履歴重要度判定部７によって実現する。
　編集履歴重要度判定部７は、編集履歴情報に貯えられた各編集処理の重要度を算出する。そして、編集履歴重要度判定部７は、編集履歴と重要度を関連付けたデータを生成する。なお、重要度は、例えば編集処理における変更の度合いを示す情報であり、編集履歴情報がコンテンツの変化の概要を把握するのに利用可能か判定するのに用いる。その値は、編集処理内容と編集処理を適用する区間長、コントラストの変化、及び区間の消去の有無などによって決定することができる。
　例えば、編集処理内容では、映像コンテンツのコントラストの多少の変更や、音声コンテンツの微小なノイズのカット等は、重要度を低く設定する。また、編集処理を適用する区間長は、編集処理の区間の長さが長いほどコンテンツへの影響は大きいので、重要度を高く設定し、１秒にも満たない短い編集区間はコンテンツへの影響は小さいので、重要度を低く設定する。これら編集処理内容や編集処理の区間長によって決定する重要度の設定方法は、短い編集区間でも重要度を高く設定する等ユーザの嗜好に応じて変更することができる。
　編集区間情報生成部８は、編集履歴情報と、編集履歴重要度判定部７から得た履歴と重要度を関連付けたデータと、から編集区間情報・編集区間対応付け情報を算出する。そして、編集区間情報生成部８は、重要度が所定の閾値以下の編集履歴から抽出した編集区間は、コンテンツの編集内容としてはあまり意味を持たないものと判断し、当該抽出した編集区間は、生成されなかったものとして扱う。そして、当該抽出した編集区間の代わりに、重要度が閾値以下の区間の情報であるサブ区間情報を生成する。なお、サブ区間情報とは、重要度が一定閾値以下の編集区間を示す情報が含まれており、開始・終了時刻、区間長、及び、自身を識別するサブ区間ＩＤを含む。
　編集区間情報生成部８において編集区間情報を生成した際に、ある編集区間の中にサブ区間が存在する場合、その編集区間情報と対応付けする。一方、サブ区間がどの編集区間の中にも存在しない場合、サブ区間を編集区間情報に変換して、既に生成した編集区間情報と共に保持する。編集区間に含まれないサブ区間は、編集をしていない区間内に存在することになる。そのため、編集をしていない区間内にサブ区間を含ませないようにするために、サブ区間を編集区間として扱い、サブ区間情報を編集区間情報に変換する。
　図１２は、重要度の低い編集履歴から抽出した編集区間をマージする一例を示す図である。なお、図１２は重要度の低い編集履歴から抽出する編集履歴情報からコンテンツの編集区間情報を算出する過程を示している。
　図１２のコンテンツへの編集処理は、区間のカット・並び替え（イ）と区間消去（ロ）が行われている。なお、この区間消去（ロ）は、数フレームに適用したものであり、編集履歴重要度判定部７によって求まる重要度が低いものとする。
　そして、区間のカット・並び替え（イ）では、区間Ａをカットして、並び替えている。
　また、区間消去（ロ）では、区間Ｄ内にある区間Ｉを消去する。この区間Ｉは、重要度が一定閾値以下であるため、区間Ｉをサブ区間に登録し、編集区間としては、区間Ｄのままで、区間Ｉは生成（消去）されなかったものとして扱う。ここでは、区間Ｉが消された区間Ｈと区間Ｊをマージして区間Ｄ２とする。
　図１３は、サブ区間情報を用いた、編集情報表示画面生成部４の画面情報の一例を示す図である。なお、図１３は、図６に示すような画面情報に加え、サブ区間情報を持つ区間を示す情報を追加可能にしている。また図１３に示す虫眼鏡の絵は、区間にサブ区間情報があることを示している。
　入力部５からの虫眼鏡の付いた区間コンポーネントを選択する入力により、編集情報表示画面生成部４は、図１４に示すようなサブ区間を表示するための画面情報を生成することができる。
　以上説明したように、本実施形態によれば、編集処理が細かい編集区間は、サブ区間として捉え直し、編集前後のコンテンツの変化を提示する際にサブ区間を隠すことにより、編集前後のコンテンツの変化についての概要を把握し易くすることができる。
　［第３実施形態］
　次に、本発明の第３実施形態に係る編集情報提示装置について、図面を用いて説明する。
　先ず、第３実施形態に係る編集情報提示装置の構成及び機能について、説明する。
　当該第３実施形態に係る編集情報提示装置の全体構成は、図１に示す編集情報提示装置１と同様であるが、編集情報表示画面生成部４において、編集前コンテンツと編集後コンテンツとの間で、編集区間、若しくは、編集されていない区間のコンポーネントが同じ場合、時間軸と垂直に交わる方向に揃えることにより、ユーザが編集によるコンテンツの変化を確認し易いように配置する点で異なる。
　図１５は、第３実施形態に係る編集情報装置における編集情報表示画面生成部４を示しており、図１に示す編集情報表示画面生成部４に、レイアウト設定部１１を加え、更に機能を詳細に分割した図である。
　図１５に示すように、編集情報表示画面生成部４は、コンポーネント生成・対応付け部９と、コンポーネント・コンポーネント対応付け選択部１０と、レイアウト設定部１１とを備えて構成される。
　コンポーネント生成・対応付け部９は、編集されていない区間コンポーネント、編集区間コンポーネント、及び、編集グループコンポーネントの３つを生成する。なお、このコンポーネントは、既に説明した通り、各区間情報、各グループ情報を夫々対応付したオブジェクトを指す。
　コンポーネント・コンポーネント対応付け選択部１０は、入力部５から受けた入力から、図８乃至図１０に示すように区間コンポーネントを集約し、グループコンポーネントを展開した画面情報やコンポーネントとコンポーネントの対応関係を強調した画面情報を生成する。
　レイアウト設定部１１は、編集されていない区間コンポーネントが編集前後のコンテンツで並び順序と区間長が変化しないことを利用して、編集前コンテンツと編集後コンテンツの同じコンポーネントを時間軸と垂直に揃える。
　次に、第３実施形態に係る編集情報提示装置の動作について、説明する。
　まず、編集前コンテンツと編集後コンテンツとの間で対応する編集されていない区間コンポーネントを、時間軸と垂直に交わる方向に揃える。
　そして、垂直に揃えた編集されていない区間コンポーネントによって挟まれる編集区間コンポーネントと編集グループコンポーネントの集合を作成する。
　各集合内において、編集前コンテンツと編集後コンテンツとの間で同じ編集区間コンポーネントがある場合、それらの編集コンポーネントは、垂直に交わる方向に揃える。一方、編集前コンテンツと編集後コンテンツとの間で同じ編集区間コンポーネントが無い場合、即ち、異なる集合に同じ編集区間のコンポーネントがある、若しくは、編集区間コンポーネントが編集処理によって存在しない場合、これらを明示するために編集区間コンポーネントは同列に配置せず、その編集区間コンポーネントと垂直に交わる方向に空白を挿入して、レイアウトを調整する。
　なおこの空白は、編集区間コンポーネントが編集前コンテンツに属する場合は、編集後コンテンツに挿入し、編集後コンテンツに属する場合は、編集前コンテンツに挿入する。編集グループコンポーネントは、編集前後のコンテンツでグループの中身が編集されているため、同一の対応するグループコンポーネントがない。そのため、必ず空白を挿入する必要がある。また空白の挿入方法は、編集区間コンポーネントの場合と同様であり、対応がない編集グループコンポーネントが編集前コンテンツに属する場合は、編集後コンテンツに挿入し、編集後コンテンツに属する場合は、編集前コンテンツに挿入する。
　図１６は、レイアウト設定部１１によるコンポーネントのレイアウトの変化について一例を示した図である。
　編集前後のコンテンツの対応する編集されていない区間コンポーネントは、時間軸に垂直方向に揃えられる。編集区間コンポーネントＤ１は、編集後コンテンツの編集されていないコンポーネントＡ２とＢ２の間にある編集区間コンポーネントＤ２と対応している。時間軸と垂直に揃えた編集されていない区間コンポーネントＡ１及びＡ２と、Ｂ１及びＢ２との間にＤ１及びＤ２が存在するため、Ｄ１とＤ２は、時間軸を垂直方向に揃えて配置することができる。そして、その他の編集区間コンポーネント及び編集グループコンポーネントは、対応するコンポーネントが無いため、空白と時間軸を垂直方向に揃える。
　［第４実施形態］
　次に、本発明の第４実施形態に係る編集情報提示装置について、図面を用いて説明する。
　先ず、第４実施形態に係る編集情報提示装置の構成及び機能について、説明する。
　当該第４実施形態に係る編集情報提示装置は、図１７に示すように、図１に示す編集区間情報取得部２に、第１実施形態において説明した編集区間を抽出する機能を持つ編集区間情報生成部８と、新たに編集していない区間を抽出する未編集区間情報生成部１２とを追加した構成である。
　ここで、未編集区間とは、編集前コンテンツと編集後コンテンツとに夫々存在する編集処理が加えられていない区間を指す。
　また、未編集区間情報とは、編集前コンテンツと編集後コンテンツとの間で、編集が加えられていない区間を特定する情報である。未編集区間が存在するコンテンツを識別するＩＤ、そのコンテンツ内で未編集区間を識別するＩＤ、区間の開始・終了時刻、及び、区間長からなる。
　また編集区間情報は、編集区間情報生成部８から抽出され、未編集区間情報は、編集区間情報生成部８から得た編集区間情報を基にして未編集区間情報生成部１２から抽出される。
　未編集区間は、コンテンツ全体から編集区間を除くことによって抽出することができる。即ち、コンテンツ全体のタイムライン上に全編集区間をマッピングし、編集が加えられていない、時間軸上で連続する区間を求めて、未編集区間とする。そして、その未編集区間の未編集区間情報を抽出する。一方、編集履歴情報には、編集操作の記録として、編集をしていないという編集履歴情報を含んでいても良い。この場合、区間に対応付けて格納される情報は、編集操作をした場合と同じで、編集操作内容として編集なしという情報を記録する。なお編集していないという編集履歴情報、即ち未編集区間を未編集と明示的に記述した情報を用いる場合、未編集区間の情報をそのまま用いて未編集区間情報とすることができる。
　未編集区間情報生成部１２は、未編集区間情報を基にしてコンテンツの編集前後間で一致する未編集区間の対応付けを行う。なおこの対応付け情報の生成方法は、未編集区間の順序と区間長から生成する方法と、未編集区間の画像・音の特徴を抽出し、編集前コンテンツと編集後コンテンツとを比較して生成する方法との２通りの方法がある。前者では、未編集区間の順序と区間長とが編集前後で変化しないことを利用して、編集前コンテンツと編集後コンテンツとの間で、時間順に、区間長が等しい未編集区間を対応付ける。後者では、未編集前後間で画像・音の特徴を抽出し、当該抽出された画像・音の特徴が最も類似する未編集区間を対応付ける。なお、これら２つの未編集区間の対応付け方法は、組み合わせて利用してもよい。このようにして対応付けした未編集区間は、各未編集区間が存在するコンテンツのＩＤと未編集区間に新たに付与する区間ＩＤの組をペアとした、未編集区間対応付け情報を生成する。
　編集情報表示画面生成部４は、第１実施形態の編集情報提示装置１が生成する画面情報に、編集されていない区間コンポーネントを未編集区間コンポーネントとして表現する。この未編集区間コンポーネントは、未編集区間情報と対応付けする。
　そして、図１８に示すように、第１実施形態の編集情報提示装置１の提示部６が提示する編集区間と編集グループコンポーネントと、それらと対応関係にある、未編集区間コンポーネントと未編集区間対応付け情報とを加えた画面情報を生成する。そして、編集区間と未編集区間の開始時刻・終了時刻を基にして、各区間コンポーネントは時間順に並ぶ。
　入力部５の入力によって、未編集区間コンポーネントを選択すると、未編集区間コンポーネント間の対応付けを強調した画面情報の生成が可能である。
　以上説明したように、本実施形態によれば、編集前後のコンテンツにおけるグループ同士の対応付け情報により、編集内容を集約した形で表示し、編集内容の概要を把握することを可能であるため、編集履歴情報が増加しても、その編集内容の確認が容易である。
　また、本実施形態によれば、編集前コンテンツの区間・グループと編集後コンテンツの区間・グループの対応付け情報を抽出し、複数の対応関係情報を表示することにより、編集の意図をより鮮明に理解することができる。例えば、移動した２つの編集区間の対応関係から区間の入れ替えが分かり、未編集区間に挟まれた編集区間が１つのみの場合には区間の置き換えが分かる。
　また、本実施形態によれば、編集情報を部分的に集約・展開可能にすることにより、コンテンツの編集情報の確認が容易になる。即ち編集履歴情報の一部分を集約すると、その他の編集履歴情報の表示に十分なスペースを与えられ、そのスペースを用いて編集履歴情報を大きく詳細に表示することにより、ユーザの編集情報の確認が容易になる。また、ユーザが注目しない編集情報を省スペースでまとめることができる。
　また、本実施形態によれば、未編集区間、編集前コンテンツと編集後コンテンツとの間でその未編集区間同士の相対的な順序とその区間長とが変わらないため、編集前後のコンテンツの変化を整理し、集約する骨組みとして用いることができる。
　また、本実施形態によれば、コンテンツが編集区間と未編集区間の２つのみからなることを利用し、時間順に連続する編集区間をまとめ、編集前コンテンツと編集後コンテンツとの間で対応付けを取ることにより、未編集区間によって編集情報を整理した形を取ることができる。
　また、本実施形態によれば、編集区間同士、編集区間と編集グループ間、編集グループ同士の対応関係が提示されるので、注目する区間の編集方法だけでなく、注目する編集区間、編集グループ、その他の区間との関連性が明らかになり、編集意図を読み取ることができる。
　また、本実施形態によれば、編集区間同士、編集区間と編集グループ間、編集グループ同士の対応関係を抽出することにより、対応付け情報を集約した形で表示することが可能になり、対応付け情報の確認が容易になる。
　また、本実施形態によれば、入力に従い対応付け情報の表示方法を変更することにより、ユーザが注目する箇所の情報を詳細に提示し、また、ユーザが注目しない箇所の情報は省スペースで表示するため、ユーザが注目する箇所の情報を十分なスペースで表示することが容易である。
　尚、本発明は、以上説明したように構成されるが、上記各実施形態に限定されるものではなく、本発明の要旨の範囲内において種々変更可能である。
　この出願は、２００８年１２月２５日に出願された日本特許出願特願２００８－３２９６９９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　　１　編集情報提示装置
　　２　編集区間情報取得部
　　３　編集前コンテンツ・編集後コンテンツ間対応関係取得部
　　４　編集情報表示画面生成部
　　５　入力部
　　６　提示部
　　７　編集履歴重要度判定部
　　８　編集区間情報生成部
　　９　コンポーネント生成・対応付け部
　１０　コンポーネント・コンポーネント対応付け選択部
　１１　レイアウト設定部
　１２　未編集区間情報生成部
１００　編集履歴情報蓄積部

Claims (15)

  1. 　時間軸を有するコンテンツに対して区間毎に修正を行う編集処理における編集前後の対応関係を提示する編集情報提示装置であって、
    　編集前コンテンツ内において修正が行われない区間に挟まれていて修正が行われる複数の区間から構成される部分と、編集後コンテンツ内において修正が行われていない区間に挟まれた修正が行われた複数の区間から構成される部分との間において、互いに対応する複数の区間の対応付けをする編集区間情報取得手段と、
    　前記複数の区間の対応付けを１つの対応関係として提示する提示手段と、
    を備えることを特徴とする編集情報提示装置。
  2. 　前記編集区間情報取得手段は、前記編集前コンテンツから前記編集後コンテンツを生成した際に生成された編集履歴情報に基づいて、前記編集前コンテンツの修正が行われる区間から前記編集後コンテンツの修正が行われた区間への対応付けをすることを特徴とする請求項１に記載の編集情報提示装置。
  3. 　前記編集履歴情報には、前記編集処理毎に当該編集処理を適用した区間の時間情報が含まれており、
    　前記編集区間情報取得手段は、前記編集履歴情報の前記時間情報に基づいて、時間的に連続する前記修正が行われた複数の区間を求めることにより、前記編集前コンテンツにおいて修正が行われる区間が、前記修正が行われない区間に挟まれていることの判定を行うことを特徴とする請求項２に記載の編集情報提示装置。
  4. 　前記編集前コンテンツ及び前記編集後コンテンツそれぞれにおいて、修正が行われた区間を編集区間として算出し、前記編集前コンテンツ及び前記編集後コンテンツの夫々に対して、時間的に連続する編集区間同士をグループ化して編集グループを生成する編集前コンテンツ・編集後コンテンツ間対応関係取得手段と、
    　前記編集履歴情報から前記編集前コンテンツの編集区間と前記編集後コンテンツの編集区間との対応関係を示す編集区間対応付け情報を抽出し、前記編集区間対応付け情報に基づいて前記編集前コンテンツと前記編集後コンテンツとの間で編集グループ同士の対応関係を示す編集グループ間対応付け情報を抽出し、前記編集区間対応付け情報に基づいて前記編集前コンテンツと前記編集後コンテンツとの間で編集区間と編集グループとの対応関係を示す区間・グループ間対応付け情報を抽出し、前記編集区間と前記編集グループとによって前記編集前コンテンツの構造と前記編集後コンテンツの構造を表現し、前記編集区間対応付け情報、前記編集グループ間対応付け情報、及び前記区間・グループ間対応付け情報の少なくとも何れか１つを用いて、前記編集前コンテンツと前記編集後コンテンツとの間の対応関係を前記提示手段に提示させる編集情報表示画面生成手段と、
    　を備えることを特徴とする請求項２に記載の編集情報提示装置。
  5. 　ユーザからの入力を受け付ける入力手段を更に備え、
    　前記編集情報表示画面生成手段は、前記入力手段からの入力に従って、前記編集区間対応付け情報、前記編集グループ間対応付け情報、及び前記区間・グループ間対応付け情報の何れか１つを選択して用いて、前記編集前コンテンツと前記編集後コンテンツとの間の対応関係を、前記編集区間同士の対応関係、前記編集区間と前記編集グループの間での対応関係、又は前記編集グループ同士の対応関係のいずれかで前記提示手段に提示させることを特徴とする請求項４に記載の編集情報提示装置。
  6. 　前記編集区間情報取得手段は、前記編集前コンテンツと前記編集後コンテンツとの対応関係を提示する際に前記編集区間の長さと前記編集区間の編集処理の内容とから前記編集区間の重要度を算出し、当該算出された編集区間の重要度が所定の閾値より低い場合には、当該編集処理が行われた編集区間をサブ区間へ変更し、前記編集前コンテンツと前記編集後コンテンツを提示する際に前記サブ区間を隠蔽することを特徴とする請求項４に記載の編集情報提示装置。
  7. 　前記編集情報表示画面生成手段は、前記編集前コンテンツと前記編集後コンテンツとの間で対応関係にある区間・グループを再生順序で並べた後に、前記編集前コンテンツと前記編集後コンテンツの少なくとも一方において区間とグループの間に空白を挿入することにより、再生順序と垂直に交わる方向において互いに対応する区間・グループの位置を揃えて、前記編集前コンテンツと前記編集後コンテンツとの間の対応関係を前記提示手段に提示させることを特徴とする請求項４に記載の編集情報提示装置。
  8. 　前記編集区間情報取得手段は、前記修正が行われていない区間を未編集区間として抽出し、当該未編集区間の対応関係を抽出して、当該未編集区間に挟まれる区間で前記編集前コンテンツと前記編集後コンテンツとの対応関係を前記提示手段に提示させることを特徴とする請求項１に記載の編集情報提示装置。
  9. 　前記編集区間情報取得手段は、前記編集前コンテンツと前記編集後コンテンツの間で編集区間情報の差分を取ることにより、前記編集前コンテンツと前記編集後コンテンツとの間の前記未編集区間の抽出を行うことを特徴とする請求項８に記載の編集情報提示装置。
  10. 　前記編集区間情報取得手段は、前記編集前コンテンツから前記編集後コンテンツを生成した際に生成された編集履歴情報に、編集をしていない区間である未編集区間に関する情報が含まれている場合、当該未編集区間に関する情報を用いて、前記編集前コンテンツと前記編集後コンテンツとの間の前記未編集区間の抽出を行うことを特徴とする請求項８に記載の編集情報提示装置。
  11. 　前記編集区間情報取得手段は、前記編集前コンテンツと前記編集後コンテンツとに存在する未編集区間が並ぶ順序で、前記編集前コンテンツと前記編集後コンテンツとの間で同一の区間長さを有する未編集区間同士を対応させることにより、前記編集前コンテンツと前記編集後コンテンツとの間の前記未編集区間の対応付け情報の抽出を行うことを特徴とする請求項８に記載の編集情報提示装置。
  12. 　前記編集区間情報取得手段は、前記編集前コンテンツと前記編集後コンテンツとの間で各未編集区間を映像又は音響特徴量による照合を行い、同一の未編集区間を対応付けることによって、前記編集前コンテンツと前記編集後コンテンツとの間の前記未編集区間の対応付け情報を算出することを特徴とする請求項８に記載の編集情報提示装置。
  13. 　時間軸を有するコンテンツを区間毎に修正を行う編集処理のためのコンテンツにおける編集前後の対応関係を提示する編集情報提示装置における編集情報提示方法であって、
    　編集前コンテンツ内において修正が行われない区間に挟まれていて修正が行われる複数の区間から構成される部分と、編集後コンテンツ内において修正が行われていない区間に挟まれた修正が行われた複数の区間から構成される部分との間において、互いに対応する複数の区間の対応付けをする編集区間情報取得工程と、
    　前記複数の区間の対応付けを１つの対応関係として提示する提示工程と、
    　を有することを特徴とする編集情報提示方法。
  14. 　コンピュータを、
    　請求項１乃至１２の何れか一項に記載の編集情報提示装置として機能させることを特徴とするプログラム。
  15. 　請求項１４に記載のプログラムがコンピュータに読み取り可能に記録されていることを特徴とする記録媒体。
PCT/JP2009/007241 2008-12-25 2009-12-25 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体 WO2010073695A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009801527194A CN102265610A (zh) 2008-12-25 2009-12-25 已编辑信息提供设备、已编辑信息提供方法、程序以及存储介质
US12/998,960 US8819558B2 (en) 2008-12-25 2009-12-25 Edited information provision device, edited information provision method, program, and recording medium
JP2010543907A JPWO2010073695A1 (ja) 2008-12-25 2009-12-25 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008329699 2008-12-25
JP2008-329699 2008-12-25

Publications (1)

Publication Number Publication Date
WO2010073695A1 true WO2010073695A1 (ja) 2010-07-01

Family

ID=42287328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/007241 WO2010073695A1 (ja) 2008-12-25 2009-12-25 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US8819558B2 (ja)
JP (1) JPWO2010073695A1 (ja)
CN (1) CN102265610A (ja)
WO (1) WO2010073695A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012108090A1 (ja) * 2011-02-10 2012-08-16 日本電気株式会社 映像間対応関係表示システム及び映像間対応関係表示方法
WO2012108089A1 (ja) * 2011-02-10 2012-08-16 日本電気株式会社 映像間対応関係表示システム及び映像間対応関係表示方法
JP2013080989A (ja) * 2011-09-30 2013-05-02 Jvc Kenwood Corp 動画編集装置、動画編集方法およびコンピュータプログラム
WO2017039040A1 (ko) * 2015-09-04 2017-03-09 (주)마인드퀘이크 컨텐츠 제공 방법 및 컨텐츠 제공 장치
JP2018136389A (ja) * 2017-02-21 2018-08-30 日本放送協会 音声データの比較処理プログラム
WO2021019645A1 (ja) * 2019-07-29 2021-02-04 日本電気株式会社 学習データ生成装置、学習装置、識別装置、生成方法及び記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857293B (zh) * 2018-12-28 2021-04-13 维沃移动通信有限公司 显示方法及终端设备
JP2021106369A (ja) * 2019-12-27 2021-07-26 京セラドキュメントソリューションズ株式会社 情報処理装置及び画像形成装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203979A (ja) * 2000-01-24 2001-07-27 Mitsubishi Electric Corp 記録再生装置、記録再生装置における編集方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004040767A (ja) * 2002-03-21 2004-02-05 Canon Inc デュアルモード型のタイムライン・インタフェース
JP2005094391A (ja) * 2003-09-18 2005-04-07 Pioneer Electronic Corp データ編集記録装置、データ編集記録方法、並びに、データ編集記録プログラムおよびそれを記録した記録媒体
JP2007336106A (ja) * 2006-06-13 2007-12-27 Osaka Univ 映像編集支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6670966B1 (en) * 1998-11-10 2003-12-30 Sony Corporation Edit data creating device and edit data creating method
US7020381B1 (en) * 1999-11-05 2006-03-28 Matsushita Electric Industrial Co., Ltd. Video editing apparatus and editing method for combining a plurality of image data to generate a series of edited motion video image data
US7305381B1 (en) * 2001-09-14 2007-12-04 Ricoh Co., Ltd Asynchronous unconscious retrieval in a network of information appliances
JP4914278B2 (ja) 2007-04-16 2012-04-11 富士フイルム株式会社 画像処理装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203979A (ja) * 2000-01-24 2001-07-27 Mitsubishi Electric Corp 記録再生装置、記録再生装置における編集方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004040767A (ja) * 2002-03-21 2004-02-05 Canon Inc デュアルモード型のタイムライン・インタフェース
JP2005094391A (ja) * 2003-09-18 2005-04-07 Pioneer Electronic Corp データ編集記録装置、データ編集記録方法、並びに、データ編集記録プログラムおよびそれを記録した記録媒体
JP2007336106A (ja) * 2006-06-13 2007-12-27 Osaka Univ 映像編集支援装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012108090A1 (ja) * 2011-02-10 2012-08-16 日本電気株式会社 映像間対応関係表示システム及び映像間対応関係表示方法
WO2012108089A1 (ja) * 2011-02-10 2012-08-16 日本電気株式会社 映像間対応関係表示システム及び映像間対応関係表示方法
US9172936B2 (en) 2011-02-10 2015-10-27 Nec Corporation Inter-video corresponding relationship display system and inter-video corresponding relationship display method
JP5854232B2 (ja) * 2011-02-10 2016-02-09 日本電気株式会社 映像間対応関係表示システム及び映像間対応関係表示方法
US9473734B2 (en) 2011-02-10 2016-10-18 Nec Corporation Inter-video corresponding relationship display system and inter-video corresponding relationship display method
JP6037443B2 (ja) * 2011-02-10 2016-12-07 日本電気株式会社 映像間対応関係表示システム及び映像間対応関係表示方法
JP2013080989A (ja) * 2011-09-30 2013-05-02 Jvc Kenwood Corp 動画編集装置、動画編集方法およびコンピュータプログラム
WO2017039040A1 (ko) * 2015-09-04 2017-03-09 (주)마인드퀘이크 컨텐츠 제공 방법 및 컨텐츠 제공 장치
JP2018136389A (ja) * 2017-02-21 2018-08-30 日本放送協会 音声データの比較処理プログラム
WO2021019645A1 (ja) * 2019-07-29 2021-02-04 日本電気株式会社 学習データ生成装置、学習装置、識別装置、生成方法及び記憶媒体
JPWO2021019645A1 (ja) * 2019-07-29 2021-02-04
JP7268739B2 (ja) 2019-07-29 2023-05-08 日本電気株式会社 学習データ生成装置、学習装置、識別装置、生成方法及びプログラム

Also Published As

Publication number Publication date
JPWO2010073695A1 (ja) 2012-06-07
US20110258546A1 (en) 2011-10-20
US8819558B2 (en) 2014-08-26
CN102265610A (zh) 2011-11-30

Similar Documents

Publication Publication Date Title
WO2010073695A1 (ja) 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体
JP4607987B2 (ja) エンハンス・コンテンツを有するタイム・ベース・メディアの編集
US8196032B2 (en) Template-based multimedia authoring and sharing
US20030018609A1 (en) Editing time-based media with enhanced content
US20100003006A1 (en) Video searching apparatus, editing apparatus, video searching method, and program
US20090327856A1 (en) Annotation of movies
US8631047B2 (en) Editing 3D video
JPH07182365A (ja) マルチメディア会議録作成支援装置および方法
CN104516861B (zh) 多媒体互动文档处理方法
JPH11162107A (ja) デジタルビデオ情報及びオーディオ情報を編集するためのシステム
WO2013016312A1 (en) Web-based video navigation, editing and augmenting apparatus, system and method
CN103324513B (zh) 程序注释方法和装置
CN101110930A (zh) 记录控制装置和记录控制方法,以及程序
DE10393469T5 (de) Optische Platte, Wiedergabevorrichtung, Programm, Wiedergabeverfahren und Aufzeichnungsverfahren
JP2006042317A (ja) アーカイブ管理装置、アーカイブ管理システム及びアーカイブ管理プログラム
US11942117B2 (en) Media management system
GB2520041A (en) Automated multimedia content editing
JP6603929B1 (ja) 動画編集サーバおよびプログラム
WO2020201297A1 (en) System and method for performance-based instant assembling of video clips
JP2001502858A (ja) ディジタル音声及び画像情報の符号化データのデータベースを有したディジタル画像システム
JP2002008052A (ja) プレゼンテーションシステムおよび記録媒体
CN106527845B (zh) 对文本中鼠标操作进行语音注释并再现的方法及装置
JP2006157687A (ja) 視聴者間コミュニケーション方法及び装置及びプログラム
KR20140051115A (ko) 미디어 파일들의 이벤트의 로그
JP2005167822A (ja) 情報再生装置及び情報再生方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980152719.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09834501

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12998960

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2010543907

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09834501

Country of ref document: EP

Kind code of ref document: A1