WO2017068855A1 - メディア記録再生装置、および、メディア再生装置 - Google Patents

メディア記録再生装置、および、メディア再生装置 Download PDF

Info

Publication number
WO2017068855A1
WO2017068855A1 PCT/JP2016/074692 JP2016074692W WO2017068855A1 WO 2017068855 A1 WO2017068855 A1 WO 2017068855A1 JP 2016074692 W JP2016074692 W JP 2016074692W WO 2017068855 A1 WO2017068855 A1 WO 2017068855A1
Authority
WO
WIPO (PCT)
Prior art keywords
annotation
package
media
information
recording
Prior art date
Application number
PCT/JP2016/074692
Other languages
English (en)
French (fr)
Inventor
山本　智幸
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2017546441A priority Critical patent/JPWO2017068855A1/ja
Publication of WO2017068855A1 publication Critical patent/WO2017068855A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Definitions

  • An aspect of the present invention relates to a media recording / reproducing apparatus that records media data such as video / audio and annotation information such as comments and related data in association with each other and reproduces related media data and annotation information according to a request.
  • Media recording / playback devices are used to record and play back media data typified by captured video and recorded audio.
  • the media playback device records media data on a recording medium typified by a hard disk, plays back the recorded media data in response to a user's playback request, and outputs it in a format that can be displayed on a display device typified by a display.
  • One of the functions of the media recording / playback apparatus is an annotation information recording function for recording annotation information associated with media data.
  • annotation information reproduction function for reproducing the annotation information recorded in association with the media data.
  • annotation information recording function By utilizing the annotation information recording function and annotation information playback function, information representing the situation at a specific time of the video can be recorded / reproduced as annotation information, and information representing the speaker of the voice at the specific time can be recorded / reproduced as annotation information. You can play.
  • Patent Document 1 discloses a method of adding annotation information to media data and utilizing it. Specifically, various annotation information, that is, text annotations, graphical annotations, and audio annotations are assigned in association with a specific time of media data (media content data), and are associated at an appropriate timing when media data is played back. A method for presenting annotated information is disclosed.
  • the media recording / reproducing apparatus there is a function of creating derived media data by editing the media data and recording / reproducing the derived media data.
  • Patent Document 2 discloses a method of automatically editing media data to create derived media data corresponding to a summary of the original media data. Specifically, a method for creating a summary video by automatically editing a video is disclosed.
  • the component that handles the derived media data B is used. There was a problem that there was no mechanism to know the update of annotation information.
  • the amount of media data typified by video and audio exchanged via a transmission path typified by the Internet is increasing, and it is not realistic to share all the media data held between users. . Therefore, when sharing annotation information attached to media data, a mechanism that allows annotation information to be added to derived media data that has been edited to reduce the amount of data, rather than the original media data. At the same time, it is important that the same annotation information is presented at an appropriate position in the media, that is, at an appropriate time and position when the derivation source media data or other derivation media data is played back. There was a problem that systems and services could not be realized.
  • a media recording / reproducing apparatus is a media recording / reproducing apparatus that reproduces media data and annotation information based on recorded package information, and includes media information including derivative media information.
  • a package recording unit that records at least package information, an annotation recording unit that records annotation information associated with a specific package indicated by the package identification information, a media recording unit that records media data, and package information
  • a package playback unit that plays back media data and annotation information included in the package based on the package, and the package playback unit includes the derived media identification information included in the derived media information that the package to be played is derived media Is included in the media information.
  • component information characterized in that for reproducing media data and annotation information.
  • a media playback device is a media playback device that receives package data including media data and plays back the media data and annotation information, and is indicated by package identification information.
  • An annotation recording unit that records annotation information associated with a specific package, a package reproducing unit that reproduces media data and annotation information included in the package based on package data, and the annotation recording unit based on attached annotation information
  • An annotation update unit for updating the annotation information recorded in the notification and notifying the outside, and an annotation reception unit for receiving the notified annotation information and updating the annotation information recorded in the annotation recording unit,
  • the data is characterized by including derived media information.
  • a media recording / reproducing apparatus is a media recording / reproducing apparatus that reproduces media data and annotation information based on recorded package information, and includes at least media information including derivative media information. Included in the package based on the package information, a package recording unit that records the annotation information associated with the specific package indicated by the package identification information, a media recording unit that records the media data, A package playback unit for playing back the media data and the annotation information, and the package playback unit, when the derived media identification information included in the derived media information indicates that the package to be played is derived media, Refer to the component information included in the media information. To play the media data and annotation information by.
  • the derivation source media of the derived media can be specified from the derived media information included in the package information.
  • the annotation information recorded in association with the derivation source media is read from the annotation recording unit, and the playback position and playback timing are adjusted based on the component information, and then combined with the media data. Can play.
  • a media playback device is a media playback device that receives package data including media data and plays back the media data and annotation information, and is indicated by package identification information.
  • An annotation recording unit that records annotation information associated with a specific package, a package reproducing unit that reproduces media data and annotation information included in the package based on package data, and the annotation recording unit based on attached annotation information
  • An annotation update unit for updating the annotation information recorded in the notification and notifying the outside, and an annotation reception unit for receiving the notified annotation information and updating the annotation information recorded in the annotation recording unit,
  • a media reproducing apparatus wherein the data includes derived media information.
  • the derivation source media of the derived media can be specified from the derived media information included in the package data.
  • the annotation information recorded in association with the derivation source medium can be read from the annotation recording unit and reproduced together with the media data.
  • the media playback device since the media playback device has the annotation update unit, it can record the annotation given when the package is played back in the annotation recording unit and notify the outside. In addition, since the media playback device has the annotation receiving unit, it can receive the notified annotation information and update the annotation information in the annotation recording unit. Therefore, the media playback device can generate and display a playback video including the annotation information given and notified by another media playback device when the package including the derived media is played back.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a media playback device according to an embodiment of the present invention. It is a table showing the data structure of the package data input in a media reproduction apparatus.
  • the media recording / reproducing apparatus 1 and the annotation assigning apparatus 2 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 6 as follows.
  • FIG. 1 The configuration of the media recording / reproducing apparatus 1 according to the present embodiment is shown in FIG.
  • the media recording / reproducing apparatus 1 records input media data in association with a package.
  • a playback video is constructed and output by playing back media data and annotation information associated with the package.
  • the annotation information is updated based on the input attached annotation information.
  • a package can be expressed as data including a plurality of media data and related information represented by annotation information.
  • a data structure for representing a package is referred to as package information.
  • the package information does not include the media data itself, but includes information (media reference information) for referring to the media data included in the package.
  • the package information includes the media data directly. It is also possible to configure a media recording / reproducing apparatus.
  • the package may include media additional information that is additional information with respect to the media data.
  • the media reference information and media additional information included in the package are collectively referred to as media information.
  • the media recording / playback apparatus 1 includes a media acquisition unit 11, a media recording unit 12, a package generation unit 13, a package derivation unit 14, a package recording unit 15, an annotation recording unit 16, a package playback unit 17, and an annotation.
  • An update unit 18 is provided.
  • the media acquisition unit 11 records externally input media data in an output destination recording unit (media recording unit 12 in the present embodiment). In addition, the media acquisition unit 11 outputs information indicating the recording position of the media data as media reference information.
  • the number of media data input to the media acquisition unit 11 may be two or more.
  • a package including a plurality of media data is generated by the package generation unit 13 described later.
  • the media data includes at least video, audio, graphic data, and time-series various device output data.
  • the media data may be data representing other content.
  • the media recording unit 12 records and holds input media data at a specific recording position. In addition, the media recording unit 12 receives an output request using the recording position as a key as media reference information, and outputs the media data recorded at the recording position.
  • the package generation unit 13 generates and outputs package information representing a package including the medium recorded at the recording position indicated by the input media reference information.
  • the data structure of the package information generated by the package generation unit 13 will be described with reference to FIG.
  • FIG. 3 illustrates a data structure of package information (package_info) derived by the package generation unit 13.
  • Package information includes the following information: Package identifier (package_id): Information for uniquely identifying a package, and a numerical value or a character string that does not overlap with each other is used for each package.
  • Number of media (num_media): Information indicating the number of media data included in the package, and a non-negative integer is used.
  • Media source location (media_src_location [i]): Information indicating the recording location of the i-th media data included in the package, that is, media reference information.
  • URL Uniform Resource Locator
  • Other expressions such as addresses on the memory may be used.
  • Derived media number Information indicating the number of derived media included in the package, and a non-negative integer is used.
  • the derived media is composed of a part of the derivation source media.
  • the package information includes the following information for each derived medium.
  • Derivation source package identifier (src_package_id [i]): Indicates a package identifier of a package (derivation source package) including a derivation source medium of the derivation medium. Since the derivation source package identifier is information for specifying the derivation source package, it is also called derivation source package identification information.
  • the derivation source package identification information is not necessarily expressed by an identifier.
  • Derivation source package identification information of another expression may be used as long as the derivation source package can be uniquely specified.
  • Derivation source media number (src_media_idx [i]): Information indicating the number of the derivation source media in the derivation source media, and is expressed by a non-negative integer.
  • the derivation source media number is information for identifying the derivation source media from the media in the derivation source package, and is also called derivation source media identification information.
  • the derivation source medium identification information is not necessarily expressed by a number, and derivation source medium identification information of another expression may be used as long as the derivation source medium in the derivation source package can be uniquely specified.
  • Number of components (num_components [i]): Information indicating the number of components constituting the i-th derived medium, and a non-negative integer is used.
  • the package information includes the following information for each component of each derived medium.
  • Component start (comp_start [i] [j]): Information indicating the presentation time (reproduction time) in the derivation source medium of the start point of the jth component in the i-th derivation medium.
  • an absolute time defined by NTP or a time based on the presentation start time of the derivation source media can be used.
  • Other expressions indicating the presentation time in the media may be used as the component start.
  • Component period (comp_duration [i] [j]): Information indicating the presentation period (playback period) of the j-th component in the i-th derived media.
  • a unit of the value of the component period time or a unit obtained by dividing time by a predetermined value can be used.
  • the component start value is Ts and the component period value is Td.
  • the component period another expression indicating the interval between two presentation times in the media may be used.
  • the package information described with reference to FIG. 3 includes package identification information (package identifier) and media information (number of media, media source position, and derived media information).
  • the derived media information includes the number of derived media, a derivation source package identifier, a derivation source media number, and component information.
  • the constituent element information includes the number of constituent elements, the constituent element start, and the constituent element period.
  • the component element information may be expressed in another format as long as each component constituting the derived package can be interpreted as to which part of the derived package. For example, instead of the component period, the component end indicating the presentation time in the derivation source medium of the component end point may be used. Further, instead of starting the component, a component start offset having an offset from the end time of the immediately preceding component as a value may be used.
  • package information generation processing in the package generation unit 13 will be described.
  • the media reference information is input to the package generation unit 13
  • an unused identifier is set as the package identifier value.
  • the number of media recording positions input to the value of the number of media is set.
  • the media recording position indicated by the input media reference information is set as the value of the media source position.
  • the value of the number of derived media is set to zero.
  • the package generation unit 13 generates package information that represents a package that includes media data indicated by all input media reference information and does not include derived media.
  • the package derivation unit 14 reads package information representing a specified package as derivation source package information in response to an external derivation package generation request (not shown), and a package representing the derivation package based on the derivation source package information Generate and output information (derived package information).
  • the derivation package generation request is derived from the identification information of the derivation source package, the information indicating the number of derivation media included in the derivation package, the derivation source media identification information for each derivation medium, and which part of the derivation source medium. Information indicating whether the medium is to be configured.
  • the derivative package generation request can be created, for example, by presenting media data of a derivation source package and selecting a part to be used for each derivation medium in the derivation package from among them.
  • FIG. 1A shows the relationship between the derivation source media (derivation source video) and the presentation time when the media is video.
  • the derivation source video is composed of eight partial videos S0 to S7 in the order of presentation time.
  • FIG. 1B1 shows the relationship between the derived video 1 derived from the derived video and the presentation time.
  • Derived video 1 is composed of three partial videos S1, S4, and S6 in the order of presentation time.
  • the partial videos to which common symbols are assigned in the derived video and the derived video 1 are the same partial video. That is, the derived video 1 can be said to be a video having a part of a partial video constituting the derived video as a constituent element. From this, the derived media can be expressed as media having a part of the partial media constituting the derivation source media.
  • the procedure for generating the derivation package information from the derivation package generation request and the derivation source package information is as follows. First, an unused identifier is set as the package identifier value. Next, the number of media is set to zero. The value of the number of derived media is set with reference to information indicating the number of derived media included in the derived package generation request. The value of the derivation source package identifier is set based on the package identification information included in the derivation source package information. The values of the number of component elements, the component element start, and the component element period are set based on information included in the derived package generation request.
  • the package recording unit 15 records and holds input package information. Each package information recorded in the package recording unit 15 can be referred to using a package identifier as a key.
  • the data structure described with reference to FIG. 3 can be used. Note that other data structures can be used instead if they include the contents described with reference to FIG. 3 or can be derived indirectly using information in the package information.
  • the annotation recording unit 16 records and holds input annotation information.
  • Each annotation information recorded in the annotation recording unit 16 is associated with a specific package, and the annotation information associated with the package indicated by the package identifier can be referred to by specifying the package identifier.
  • the annotation information includes the following information.
  • Associated package identifier Information indicating the package identifier of the package with which the annotation information is associated.
  • the package identifier must be in the same format as the package identifier used in the package information, or in a format that can be converted to one another.
  • the package identifier included in the package information and the annotation information will be described as having the same format. Therefore, when the value of the package identifier included in the package information is the same as the value of the related package identifier included in the annotation information, they refer to the same package.
  • Number of annotations Information indicating the number of annotations included in the annotation information, and a non-negative integer is used.
  • the annotation information includes the following information for each annotation.
  • Annotation start (ann_start [i]): Information indicating the presentation position in the media with which the i-th annotation included in the annotation information is associated. In a specific annotation, the presentation time in the medium designated by the annotation start is also referred to as annotation addition time.
  • Annotation period (ann_duration [i]): Information indicating a period during which the i-th annotation included in the annotation information continues.
  • Annotation source location (ann_src_location [i]): Information indicating the recording position of the i-th annotation included in the annotation information.
  • Annotation supplement information (annotation_option (): Supplement information of the i-th annotation included in the annotation information. Information indicating the context at the time of annotation represented by the annotator and the annotation time is included.
  • annotation information shown in FIG. 4 includes the annotation target package information (related package identifier), the number of annotations, annotation position information of each annotation (annotation start, annotation period), annotation content information (annotation source position), And annotation supplementary information.
  • the package reproduction unit 17 reads out package information, media information, and annotation information necessary for package reproduction as inputs for a package designated by external reproduction control, and composes and outputs a video. Details of the package reproducing unit 17 will be described later.
  • the annotation update unit 18 updates the corresponding annotation information on the connected annotation recording unit based on the input attached annotation information.
  • the assigned annotation information is recorded after being converted into the data structure described with reference to FIGS. 4 and 6 in the description of the annotation recording unit 16.
  • the annotation information includes package identification information at the time of annotation, a media position at the time of annotation, a media number at the time of annotation, and content information of the annotation.
  • the package identification information at the time of annotating is information for identifying a package used at the time of annotating. For example, the package identifier of the package that has been played back at the time of annotation is used as the package information at the time of annotation.
  • the position in the medium at the time of annotation is information indicating a position to which the annotation is associated, and includes the position information on the annotation presentation based on the presentation time of the media data included in the package at the time of annotation.
  • the annotation presentation position information is expressed by an annotation start time and a period.
  • the media number at the time of annotation is an identification number in the package at the time of annotation of the media to be annotated.
  • the assigned annotation content is information indicating the content of the assigned annotation (annotation content information).
  • the annotation update process in the annotation update unit 18 is executed in the following procedure.
  • T181 Using the package identifier indicated by the annotated package information included in the input annotated annotation information as a key, the package information corresponding to the annotated package is read from the package recording unit 15 (annotated package information). Next, the process proceeds to T182.
  • T182 Using annotated media number included in the package information at the time of annotating, one of media data or derived media included in the annotated package is selected and set as a target medium. Assuming that the media number at the time of annotation is mn1, the number of media in the package information at the time of annotation is mn2, and the number of derived media is mn3, the target media is set as follows. When mn1 is less than or equal to mn2, the media data indicated by the mn1th media reference position is set as the target medium among the media reference positions included in the package information at the time of annotation.
  • the (mn1-mn2) -th derived medium is set as the target medium among the derived media included in the annotation-added package information.
  • the expression of the media number at the time of annotating is not limited to the above, and another expression may be used as long as it can select any media data or derived media in the package at the time of annotating. If the target medium is media data, the process proceeds to T183. If the target medium is a derived medium, the process proceeds to T184.
  • T183 The annotation information of each piece of media data included in the package at the time of annotation is acquired from the annotation recording unit 16 using the package identifier included in the package information at the time of annotation as a key, and is set as the target annotation information.
  • annotation information with the number of annotations of 0 is set and used as target annotation information.
  • Information on the annotation position in the media (annotation start and annotation period) included in the target annotation information is set by the value of the media position at the time of annotation.
  • the annotation giving contents are recorded in the annotation recording unit 16, and the recording position is set to the value of the annotation source position.
  • the process proceeds to T185.
  • the annotation information is acquired from the annotation recording unit 16 using the derivation source package identifier of the target medium as a key, and is set as the target annotation information.
  • annotation information with 0 annotations is used as target annotation information.
  • Information on the annotation position in the media (annotation start and annotation period) included in the target annotation information includes the position in the media at the time of annotation and the component information of the target media included as the derived media information of the package information at the time of annotation. Set based on.
  • the annotation start time indicated by the position in the media at the time of annotation is Ts
  • the period is represented as Ds
  • the component start of the jth component of the target media is represented as Tc [j]
  • the component period is represented as Dc [j].
  • the annotation start To and the annotation period Do can be derived by the following pseudo code processing.
  • the annotation start time at the time of annotation assignment is the number of the component constituting the target medium (the value of the variable k after the while loop ends in the pseudo code) and the position in the component (above The value of the variable a after the while loop is derived with pseudo code.
  • the value of the annotation start To the sum of the component start of the component k (kth component) and the position in the component k is set.
  • the minimum value of the annotation period Ds at the time of giving the annotation and the component period Dc [k] of the component k is set.
  • the annotation content is recorded in the annotation recording unit 16, and the recording position is set as the value of the annotation source position.
  • the process proceeds to T185.
  • the target annotation information is updated based on the annotation-added media position and the added annotation content information included in the input added annotation information, and the updated annotation information has the same package identifier in the annotation recording unit 16 Overwrite annotation information and record.
  • the annotation update unit 18 allows the annotation attached to the derived media on the basis of the media playback position (presentation time) in the derived package even if the annotation-adding package includes the derived media.
  • Information can be recorded in the annotation recording unit 16 in association with the derivation source package. Therefore, even when the means or device for presenting a derived package and giving an annotation cannot interpret the relationship between the derived package and the originating package, the annotation information given to the derived package is not displayed. There is an effect that it can be recorded in association with.
  • the package playback unit 17 includes a package selection unit 171, a media selection unit 172, an annotation selection unit 173, and a video configuration unit 174.
  • the package selection unit 171 includes a media configuration unit 1711 and a derived media configuration unit 1712 therein.
  • the package selection unit 171 reads and interprets package information related to a package specified by input playback control, and obtains media information and annotation information necessary for playback (presentation) for each media (including derived media) included in the package. Collect and output.
  • the package selection unit 171 first reads package information (reproduction target package information) from the package recording unit 15 using the value of the package identifier corresponding to the package specified by the input reproduction control as a key. Next, the media data information (the number of media and the media source position) included in the package information to be played is passed to the media configuration unit 1711. Also, derived media information (number of derived media, derived source package identifier, derived source media identification number, number of components, component element start, and component period) is passed to the derived media component 1712.
  • the media configuration unit 1711 acquires and outputs the number of media data indicated by the number of media included in the input media data information. Media data is acquired as an output of the media selection unit 172 by inputting the media source position to the media selection unit 172.
  • the media configuration unit 1711 acquires and outputs annotation information associated with the playback target package.
  • the annotation information is acquired as an output of the annotation selection unit 173 by inputting a package identifier included in the reproduction target package information to the annotation selection unit 173.
  • the derived media configuration unit 1712 acquires and outputs the number of media data indicated by the number of derived media included in the input derived media information.
  • Each derivation medium is composed of components that are fragments of the medium (derivation source medium) included in the derivation source package.
  • the derivation source media corresponding to each derivation media are input to the media selection unit 172 by inputting the media recording position of the derivation source media derived based on the derivation source package identifier and the derivation source media identification number included in the derivation media information. , Acquired as an output of the media selection unit 172.
  • the recording position of the i-th derivation source medium is derived as follows.
  • package information i-th derivation source package information corresponding to the i-th derivation source package identifier included in the derivation media related information is acquired from the package recording unit 15.
  • the media recording position at the position indicated by the i-th derivation source media number (src_media_idx [i]) included in the derivation media information is selected from the media data information included in the i-th derivation source package information.
  • Media data of the i-th derivation source medium is acquired as the recording position of the i-th derivation source medium. Based on the component information included in the derived media information, playback media data is generated and output from the acquired media data.
  • the part of the derivation source medium indicated by the constituent element start and the constituent element period is cut out in order from the first constituent element and combined in order. To generate media data for presentation.
  • the derivation media configuration unit 1712 acquires and outputs annotation information associated with the derivation source package.
  • the annotation information is acquired as an output of the annotation selection unit 173 by inputting a package identifier included in the derivation source package information to the annotation selection unit 173.
  • the media selection unit 172 reads out and outputs media data from the position indicated by the input media source position.
  • media data is read from the media recording unit 12.
  • annotation selection unit 173 selects, reads and outputs annotation information necessary for presenting the package indicated by the input package identifier.
  • the annotation information to be selected in this annotation information selection process is annotation information associated with the package indicated by the input package identifier.
  • annotation information annotation information (annotation_info) in which the value of the associated package identifier (associated_package_id) matches the value of the input package identifier is read from the annotation recording unit 16. And output.
  • the video composition unit 174 composes and outputs a reproduction video by reproducing the input package information, media data, and annotation information.
  • the reproduced video is configured as a combination of a screen and audio obtained by reproducing media data and annotation information at each presentation time.
  • the screen at each presentation time is created by superimposing or selecting image-related media (video, image with time, caption text with time, etc.) at each presentation time under predetermined conditions.
  • image-related media video, image with time, caption text with time, etc.
  • audio-related media speech, audio text with time, etc.
  • annotation information when annotation data exists at a specific presentation time, the annotation data read from the annotation source position (ann_src_location) is presented by a method indicated by the annotation type (ann_type). Whether or not the annotation data exists at a certain presentation time t can be determined by whether or not the presentation time t is included in the presentation time interval indicated by the annotation start (ann_start) and the annotation period (ann_duration).
  • the package recording process in the media recording / reproducing apparatus 1 is a process for generating a package including input media data and recording the media data and package information, and is executed in the following procedure.
  • the media acquisition unit 11 records the input media data in the media recording unit 12. In addition, the media acquisition unit 11 determines media identification information corresponding to the input media data and outputs the media identification information to the package generation unit 13. Thereafter, the process proceeds to S102.
  • the package generation unit 13 generates package information based on the input media identification information, records it in the package recording unit 15, and ends the process.
  • a package recording device (media recording device) can be realized by providing at least the components mentioned in the package recording process. That is, the package recording apparatus including at least the media acquisition unit 11, the media recording unit 12, the package generation unit 13, and the package recording unit 15 can execute the package recording process.
  • the package derivation process in the media recording / reproducing apparatus 1 is a process for generating and recording derivative package information from the recorded package information, and is executed according to the following procedure.
  • the package derivation unit 14 reads the package information of the derivation source package from the package recording unit 15 in response to an external package derivation request. Thereafter, the process proceeds to S112.
  • the package derivation unit 14 generates package information of the derived package based on the derivation source package information and the package derivation request.
  • the generated package information is recorded in the package recording unit 15 and the process is terminated.
  • a package derivation device can be realized by providing at least the components mentioned in the package derivation process. That is, the package derivation device including at least the package derivation unit 14 and the package recording unit 15 can execute the package derivation process.
  • Package playback processing in the media recording / playback apparatus 1 is processing for generating and outputting a playback video with reference to recorded package information, media data, and annotation information in accordance with playback control. Is executed.
  • the package selection unit 171 acquires the package information from the package recording unit 15 using the package identifier of the package designated by the input reproduction control as a key.
  • the acquired package information is input to the media configuration unit 1711 and the derived media configuration unit 1712. Next, the process proceeds to S123.
  • the media configuration unit 1711 refers to the input package information and outputs the media source position for each media included in the package to the media selection unit 172. Next, the process proceeds to S124.
  • the media selection unit 172 acquires media data from the media recording unit 12 based on each media source position input in S123, and outputs the media data to the media configuration unit 1711. Next, the process proceeds to S125.
  • the media configuration unit 1711 inputs the package identifier included in the package information input in S122 to the annotation selection unit 173. Next, the process proceeds to S126.
  • the annotation selection unit 173 acquires annotation information from the annotation recording unit 16 using the package identifier input in S125 as a key, and outputs the annotation information to the media configuration unit 1711. Next, the process proceeds to S127.
  • the media configuration unit 1711 outputs the package information acquired in S122, the media data input in S124, and the annotation information input in S126 to the video configuration unit 174. Next, the process proceeds to S128.
  • the derived media configuration unit 1712 acquires corresponding package information (derivation source package information) from the package recording unit 15 using each derivation source package identifier included in the package information acquired in S122 as a key. Next, the flow proceeds to S129.
  • the derivation media configuration unit 1712 selects the media source position indicated by each derivation source media number included in the package information acquired in S122 from the plurality of media source positions included in the derivation source package information acquired in S128.
  • the data is output to the media selection unit 172.
  • the process proceeds to S130.
  • the media selection unit 172 acquires media data from the media recording unit 12 based on each media source position input in S129, and outputs the media data to the derived media configuration unit 1712. Next, the process proceeds to S131.
  • the derived media configuration unit 1712 inputs the package identifier included in the source package information acquired in S128 to the annotation selection unit 173. Next, the process proceeds to S132.
  • the annotation selection unit 173 acquires annotation information from the annotation recording unit 16 using the package identifier input in S131 as a key, and outputs the annotation information to the derived media configuration unit 1712. Next, the process proceeds to S133.
  • the derived media composition unit 1712 outputs the derivation source package information acquired in S128, the media data input in S130, and the annotation information input in S132 to the video composition unit 174. Next, the process proceeds to S134.
  • the video composition unit composes and outputs a playback video based on the package information, media data, and annotation information input in S127 and S133, and ends the process.
  • a package playback device can be realized by providing at least the components mentioned in the package playback process. That is, the package playback device including at least the media recording unit 12, the package recording unit 15, the annotation recording unit 16, and the package playback unit 17 can execute package playback processing.
  • the annotation update process in the media recording / reproducing apparatus 1 is a process for updating the recorded annotation information based on the input attached annotation information, and is executed in the following procedure.
  • the annotation update unit 18 acquires package information at the time of annotation from the package recording unit 15 using the package identifier included in the input annotation information as a key.
  • the annotation update unit 18 updates the corresponding annotation information recorded in the annotation recording unit 16 based on the input added annotation information and the annotation-added package information acquired in S142, and ends the processing. .
  • an annotation update device can be realized by providing at least the components mentioned in the annotation update process. That is, the annotation update device including at least the package recording unit 15, the annotation recording unit 16, and the annotation update unit 18 can execute the annotation update process.
  • the media recording / reproducing apparatus 1 described above includes the package derivation unit 14 and the package recording unit 15, and can execute package derivation processing. Therefore, the media recording / reproducing apparatus 1 can create a derived package (derived package 1) configured to include a piece of media included in a certain package (hereinafter referred to as a derived source package).
  • a derived package derived package 1 configured to include a piece of media included in a certain package (hereinafter referred to as a derived source package).
  • the media recording / reproducing apparatus 1 includes the annotation recording unit 16 and the annotation updating unit 18 and can execute the annotation updating process. Therefore, the media recording / reproducing apparatus 1 can receive the annotation information given to the derivative package 1 as an input, and can update the annotation information recorded in the annotation recording unit 16. At this time, the annotation information is recorded in association with the derivation source package of the derivation package 1 instead of being associated with the derivation package 1. Therefore, it is possible to refer to the annotation information given to the derivative package 1 from the derivative source package.
  • the media recording / playback apparatus 1 includes a media recording unit 12, a package recording unit 15, an annotation recording unit 16, and a package playback unit 17, and can execute package playback processing.
  • the package information recorded in the package recording unit and played back by the package playback unit includes derivative media information. Therefore, the media recording / playback apparatus 1 includes the annotation information given to the derived package 1 generated by the package derivation process from the derivation source package when there is a reproduction request for a certain package (derivation source package). Annotated information can be played back to generate a playback video.
  • the package information referred to in the package reproduction process includes information (a derivation source package identifier) for associating the derivation package with the derivation source package.
  • derived packages derived from the same derived source package can refer to the same annotation information via the derived source package. Therefore, when the media recording / reproducing apparatus 1 presents a derivative package (derivative package 2) that is a derivative package generated by the package derivation process from the derivation source package and is different from the derivation package 1, the media recording / playback apparatus 1 It is possible to generate a playback video including annotation information given to the user.
  • a derivative package derivative package 2 that is a derivative package generated by the package derivation process from the derivation source package and is different from the derivation package 1
  • Fig. 1 (a) shows the relationship between the derivation source media (derivation source video) and the presentation time when the media is video.
  • the derivation source video is composed of eight partial media (partial videos) S0 to S7 in the order of presentation time.
  • Fig. 1 (b1) shows the relationship between the derived video 1 derived from the derived video and the presentation time.
  • Derived video 1 is composed of three partial videos S1, S4, and S6 in the order of presentation time.
  • FIG. 1 (b1) shows that the annotation information an1 is given to the presentation time t1 of the derived video 1.
  • FIG. 1 (b2) shows the relationship between the derived video 2 derived from the derived video and the presentation time.
  • the derived video 2 is composed of three partial videos S4, S7, and S1 in the order of presentation time.
  • FIG. 1 (b2) shows that annotation information an2 is given to the presentation time t2 of the derived video 2.
  • FIG. 1 (c) shows the relationship between the derivation video and the annotation information after the annotation information is added to the derivation video 1 and the derivation video 2, that is, after the annotation is updated.
  • the annotation information given to the derived video by the annotation update process can be referred to from the derived video.
  • the presentation time t1 of the annotation information an1 in the derived video 1 can be converted to the presentation time t1a of the annotation information an1 in the derivation source video.
  • the annotation information an2 is appropriately presented. Can be generated by time.
  • FIG. 1 (d) shows the relationship between the derived video 2 after the annotation update of the derived video 1 and the derived video 2 and the annotation information.
  • the presentation time t1a of the annotation information an1 in the derivation source video can be converted to the presentation time t1b of the annotation information an1 in the derivation video 2. Therefore, in the package playback process, in addition to the derived video 2, the playback video including the annotation information an 1 given to the derived video 1 and the annotation information an 2 given to the derived video 2 is appropriately presented. Can be generated by time.
  • annotation supplement information includes the annotation supplement information
  • a media recording / reproducing apparatus that realizes an additional function by using the annotation supplement information may be configured.
  • the data structure of the annotation supplement information used in the following description will be described with reference to FIG.
  • the annotation supplement information includes the following information.
  • Inheritance type (inherit_type): Information indicating restrictions when passing annotation information between packages.
  • Annotation context presence / absence flag (ann_context_present_flag): Information indicating whether or not information indicating a context (context) to which annotation information is given is included.
  • Context generation time (ctx_create_time): Information indicating the time when the annotation information is given.
  • Context Annotator Identifier (ctx_annotator_id): Information indicating a user (annotator) who has given annotation information.
  • the user identifier managed by the system including the annotation recording unit 16 and assigned for each user is used as the value of the context annotator identifier, but may be other information that can be specified by the annotator.
  • Context package identifier Information for specifying the package (package used at the time of annotation) that was presented when the annotation information was given. In this modification, information representing the package identifier of the package used for annotation is used as a value.
  • the context package identifier may be another expression that can specify the package at the time of annotation, and the context package identifier is also referred to as context package identification information.
  • the annotation supplement information shown in FIG. 6 includes inheritance control information (inheritance type) and annotation giving context information (context generation time, context annotator identifier, context package identifier).
  • the inheritance control information can also be expressed as information for controlling inheritance of annotations.
  • the annotation giving context information can be expressed as information representing the context and situation when the annotation is given.
  • the annotation supplement information shown in FIG. 6 includes an inheritance type that is inheritance control information. Therefore, the media recording / playback apparatus 1 can be configured to control annotations presented during package playback based on the inheritance type content.
  • the package reproduction processing and the annotation update processing described as operations of the media recording / reproducing apparatus 1 can be applied as they are.
  • the annotation updating unit 18 is configured not to record the annotation information in the annotation recording unit in the annotation updating process when the annotation granting package is a derived package. .
  • the package playback unit 17 is configured to present the annotation information only when the package identifier values of the playback target packages match.
  • the package playback unit 17 configured as described above determines annotation information to be played back together with the playback target media based on whether or not the playback target media included in the playback target package is a derived media and the inheritance type for the playback target media. Can also be expressed.
  • the annotation giver can select the annotation he wants to share. Further, it is possible to realize a mechanism for accumulating annotation information only for the derivation source package without sharing the annotation information with other users.
  • the annotation supplement information shown in FIG. 6 includes context generation time, context annotator identifier, and context package identifier as annotation giving context information. Therefore, the package playback unit 17 can be configured to generate a playback video based on the context at the time of annotation when the package is played back.
  • the display target annotation period as additional information in the playback control, refer to the context generation time included in the annotation information and select and display only the annotations given within the display target annotation period.
  • the part 17 can be configured.
  • the package reproducing unit 17 can be configured to select and display only.
  • the package playback unit 17 can be configured to display the message.
  • annotation information satisfying a specific condition is selected and displayed.
  • a configuration in which annotation information satisfying a specific condition is presented in a format that can be distinguished from other annotation information is also possible.
  • the process of changing the text color or the character size is included in the presentation in a distinguishable format.
  • the package playback unit 17 determines the annotation information to be played back together with the playback target media based on whether or not the playback target media included in the playback target package is a derived media and the annotation giving context information for the playback target media. Can be configured.
  • the annotating context information includes the context package identifier. Therefore, the package playback unit 17 can be configured so that the presentation target package can be switched to the package referenced by the annotation (the package indicated by the context package identifier) using the annotation information being presented as a starting point. For example, when specific annotation information is specified on the screen, a switch button or link to the package referenced at the time of annotation is displayed, and when the button / link is selected, the package referenced at the time of annotation is switched. Such a configuration is possible.
  • the package playback unit 17 includes an interface (the above button and link) for switching the playback target package in association with the media (playback target media) included in the playback target package on the output video, and switches the playback target package. Is an interface for executing a switching operation to a package at the time of annotation indicated by the context package identification information for the specific medium.
  • FIG. 7 is a block diagram showing the configuration of the media playback device 2 according to an embodiment of the present invention.
  • the media playback device 2 has a function of receiving, playing back, and displaying package data and adding annotations regarding the received package. In addition, it has a function of sharing a given annotation with another media playback device 2.
  • the media playback device 2 includes an annotation recording unit 16, a package playback unit 21, an annotation update unit 22, a display image synthesis unit 23, a playback control UI 24, an annotation assignment UI 25, and an annotation reception unit 26.
  • the annotation recording unit 16 has the same function as the component of the same name included in the media recording / reproducing apparatus 1 described with reference to FIG.
  • FIG. 8 is a table showing the data structure of package data.
  • the package data includes a package identifier (package_id), the number of media (media_num), and the number of media data (media_data [i]) indicated by the number of media.
  • the package identifier and the number of media have the same meaning as the elements of the same name included in FIG.
  • Media data is data necessary for media playback.
  • the package data additionally includes a derived media flag (derived_media_flag [i]) for each medium. The derived media flag indicates whether the media is a derived media.
  • the package data additionally includes derived media information.
  • the derived media information includes a derivation source source identifier (src_package_id), a derivation source media number (src_media_idx), the number of component elements (num_components), a component element start (comp_start), and a component element period (comp_duration).
  • the derivation source source identifier, the derivation source media number, the number of component elements, the component element start, and the component element period have the same meaning as the elements of the same name included in FIG.
  • the package data when the package data is a derived package, that is, when a specific medium included in the package data is a derived medium composed of a part of the derivation source medium, it is included as the media data of the derived medium.
  • the data is not derivation source media data but media data corresponding to a part of the derivation source media data. As a result, the data amount of the package data that the media playback device 2 should receive during playback of the derivative package can be reduced.
  • derived media identification information including information for identifying whether the media is a derived media may be used.
  • a value of 0 may indicate that the media is not a derived media, and if the value is 1 or more, information indicating that the number of components is a derived media of that value may be used. .
  • the number of data reading processes can be reduced.
  • the package playback unit 21 Based on the playback control, the package playback unit 21 reads the package data from the outside as input, reads the annotation information related to the package data, and plays the media data and the annotation information together at each presentation time to play the playback video. Is generated and output.
  • the package reproducing unit 21 has a function similar to that of the package reproducing unit 17 described with reference to FIG. 5, but has the following different functions.
  • the package reproduction unit 21 extracts media data from the input package data, and reproduces the media data by applying a decoding process or a reproduction process suitable for each media data. Unlike the package playback unit 17, information about whether the media data is a derived media is not used for playback of the media data itself.
  • the package playback unit 21 refers to the derived media flag included in the input package data to determine whether the media is a derived media.
  • the annotation information is read using the package identifier and the position of the target medium in the package data as keys.
  • the target media is derived media
  • the annotation information is read using the derivation source media number as a key.
  • the presentation time of each annotation data included in the read annotation information is the value based on the presentation time of the input package data because the annotation start value included in the annotation information is based on the presentation time of the derivation source package. Convert to The conversion from the derivation source package playback time base time to the derivation package playback time base time can be performed using the constituent element information (number of constituent elements, constituent element start, constituent element period) included in the input package data. .
  • the annotation update unit 22 updates the corresponding annotation information on the connected annotation recording unit based on the input attached annotation information, similarly to the annotation update unit 18 included in the media recording / playback apparatus 1. In addition, the annotation update unit 22 notifies the content of the updated annotation to the outside.
  • the display image composition unit 23 configures a display screen using the input playback video, playback UI image, and annotation-added UI image, and displays the display screen on an external display terminal. Specifically, a UI image for playback control is superimposed on the playback video and set as a part of the screen, and an annotated UI image is set in the remaining screen portion to constitute a display screen. Note that such a display screen configuration is an example, and another configuration method in which the user can perform playback control and annotations may be used.
  • the reproduction control UI 24 generates and outputs a reproduction UI image for generation control, and outputs an instruction for reproduction control from operation information from an external operation terminal.
  • Playback control includes, for example, playback package selection, playback start, playback stop, fast forward playback, and rewind playback.
  • the annotation assignment UI 25 generates and outputs an annotation assignment UI image for annotation assignment, and also generates and outputs annotation assignment information from operation information by an external operation terminal. For example, when a text input area is used as an annotation giving UI image and there is input completion operation information for the text input area, the text data of the contents of the text input for the package playback time at that time is annotated. Annotation information is generated and output as data. Note that the annotation data included in the annotation giving information is not limited to text, and, for example, image, video, audio, and other visualized data may be used as the annotation data.
  • the annotation receiving unit 26 receives the annotation information notified from another external media playback device 2 and writes it in the annotation recording unit. With this process, the annotation information given by another media playback device 2 can be shared by other media playback devices 2. Note that it is not always necessary to directly receive an annotation update notification from the external media playback device 2, and another device (for example, an annotation update notification server) is installed to relay the device. Good.
  • Package playback processing in the media playback device 2 reads out package data from the outside as input according to playback control, and plays back the media data in the package together with related annotation information, thereby forming and outputting a playback video Which is executed by the following procedure.
  • the package playback unit 21 receives as input the package specified by the playback control input from the playback control UI 24. Next, the process proceeds to S202.
  • the package playback unit 21 reads the annotation information about the media included in the package data input in S201 from the annotation recording unit 16 and inputs it. Next, the process proceeds to S203.
  • the package playback unit 21 configures and outputs a playback video based on the package data input in S201 and the annotation information input in S202, and ends the process.
  • the media playback device 2 can read the package data and compose a playback video reflecting the annotation information. At this time, even when the derived media is included in the media included in the package data, it is possible to generate a playback video including annotation information for the intended presentation time.
  • a display screen is configured from the playback video, playback control UI, and annotation assignment UI, and displayed on an external display terminal.
  • the screen display process is executed by the display screen composition unit 23.
  • the display screen synthesis unit 23 generates a display image based on the playback video obtained as a result of the above-described package playback processing, the playback control UI image input from the playback control UI 24, and the annotation assignment UI image input from the annotation assignment UI 25. Configure and output.
  • annotation process In the annotation adding process in the media playback device 2, annotation information corresponding to a specific presentation position of the package data is generated and recorded according to a user instruction, and is notified to the outside.
  • the annotation giving process is executed in the following procedure.
  • the annotation giving UI generates annotation information associated with the presentation time when the instruction is given based on the annotation giving instruction from the external operation terminal, and outputs it to the annotation updating unit 22. Next, the process proceeds to S232.
  • the annotation update unit 22 updates the annotation information in the annotation recording unit 16 based on the input attached annotation information. Next, the process proceeds to S233.
  • the annotation update unit 22 notifies the input attached annotation information to the outside and ends the processing.
  • the media playback device 2 can record the annotation information associated with a specific package playback time. Therefore, it is possible to generate a playback video with reference to the updated annotation information in subsequent package playback processing. Also, the media playback device 2 can record annotation information associated with a specific package playback time outside. Therefore, the updated annotation information can be shared with another media playback device 2.
  • annotation reception processing In the annotation reception process in the media playback device 2, the annotation information update notified from the outside is received and the annotation information is updated.
  • the annotation receiving process is executed by the annotation receiving unit 26.
  • the annotation receiving unit 26 receives the update of the annotation information notified from the outside, and updates the annotation information recorded in the annotation recording unit 16 with the annotation information based on the received update of the annotation information.
  • the media playback device 2 can share the annotation information given by another media playback device 2. Therefore, in the package reproduction process after the annotation information is updated by the annotation reception process, the updated annotation information, that is, the annotation information given by another user can be presented together with the media data.
  • the updated annotation information can be presented not only when the annotated package is presented, but also when another package that includes the annotated media as a component is presented.
  • the media playback device 2 described above includes the package playback unit 21 and the annotation recording unit 16, and can execute package playback processing. At this time, even when the derived media is included in the media included in the package data, it is possible to generate a playback video including annotation information for the intended presentation time.
  • the media playback device 2 includes a package playback unit 21, a playback control UI 24, an annotation assignment UI 25, and a display screen composition unit 23, and can execute screen display processing. Therefore, the package data and the annotation information can be displayed together, the playback control UI can be displayed on the screen to control the playback, and the annotation control UI can be displayed on the screen to facilitate the annotation.
  • the media playback device 2 includes a display screen composition unit 23, an annotation addition UI 25, an annotation update unit 22, and an annotation recording unit 16, and can execute an annotation addition process. Therefore, even when the package data includes derived media, the annotation information can be recorded and notified externally in association with the intended presentation time.
  • the media playback device 2 includes an annotation receiving unit 26 and an annotation recording unit 16, and can execute an annotation receiving process. Therefore, by receiving and recording the annotation information given by another media playback device 2, it is possible to share the annotation information between the media playback devices even when the package data includes derived media.
  • the data structure of the package information and package data used in the description of each of the above embodiments is a data structure that can express that one derived medium is composed of fragments of one derivation source medium.
  • one derived medium may be composed of a plurality of pieces of derived media.
  • the plurality of derivation source media may be media data included in different packages.
  • the amount of package information and package data increases, but there is an advantage that more various derivation packages can be generated.
  • a media recording / reproducing apparatus is a media recording / reproducing apparatus that reproduces media data and annotation information based on recorded package information, and includes media information including derivative media information.
  • a package recording unit that records at least package information, an annotation recording unit that records annotation information associated with a specific package indicated by the package identification information, a media recording unit that records media data, and package information
  • a package playback unit that plays back media data and annotation information included in the package based on the package, and the package playback unit includes the derived media identification information included in the derived media information that the package to be played is derived media Is included in the media information Referring to formation element information, characterized in that for reproducing media data and annotation information.
  • the media recording / reproducing apparatus includes an annotation update unit that updates the annotation information recorded in the annotation recording unit based on the assigned annotation information.
  • the component element information includes information on a component element start and a component element period for each component element constituting the derived media included in the package.
  • the attached annotation information includes an annotated package identification information for identifying an annotated package
  • the annotation update unit is a case where the annotated package includes a derived medium
  • the attached annotation information is When indicating that an annotation is to be given to a derived medium, the annotation information including the annotation is recorded in the annotation recording unit in association with a derivation source package of the annotating-time package.
  • annotation information includes annotation position information and annotation content information as information representing the annotation
  • annotation update unit adds the annotation when recording the annotation information in association with the derivation source package. A conversion process from the position in the media to the annotation position in the media in the derivation source package is applied.
  • the attached annotation information includes an inheritance type that restricts inheritance of annotations between packages, and the annotation update unit determines whether or not the annotation subject included in the attached annotation information is a derived medium, and the inheritance type.
  • the update content of the annotation recording unit is determined based on the above.
  • annotation information includes an inheritance type that restricts inheritance of annotations between packages in association with media in the package
  • the package playback unit determines whether or not the playback target media included in the playback target package is derived media, Annotation information to be reproduced together with the reproduction target medium is determined based on the inheritance type for the reproduction target medium.
  • annotation information includes annotation giving context information in association with a medium in a package
  • the package playback unit determines whether or not the playback target medium included in the playback target package is a derived medium, and the annotation giving to the playback target medium Annotation information to be reproduced together with the reproduction target medium is determined based on context information.
  • annotation information includes context package identification information indicating a package at the time of annotation associated with a medium
  • package reproduction unit provides an interface for a reproduction target package switching operation in association with a specific medium on an output video.
  • the interface for switching the playback target package is an interface for executing a switching operation to a package at the time of annotation given by the context package identification information for the specific medium.
  • a media playback device is a media playback device that receives package data including media data and plays back the media data and annotation information, and is indicated by package identification information.
  • An annotation recording unit that records annotation information associated with a specific package, a package reproducing unit that reproduces media data and annotation information included in the package based on package data, and the annotation recording unit based on attached annotation information
  • An annotation update unit for updating the annotation information recorded in the notification and notifying the outside, and an annotation reception unit for receiving the notified annotation information and updating the annotation information recorded in the annotation recording unit,
  • a media reproducing apparatus wherein the data includes derived media information.
  • the media recording / reproducing apparatus 1 and the media reproducing apparatus 2 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or realized by software using a CPU (Central Processing Unit). May be.
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the media recording / playback apparatus 1 and the media playback apparatus 2 have a CPU for executing instructions of a program that is software for realizing each function, and the program and various data are recorded so as to be readable by a computer (or CPU).
  • a ROM (Read Only Memory) or a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via any transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

派生元パッケージから生成された派生パッケージに対して付与された注釈情報を、派生元パッケージや、同じ派生元パッケージから生成された別の派生パッケージの再生時にメディアデータと合わせて提示可能なメディア再生装置を提供する。メディア記録再生装置（１）は、派生メディア情報を含むパッケージ情報を記録するパッケージ記録部（１５）と、メディア記録部（１２）と、注釈記録部（１６）と、派生メディアを含むパッケージ情報を再生するパッケージ再生部（１７）を備えている。

Description

メディア記録再生装置、および、メディア再生装置
　本発明の一態様は、映像・音声等のメディアデータと、コメントや関連データ等の注釈情報とを関連付けて記録するとともに、要求に従って関連するメディアデータと注釈情報を再生するメディア記録再生装置に関する。
　撮影された映像や録音された音声に代表されるメディアデータを記録し再生するためにメディア記録再生装置が利用されている。メディア再生装置は、メディアデータをハードディスクに代表される記録媒体に記録し、ユーザの再生要求に応じて記録されたメディアデータを再生し、ディスプレイに代表される表示装置に表示できる形式で出力する。
　メディア記録再生装置の機能の一つに、メディアデータに関連付けられた注釈情報を記録する注釈情報記録機能がある。また、関連付けられて記録された注釈情報とメディアデータを合わせて再生する注釈情報再生機能もある。
　注釈情報記録機能や注釈情報再生機能を活用することで、映像の特定時刻における状況を表す情報を注釈情報として記録・再生したり、特定時刻の音声の発話者を表す情報を注釈情報として記録・再生したりできる。
　特許文献１には、メディアデータに注釈情報を付与して活用する方法が開示されている。具体的には、メディアデータ（メディアコンテンツデータ）の特定時刻に関連付けて、各種注釈情報、すなわち、テキスト注釈、グラフィカル注釈、および、オーディオ注釈を付与し、メディアデータの再生時に適切なタイミングで関連付けられた注釈情報を提示する方法が開示されている。
　一方、メディア記録再生装置の別の機能の一つに、メディアデータに編集を施すことで派生メディアデータを作成するとともに、その派生メディアデータを記録・再生する機能がある。
　特許文献２には、メディアデータを自動編集して元のメディアデータの要約に相当する派生メディアデータを作成する方法が開示されている。具体的には、映像を自動編集して要約映像を作成する方法が開示されている。
日本国公表特許公報「特表２０１１－５３０７４５号」 日本国公開特許公報「特開２０１１－６１２６３号」
　しかしながら、特許文献１や特許文献２に代表される従来技術では、特定のメディアデータである派生元メディアデータから生成された派生メディアデータに対して付与された注釈情報を、注釈情報の付与時に試用された派生メディアデータ（注釈付与対象メディアデータ）以外のメディアデータの再生時に活用することが難しいという課題があった。
　例えば、派生メディアデータにおける提示時刻ｔ０に関連付けられて付与された注釈情報が、派生元メディアデータにおけるどの提示時刻に関連付けられるのかの判定ができないという課題があった。
　また、一つのメディアデータから複数の派生メディアデータを生成する場合に、派生メディアデータ間で注釈情報の更新内容を交換する仕組みがないという課題があった。
　例えば、メディアデータＡから派生メディアデータＢおよび派生メディアデータＣを生成し、派生メディアデータＣに対して派生メディアデータＢとも関連する注釈情報を付与した場合に、派生メディアデータＢを扱う構成要素から注釈情報の更新を知る仕組みがないという課題があった。
　インターネットに代表される伝送路を経由して交換される映像や音声に代表されるメディアデータのデータ量は増加しており、保有する全てのメディアデータをユーザ間で共有することは現実的ではない。そこで、メディアデータに対して付与される注釈情報を共有する場合には、元のメディアデータではなく、データ量が少なくなるよう編集された派生メディアデータに対して注釈情報を付与可能な仕組みを実現するともに、派生元メディアデータや別の派生メディアデータの再生時に同じ注釈情報が適切なメディア内位置、つまり、適切な時刻や位置に提示されることが重要であるが、従来技術ではそのようなシステムやサービスを実現できないという課題があった。
　上記課題を解決するため、本発明の一態様によるメディア記録再生装置は、記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、派生メディア情報を含むメディア情報を、少なくとも含んだパッケージ情報を記録するパッケージ記録部と、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、メディアデータを記録するメディア記録部と、パッケージ情報に基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備え、前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生することを特徴とする。
　上記課題を解決するため、本発明の一態様によるメディア再生装置は、メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、前記パッケージデータは、派生メディア情報を含むことを特徴とする。
　本発明の一態様によるメディア記録再生装置は、記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、派生メディア情報を含むメディア情報を、少なくとも含んだパッケージ情報を記録するパッケージ記録部と、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、メディアデータを記録するメディア記録部と、パッケージ情報に基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備えており、前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生する。
　したがって、本発明の一態様によるメディア記録再生装置によれば、再生対象パッケージが派生メディアを含む場合であっても、派生メディアの派生元メディアをパッケージ情報に含まれる派生メディア情報から特定できるため、派生メディアを含むパッケージの再生時に、派生元メディアに関連付けられて記録された注釈情報を注釈記録部から読み出して、構成要素情報に基づいて再生位置や再生タイミングを調整した上でメディアデータと合わせて再生できる。
　上記課題を解決するため、本発明の一態様によるメディア再生装置は、メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、前記パッケージデータは、派生メディア情報を含むことを特徴とするメディア再生装置。
　したがって、本発明の一態様によるメディア再生装置によれば、入力されるパッケージデータが派生メディアを含む場合であっても、派生メディアの派生元メディアをパッケージデータ含まれる派生メディア情報から特定できるため、派生メディアを含むパッケージの再生時に、派生元メディアに関連付けられて記録された注釈情報を注釈記録部から読み出して、メディアデータと合わせて再生できる。
　加えて、メディア再生装置は、注釈更新部を有するため、パッケージの再生時に付与された注釈を注釈記録部に記録するとともに外部に通知できる。また、メディア再生装置は、注釈受信部を有するため、通知された注釈情報を受信して注釈記録部の注釈情報を更新できる。したがって、メディア再生装置は、派生メディアを含むパッケージの再生時に、他のメディア再生装置により付与され通知された注釈情報を含めて再生映像を生成して表示することができる。
本実施形態に係るメディア記録再生装置および注釈付与装置における処理の各段階における映像と注釈情報と提示時刻の関係を例示した図である。 本発明の一実施形態に係るメディア記録再生装置の概略的構成を示すブロック図である。 メディア記録再生装置においてパッケージ記録部に記録されるパッケージ情報のデータ構造を表すテーブルである。 メディア記録再生装置において注釈記録部に記録される注釈情報のデータ構造を示す表である。 メディア記録再生装置に含まれるパッケージ再生部の概略的構成を示すブロック図である。 前記メディア記録再生装置において注釈記録部に記録される注釈情報のうち、注釈補足情報のデータ構造を示す表である。 本発明の一実施形態に係るメディア再生装置の概略的構成を示すブロック図である。 メディア再生装置において入力されるパッケージデータのデータ構造を表すテーブルである。
　図１～図６に基づいて、本発明の一実施形態に係るメディア記録再生装置１および注釈付与装置２を説明すれば以下のとおりである。
　〔実施形態１：メディア記録再生装置の構成〕
　本実施形態に係るメディア記録再生装置１の構成を図２に示す。メディア記録再生装置１は、概略的には、入力されるメディアデータをパッケージと関連付けて記録する。加えて、外部からの再生制御により指定されたパッケージについて、パッケージに関連付けられたメディアデータおよび注釈情報を再生することで再生映像を構成して出力する。加えて、入力される付与注釈情報に基づいて、注釈情報を更新する。
　パッケージとは、複数のメディアデータと注釈情報を代表とする関連情報とを合わせて含むデータと表現できる。また、以下では、パッケージを表現するためのデータ構造をパッケージ情報と呼ぶ。以下ではパッケージ情報にはメディアデータそのものは含まず、パッケージに含まれるメディアデータを参照するための情報（メディア参照情報）が含まれているものとして説明するが、パッケージ情報に直接メディアデータを含むようにメディア記録再生装置を構成することも可能である。また、パッケージには、メディアデータに対する付加的な情報であるメディア付加情報が含まれていてもよい。パッケージに含まれるメディア参照情報とメディア付加情報を合わせてメディア情報と呼ぶ。
　図２に示すように、メディア記録再生装置１は、メディア取得部１１、メディア記録部１２、パッケージ生成部１３、パッケージ派生部１４、パッケージ記録部１５、注釈記録部１６、パッケージ再生部１７、注釈更新部１８を備える。
　　（メディア取得部１１）
　メディア取得部１１は、外部から入力されるメディアデータを出力先の記録部（本実施形態においてはメディア記録部１２）に記録する。加えて、メディア取得部１１は、メディアデータの記録位置を示す情報を、メディア参照情報として出力する。
　なお、メディア取得部１１に入力されるメディアデータの数は２以上であってもよい。その場合、複数のメディアデータを含むパッケージが後述のパッケージ生成部１３により生成される。また、メディアデータには、少なくとも、映像、音声、グラフィックデータ、時系列の各種機器出力データが含まれる。メディアデータは、他のコンテンツを表現するデータであってもよい。
　　（メディア記録部１２）
　メディア記録部１２は、入力されるメディアデータを特定記録位置に記録して保持する。加えて、メディア記録部１２は、メディア参照情報として記録位置をキーとした出力要求を受けて、該記録位置に記録されているメディアデータを出力する。
　　（パッケージ生成部１３）
　パッケージ生成部１３は、入力されるメディア参照情報の示す記録位置に記録されたメディアを含むパッケージを表すパッケージ情報を生成して出力する。パッケージ情報の生成方法の説明の前に、まず、パッケージ生成部１３において生成されるパッケージ情報のデータ構造について図３を参照して説明する。
　図３はパッケージ生成部１３で導出されるパッケージ情報（package_info）のデータ構造を例示している。パッケージ情報は以下の情報を含んでいる。
・パッケージ識別子（package_id）：　パッケージを一意に識別するための情報であり、各パッケージに対して他と重複しない数値や文字列が用いられる。
・メディア数（num_media）：　パッケージに含まれるメディアデータの個数を示す情報であって、非負の整数が用いられる。
・メディアソース位置（media_src_location[i]）：　パッケージに含まれるi番目のメディアデータの記録位置、すなわちメディア参照情報、を表す情報である。一般的にはURL（Uniform Resource Locator）が用いられる。メモリ上のアドレスなど他の表現を用いてもよい。
・派生メディア数（num_derived_media）：　パッケージに含まれる派生メディアの個数を表す情報であって、非負の整数が用いられる。派生メディアは、派生元メディアの一部から構成される。
加えて、パッケージ情報は、派生メディア毎に以下の情報を含んでいる。
・派生元パッケージ識別子（src_package_id[i]）：　派生メディアの派生元メディアを含むパッケージ（派生元パッケージ）のパッケージ識別子を示す。派生元パッケージ識別子は、派生元パッケージを特定するための情報であるため、派生元パッケージ識別情報とも呼ぶ。派生元パッケージ識別情報は必ずしも識別子で表現する必要はなく、派生元パッケージを一意に特定できれば別の表現の派生元パッケージ識別情報を用いてもよい。
・派生元メディア番号（src_media_idx[i]）:　派生元メディアが派生元メディアにおける何番目のメディアかを表す情報であって、非負の整数で表現される。なお、派生元メディア番号は、派生元パッケージ内のメディアの中から派生元メディアを識別するための情報であって、派生元メディア識別情報とも呼ぶ。派生元メディア識別情報は必ずしも番号で表現する必要はなく、派生元パッケージ内の派生元メディアを一意に特定できれば別の表現の派生元メディア識別情報を用いてもよい。
・構成要素数（num_components[i]）：　i番目の派生メディアを構成する構成要素の個数を示す情報であって、非負の整数が用いられる。
加えて、パッケージ情報は、各派生メディアの構成要素毎に以下の情報を含んでいる。
・構成要素開始（comp_start[i][j]）：　i番目の派生メディアにおけるj番目の構成要素の開始点の派生元メディア内での提示時刻（再生時刻）を示す情報である。構成要素開始の値の単位としては、NTPで規定された絶対時刻や、派生元メディアの提示開始時刻を基準とする時間を利用できる。構成要素開始として、メディア内での提示時刻を示す他の表現を用いてもよい。
・構成要素期間（comp_duration[i][j]）：　i番目の派生メディアにおけるj番目の構成要素の提示期間（再生期間）を表す情報である。構成要素期間の値の単位としては、時間、または、時間を所定の値で除算した単位が利用できる。派生元メディアにおいて提示時刻Ts秒から開始するTd秒の部分を用いて派生メディアの構成要素を作った場合、構成要素開始の値はTs、構成要素期間の値はTdとなる。構成要素期間として、メディア内での２つの提示時刻の間隔を示す他の表現を用いてもよい。
　図３を参照して説明したパッケージ情報は、パッケージ識別情報（パッケージ識別子）、メディア情報（メディア数、メディアソース位置、および、派生メディア情報）を含んでいる。ここで、派生メディア情報は、派生メディア数、派生元パッケージ識別子、派生元メディア番号、および、構成要素情報を含んでいる。ここで、構成要素情報は、構成要素数、構成要素開始、構成要素期間を含んでいる。なお、構成要素情報は、派生パッケージを構成する各構成要素が、派生元パッケージのどの部分に相当するかを解釈できるのであれば別の形式で表現されていてもよい。例えば、構成要素期間の代わりに、構成要素の終了点の派生元メディア内での提示時刻を示す構成要素終了を用いてもよい。また、構成要素開始の代わりに、直前の構成要素の終了時刻からのオフセットを値としてもつ構成要素開始オフセットを用いてもよい。
　次に、パッケージ生成部１３における、パッケージ情報の生成処理を説明する。パッケージ生成部１３にメディア参照情報が入力されると、パッケージ識別子の値に未使用の識別子を設定する。次に、メディア数の値に入力されたメディア記録位置の個数を設定する。メディアソース位置の値には、入力メディア参照情報の示すメディア記録位置を設定する。派生メディア数の値は０に設定する。換言すると、パッケージ生成部１３は、入力された全てのメディア参照情報の示すメディアデータを含み、かつ、派生メディアを含まないパッケージを表すパッケージ情報を生成する。
　　（パッケージ派生部１４）
　パッケージ派生部１４は、外部からの派生パッケージ生成要求（図示せず）に応じて、指定されたパッケージを表すパッケージ情報を派生元パッケージ情報として読み込み、派生元パッケージ情報に基づいて派生パッケージを表すパッケージ情報（派生パッケージ情報）を生成して出力する。派生パッケージ生成要求は、派生元パッケージの識別情報と、派生パッケージに含まれる派生メディアの個数を示す情報と、各派生メディアに対する派生元メディア識別情報と、派生元メディアのどの部分を構成要素として派生メディアを構成するかを示す情報と、が含まれている。派生パッケージ生成要求は、例えば、派生元パッケージのメディアデータを提示し、その中からユーザが派生パッケージ内の各派生メディアに利用する部分を選択することで作成できる。
　派生元メディアと派生メディアの関係を、図１を参照して説明する。図１(a)は、メディアが映像である場合の派生元メディア（派生元映像）と提示時刻の関係を表している。派生元映像は、提示時刻の順で、S0～S7の８個の部分映像から構成されている。図１(b1)は、派生元映像から導出された派生映像１と提示時刻の関係を表している。派生映像１は、提示時刻の順で、S1、S4、S6の３個の部分映像から構成されている。なお、派生元映像と派生映像１において共通の記号が付与された部分映像は同一の部分映像である。つまり、派生映像１は、派生元映像を構成する部分映像の一部を構成要素とする映像といえる。このことから、派生メディアは、派生元メディアを構成する部分メディアの一部を構成要素とするメディアであると表現できる。
　パッケージ派生部１４において、派生パッケージ生成要求と、派生元パッケージ情報とから派生パッケージ情報を生成する手順は次の通りである。始めに、パッケージ識別子の値に未使用の識別子を設定する。次に、メディア数は０に設定する。派生メディア数の値は派生パッケージ生成要求に含まれる派生メディアの個数を示す情報を参照して設定する。派生元パッケージ識別子の値は、派生元パッケージ情報に含まれるパッケージ識別情報に基づいて設定される。構成要素数、構成要素開始、構成要素期間の各値は、派生パッケージ生成要求に含まれる情報に基づいて設定される。
　　（パッケージ記録部１５）
　パッケージ記録部１５は、入力されるパッケージ情報を記録して保持する。パッケージ記録部１５に記録された各パッケージ情報はパッケージ識別子をキーとして参照できる。
　パッケージ記録部１５に記録されるパッケージ情報の形式として、例えば図３を参照して説明したデータ構造が利用できる。なお、それ以外のデータ構造であっても、図３を参照して説明した内容が含まれている、もしくは、パッケージ情報内の情報を用いて間接的に導出できるのであれば代わりに利用できる。
　　（注釈記録部１６）
　注釈記録部１６は、入力される注釈情報を記録して保持する。注釈記録部１６に記録された各注釈情報はそれぞれ特定のパッケージに関連付けられおり、パッケージ識別子を指定することで、該パッケージ識別子の示すパッケージに関連付けられた注釈情報を参照できる。
　注釈記録部１６に記録される注釈情報のデータ構造を、図４を参照して説明する。図４に示すように、注釈情報（annotation_info）には、以下の情報が含まれる。
・関連パッケージ識別子（associated_package_id）：　注釈情報が関連付けられるパッケージのパッケージ識別子を表す情報である。パッケージ識別子は、パッケージ情報で用いられパッケージ識別子と同一の形式であるか、または、一対一に相互変換が可能な形式である必要がある。本実施形態においては、パッケージ情報と注釈情報に含まれるパッケージ識別子は同一の形式であるとして説明を行う。したがって、パッケージ情報に含まれるパッケージ識別子の値と、注釈情報に含まれる関連パッケージ識別子の値が同一の場合、それらは同一のパッケージを参照している。
・注釈数（num_annotations）：　注釈情報に含まれる注釈の個数を表す情報であって、非負の整数が用いられる。
加えて、注釈情報には、注釈毎に以下の情報が含まれている。
・注釈開始（ann_start[i]）：　注釈情報に含まれるi番目の注釈が関連付けられたメディア内の提示位置を表す情報である。特定の注釈において、注釈開始により指定されるメディア内の提示時刻のことを、注釈付与時刻とも呼ぶ。
・注釈期間（ann_duration[i]）：　注釈情報に含まれるi番目の注釈が継続する期間を表す情報である。
・注釈ソース位置（ann_src_location[i]）：　注釈情報に含まれるi番目の注釈の記録位置を表す情報である。一般的にはURL（Uniform Resource Locator）が用いられる。
・注釈補足情報（annotation_option()）：　注釈情報に含まれるi番目の注釈の補足情報である。注釈付与者や注釈付与時刻に代表される注釈付与時の文脈を表す情報が含まれている。
　以上説明したように、図４で示す注釈情報は、注釈対象パッケージ情報（関連パッケージ識別子）、注釈数、各注釈の注釈位置情報（注釈開始、注釈期間）、注釈内容情報（注釈ソース位置）、および、注釈補足情報を含んでいる。
　　（パッケージ再生部１７）
　パッケージ再生部１７は、外部からの再生制御で指定されるパッケージに関して、パッケージの再生に必要なパッケージ情報、メディア情報、および注釈情報をそれぞれ入力として読み出し、映像を構成して出力する。パッケージ再生部１７の詳細は後述する。
　　（注釈更新部１８）
　注釈更新部１８は、入力される付与注釈情報に基づいて、接続された注釈記録部上の対応する注釈情報を更新する。付与注釈情報は注釈記録部１６の説明において図４および図６を参照して説明したデータ構造に変換して記録する。
　付与注釈情報は、注釈付与時パッケージ識別情報、注釈付与時メディア内位置、注釈付与時メディア番号、および、付与注釈内容情報を含む。注釈付与時パッケージ識別情報は、注釈付与時に利用されたパッケージを識別する情報である。注釈付与時パッケージ情報には、例えば、注釈付与時に再生されていたパッケージのパッケージ識別子が利用される。注釈付与時メディア内位置は、注釈が関連付けられる位置を表す情報であって、注釈付与時パッケージに含まれるメディアデータの提示時刻を基準とした注釈提示位置情報を含む。本実施形態において、注釈提示位置情報は、注釈開始時刻と期間により表現される。注釈付与時メディア番号は、注釈付与対象メディアの注釈付与時パッケージ内での識別番号である。付与注釈内容は、付与された注釈の内容（注釈内容情報）を表す情報である。
　注釈更新部１８における注釈更新処理は次の手順で実行される。
　（Ｔ１８１）入力の付与注釈情報に含まれる注釈付与時パッケージ情報の示すパッケージ識別子をキーとして、パッケージ記録部１５から注釈付与時パッケージに対応するパッケージ情報（注釈付与時パッケージ情報）を読み出す。次にＴ１８２に移る。
　（Ｔ１８２）注釈付与時パッケージ情報に含まれる注釈付与時メディア番号を用いて、注釈付与時パッケージに含まれるメディアデータまたは派生メディアの一つを選択して対象メディアに設定する。注釈付与時メディア番号をmn1、注釈付与時パッケージ情報内のメディア数をmn2、派生メディア数をmn3とすると対象メディアは次の通り設定される。mn1がmn2以下の場合、注釈付与時パッケージ情報に含まれるメディア参照位置の中で、mn1個目のメディア参照位置が示すメディアデータが対象メディアに設定される。それ以外の場合（mn1がmn2より大きい場合）、注釈付与時パッケージ情報に含まれる派生メディアの中で（mn1-mn2）個目の派生メディアが対象メディアに設定される。なお、注釈付与時メディア番号の表現は上記に限定されず、注釈付与時パッケージ内のいずれのメディアデータまたは派生メディアを選択可能な情報であれば別の表現でもよい。対象メディアがメディアデータの場合はＴ１８３に移り、対象メディアが派生メディアの場合はＴ１８４に移る。
　（Ｔ１８３）注釈記録部１６から、注釈付与時パッケージ情報に含まれるパッケージ識別子をキーとして、注釈付与時パッケージに含まれる各メディアデータの注釈情報を取得して対象注釈情報に設定する。注釈情報が存在しない場合は、注釈数が０の注釈情報を設定して対象注釈情報として利用する。対象注釈情報に含まれるメディア内注釈位置（注釈開始と注釈期間）の情報は、注釈付与時メディア内位置の値により設定する。加えて、注釈付与内容を注釈記録部１６に記録して、その記録位置を注釈ソース位置の値に設定する。次にＴ１８５に移る。
　（Ｔ１８４）注釈記録部１６から、対象メディアの派生元パッケージ識別子をキーとして注釈情報を取得して対象注釈情報に設定する。注釈情報が存在しない場合は、注釈数が０の注釈情報を対象注釈情報として利用する。対象注釈情報に含まれるメディア内注釈位置（注釈開始と注釈期間）の情報は、注釈付与時メディア内位置と、注釈付与時パッケージ情報の派生メディア情報として含まれる、対象メディアの構成要素情報とに基づいて設定する。
　注釈付与時メディア内位置の示す注釈開始時刻をTs、期間をDsと表し、対象メディアのj番目の構成要素の構成要素開始をTc[j]、構成要素期間をDc[j]と表す場合、注釈開始Toと、注釈期間Doは以下の疑似コードによる処理で導出できる。
　　a=Ts;
　　k=0;
　　while (a >= Dc[k]) {
　　 a -= Dc[k];
　　 k++
　　}
　　To = Tc[k] + a;
　　Do = Min(Ds, Dc[k])
上記導出処理では、まず、注釈付与時の注釈開始時刻が対象メディアを構成する構成要素の番号（上記疑似コードでwhileループ終了後の変数kの値）と、該構成要素内での位置（上記疑似コードでwhileループ終了後の変数aの値）を導出している。続いて、注釈開始Toの値として、構成要素k（k番目の構成要素）の構成要素開始と、構成要素k内での位置との和を設定している。また、注釈期間Doの値として、注釈付与時の注釈期間Dsと構成要素kの構成要素期間Dc[k]との最小値を設定している。ここで最小値を設定することで、注釈期間が構成要素期間より長い場合であっても、派生元パッケージの提示時に意図しない時刻に注釈情報が提示されることを防止できる。
　続いて、注釈付与内容を注釈記録部１６に記録して、その記録位置を注釈ソース位置の値に設定する。次にＴ１８５に移る。
　（Ｔ１８５）対象注釈情報を、入力の付与注釈情報に含まれる注釈付与時メディア内位置と付与注釈内容情報に基づいて更新して、更新された注釈情報を注釈記録部１６に同じパッケージ識別子を持つ注釈情報を上書きして記録する。
　以上説明した処理により、注釈更新部１８は、注釈付与時パッケージが派生メディアを含む場合であっても、派生メディアに対して、派生パッケージにおけるメディア再生位置（提示時刻）を基準として付与された注釈情報を、派生元パッケージと関連付けて注釈記録部１６に記録できる。したがって、派生パッケージを提示するとともに注釈を付与するための手段や装置が、派生パッケージと派生元パッケージの関係性を解釈できない場合であっても派生パッケージに対して付与された注釈情報を派生元パッケージに関連付けて記録できるという効果を奏する。
　〔パッケージ再生部１７の構成〕
　次に、パッケージ再生部１７の詳細構成について、図５を参照して説明する。図５に示すとおり、パッケージ再生部１７は、パッケージ選択部１７１、メディア選択部１７２、注釈選択部１７３、映像構成部１７４を備えている。パッケージ選択部１７１は、内部にメディア構成部１７１１と派生メディア構成部１７１２を備えている。
　　（パッケージ選択部１７１）
　パッケージ選択部１７１は、入力の再生制御で指定されるパッケージに関するパッケージ情報を読み出して解釈し、パッケージに含まれるメディア（派生メディアも含む）毎に再生（提示）に必要なメディア情報および注釈情報を集めて出力する。
　パッケージ選択部１７１は、まず、入力の再生制御で指定されるパッケージに対応するパッケージ識別子の値をキーとしてパッケージ情報（再生対象パッケージ情報）をパッケージ記録部１５から読み出す。次に、再生対象パッケージ情報に含まれるメディアデータ情報（メディア数、および、メディアソース位置）をメディア構成部１７１１に渡す。また、派生メディア情報（派生メディア数、派生元パッケージ識別子、派生元メディア識別番号、構成要素数、構成要素開始、および、構成要素期間）を派生メディア構成部１７１２に渡す。
　　（メディア構成部１７１１）
　メディア構成部１７１１は、入力のメディアデータ情報に含まれるメディア数の示す個数のメディアデータを取得して出力する。メディアデータは、メディアソース位置をメディア選択部１７２に入力することで、メディア選択部１７２の出力として取得される。
　加えて、メディア構成部１７１１は、再生対象パッケージに関連付けられた注釈情報を取得して出力する。注釈情報の取得は、再生対象パッケージ情報の含むパッケージ識別子を注釈選択部１７３に入力することで、注釈選択部１７３の出力として取得される。
　　（派生メディア構成部１７１２）
　派生メディア構成部１７１２は、入力の派生メディア情報に含まれる派生メディア数の示す個数のメディアデータを取得して出力する。各派生メディアは派生元パッケージに含まれるメディア（派生元メディア）の断片である構成要素から構成される。各派生メディアに対応する派生元メディアは、派生メディア情報に含まれる派生元パッケージ識別子と派生元メディア識別番号に基づいて導出される派生元メディアのメディア記録位置をメディア選択部１７２に入力することで、メディア選択部１７２の出力として取得される。ｉ番目の派生元メディアの記録位置の導出は次の通りである。まず、派生メディア関連情報に含まれるｉ番目の派生元パッケージ識別子に対応するパッケージ情報（第ｉ番目派生元パッケージ情報）をパッケージ記録部１５から取得する。次に、第ｉ番目派生元パッケージ情報に含まれるメディアデータ情報のうち、派生メディア情報に含まれるｉ番目の派生元メディア番号（src_media_idx[i]）の示す位置にあるメディア記録位置を選択してｉ番目の派生元メディアの記録位置としてｉ番目の派生元メディアのメディアデータを取得する。取得したメディアデータから、派生メディア情報に含まれる構成要素情報に基づいて、再生用のメディアデータを生成して出力する。具体的には、ｉ番目の派生メディアの構成要素情報に含まれる各構成要素について、始めの構成要素から順に構成要素開始と構成要素期間によって示される派生元メディアの部分を切り出し、順に結合することで提示用のメディアデータを生成する。
　加えて、派生メディア構成部１７１２は、派生元パッケージに関連付けられた注釈情報を取得して出力する。注釈情報の取得は、派生元パッケージ情報の含むパッケージ識別子を注釈選択部１７３に入力することで、注釈選択部１７３の出力として取得される。
　　（メディア選択部１７２）
　メディア選択部１７２は、入力されるメディアソース位置の示す位置からメディアデータを読み出して出力する。本実施形態の場合、メディアデータはメディア記録部１２から読み出される。
　　（注釈選択部１７３）
　注釈選択部１７３は、入力されるパッケージ識別子の示すパッケージの提示に必要な注釈情報を選択して読み出し、出力する。この注釈情報選択処理において選択対象となる注釈情報は、入力のパッケージ識別子の示すパッケージに関連付けられた注釈情報である。本実施形態では、図４を参照して示した注釈情報を用いるため、関連パッケージ識別子（associated_package_id）の値が入力のパッケージ識別子の値と一致する注釈情報（annotation_info）が注釈記録部１６から読み出されて、出力される。
　　（映像構成部１７４）
　映像構成部１７４は、入力されるパッケージ情報、メディアデータ、および、注釈情報を再生することで再生映像を構成して出力する。再生映像は、提示時刻毎にメディアデータと注釈情報を再生して得られる画面および音声の組み合わせとして構成される。各提示時刻の画面は、各提示時刻における画像関連のメディア（映像、時刻付き画像、時刻付き字幕テキストなど）を既定の条件で重畳または選択することで作成する。また、各提示時刻における音声関連のメディア（音声、時刻付き音声テキストなど）を既定の条件で重畳または選択することで作成する。注釈情報については、特定の提示時刻に注釈データが存在する場合、注釈ソース位置（ann_src_location）から読み込んだ注釈データを注釈タイプ（ann_type）の示す方法で提示する。ある提示時刻ｔに注釈データが存在するか否かは、提示時刻ｔが注釈開始（ann_start）と注釈期間（ann_duration）により示される提示時間の区間に含まれるか否かにより判定できる。
　〔メディア記録再生装置の動作〕
　メディア記録再生装置１の動作について説明する。メディア記録再生装置１は複数の機能を有しているため、メディア記録再生装置１の動作は以下に示す機能別の複数の処理に分けて表現できる。
・動作１：パッケージ記録処理
・動作２：パッケージ派生処理
・動作３：パッケージ再生処理
・動作４：注釈更新処理
以下では、上記各処理について、図２と図５の構成を参照してそれぞれ説明する。
　　（パッケージ記録処理）
　メディア記録再生装置１におけるパッケージ記録処理は、入力メディアデータを含むパッケージを生成し、メディアデータおよびパッケージ情報を記録する処理であって、以下の手順で実行される。
　（Ｓ１０１）メディア取得部１１は、入力メディアデータをメディア記録部１２に記録する。加えて、メディア取得部１１は、入力メディアデータに対応するメディア識別情報を決定してパッケージ生成部１３に出力する。その後Ｓ１０２の処理に移る。
　（Ｓ１０２）パッケージ生成部１３は、入力されるメディア識別情報に基づいてパッケージ情報を生成し、パッケージ記録部１５に記録して処理を終了する。
　なお、上記パッケージ記録処理で言及された構成要素を少なくとも備えることで、パッケージ記録装置（メディア記録装置）を実現できる。すなわち、メディア取得部１１、メディア記録部１２、パッケージ生成部１３、および、パッケージ記録部１５を少なくとも含むパッケージ記録装置は、パッケージ記録処理が実行できる。
　　（パッケージ派生処理）
　メディア記録再生装置１におけるパッケージ派生処理は、記録されたパッケージ情報から派生パッケージ情報を生成して記録する処理であって、以下の手順で実行される。
　（Ｓ１１１）パッケージ派生部１４は、外部からのパッケージ派生要求に応じてパッケージ記録部１５から派生元パッケージのパッケージ情報を読み出す。その後Ｓ１１２の処理に移る。
　（Ｓ１１２）パッケージ派生部１４は、派生元パッケージ情報とパッケージ派生要求に基づいて派生パッケージのパッケージ情報を生成する。生成したパッケージ情報をパッケージ記録部１５に記録して処理を終了する。
　なお、上記パッケージ派生処理で言及された構成要素を少なくとも備えることで、パッケージ派生装置を実現できる。すなわち、パッケージ派生部１４、および、パッケージ記録部１５を少なくとも含むパッケージ派生装置は、パッケージ派生処理が実行できる。
　　（パッケージ再生処理）
　メディア記録再生装置１におけるパッケージ再生処理は、再生制御に応じて、記録されたパッケージ情報、メディアデータ、および、注釈情報を参照して再生映像を生成して出力する処理であって、以下の手順で実行される。
　（Ｓ１２１）パッケージ再生部１７に入力された再生制御は、パッケージ選択部１７１と映像構成部１７４に通知される。次にＳ１２２に移る。
　（Ｓ１２２）パッケージ選択部１７１は、入力の再生制御の指定するパッケージのパッケージ識別子をキーとして、パッケージ記録部１５からパッケージ情報を取得する。取得したパッケージ情報は、メディア構成部１７１１および派生メディア構成部１７１２に入力される。次にＳ１２３に移る。
　（Ｓ１２３）メディア構成部１７１１は、入力されたパッケージ情報を参照してパッケージに含まれる各メディアについてメディアソース位置をメディア選択部１７２に出力する。次にＳ１２４に移る。
　（Ｓ１２４）メディア選択部１７２は、Ｓ１２３で入力された各メディアソース位置に基づいてメディア記録部１２からメディアデータを取得してメディア構成部１７１１に出力する。次にＳ１２５に移る。
　（Ｓ１２５）メディア構成部１７１１は、Ｓ１２２で入力されたパッケージ情報に含まれるパッケージ識別子を注釈選択部１７３に入力する。次にＳ１２６に移る。
　（Ｓ１２６）注釈選択部１７３は、Ｓ１２５で入力されたパッケージ識別子をキーとして注釈記録部１６から注釈情報を取得してメディア構成部１７１１に出力する。次にＳ１２７に移る。
　（Ｓ１２７）メディア構成部１７１１は、Ｓ１２２で取得したパッケージ情報、Ｓ１２４で入力されたメディアデータ、Ｓ１２６で入力された注釈情報を映像構成部１７４に出力する。次にＳ１２８に移る。
　（Ｓ１２８）派生メディア構成部１７１２は、Ｓ１２２で取得したパッケージ情報に含まれる各派生元パッケージ識別子をキーとして、パッケージ記録部１５から対応するパッケージ情報（派生元パッケージ情報）を取得する。次にＳ１２９に移る。
　（Ｓ１２９）派生メディア構成部１７１２は、Ｓ１２８で取得した派生元パッケージ情報に含まれる複数のメディアソース位置の中から、Ｓ１２２で取得したパッケージ情報に含まれる各派生元メディア番号の示すメディアソース位置をメディア選択部１７２に出力する。次にＳ１３０に移る。
　（Ｓ１３０）メディア選択部１７２は、Ｓ１２９で入力された各メディアソース位置に基づいてメディア記録部１２からメディアデータを取得して派生メディア構成部１７１２に出力する。次にＳ１３１に移る。
　（Ｓ１３１）派生メディア構成部１７１２は、Ｓ１２８で取得した派生元パッケージ情報に含まれるパッケージ識別子を注釈選択部１７３に入力する。次にＳ１３２に移る。
　（Ｓ１３２）注釈選択部１７３は、Ｓ１３１で入力されたパッケージ識別子をキーとして注釈記録部１６から注釈情報を取得して派生メディア構成部１７１２に出力する。次にＳ１３３に移る。
　（Ｓ１３３）派生メディア構成部１７１２は、Ｓ１２８で取得した派生元パッケージ情報、Ｓ１３０で入力されたメディアデータ、Ｓ１３２で入力された注釈情報を映像構成部１７４に出力する。次にＳ１３４に移る。
　（Ｓ１３４）映像構成部は、Ｓ１２７およびＳ１３３で入力された、パッケージ情報、メディアデータ、および、注釈情報に基づいて再生映像を構成して出力して処理を終了する。
　なお、上記パッケージ再生処理で言及された構成要素を少なくとも備えることで、パッケージ再生装置を実現できる。すなわち、メディア記録部１２、パッケージ記録部１５、注釈記録部１６、および、パッケージ再生部１７を少なくとも含むパッケージ再生装置は、パッケージ再生処理が実行できる。
　　（注釈更新処理）
　メディア記録再生装置１における注釈更新処理は、入力される付与注釈情報に基づいて記録されている注釈情報を更新する処理であって、以下の手順で実行される。
　（Ｓ１４１）メディア記録再生装置１に入力された付与注釈情報は、注釈更新部１８に入力される。次にＳ１４２に移る。
　（Ｓ１４２）注釈更新部１８は、入力された付与注釈情報に含まれるパッケージ識別子をキーとして注釈付与時パッケージ情報をパッケージ記録部１５から取得する。
　（Ｓ１４３）注釈更新部１８は、入力された付与注釈情報と、Ｓ１４２で取得した注釈付与時パッケージ情報に基づいて、注釈記録部１６に記録された対応する注釈情報を更新して処理を終了する。
　なお、上記注釈更新処理で言及された構成要素を少なくとも備えることで、注釈更新装置を実現できる。すなわち、パッケージ記録部１５、注釈記録部１６、および、注釈更新部１８を少なくとも含む注釈更新装置は、注釈更新処理が実行できる。
　〔メディア記録再生装置の効果〕
　以上説明したメディア記録再生装置１は、パッケージ派生部１４、および、パッケージ記録部１５を備えており、パッケージ派生処理を実行できる。したがって、メディア記録再生装置１は、あるパッケージ（以下、派生元パッケージ）に含まれるメディアの断片を含んで構成された派生パッケージ（派生パッケージ１）を作成できる。
　また、メディア記録再生装置１は、注釈記録部１６、および、注釈更新部１８を備えており、注釈更新処理を実行できる。したがって、メディア記録再生装置１は、派生パッケージ１に対して付与された注釈情報を入力として受け取り、注釈記録部１６に記録された注釈情報を更新できる。その際、注釈情報は、派生パッケージ１と関連付けられるのではなく、派生パッケージ１の派生元パッケージと関連付けて記録される。したがって、派生元パッケージから、派生パッケージ１に対して付与された注釈情報を参照可能となる。
　また、メディア記録再生装置１は、メディア記録部１２、パッケージ記録部１５、注釈記録部１６、および、パッケージ再生部１７を備えており、パッケージ再生処理を実行できる。ここで、パッケージ記録部に記録され、パッケージ再生部で再生されるパッケージ情報は派生メディア情報を含んでいる。したがって、メディア記録再生装置１は、あるパッケージ（派生元パッケージ）の再生要求があった際に、派生元パッケージからパッケージ派生処理により生成された派生パッケージ１に対して付与された注釈情報を含めた注釈情報を再生して再生映像を生成できる。加えて、パッケージ再生処理において参照されるパッケージ情報には、派生パッケージと派生元パッケージを関連付ける情報（派生元パッケージ識別子）が含まれている。そのため、同一の派生元パッケージから派生した派生パッケージは、派生元パッケージを介して同じ注釈情報を参照できる。したがって、メディア記録再生装置１は、派生元パッケージから、パッケージ派生処理により生成される派生パッケージであって、派生パッケージ１とは異なる派生パッケージ（派生パッケージ２）を提示する際に、派生パッケージ１に対して付与された注釈情報を含めた再生映像を生成できる。
　　（本発明の一態様を映像に対して適用する場合の例）
　メディア記録再生装置１の効果について上述したが、ここで、メディアとして１個の映像を含むパッケージを扱う場合の効果について、図１を参照して説明する。
　図１(a)は、メディアが映像である場合の派生元メディア（派生元映像）と提示時刻の関係を表している。派生元映像は、提示時刻の順で、S0～S7の８個の部分メディア（部分映像）から構成されている。派生元映像にパッケージ派生処理を適用することで、出力として派生メディア（派生映像）が生成される。
　図１(b1)は、派生元映像から導出された派生映像１と提示時刻の関係を表している。派生映像１は、提示時刻の順で、S1、S4、S6の３個の部分映像から構成されている。また、図１(b1)では、派生映像１の提示時刻t1に対して注釈情報an1が付与されることを示している。図１(b2)は、派生元映像から導出された派生映像２と提示時刻の関係を表している。派生映像２は、提示時刻の順で、S4、S7、S1の３個の部分映像から構成されている。図１(b2)では、派生映像２の提示時刻t2に対して注釈情報an2が付与されることを示している。
　図１(c)は、派生映像１と派生映像２に注釈情報が付与された後、つまり注釈更新後の派生元映像と注釈情報の関係を示している。注釈更新処理により、派生映像に対して付与された注釈情報は、派生元映像から参照可能である。注釈更新処理では、派生映像１における注釈情報an1の提示時刻t1から、派生元映像における注釈情報an1の提示時刻t１aに変換できる。注釈情報an2についても同様である。そのため、パッケージ再生処理では、派生元映像に加えて、派生映像１に対して付与された注釈情報an1、および、派生映像２に対して付与された注釈情報an2を含んだ再生映像を適切な提示時刻で生成できる。
　図１(d)は、派生映像１と派生映像２の注釈更新後の派生映像２と注釈情報の関係を示している。パッケージ再生処理では、派生元映像における注釈情報an1の提示時刻t1aから、派生映像２における注釈情報an1の提示時刻t１bに変換できる。そのため、パッケージ再生処理では、派生映像２に加えて、派生映像１に対して付与された注釈情報an1、および、派生映像２に対して付与された注釈情報an2を含んだ再生映像を適切な提示時刻で生成できる。
　〔変形例１：注釈補足情報の活用〕
　図４を参照して説明した注釈情報は注釈補足情報を含むと説明したが、注釈補足情報を利用することで追加の機能を実現するメディア記録再生装置を構成してもよい。以下の説明で用いる注釈補足情報のデータ構造を、図６を参照して説明する。図６に示すように、注釈補足情報（annotation_option）は、以下の情報を含む。
・継承タイプ（inherit_type）：　注釈情報をパッケージ間で受け渡す際の制限を示す情報である。少なくとも、「継承不可」、「派生元パッケージにのみ継承可」、「自由に継承可」を意味する値をとる。
・注釈文脈存否フラグ（ann_context_present_flag）：　注釈情報が付与された文脈（コンテキスト）を表す情報が含まれているか否かを示す情報である。
・文脈生成時刻（ctx_create_time）：　注釈情報が付与された時刻を示す情報である。・文脈注釈者識別子（ctx_annotator_id）：　注釈情報を付与したユーザ（注釈者）を表す情報である。ここでは、注釈記録部１６を含むシステムで管理されてユーザ毎に割り当てるユーザ識別子を文脈注釈者識別子の値として利用するが、注釈者が特定可能な別の情報であってもよい。
・文脈パッケージ識別子：　注釈情報が付与される時点で提示されていたパッケージ（注釈時利用パッケージ）を特定するための情報である。本変形例では、注釈時利用パッケージのパッケージ識別子を表す情報を値として利用する。なお、文脈パッケージ識別子は、注釈付与時パッケージの特定が可能な他の表現でもよく、その意味から、文脈パッケージ識別子を文脈パッケージ識別情報とも呼ぶ。
　以上説明したように、図６に示す注釈補足情報は、継承制御情報（継承タイプ）、注釈付与文脈情報（文脈生成時刻、文脈注釈者識別子、文脈パッケージ識別子）を含む。継承制御情報は、注釈の継承を制御するための情報とも表現できる。また、注釈付与文脈情報は、注釈が付与された際の文脈や状況を表す情報と表現できる。
　　（１．注釈情報の派生先の指定）
　図６に示した注釈補足情報は継承制御情報である継承タイプを含んでいる。そのため、継承タイプの内容に基づいて、パッケージ再生時に提示される注釈を制御するようメディア記録再生装置１を構成できる。
　まず、継承タイプの値が「自由に継承可」の場合、メディア記録再生装置１の動作として記載したパッケージ再生処理、および、注釈更新処理がそのまま適用できる。
　次に、継承タイプの値が「継承不可」の場合、注釈更新処理において、注釈付与時パッケージが派生パッケージである場合には注釈情報を注釈記録部に記録しないよう、注釈更新部１８を構成する。
　次に、継承タイプの値が「派生元パッケージにのみ継承可」の場合であって、再生対象パッケージ内の再生対象メディアが派生メディアである場合には、注釈情報に含まれる関連パッケージ識別子の値と、再生対象パッケージのパッケージ識別子の値が一致する場合にのみ、注釈情報を提示するようパッケージ再生部１７を構成する。この構成のパッケージ再生部１７は、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、再生対象メディアに対する継承タイプとに基づいて、再生対象メディアと併せて再生する注釈情報を決定する、とも表現できる。
　上記構成により、注釈付与者が共有したい注釈を選択可能になる。また、注釈情報を他の利用者と共有することなく、派生元パッケージに対してのみ注釈情報を蓄積する仕組みが実現できる。
　　（２．注釈付与文脈に応じた提示）
　図６に示した注釈補足情報は注釈付与文脈情報として文脈生成時刻、文脈注釈者識別子、および、文脈パッケージ識別子を含んでいる。そのため、パッケージ再生時に注釈付与時の文脈に基づいて再生映像を生成するようパッケージ再生部１７を構成できる。
　例えば、再生制御に追加情報として表示対象注釈期間を含むことで、注釈情報に含まれる文脈生成時刻を参照して、表示対象注釈期間内に付与された注釈のみを選択して表示するようパッケージ再生部１７を構成できる。
　また、例えば、再生制御に追加情報として表示対象注釈者を含むことで、注釈情報に含まれる文脈注釈者識別子を参照して、表示対象注釈者と同一の注釈者によって付与されたと判定される注釈のみを選択して表示するようパッケージ再生部１７を構成できる。
　また、例えば、再生制御に追加情報として注釈表示対象パッケージ情報を含むことで、注釈情報に含まれた文脈パッケージ識別子を参照することで、特定のパッケージの提示時に付与された注釈情報のみを選択して表示するようパッケージ再生部１７を構成できる。
　なお、上記では特定の条件を満たす注釈情報のみを選択して表示すると記載したが、特定の条件を満たす注釈情報が他の注釈情報と区別可能な形式で提示されるような構成も可能である。例えば、注釈データとしてテキストを画面に提示する場合、両者でテキスト色を変更する、文字サイズを変更する処理も区別可能な形式での提示に含まれる。
　以上の例について、次のように表現できる。すなわち、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、再生対象メディアに対する注釈付与文脈情報とに基づいて、前記再生対象メディアと併せて再生する注釈情報を決定するようパッケージ再生部１７を構成できる。
　多くの注釈情報が付与された場合には、パッケージ再生部１７による再生映像上で各注釈の判別が困難になるため、提示される注釈情報を選択可能とすることは有用である。
　　（３．注釈付与文脈を利用したパッケージ切り替え）
　注釈付与文脈情報は文脈パッケージ識別子を含んでいる。そのため、提示中の注釈情報を起点として、提示対象のパッケージを注釈付与時に参照されたパッケージ（文脈パッケージ識別子の示すパッケージ）に切り替えることが可能なようにパッケージ再生部１７を構成できる。例えば、画面上で特定の注釈情報を指定した場合、注釈付与時に参照されたパッケージへの切り替えボタンまたはリンクを表示し、該ボタン・リンクが選択された場合に注釈付与時に参照されたパッケージへ切り替えるような構成が可能である。
　上記内容は次のようにも表現できる。すなわち、パッケージ再生部１７は、出力映像上で再生対象パッケージに含まれるメディア（再生対象メディア）と関連付けて再生対象パッケージ切り替える操作のインターフェース（上記ボタンやリンク）を含め、前記再生対象パッケージの切り替え操作のインターフェースは、前記特定のメディアに対する前記文脈パッケージ識別情報が示す注釈付与時のパッケージへの切り替え操作を実行するためのインターフェースである。
　上記構成によれば、パッケージ再生中に表示された注釈が、どのような状況で付けられたかを知るために、少ない操作で注釈情報が付与されたパッケージ情報を確認することができる。
　〔実施形態２：メディア再生装置の構成〕
　本発明の別の実施形態について図７～図８を参照して説明する。図７は、本発明の一実施形態であるメディア再生装置２の構成を示すブロック図である。メディア再生装置２は、概略的には、パッケージデータを受信して再生して表示するとともに、受信したパッケージに関する注釈を付与する機能を有する。また、付与された注釈を別のメディア再生装置２と共有する機能を有する。図７に示すとおり、メディア再生装置２は、注釈記録部１６、パッケージ再生部２１、注釈更新部２２、表示画像合成部２３、再生制御ＵＩ２４、注釈付与ＵＩ２５、注釈受信部２６を備えている。なお、注釈記録部１６は、図２を参照して説明したメディア記録再生装置１に含まれる同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。
　（パッケージデータのデータ構造）
　各構成要素の説明前に、メディア再生装置２が入力として受け取るパッケージデータのデータ構造を説明する。図８はパッケージデータのデータ構造を表す表である。パッケージデータは、パッケージ識別子（package_id）、メディア数（media_num）、メディア数が示す個数のメディアデータ（media_data[i]）を含んでいる。ここで、パッケージ識別子とメディア数は、図３に含まれる同名の要素と同一の意味をもつため説明は省略する。メディアデータはメディアの再生に必要なデータである。パッケージデータは、加えて、メディア毎に派生メディアフラグ（derived_media_flag[i]）を含む。派生メディアフラグは、メディアが派生メディアか否かを示す。派生メディアフラグが真（メディアが派生メディアであることを示す）場合、パッケージデータは、加えて、派生メディア情報を含む。派生メディア情報は、派生元ソース識別子（src_package_id）、派生元メディア番号（src_media_idx）、構成要素数（num_components）、構成要素開始（comp_start）、構成要素期間（comp_duration）を含んでいる。派生元ソース識別子、派生元メディア番号、構成要素数、構成要素開始、および、構成要素期間は、図３に含まれる同名の要素と同一の意味をもつため説明は省略する。
　なお、本実施形態において、パッケージデータが派生パッケージである、つまり、パッケージデータに含まれる特定のメディアが派生元メディアの一部から構成される派生メディアである場合、派生メディアのメディアデータとして含まれるデータは、派生元メディアデータではなく、派生元メディアデータの一部に相当するメディアデータとする。これにより、メディア再生装置２が派生パッケージ再生時に受信するべきパッケージデータのデータ量を低減できる。
　なお、派生メディアフラグの代わりに、派生メディアか否かを識別するための情報を含んだ派生メディア識別情報を用いてもよい。例えば、派生メディア識別情報として、値が０の場合は派生メディアではないことを示し、値が１以上の場合は、構成要素数がその値の派生メディアであることを示す情報を用いてもよい。この場合、派生メディアフラグと構成要素数の情報を統合することで、データの読み込み処理の回数を減らせる。
　（パッケージ再生部２１）
　パッケージ再生部２１は、再生制御に基づいて、パッケージデータを外部から入力として読み込み、そのパッケージデータに関連する注釈情報を読み出し、提示時刻毎にメディアデータと注釈情報を合わせて再生することで再生映像を生成して出力する。パッケージ再生部２１は、図５を参照して説明したパッケージ再生部１７と類似の機能を持つが、以下の異なる機能を持つ。
　パッケージ再生部２１は、入力のパッケージデータからメディアデータを抽出し、メディアデータ毎に適した復号処理または再生処理を適用してメディアデータを再生する。パッケージ再生部１７とは異なり、メディアデータ自体の再生には、メディアデータが派生メディアかどうかの情報は用いない。
　パッケージ再生部２１は、入力のパッケージデータに含まれる派生メディアフラグを参照してメディア毎に派生メディアか否かを判定する。ある対象メディアが派生メディアではない場合、パッケージ識別子と対象メディアのパッケージデータ内での位置をキーとして注釈情報を読み込む。
　対象メディアが派生メディアである場合、派生メディア情報（派生元ソース識別子、派生元メディア番号、構成要素数、構成要素開始、構成要素期間）を参照して、メディアの構成要素毎に派生元ソース識別子と派生元メディア番号をキーとして注釈情報を読み込む。読み込んだ注釈情報に含まれる各注釈データの提示時刻は、注釈情報に含まれる注釈開始の値は派生元パッケージの提示時刻を基準とする値のため、入力パッケージデータの提示時刻を基準とする値に変換する。この派生元パッケージ再生時刻基準の時刻から、派生パッケージ再生時刻基準の時刻への変換は、入力パッケージデータに含まれる構成要素情報（構成要素数、構成要素開始、構成要素期間）を用いて実行できる。
　（注釈更新部２２）
　注釈更新部２２は、メディア記録再生装置１の備える注釈更新部１８と同様に、入力される付与注釈情報に基づいて、接続された注釈記録部上の対応する注釈情報を更新する。注釈更新部２２は、加えて、更新された注釈の内容を外部に通知する。
　（表示画像合成部２３）
　表示画像合成部２３は、入力される再生映像、再生ＵＩ画像、および、注釈付与ＵＩ画像を用いて表示画面を構成して外部の表示端末に表示する。具体的には、再生映像の上に再生制御用のＵＩ画像を重畳して画面の一部に設定するとともに、残りの画面部分に注釈付与ＵＩ画像を設定して表示画面を構成する。なお、このような表示画面構成は一例であり、利用者が再生制御や注釈付与が可能であるような別の構成方法を用いてもよい。
　（再生制御ＵＩ２４）
　再生制御ＵＩ２４は、生成制御用の再生ＵＩ画像を生成して出力するとともに、外部の操作端末による操作情報から再生制御の指示を出力する。再生制御には、例えば、再生パッケージの選択、再生開始、再生停止、早送り再生、巻き戻し再生が含まれる。
　（注釈付与ＵＩ２５）
　注釈付与ＵＩ２５は、注釈付与用の注釈付与ＵＩ画像を生成して出力するとともに、外部の操作端末による操作情報から注釈付与情報を生成して出力する。例えば、注釈付与ＵＩ画像としてテキスト入力領域を利用し、テキスト入力領域に対する入力完了の操作情報があった場合に、その時点でのパッケージ再生時刻に対して入力されたテキストの内容のテキストデータが注釈データとして付与されたものとして注釈付与情報を生成して出力する。なお、注釈付与情報に含まれる注釈データはテキストに限定されず、例えば、画像、映像、音声、その他の可視化されたデータを注釈データとしてもよい。
　（注釈受信部２６）
　注釈受信部２６は、外部の別のメディア再生装置２から通知された注釈情報を受信して、注釈記録部に書き込む。この処理により、別のメディア再生装置２で付与された注釈情報を他のメディア再生装置２でも共有できる。なお、外部のメディア再生装置２からの注釈更新の通知は必ずしも直接受け取る必要はなく、別の機器（例えば注釈更新通知用のサーバ）を設置して、その機器を中継するような構成にしてもよい。
　〔メディア再生装置２の動作〕
　メディア再生装置２の動作について説明する。メディア再生装置２は複数の機能を有しているため、メディア再生装置２の動作は以下に示す機能別の複数の処理に分けて表現できる。
・動作１：パッケージ再生処理
・動作２：画面表示処理
・動作３：注釈付与処理
・動作４：注釈受信処理
以下では、上記各処理について、図７の構成を参照してそれぞれ説明する。
　　（パッケージ再生処理）
　メディア再生装置２におけるパッケージ再生処理は、再生制御に応じて、外部からパッケージデータを入力として読み込んで、パッケージ内メディアデータを関連する注釈情報と合わせて再生することで、再生映像を構成して出力する処理であって、以下の手順で実行される。
　（Ｓ２０１）パッケージ再生部２１は、再生制御ＵＩ２４から入力される再生制御で指定されるパッケージを入力として受信する。次にＳ２０２に移る。
　（Ｓ２０２）パッケージ再生部２１は、Ｓ２０１で入力されたパッケージデータに含まれるメディアに関する注釈情報を注釈記録部１６から読み出して入力とする。次にＳ２０３に移る。
　（Ｓ２０３）パッケージ再生部２１は、Ｓ２０１で入力されたパッケージデータ、および、Ｓ２０２で入力された注釈情報に基づいて再生映像を構成して出力し、処理を終了する。
　以上説明したパッケージ再生処理により、メディア再生装置２はパッケージデータを読み込んで、注釈情報を反映した再生映像を構成できる。その際、パッケージデータに含まれるメディアに派生メディアが含まれる場合であっても、意図した提示時刻に対して注釈情報を含んだ再生映像を生成できる。
　　（画面表示処理）
　メディア再生装置２における画面表示処理は、再生映像と再生制御ＵＩと注釈付与ＵＩから表示画面を構成して外部の表示端末に表示する。画面表示処理は表示画面合成部２３により実行される。
　表示画面合成部２３は、前述のパッケージ再生処理の結果得られる再生映像、再生制御ＵＩ２４から入力される再生制御ＵＩ画像、および、注釈付与ＵＩ２５から入力される注釈付与ＵＩ画像に基づいて表示画像を構成して出力する。
　　（注釈付与処理）
　メディア再生装置２における注釈付与処理は、利用者の指示によってパッケージデータの特定の提示位置に対応する注釈情報を生成して記録するとともに、外部に通知する。注釈付与処理は次の手順で実行される。
　（Ｓ２３１）注釈付与ＵＩは、外部の操作端末から注釈付与の指示に基づいて、指示があった提示時刻に関連付けられた付与注釈情報を生成して注釈更新部２２に出力する。次にＳ２３２に移る。
　（Ｓ２３２）注釈更新部２２は、入力の付与注釈情報に基づいて、注釈記録部１６の注釈情報を更新する。次にＳ２３３に移る。
　（Ｓ２３３）注釈更新部２２は、入力の付与注釈情報を外部に通知して処理を終了する。
　以上説明した注釈付与処理により、メディア再生装置２は、特定のパッケージ再生時刻に関連付けられた注釈情報を記録できる。そのため、以降のパッケージ再生処理において、更新された注釈情報を参照して再生映像を生成できる。また、メディア再生装置２は、特定のパッケージ再生時刻に関連付けられた注釈情報を外部に記録できる。そのため、更新された注釈情報を別のメディア再生装置２と共有できる。
　　（注釈受信処理）
　メディア再生装置２における注釈受信処理では、外部から通知された注釈情報の更新を受信して注釈情報を更新する。注釈受信処理は注釈受信部２６で実行される。注釈受信部う２６は、外部から通知された注釈情報の更新を受信し、受信した注釈情報の更新に基づいて注釈情報を注釈記録部１６に記録された注釈情報を更新する。
　この注釈受信処理により、メディア再生装置２は、別のメディア再生装置２で付与された注釈情報を共有できる。したがって、注釈受信処理によって注釈情報が更新された以降のパッケージ再生処理では、更新された注釈情報、つまり、別の利用者によって付与された注釈情報をメディアデータと合わせて提示できる。ここで、更新された注釈情報は、注釈が付与されたパッケージの提示時だけではなく、注釈が付与されたメディアを構成要素として含む別のパッケージの提示時にも提示できる。
　〔メディア再生装置２の効果〕
　以上説明したメディア再生装置２は、パッケージ再生部２１、および、注釈記録部１６を備えており、パッケージ再生処理を実行できる。その際、パッケージデータに含まれるメディアに派生メディアが含まれる場合であっても、意図した提示時刻に対して注釈情報を含んだ再生映像を生成できる。
　また、メディア再生装置２は、パッケージ再生部２１、再生制御ＵＩ２４、注釈付与ＵＩ２５、および、表示画面合成部２３を備えており、画面表示処理を実行できる。したがって、パッケージデータと注釈情報を合わせて表示したり、画面上に再生制御ＵＩを表示して再生を制御したり、画面上に注釈制御ＵＩを表示して注釈付与を容易にしたりできる。
　また、メディア再生装置２は、表示画面合成部２３、注釈付与ＵＩ２５、注釈更新部２２、および、注釈記録部１６を備えており、注釈付与処理を実行できる。したがって、パッケージデータが派生メディアを含む場合であっても、注釈情報を意図した提示時刻と関連付けて記録および外部に通知できる。
　また、メディア再生装置２は、注釈受信部２６、および、注釈記録部１６を備えており、注釈受信処理が実行できる。したがって、別のメディア再生装置２によって付与された注釈情報を受信して記録することで、パッケージデータが派生メディアを含む場合であっても、メディア再生装置間で注釈情報を共有できる。
　〔付記事項１〕
　以上の各実施形態の説明で用いたパッケージ情報やパッケージデータのデータ構造は、一つの派生メディアが一つの派生元メディアの断片から構成することを表現可能なデータ構造であった。しかし、一つの派生メディアが複数の派生元メディアの断片から構成されてもよい。その際、複数の派生元メディアが、それぞれ別のパッケージに含まれるメディアデータであってもよい。その場合、派生メディアの断片毎に派生元メディアを指定する必要があるためパッケージ情報やパッケージデータのデータ量は増加するが、より多様な派生パッケージを生成できるという利点がある。
　〔まとめ〕
　上記課題を解決するため、本発明の一態様によるメディア記録再生装置は、記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、派生メディア情報を含むメディア情報を、少なくとも含んだパッケージ情報を記録するパッケージ記録部と、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、メディアデータを記録するメディア記録部と、パッケージ情報に基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備え、前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生することを特徴とする。
　また、本発明の一態様によるメディア記録再生装置は、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新する注釈更新部を備えていることを特徴とする。
　また、前記構成要素情報は、パッケージに含まれる派生メディアを構成する各構成要素について、構成要素開始および構成要素期間の情報を含むことを特徴とする。
　また、前記付与注釈情報は注釈付与時パッケージを識別する注釈付与時パッケージ識別情報を含み、前記注釈更新部は、前記注釈付与時パッケージが派生メディアを含む場合であって、前記付与注釈情報が前記派生メディアに対して注釈を付与することを示す場合に、前記注釈を含む注釈情報を、前記注釈付与時パッケージの派生元パッケージに関連付けて前記注釈記録部に記録することを特徴とする。
　また、前記付与注釈情報には注釈を表す情報として注釈位置情報と注釈内容情報が含まれており、前記注釈更新部は、前記派生元パッケージに関連付けて前記注釈情報を記録する際に、注釈付与時メディア内位置から、前記派生元パッケージにおけるメディア内注釈位置への変換処理を適用することを特徴とする。
　また、前記付与注釈情報は、パッケージ間での注釈の継承を制限する継承タイプを含み、前記注釈更新部は、前記付与注釈情報に含まれる注釈の付与対象が派生メディアか否かと、前記継承タイプとに基づいて、前記注釈記録部の更新内容を決定することを特徴とする。
　また、前記注釈情報は、パッケージ間での注釈の継承を制限する継承タイプをパッケージ内のメディアに関連付けて含み、前記パッケージ再生部は、再生対象パッケージが含む再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記継承タイプとに基づいて、前記再生対象メディアと合わせて再生する注釈情報を決定することを特徴とする。
　また、前記注釈情報は、注釈付与文脈情報をパッケージ内のメディアに関連付けて含み、前記パッケージ再生部は、再生対象パッケージが含む再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記注釈付与文脈情報とに基づいて、前記再生対象メディアと合わせて再生する注釈情報を決定することを特徴とする。
　また、前記注釈情報は、メディアに関連付けられた注釈付与時のパッケージを示す文脈パッケージ識別情報を含み、前記パッケージ再生部は、出力映像上で特定のメディアと関連付けて再生対象パッケージ切り替え操作のインターフェースを含め、前記再生対象パッケージの切り替え操作のインターフェースは、前記特定のメディアに対する前記文脈パッケージ識別情報が示す注釈付与時のパッケージへの切り替え操作を実行するためのインターフェースであることを特徴とする。
　上記課題を解決するため、本発明の一態様によるメディア再生装置は、メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、前記パッケージデータは、派生メディア情報を含むことを特徴とするメディア再生装置。
　〔ソフトウェアによる実現例〕
　メディア記録再生装置１およびメディア再生装置２は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現しても良いし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現しても良い。
　後者の場合、メディア記録再生装置１およびメディア再生装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ，上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読みとって実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されても良い。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　（関連出願の相互参照）
　本出願は、２０１５年１０月２３日に出願された特願２０１５-２０８６８７に対して先権の利益を主張するものであり、当該出願を参照することにより、その内容の全てが本書に含まれる。
　１　　　　メディア記録再生装置
　１１　　　メディア取得部
　１２　　　メディア記録部
　１３　　　パッケージ生成部
　１４　　　パッケージ派生部
　１５　　　パッケージ記録部
　１６　　　注釈記録部
　１７　　　パッケージ再生部
　１７１　　パッケージ選択部
　１７１１　メディア構成部
　１７１２　派生メディア構成部
　１７２　　メディア選択部
　１７３　　注釈選択部
　１７４　　映像構成部
　１８　　　注釈更新部
　２　　　　メディア再生装置
　２１　　　パッケージ再生部
　２２　　　注釈更新部
　２３　　　表示画面合成部
　２４　　　再生制御ＵＩ
　２５　　　注釈付与ＵＩ
　２６　　　注釈受信部

Claims (10)

  1. 　記録されたパッケージ情報に基づいてメディアデータと注釈情報を再生するメディア記録再生装置であって、
    　派生メディア情報を含むメディア情報を少なくとも含むパッケージ情報を記録するパッケージ記録部と、
    　パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、
    　メディアデータを記録するメディア記録部と、
    　パッケージ情報に基づいて、パッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部を備え、
    　前記パッケージ再生部は、再生対象のパッケージが派生メディアであることを前記派生メディア情報に含まれる派生メディア識別情報が示す場合に、前記メディア情報に含まれる構成要素情報を参照してメディアデータと注釈情報を再生することを特徴とするメディア記録再生装置。
  2. 　付与注釈情報に基づいて、記録された前記注釈情報を更新する注釈更新部を備えることを特徴とする請求項１に記載のメディア記録再生装置。
  3. 　前記構成要素情報は、パッケージに含まれる派生メディアを構成する各構成要素について、構成要素開始および構成要素期間の情報を含むことを特徴とする請求項１又は２に記載のメディア記録再生装置。
  4. 　前記付与注釈情報は、注釈付与時パッケージを識別する注釈付与時パッケージ識別情報を含み、
    　前記注釈更新部は、前記注釈付与時パッケージが派生メディアを含む場合であって、前記付与注釈情報が前記派生メディアに対して注釈を付与することを示す場合に、前記注釈を含む注釈情報を、前記注釈付与時パッケージの派生元パッケージに関連付けて前記注釈記録部に記録することを特徴とする請求項２に記載のメディア記録再生装置。
  5. 　前記付与注釈情報は、注釈を表す情報として注釈位置情報と注釈内容情報を含み、
    　前記注釈更新部は、前記派生元パッケージに関連付けて前記注釈情報を記録する際に、注釈付与時メディア内位置から、前記派生元パッケージにおけるメディア内注釈位置への変換処理を適用することを特徴とする請求項４に記載のメディア記録再生装置。
  6. 　前記付与注釈情報は、パッケージ間での注釈の継承を制限する継承タイプを含み、
    　前記注釈更新部は、前記付与注釈情報に含まれる注釈の付与対象が派生メディアか否かと、前記継承タイプとに基づいて、前記注釈記録部の更新内容を決定することを特徴とする請求項２に記載のメディア記録再生装置。
  7. 　前記注釈情報は、パッケージ内のメディアに関連付けて、パッケージ間での注釈の継承を制限する継承タイプを含み、
    　前記パッケージ再生部は、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記継承タイプとに基づいて、前記再生対象メディアと併せて再生する注釈情報を決定することを特徴とする請求項１から請求項６のいずれか一項に記載のメディア記録再生装置。
  8. 　前記注釈情報は、パッケージ内のメディアに関連付けて、注釈付与文脈情報を含み、
    　前記パッケージ再生部は、再生対象パッケージに含まれる再生対象メディアが派生メディアか否かと、前記再生対象メディアに対する前記注釈付与文脈情報とに基づいて、前記再生対象メディアと併せて再生する注釈情報を決定することを特徴とする請求項１から請求項７のいずれか一項に記載のメディア記録再生装置。
  9. 　前記注釈情報は、メディアに関連付けられた注釈付与時のパッケージを示す文脈パッケージ識別情報を含み、
    　前記パッケージ再生部は、出力映像上で特定のメディアと関連付けて再生対象パッケージ切り替え操作のインターフェースを含み、
    　前記再生対象パッケージの切り替え操作のインターフェースは、前記特定のメディアに対する前記文脈パッケージ識別情報が示す注釈付与時のパッケージへの切り替え操作を実行するためのインターフェースであることを特徴とする請求項１から請求項８のいずれか一項に記載のメディア記録再生装置。
  10. 　メディアデータを含むパッケージデータを受信して、メディアデータと注釈情報を再生するメディア再生装置であって、
    　パッケージ識別情報により示される特定のパッケージと関連付けられた注釈情報を記録する注釈記録部と、
    　パッケージデータに基づいてパッケージに含まれるメディアデータと注釈情報とを再生するパッケージ再生部と、
    　付与注釈情報に基づいて前記注釈記録部に記録された注釈情報を更新するとともに外部に通知する注釈更新部と、
    　通知された注釈情報を受信して前記注釈記録部に記録された注釈情報を更新する注釈受信部とを備え、
    　前記パッケージデータは、派生メディア情報を含むことを特徴とするメディア再生装置。
PCT/JP2016/074692 2015-10-23 2016-08-24 メディア記録再生装置、および、メディア再生装置 WO2017068855A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017546441A JPWO2017068855A1 (ja) 2015-10-23 2016-08-24 メディア記録再生装置、および、メディア再生装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-208687 2015-10-23
JP2015208687 2015-10-23

Publications (1)

Publication Number Publication Date
WO2017068855A1 true WO2017068855A1 (ja) 2017-04-27

Family

ID=58557196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/074692 WO2017068855A1 (ja) 2015-10-23 2016-08-24 メディア記録再生装置、および、メディア再生装置

Country Status (2)

Country Link
JP (1) JPWO2017068855A1 (ja)
WO (1) WO2017068855A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225207A (ja) * 2008-03-18 2009-10-01 Nec Corp 情報処理装置
JP2013251667A (ja) * 2012-05-31 2013-12-12 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2015136050A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225207A (ja) * 2008-03-18 2009-10-01 Nec Corp 情報処理装置
JP2013251667A (ja) * 2012-05-31 2013-12-12 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2015136050A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2017068855A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
US8201262B2 (en) Contents distribution system, contents distribution method, terminal apparatus, and recording medium on which program thereof is recorded
JP6125680B2 (ja) メッセンジャを利用したコンテンツ提供方法、システム、および記録媒体
US20210044644A1 (en) Systems, devices, and methods for streaming haptic effects
US20200004778A1 (en) Display apparatus, background music providing method thereof and background music providing system
KR20170029466A (ko) 메신저를 통한 컨텐츠 제공 방법과 시스템 및 기록 매체
JP2019091014A (ja) マルチメディアを再生するための方法及び装置
US20120254357A1 (en) Server, reproduction apparatus, and information reproduction system
JP2016005268A (ja) 情報伝送システム、情報伝送方法、及びプログラム
JP6034277B2 (ja) コンテンツ作成方法、コンテンツ作成装置及びコンテンツ作成プログラム
US10181312B2 (en) Acoustic system, communication device, and program
KR20210136814A (ko) 영상과 응원봉 제어 신호의 연동 방법 및 그 장치
WO2017068855A1 (ja) メディア記録再生装置、および、メディア再生装置
CN102473088B (zh) 再现媒体内容的方法
EP3193335A1 (en) Information processing device, information processing method, program, and recording medium
KR20200113224A (ko) 복수의 채널을 통한 오디오 재생 방법 및 시스템
CN105430486B (zh) 音频或视频播放的方法和装置
EP2426941A1 (en) Content replay system, control device and replay device
JP2008217123A (ja) 通信システム、端末装置、サーバ、端末装置の制御方法及びそのプログラム
JP2011090783A (ja) 再生装置、制御プログラム、記録媒体、及び再生装置の制御方法
JP2011192038A (ja) コンテンツ出力装置、コンテンツ再生システム、コンテンツ出力方法、およびプログラム
US20170060523A1 (en) Electronic device and controlling method thereof
US20080279526A1 (en) Record/playback apparatus and control method therefor
JP2016099502A (ja) コンテンツ再生システム
CN114121036A (zh) 音轨唯一标识元数据和生成方法、电子设备及存储介质
CN113938811A (zh) 基于音床音频通道元数据和生成方法、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857173

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017546441

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16857173

Country of ref document: EP

Kind code of ref document: A1