WO2017183288A1 - マルチメディア再生装置、及び、マルチメディア生成装置 - Google Patents

マルチメディア再生装置、及び、マルチメディア生成装置 Download PDF

Info

Publication number
WO2017183288A1
WO2017183288A1 PCT/JP2017/006741 JP2017006741W WO2017183288A1 WO 2017183288 A1 WO2017183288 A1 WO 2017183288A1 JP 2017006741 W JP2017006741 W JP 2017006741W WO 2017183288 A1 WO2017183288 A1 WO 2017183288A1
Authority
WO
WIPO (PCT)
Prior art keywords
media
multimedia
information
screen
area
Prior art date
Application number
PCT/JP2017/006741
Other languages
English (en)
French (fr)
Inventor
山本　智幸
伊藤　典男
恭平 池田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2017183288A1 publication Critical patent/WO2017183288A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Definitions

  • One aspect of the present invention relates to a multimedia playback device that plays back multimedia data composed of media data such as video, audio, and text, and a multimedia generation device that composes multimedia data by combining media data.
  • a multimedia playback device is used to play multimedia data composed of a combination of a plurality of media data (media) typified by shot video and recorded audio.
  • the multimedia playback device reads out and plays back multimedia data in response to a user's playback request, and outputs it in a format that can be displayed on a display device represented by a display.
  • multimedia playback devices play multimedia data composed of one video and a plurality of voices and texts, and compose and play a screen mainly composed of video.
  • multimedia reproducing apparatuses that reproduce multimedia data including a large number of videos and compose and reproduce a screen including a large number of videos have increased.
  • the number of media data included in the multimedia data increases, it becomes difficult to construct a screen by simultaneously presenting all the media data.
  • Patent Document 1 describes a method of reproducing multimedia data including videos from many viewpoints. Specifically, there is a method of determining a screen configuration using a user's viewing history and action history. Are listed. For example, it is described that the total number of viewing times is regarded as a viewing history, and media data to be included in the screen is selected from the multimedia data based on the viewing history.
  • Patent Document 1 the screen configuration and display contents at the time of multimedia data reproduction are determined by utilizing the user's viewing history.
  • a meaningful screen cannot be configured for the user in a situation where the user's viewing history cannot be used or is not sufficiently accumulated.
  • a specific method for determining the value is not disclosed.
  • An object of the present invention is to provide a multimedia playback device for performing the above. It is another object of the present application to provide a multimedia generation apparatus that configures multimedia data that can be reproduced by the multimedia reproduction apparatus from a large number of media data.
  • a multimedia playback device is a multimedia playback device that plays back a playback screen that displays media included in multimedia data in each area of the screen.
  • a screen configuration determining unit configured to determine a screen configuration used for generating the playback screen based on multimedia information related to media data and arrangement control information; and the screen configuration determining unit includes the multimedia The screen configuration is determined based on inter-media relation information included in the information and in-screen area information included in the arrangement control information.
  • the screen configuration determination unit displays the media associated with the main medium displayed in the main area, which is the first area in the screen, in the area in the screen with reference to the relationship between the media. It is characterized by deciding on the media to be used.
  • the reproduction screen includes media automatic change identification information for identifying an area in the screen where the medium is changed in accordance with the change of the main medium and an area in the screen where the medium is not changed.
  • the media automatic change identification information is displayed at the timing when the start of the change operation of the main media is detected for each area in the screen.
  • the above-described inter-media relationship information indicates whether or not there is a relationship between at least two media included in the multimedia data, directly or indirectly by a non-directional link, a directional link, a relevance index, or a related group.
  • the above-mentioned media relationship information includes a media attribute relationship.
  • the above-mentioned media relationship information includes a property relationship.
  • the multimedia information includes media relation information indicating that at least two media are associated with at least one media included in the multimedia data.
  • the screen configuration determination unit determines a media classification based on the relationship between the media, and a display method that can discriminate between different media classifications as a media display method in each area in the screen based on the media classification Is set.
  • the screen configuration determination unit determines a media classification based on the relationship between the media, and in addition, specifies a user interest media and uses another media as a media display method for media of the same classification as the user interest media.
  • a display method that can be distinguished from classified media is set.
  • the media included in the multimedia data includes an all-around video media and a partial all-around video media
  • the multimedia information is stored in a spatial area included in the partial all-around video media and the all-around video media. It is characterized by including partial space designation information indicating a relationship with the contained space area.
  • inter-media relationship information is characterized in that the all-round video media and the partial all-round video media are associated with each other.
  • the screen configuration determination unit determines the importance for each partial area obtained by spatially dividing the first area in the first area for displaying the video media, and based on the importance for each partial area And setting a second region to be superimposed on the first region.
  • an operation interpretation unit that interprets user operations and generates arrangement control information
  • the screen configuration determination unit sets a media selection area in the screen, and based on the inter-media relation information and the arrangement control information
  • the main media and the media associated with the main media are each symbolized and arranged in the media selection area, and the operation interpretation unit interprets the media selection on the media selection area and selects the selected media.
  • the layout control information is generated so as to include.
  • a multimedia generation device supplies media to a corresponding multimedia playback device based on input media, so that the media corresponding to each area in the screen is presented.
  • a multimedia generation device for generating multimedia data for generating a playback screen, a media analysis unit for analyzing the input media and determining media data information and media analysis information, the input media and the media
  • An inter-media relationship determining unit that determines inter-media relationship information based on analysis information
  • a multimedia information determining unit that generates multimedia information including the media data information and the inter-media relationship information .
  • the multimedia playback device determines the screen configuration based on the multimedia information and the arrangement control information.
  • the screen configuration is determined based on the inter-media relationship information included in the multimedia information and the in-screen area information included in the arrangement control information. Therefore, in each area in the screen, media associated through the inter-media relationship information is selected from the multimedia data and arranged. Thereby, it is possible to present a reproduced image without requesting the user to select a medium for each area in the screen.
  • the multimedia generation device includes a media analysis unit and a media relationship determination unit. Therefore, at that time, it is possible to generate multimedia data that can be played back by the above-mentioned multimedia playback device, including information on the relationship between media, which is a relationship between media to be processed.
  • FIG. 1 is a block diagram illustrating components and structure of a multimedia playback device 1 according to an embodiment of the present invention. It is a figure for demonstrating the structure and content of the multimedia data input into a multimedia reproduction apparatus. It is a figure explaining the screen structure produced
  • FIG. 6 is a diagram illustrating an interface for selecting a medium associated with a main medium.
  • a multimedia playback device 1 that forms a screen by processing input multimedia data and outputs it as a playback screen will be described. Also, a multimedia generation device 2 that generates multimedia data input to the multimedia playback device 1 will be described. First, multimedia data will be described.
  • FIG. 3A shows a schematic data structure of multimedia data.
  • the multimedia data is composed of a multimedia description and data of at least one media layer.
  • the multimedia description includes information that modifies the multimedia data represented by the name, tag information, classification information, creation date / time, update date / time, and presentation date / time of the multimedia data.
  • the multimedia description includes information indicating the number and type of media data included in the multimedia data.
  • the multimedia description includes information (relationship between media) indicating a mutual relationship between media data. By referring to the relationship between media, it can be determined whether or not two media data are associated with each other. In other words, it can be determined whether or not the two media data are related.
  • the inter-media relationship, the inter-media attribute relationship and the inter-attribute relationship described later are collectively referred to as inter-media relationship information.
  • Fig. 3 (b) shows the schematic data structure of the media layer data.
  • the media layer data includes a media description and media data.
  • the media description includes information that modifies the media data represented by the name, tag information, type, classification information, creation date / time, update date / time, and presentation date / time of media data included in the same media layer.
  • the type of media data is information for specifying the type of media data included in the same media layer as the media description, and is also called a media type.
  • the media type includes at least information for identifying whether the media data belongs to video, audio, text, time-series information, or other media.
  • multimedia information can also be expressed as multimedia data itself and various types of information related to media data included in the multimedia data with respect to specific multimedia data.
  • Media data is data representing video, audio, text, time series information, and the like.
  • the media data is also simply referred to as media.
  • Video media data includes, for example, video encoded using a video encoding method HEVC (High Efficiency Video Coding).
  • Audio media data includes audio encoded using an audio encoding method AAC (Advanced Audio Coding).
  • Text media data includes time-series text data expressed as a pair of presentation time and character string.
  • the time-series information media data includes, for example, position information of a specific target at each time, measurement data of a device, amount of motion obtained by analyzing a specific video, luminance change, event detection result, etc. Data is included.
  • video media data including the encoded video data may be used.
  • an MP4 format file including HEVC format video encoded data can be used as video media.
  • media data can also be expressed as data including video, audio, text, etc. in a form that can be extracted.
  • FIG. 1 An example of multimedia data is shown in FIG.
  • the multimedia data MMD1 includes three videos (videos 1 to 3), three texts (texts 1 to 3), and six pieces of time series information ( Time series information 1a, 1b, 2a, 2b, 3a, 3c) is included as media. Further, media are related by the relationship between media. For example, a line segment between video 1 and text 1 indicates that both are related by the relationship between media. In FIG. 3C, lines between other media indicate that the media are associated with each other as well.
  • the structure information illustrated in FIG. 3C that is, the type and number of media included in the multimedia data, and the relationship between the media can be read. .
  • FIG. 2 shows the configuration of the multimedia playback apparatus 1 according to this embodiment.
  • the multimedia playback device 1 processes input multimedia data based on a user operation, and configures and outputs a playback screen for each presentation time.
  • the multimedia playback apparatus 1 includes a multimedia interpretation unit 11, a media data recording unit 12, a multimedia information recording unit 13, an operation interpretation unit 14, a playback control unit 15, a screen configuration determination unit 16, and The screen composition unit 17 is provided.
  • the multimedia interpretation unit 11 separates and outputs the multimedia description and the media description and media data corresponding to the data of each media layer included in the multimedia data from the input multimedia data.
  • the multimedia description and each media description are output together as multimedia information.
  • the multimedia interpretation unit 11 may convert the multimedia description or the media description into another format as necessary.
  • the multimedia description binarized in a predetermined format may be decoded, and the decoding result may be stored in a JSON format data structure and output to the subsequent stage.
  • the media data recording unit 12 holds an input medium and outputs it according to a request.
  • the request uses information (media identification information) for specifying the target medium from among a plurality of media included in the multimedia data. For example, a media identifier or an index of a target media in multimedia data can be used.
  • the multimedia information recording unit 13 holds the inputted multimedia information, that is, the multimedia description separated from the multimedia data and each media description, and outputs them according to the request.
  • a field name of desired data or a combination of media identification information and a field name can be used.
  • the operation interpretation unit 14 interprets a user operation, converts it into control instruction information, and outputs it.
  • a user interface device represented by a mouse, a touch pad, and a keyboard
  • the user is not necessarily limited to the person who performs the operation, and devices and programs that issue control commands based on a predetermined API (Application Programming Interface) can also be used.
  • API Application Programming Interface
  • the control instruction information includes reproduction control information for controlling reproduction of multimedia data and arrangement control information for controlling arrangement of multimedia data in the screen.
  • the playback control information includes a multimedia data playback start instruction, a playback stop instruction, and a seek instruction to the designated presentation time.
  • the playback control information may include a playback start instruction, a playback stop instruction, and a seek instruction for the designated presentation time for each medium included in the multimedia data.
  • the placement control information includes in-screen area position information.
  • the in-screen area information is information indicating in which position and in which size each area included in the screen is arranged.
  • the in-screen area information may include, as attribute information, a main area designation indicating whether each area is a main area.
  • the arrangement control information may include media format designation information.
  • the media format information is information that designates the media format (for example, video media or text media) of the media to be displayed in the area within the screen.
  • the arrangement control information may include media presentation method information.
  • the media presentation method information is information indicating how to display the media on the area. For example, media presentation method information includes information on whether or not various visual filters are applied to video and images, parameters, and method designation information for visualization of time series information.
  • the screen configuration output from the screen configuration determination unit 16 may be used as an additional input to the operation interpretation unit 14.
  • the operation interpretation unit 14 can identify which screen component is located at which position in the screen, and user information can be interpreted using the information. For example, it is possible to interpret that the user has clicked the playback start button in the screen and output a playback start instruction.
  • the playback control unit 15 determines and outputs presentation time information including the presentation time of the multimedia data based on the input playback control information and an internal clock.
  • a reproduction start instruction is input as the reproduction control information
  • the reproduction control unit 15 increases the internal presentation time variable based on the clock, and outputs the presentation time variable as the presentation time information at a predetermined cycle.
  • a playback stop instruction is input, the increase of the internal presentation time variable is stopped.
  • a seek instruction for the designated presentation time is input, the value of the internal presentation time variable is set to the designated presentation time.
  • the screen configuration determination unit 16 determines and outputs a screen configuration based on the input presentation time information, arrangement control information, and multimedia information.
  • FIG. 4 is a diagram illustrating a screen configuration generated by the screen configuration determination unit 16 based on predetermined multimedia information and an arrangement control instruction.
  • the multimedia information included in the multimedia data MMD1 shown in FIG. 3C is assumed as the predetermined multimedia information.
  • FIG. 4A shows an outline of a screen configuration configured based on a predetermined arrangement control instruction (arrangement control instruction C1) and multimedia information.
  • the placement control instruction C1 includes a screen layout instruction CL1.
  • the screen layout instruction CL1 includes information on the position and size of the area constituting the screen P1 and the type of media to be displayed in each area.
  • the screen layout CL1 includes the screen P1 for the region P1, the region V2, the region V3 for displaying video, the region T1 for displaying text, the region D1 for displaying time-series information, and the region D2. Position and size (length and width of the area).
  • the arrangement control instruction C1 additionally includes a main video area designation CMV1.
  • the seed video area designation CMV1 is information for designating which of the areas in the screen P1 is the main video display area. In the example of FIG. 4, the area V1 is designated as the main video area.
  • the main video area instruction CMV1 does not necessarily have to be explicitly included in the arrangement control instruction C1. In that case, the largest video display area in the screen may be regarded as the main video area. Further, when there are a plurality of maximum size video areas in the screen, the maximum size video area close to the upper left of the screen may be regarded as the main video area.
  • the arrangement control instruction C1 additionally includes a main video designation CV1.
  • the main video designation CV1 is information for selecting a video to be displayed in the main video area (area V1) from media in the multimedia data.
  • “video 1” is designated as the main video designation CV1.
  • the video data designated by the main video designation CV1 is simply referred to as a main video.
  • the screen P1 is divided into areas indicated by the placement control instruction C1, and media is allocated to each area. Specifically, “Video 1” in the region V1, “Text 1” in the region T1, “Time Series Information 1a” in the region D1, “Time Series Information 1b” in the region D2, “Video 2” in the region V2, and the region Each media of “Video 3” is allocated to V3.
  • the screen configuration determination unit 16 selects the media to be allocated to each area from the media included in the multimedia data in order to determine the screen configuration shown in FIG.
  • the screen configuration determination unit 16 can place the user-designated main video in the main video area, select the media related to the main video, and place it in the corresponding area. Therefore, even if the multimedia data includes a large number of media, the screen can be configured using media highly relevant to the video selected as the main video. Further, at that time, it is possible to reduce time and effort for the user to explicitly specify media other than the main video.
  • FIG. 4B shows a screen configuration determined by the screen configuration determination unit 16 based on the above-mentioned criteria when the main video designation CV1 is “Video 2”.
  • the screen layout CL1 is the same as in FIG. Specifically, "Video 2" in the region V1, "Text 2" in the region T1, "Time-series information 2a” in the region D1, "Time-series information 2b” in the region D2, "Video 3” in the region V2, Each media of “Video 1” is allocated to V3.
  • Video 2 can be assigned to the region V2
  • Video 3 can be assigned to the region V3.
  • the relationship between the video 2 as the main video 2 It is preferable to present the high video 3 in the region V2, which is a high priority region.
  • an index can be used in which the priority of the region is higher as the size of the region is larger, higher as the region is in the information in the screen, and higher as the region is on the left side in the screen.
  • the main video area is determined based on the input arrangement control information, and the video media to be arranged in the main video area is determined by referring to the main video designation to be the main video.
  • S102 is executed.
  • a medium satisfying all the following conditions is selected from the media included in the multimedia data, and is set as a candidate medium.
  • Condition 1 Media of the same media type as the target media type
  • Condition 2 The relationship between media included in the multimedia information indicates that there is a relationship between the main video and the media determined in S101.
  • 3 The medium is not arranged in another area.
  • One candidate media is selected from the candidate media derived in S104 and placed in the target area. If no candidate media exists, the target area is set as an undisplayed area. Next, S106 is executed.
  • the screen configuration determination unit 16 determines the screen configuration according to the above-described screen configuration determination processing flow, giving priority to the other media in the screen by giving priority to the media specified by the relationship between the video specified in the main video region and the media. Can be placed. Therefore, the user can collect a highly relevant medium from the media included in the multimedia data without performing the media selection operation in each area, and can configure the screen. For example, in the situation where the playback screen is presented with the configuration of FIG. 4A, when the user performs an operation to change the video 1 of the main video area to the video 2, the playback screen is configured as shown in FIG. Switch to Note that when the main video is changed, it is also possible to use an arrangement control instruction that switches only media in some areas, instead of switching media in all other areas.
  • information that can identify an area where the medium is changed in accordance with switching of the main video and an area where the medium is not changed is presented on the playback screen. For example, identification is possible by displaying a key symbol at the upper right of the area where the media is not changed.
  • the media automatic change identification information may be expressed by changing the entire area to be changed and the luminance level and color of the frame.
  • the media automatic change identification information is not always displayed, but only when the change operation of the main video is detected.
  • the media automatic change identification information is displayed when a list for selecting a video to be displayed in the main video area is opened, and in other cases, the media automatic change identification information is not displayed.
  • an identification indicating whether or not another area is changed according to a change of a predetermined area (for example, main video area) on the entire screen. Information may be displayed. The user can see the identification information of each area or the entire screen and know in advance whether or not the screen configuration has changed when the main video is switched, so the playback screen is displayed with an unintended screen configuration and the user feels stressed Can be prevented.
  • the screen composition unit 17 reads out the media corresponding to each area in the screen based on the input screen configuration, reproduces it according to the presentation time, and arranges it in the area to generate and output a reproduction screen. For example, when video media is associated with the area and the video data is video encoded data encoded in the HEVC format, the screen synthesis unit 17 reads the video encoded data as the media, The video is decoded by a video decoding device compatible with the HEVC format, and the decoded video frame corresponding to the designated presentation time is enlarged or reduced as necessary and arranged in the area.
  • the multimedia interpretation unit 11 separates multimedia information and media data from the input multimedia data, and supplies the multimedia information to the media data recording unit 12 and the media data to the media data recording unit 12, respectively. .
  • the operation interpretation unit 14 interprets the user operation, generates reproduction control information, and supplies the reproduction control information to the reproduction control unit 15.
  • the reproduction control unit 15 determines presentation time information based on the generation control information input in S12, and supplies the presentation time information to the screen configuration determination unit 16.
  • the operation interpretation unit 14 interprets the user operation, generates arrangement control information, and supplies it to the screen configuration determination unit 16.
  • the screen configuration determination unit 16 includes the screen configuration at the presentation time indicated by the presentation time information input in S13 in the arrangement control information input in S14 and the multimedia information read from the multimedia recording unit 13. And is supplied to the screen composition unit 17.
  • the screen composition unit 17 reads out the media to be displayed in each area in the screen from the media data recording unit 12 based on the screen configuration input in S15, and creates a partial screen for each area. .
  • the obtained screen is output as a playback screen, and the process ends.
  • the multimedia playback device 1 is a multimedia playback device that processes input multimedia data to generate and output a playback screen corresponding to the presentation time, and is included in the multimedia data.
  • a screen configuration determination unit configured to determine a screen configuration based on the multimedia information and the arrangement control information, and the screen configuration determination unit is designated as the main video based on the inter-media relationship included in the multimedia information;
  • a screen can be configured by selecting media highly relevant to video data from media included in the multimedia data. Therefore, even when the multimedia data includes a large number of media, it is possible to select a group of highly relevant media and configure the screen to reproduce without increasing the user's trouble of selecting the media.
  • the screen configuration determination unit 16 of the multimedia playback device 1 generally selects the media to be placed in each area based on the relationship between the main video and the media, but uses other information included in the placement control information as the main video. It may be used instead of.
  • main text can be used instead of main video.
  • the arrangement control information includes a main text area (main text area) on the screen and a main text designation for designating text data to be presented in the main text area.
  • the screen configuration determination unit 16 derives the text data to be displayed in the main text area as the main text, selects the media set with the relationship with the main text, and arranges the media in each area on the screen.
  • the arrangement control information includes a main media area (main media area) in the screen and a main media designation for designating media to be presented in the main media area.
  • the screen configuration determination unit 16 derives the media to be displayed in the main media area as the main media, selects the media set with the relationship with the main media by referring to the relationship between the media, and arranges the media in each area in the screen To do.
  • the screen is configured using highly relevant media according to the switched content. it can.
  • the main video and the main text are set based on the arrangement control information, and media associated with both the main video and the main text are arranged in an area on the screen.
  • the relationship between media included in the multimedia information is an index indicating the relationship between a plurality of media, and the following types of information can be used as the relationship between media.
  • Non-directional link Indicates whether there is a relationship between the specified two media.
  • Directed link Indicates whether or not the specified media 2 is related to the specified media 1. Conversely, information regarding whether or not media 1 is related to media 2 is not included.
  • ⁇ Relevance index An index indicating the high degree of relationship between two specified media. For example, an index that is interpreted to be more highly related to a larger value is set, and when the value of the relationship is higher than a predetermined value, it is determined that there is a relationship between the two media.
  • ⁇ Related group Indicates that there is a relationship between media belonging to the group. For example, if the related group includes three media A, B, and C, it is determined that the media A and the media B, the media B and the media C, and the media C and the media A are related to each other.
  • Modification 3 Use of attribute relationship
  • the configuration for determining the screen configuration using the relationship between media has been described.
  • Set attributes separately from media set the relationship between media and attributes (relationship between media attributes), and the relationship between attributes (attribute relationships), and configure the screen using these relationships Can also be determined.
  • the inter-media relationship information includes a media attribute relationship and an attribute relationship.
  • FIG. 5 (a) is a diagram illustrating media, attributes, and relationships between media attributes included in the multimedia information.
  • the multimedia data includes six media (videos 1 to 3, texts 1 to 3) and three attributes (overview, target A, target B).
  • the relationship between media attributes is set as Relevance between video 1 and bird's-eye view, text 1 and bird's-eye view, video 2 and target A, text 2 and target A, video 3 and target B, text 3 and target B, respectively. Yes.
  • FIG. 5 (b) is a diagram illustrating the relationship between attributes included in the multimedia information.
  • Target A is set as a highly relevant attribute for the bird's-eye view.
  • the bird's-eye view for the target A and the bird's-eye view for the target B are set as highly relevant attributes.
  • FIG. 5C is a diagram illustrating a screen layout included in the arrangement control information.
  • a region V1, a region T1, and a region V2 are set in the screen.
  • the video of the object A is set as the display target media type in the area V1, the video in the area V2, and the text in the area T1.
  • the area V1 is set as the main video area.
  • FIG. 5D is a diagram illustrating a screen configuration generated by the screen configuration determination unit 16.
  • Video 2 is assigned to area V1
  • text 2 is assigned to area T1
  • video 1 is assigned to area V2.
  • the screen configuration determination unit 16 determines the screen configuration in the following procedure.
  • [S201] Determine the video media of the main video area.
  • the display target media type (“video of target A” in the above example) of the main video area (area V1) is read. Is set to Next, S202 is executed.
  • the media corresponding to the display target media type read in S201 is determined with reference to the multimedia information.
  • an attribute that matches the attribute specified by the display target medium type (target A in the above example) is selected from the multimedia information.
  • the media is associated with the selected attribute by the relationship between the media attributes, and is the same media type (video in the above example) as the media type specified in the display target media type (in the above example, video 2). ) Is selected.
  • the selected medium is set as the medium of the main video area.
  • S203 is executed.
  • [S203] Areas to which no media is allocated are sequentially set as target areas, and media to be allocated to the target areas are determined.
  • the display target media type in the target area is read with reference to the screen layout.
  • the media is determined by the same procedure as in S202.
  • a medium that is the specified media type and highly relevant to the media set in the main video area is set.
  • the relevance of the medium B to the medium A is determined to be higher in the following order.
  • (Condition 1) Media that is associated with the same attribute as Media A and is different from Media A
  • Attribute A associated with Media A is associated with Attribute B associated with the relationship between attributes.
  • Associated media When the condition 1 is satisfied, the relevance is the highest, and then, the condition when the condition 2 is satisfied is high. When both conditions are not satisfied, it is determined that the relevance is the lowest.
  • the text T2 which is the text media associated with the target A, which is the attribute of the video 2
  • the medium is associated with the overhead attribute that is the attribute associated with the target A that is the attribute of the video 2 based on the condition 2 based on the condition 2.
  • Video 1 that is media is selected.
  • the screen configuration determination unit 16 can be configured to include the relationship between media attributes and the relationship between attributes in the media relationship information in the multimedia information, and to determine the screen configuration using these relationships.
  • the multimedia information used in such a configuration has a smaller amount of data than when all media relationships are included, particularly when the number of media increases.
  • multimedia data is generated a plurality of times from a set of similar media sources (for example, a set of cameras), it is not necessary to set the relationship between the media every time, so that the multimedia data generation process can be simplified. .
  • screen configuration determination unit 16 may be configured to use only the relationship between media attributes, not necessarily including both the relationship between media attributes and the relationship between attributes.
  • Modification 4 Association with two or more media It is also possible to configure the screen configuration determination unit 16 so as to set the relationship between media so that there are two or more media associated with one medium and determine the screen configuration with reference to such a relationship between media.
  • Fig. 6 (a) illustrates the relationship between media when there are media associated with two or more media.
  • the text 12 is associated with the video 1 and the video 2 by the description of the relationship between the media.
  • Video 1 is associated with text 1 and text 12.
  • Video 2 is associated with text 2 and text 12.
  • the screen configuration determination unit 16 is configured to display all text media associated with the main video medium in the text area. Also good.
  • the screen configuration is determined so that both text 1 and text 12 are displayed in the text area.
  • text media is sparse data, and text does not always exist for all presentation times. Therefore, with the above configuration, it is possible to provide information highly relevant to the main video media by effectively utilizing the limited display area in terms of time.
  • the main video media and text media have been described as examples. However, the present invention is not limited to this, and the same configuration can be applied to a combination of the main media and media that is sparse in time.
  • a screen is displayed so that video media associated with the text media displayed at a specific presentation time is displayed.
  • the configuration may be determined.
  • the screen configuration including the video 1 and the text 1 as the main video media is determined as shown in FIG. 6B.
  • the screen configuration is determined so as to display the video 2 that is the video media associated with the text 12 as shown in FIG.
  • the contents described in FIG. 6 (c) can be generalized and expressed as follows.
  • the screen configuration determination unit 16 selects and displays a medium that is associated with the main medium and has data at the presentation time or a time close thereto as the sub medium 1.
  • the screen configuration determination unit determines whether or not there is a medium associated with the secondary medium 1, and if it exists, selects the medium as the secondary medium 2 and selects a display area in the screen. Or generate and display.
  • the screen configuration is changed so as to be displayed when a medium associated with a specific display target medium is not displayed.
  • the present invention is not limited thereto, and the display may be changed to a more prominent display even if the media associated with the specific display target media has already been displayed.
  • the media can be displayed prominently by increasing the size of the media display area or changing the color or frame of the media display area.
  • the screen configuration determining unit 16 may determine the media display method in each area based on the inter-media relation information.
  • the inter-media relationship information is information that directly or indirectly indicates the relationship between media, and the inter-media relationship, the media attribute relationship, and the attribute relationship is a representation of the inter-media relationship information.
  • different colors are associated with media belonging to a specific media type, and the colors associated with media of a media type other than the media type are associated with the media of the media type associated with the media.
  • the associated color or its similar color is set.
  • Each medium is displayed by a display method based on the associated color. For example, in the multimedia data of FIG. 3C, different colors are associated with video 1, video 2, and video 3, respectively.
  • Examples of the display method based on a specific color include the following display methods. -Set the background of the media display area to the specified color-Set the frame or part of the side of the media to the specified color-Provide a sub area in the media display area, and set the background of the sub area or Set the color of characters or symbols in the sub-region to the specified color. ⁇ Set the text color of the text media to the specified color. -Set the specified color to the graph color (color of line graph, color of bar graph) when displaying time-series information media as a graph.
  • determine not only a color but the medium classified based on the relationship information between media between classifications may be used.
  • a display method such as using a different font for each classification, using a different font modification (underline marker, bold, italic, etc.) for each classification, or applying a different pattern hatch for each classification can be applied.
  • the user pays attention when he / she wants to know information related to a specific category in the screen.
  • the area to be determined can be easily discriminated on the screen.
  • a media in which the user is interested (a user interest media) is specified from the displayed media, and other media on the screen are associated with the media associated with the media.
  • the screen configuration is set with a display method that can be discriminated.
  • the media in which the user is interested include, for example, media clicked by the user, media in which the user moves the mouse cursor over the area, and media operated by the user at the most recent time.
  • display method that can be distinguished from other media various display methods described as display methods that can be distinguished between media classifications can be used. For example, when the user performs a seek operation on the video media, the user can determine which media on the screen is associated with the seek-operated video media by blinking the outer frame of the display area of the media associated with the video media. Can be grasped intuitively.
  • the media included in the multimedia data need not necessarily be associated with a single file. For example, it may be a part of data stored in a file, or may be a set of a plurality of segmented data.
  • the all-round video is generally called an omnidirectional video or 360-degree video, and is a video generated by photographing a space using a camera equipped with an ultra-wide-angle lens. This is an image (partial full-circumference image) corresponding to a partial space of the captured space.
  • the partial video can be generated by cutting out and transforming a partial area of the all-round video using the partial space designation information as a parameter.
  • a video media corresponding to a partial video of the full-circumference video can be described by describing a set of the location (file position or URL) of the full-circumference video data and partial space designation information.
  • FIG. 7A is a diagram illustrating an outline of multimedia information of multimedia data including video media of all-round video (all-round video media).
  • all-round video, all-round video R1, all-round video R2, all-round video R3, R1 camera video, R2 camera video, and R3 camera video are included as media.
  • the all-around video R1 is a partial image of the all-around video equivalent to the space R1, and the all-around video and the all-around video R1 are related by the media relationship, and the all-around video R1 and the attribute “space R1” are related by the media attribute ing.
  • the all-round video R2 is similarly associated with the all-round video and the attribute “space R2”.
  • the all-round video R3 is similarly associated with the all-round video and the attribute “space R3”.
  • the attribute “space R1” is associated with the R1 camera image
  • the attribute “space R2” is associated with the R2 camera image
  • the attribute “space R3” is associated with the R3 device data.
  • the all-round video corresponding to the partial space of the original all-round video is called the partial all-round video
  • the video media corresponding to the partial all-round video is the partial all-round video media. Call it.
  • the structure of multimedia data in Fig. 7 (a) can also be expressed as follows.
  • the multimedia data includes an all-round video media, a partial all-round video media determined from the all-round video based on a predetermined spatial region, and the all-round video media and the partial all-round video media are based on the inter-media relationship information.
  • the partial full-circle video and the attribute corresponding to the predetermined space area are associated with each other.
  • FIG. 7B is a diagram illustrating a screen layout for reproducing multimedia data including all-round video.
  • Area V1 main video area
  • area V2 and area M1 are set in the screen.
  • a partial all-around video of the space R1 is set in the area V1
  • an all-round video is set in the area V2
  • an arbitrary medium is set in the area M1.
  • FIG. 7 (c) is a diagram illustrating a screen configuration when the multimedia data described in FIG. 7 (a) is reproduced according to the screen layout of FIG. 7 (b).
  • All-round video R1 is set as the display target medium in the area V1 in the screen
  • all-round video is set in the area V2
  • R1 camera video is set in the area M1.
  • a frame indicating a region V2s which is a partial region in the region V2 is presented.
  • the procedure for determining the screen configuration in the screen configuration unit 16 is as follows.
  • the media to be displayed in the main video area is determined with reference to the screen layout and the multimedia information.
  • the all-round video R1 which is a partial all-round video in the space R1, which is the designated media type, is set for the area V1 of the main video area.
  • the display target medium of each area is determined with reference to the screen layout and the multimedia information including the inter-media relation information. Specifically, the same processing as S202 in the screen configuration determination procedure described in the third modification is applied.
  • the all-round video R1 is set for the region V2.
  • the R1 camera video associated with the attribute “space R1” associated with the all-round video R1 as the main video is selected.
  • the screen includes an area for displaying the partial all-round video and an area for displaying the full-round video
  • an area corresponding to the partial full-round video is set in the display area for the full-round video. Then, an identifiable display method is set in the area.
  • the area corresponding to the attribute “space R1” associated with the all-round video R1 that is the main video is set as the area V2s in the area V2.
  • a screen when observing multimedia data by paying attention to a partial area of the all-round video, a screen can be configured using media related to the partial area of interest. At this time, the user does not need to select a plurality of media.
  • Mode 7 Superposition display
  • the level of importance of the partial area in the video area can be determined by, for example, presenting an image obtained by dividing the video area into grid-shaped partial areas to the user and designating the level of importance.
  • image processing is applied to each partial area, and the importance is determined based on the spatial change degree of the pixel value (for example, the magnitude of variance of the pixel value) or the temporal change degree (eg, the magnitude of the estimated motion amount). It can also be determined.
  • Modification 8 Multiple media selection UI
  • the screen configuration is determined by selecting a medium associated with one of the media displayed on the screen (for example, main video media) from the media included in the multimedia data. It was described in. Thereby, for example, when the user switches the main video media, the screen configuration giving priority to the media associated with the switched main video media can be determined according to the operation.
  • the number of media associated with the primary media increases, and the user can specify an interface that allows users to specify which media to select from the associated media with a simple operation. It is preferable that it can be presented.
  • the media associated with the main media is symbolized and presented in a predetermined area (media selection area) on the screen, and the media corresponding to the symbols in the area selected by dragging the mouse is selected.
  • the screen configuration determination unit 16 may be configured to display with priority. In this process, an operation on the media selection area is interpreted by the operation interpretation unit 14 and arrangement control information indicating that the medium corresponding to the symbol in the selected area is included in the screen is supplied to the screen configuration determination unit 16. This is realized.
  • FIG. 8A illustrates a media selection interface presented to the user when the multimedia data shown in FIG. 3C is being played back and video 1 is selected as the main media.
  • the selection interface a symbol corresponding to the main medium (video 1) and a symbol corresponding to the medium (text 1, time-series information 1a, time-series information 1b) associated with the main medium due to the inter-media relationship are displayed. It is preferable to display symbols having the same shape for media of the same media type (in the above example, time-series information 1a and time-series information 1b).
  • a broken line in the figure indicates an area (user selection area) selected by the user.
  • the user selection area is set so as to include video 1, text 1, and time-series information 1b.
  • the screen configuration determination unit 16 determines the screen configuration with priority on media included in the user selection area. For example, as shown in FIG. 8B, the screen configuration is determined so as to display the text 1 and the time series information 1b that are media included in the user selection area shown in FIG.
  • media indirectly associated with the main media or media not associated with the main media may be displayed.
  • the screen configuration generated by the screen configuration unit 16 is premised on an area represented by one rectangle.
  • the screen configuration unit is not limited to this, and the screen configuration unit outputs a screen configuration of an arbitrary shape. 16 can be configured.
  • the screen may be composed of a plurality of child screens, and the child screens do not necessarily have to be spatially continuous. This corresponds to a process of configuring and outputting a screen for each display terminal when there are a plurality of display terminals.
  • Multimedia generation apparatus Next, the multimedia generation device 2 that generates multimedia data based on a plurality of input media data (input media) will be described. Multimedia data output from the multimedia generation device 2 can be reproduced by being input to the multimedia reproduction device 1.
  • FIG. 9 is a block diagram showing the configuration of the multimedia generation device 2.
  • the multimedia generation device 2 includes a media switch 21, a media recording unit 22, a media analysis unit 23, an inter-media relationship determination unit 24, a multimedia information determination unit 25, and a multiplexing unit 26.
  • the media switch 21 sequentially selects input media data and supplies it to a subsequent processing block. For example, when N pieces of media data (media data 1 to media data N-1) are input, the media data are output one by one like the media data 1 and the media data 2 one by one.
  • the media recording unit 22 manages and temporarily records the input media data so that it can be identified. Further, the media recording unit 22 outputs the designated media data in response to the request.
  • the media analysis unit 23 analyzes the input media data, determines media data information, and outputs it.
  • the media type included in the media information is given by analyzing media data. For example, the head portion of the media data is analyzed and the header information is read and determined.
  • the media name is determined by the media type of the processing target media and the order in which media of the same media type are processed. For example, the media name “Video 2” is set for the second video media. Alternatively, the device name used for acquiring the media data may be set as the media name.
  • the media analysis unit 23 determines whether or not the media data satisfies a predetermined condition, and outputs the determination result as media analysis information.
  • the media analysis information includes media acquisition device information indicating whether the media has been acquired by a specific device (for example, an all-around camera). Further, the media analysis information of the video media includes information on whether or not a predetermined target is reflected in the video. Further, the media analysis information includes information on the time and place at which the media data was acquired (media acquisition position / location information).
  • the media analysis unit 23 can output the analysis result of the media data as additional media data.
  • the motion amount for each frame of the video media can be derived by analysis, and the motion amount can be output as a time-series information medium.
  • the inter-media relationship determining unit 24 determines and outputs inter-media relationship information (inter-media relationship, inter-media attribute relationship, inter-attribute relationship) based on the input media analysis information.
  • the inter-media relationship determination unit 24 determines whether two video media are shooting the same target based on the media analysis information, and if the same target is shot, generates an attribute of the name of the target. Are added to the inter-media relationship information, and a media attribute relationship that associates the generated attribute with the two media is added to the inter-media relationship information.
  • the inter-media relationship determining unit 24 refers to the media acquisition position location information included in the media analysis information and selects a medium whose acquisition position is within a predetermined range. When there are a plurality of selected media, a media relationship indicating that these media are associated with each other is generated and added to the media relationship information.
  • the inter-media relationship determining unit 24 associates the original medium and the derived medium. Is generated and added to the inter-media relationship information.
  • the inter-media relationship determining unit 24 can generate inter-media relationship information based on the media analysis information. Therefore, the burden on the creator of multimedia data can be reduced.
  • inter-media relationship determination unit 24 does not necessarily have to automatically derive all the inter-media relationship information, and may be configured to determine a part based on user input or parameters read from a setting file. .
  • the multimedia information determination unit 25 generates and outputs multimedia information based on the input media information and the inter-media relationship information.
  • the multiplexing unit 26 reads necessary media data from the media recording unit based on the input multimedia information, and multiplexes the multimedia information and the media data to configure and output the multimedia data.
  • the multimedia generation device 2 described above includes a media analysis unit 23 and an inter-media relationship determination unit 24, and is generated by multiplexing multimedia information including inter-media relationship information with media data. Can be output. Since the multimedia data generated by the multimedia generation device 2 includes inter-media relation information, the input to the multimedia playback device 1 reduces the user's effort for selecting media compared to the conventional case. In addition, a playback image having a screen configuration in which a plurality of media are arranged in the screen can be presented to the user.
  • the multimedia playback device 1 and the multimedia generation device 2 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or realized by software using a CPU (Central Processing Unit). You may do it.
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the multimedia playback device 1 and the multimedia generation device 2 have a CPU that executes instructions of a program that is software that realizes each function, and the program and various data are recorded so as to be readable by a computer (or CPU).
  • a ROM Read Only Memory
  • a storage device (these are referred to as “recording media”)
  • a RAM Random Access Memory
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via any transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • any transmission medium such as a communication network or a broadcast wave
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

多数のメディアを含むマルチメディアデータの再生時に画面内での好適なメディア配置を、煩雑な操作を避け、かつ、履歴に強く依存することなく決定する。マルチメディアデータに含まれるメディアを画面内の各領域に表示する再生画面を再生するマルチメディア再生装置（１）であって、上記マルチメディアデータに係るマルチメディア情報、及び、配置制御情報に基づいて、上記再生画面を生成するために利用される画面構成を決定する画面構成決定部（１６）を備え、上記画面構成決定部（１６）は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて、上記画面構成を決定する。

Description

マルチメディア再生装置、及び、マルチメディア生成装置
　本発明の一態様は、映像・音声・テキスト等のメディアデータから構成されるマルチメディアデータを再生するマルチメディア再生装置、および、メディアデータを組み合わせてマルチメディアデータを構成するマルチメディア生成装置に関する。
　撮影された映像や録音された音声に代表されるメディアデータ（メディア）を複数組み合わせて構成されるマルチメディアデータを再生するためにマルチメディア再生装置が利用されている。マルチメディア再生装置は、ユーザの再生要求に応じてマルチメディアデータを読み出し、再生することで、ディスプレイに代表される表示装置に表示可能な形式で出力する。
　従来のマルチメディア再生装置では、一つの映像と、複数個の音声やテキストから構成されるマルチメディアデータを再生し、映像を主とする画面を構成して再生するものが多かった。近年では、多数の映像を含むマルチメディアデータを再生し、多数の映像を含む画面を構成して再生するマルチメディア再生装置も増加している。マルチメディアデータに含まれるメディアデータの数が増加すると、全てのメディアデータを同時に提示することにより画面を構成することが困難になる。
　特許文献１には、多数の視点の映像を含むマルチメディアデータを再生する方法が記載されており、具体的には、ユーザの視聴履歴や行動履歴を利用して、画面構成を決定する方法が記載されている。例えば、総視聴回数を視聴履歴とみなし、それに基づいて画面に含めるメディアデータをマルチメディアデータから選択することが記載されている。
日本国公開特許公報「特開２０１５－９２７５０号公報」
　しかしながら、特許文献１に代表される従来技術では、ユーザの視聴履歴を活用することでマルチメディアデータ再生時の画面構成や表示内容を決定する。しかしながら、逆に言えば、ユーザの視聴履歴が利用できない、もしくは、十分に蓄積できていない状況においては、ユーザに対して有意義な画面を構成できないという課題があった。特に、マルチメディアデータを構成するメディアデータの数が増加するにつれて、その適正な配置をユーザ履歴から決定することはより困難になるが、そのような状況下において、ユーザ履歴から如何にして画面構成を決定するかの具体的な方法は開示されていない。
　本願は、多数のメディアデータから構成されるマルチメディアデータの再生において、ユーザ履歴に過度に依存することなく、メディアデータを選択および配置することでユーザにとって価値の高い画面を構成するという課題を解決するためのマルチメディア再生装置を提供することを目的とする。また、本願は、上記マルチメディア再生装置で再生可能なマルチメディアデータを多数のメディアデータから構成するマルチメディア生成装置を提供することを目的とする。
　上記課題を解決するため、本発明の一態様によるマルチメディア再生装置は、マルチメディアデータに含まれるメディアを画面内の各領域に表示する再生画面を再生するマルチメディア再生装置であって、上記マルチメディアデータに係るマルチメディア情報、及び、配置制御情報に基づいて、上記再生画面を生成するために利用される画面構成を決定する画面構成決定部を備え、上記画面構成決定部は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて、上記画面構成を決定する、ことを特徴とする。
　また、上記画面構成決定部は、上記メディア間関係を参照して、画面内の領域の第１の領域である主領域に表示される主メディアに関連付けられたメディアを、画面内の領域に表示するメディアに決定することを特徴とする。
　また、上記再生画面は、上記主メディアの変更に伴いメディアが変更される画面内の領域と、メディアが変更されない画面内の領域とを識別するメディア自動変更識別情報を含むことを特徴とする。
　また、上記メディア自動変更識別情報は、画面内の領域毎に主メディアの変更操作の開始が検知されたタイミングで表示されることを特徴とする。
　また、上記メディア間関係情報は、マルチメディアデータに含まれる少なくとも２つのメディア間の関連性の有無を、無方向リンク、有方向リンク、関連性指標、または、関連グループにより直接、もしくは、間接的に示すメディア間関係を含むことを特徴とする。
　また、上記メディア間関係情報は、メディア属性間関係を含むことを特徴とする。
　また、上記メディア間関係情報は、属性間関係を含む、ことを特徴とする。
　また、上記マルチメディア情報は、マルチメディアデータに含まれる少なくとも一つのメディアに対して、少なくとも２つのメディアが関連付けられることを示すメディア間関係情報を含んでいることを特徴とする。
　また、上記画面構成決定部は、上記メディア間関係に基づいてメディア分類を決定し、上記メディア分類に基づいて、画面内の各領域におけるメディア表示方法として、異なるメディア分類間で判別可能な表示方法を設定することを特徴とする。
　また、上記画面構成決定部は、上記メディア間関係に基づいてメディア分類を決定し、加えて、ユーザ興味メディアを特定し、該ユーザ興味メディアと同一分類のメディアのメディア表示方法として、別のメディア分類のメディアと判別可能な表示方法を設定することを特徴とする。
　また、マルチメディアデータに含まれるメディアは、全周映像メディア、および、部分全周映像メディアを含み、上記マルチメディア情報は、上記部分全周映像メディアに含まれる空間領域と上記全周映像メディアに含まれる空間領域との関係を示す部分空間指定情報を含むことを特徴とする。
　また、上記メディア間関係情報は、上記全周映像メディアと上記部分全周映像メディアを関連付けていることを特徴とする。
　また、上記画面構成決定部は、映像メディアを表示する第一の領域において、該第一の領域を空間的に分割した部分領域毎の重要度を決定し、該部分領域毎の重要度に基づいて、該第一の領域に重畳される第二の領域を設定することを特徴とする。
　また、ユーザ操作を解釈して配置制御情報を生成する操作解釈部を備え、上記画面構成決定部は、画面内にメディア選択領域を設定し、上記メディア間関係情報と上記配置制御情報に基づいて、主メディア、および、該主メディアに関連付けられたメディアをそれぞれ記号化して上記メディア選択領域に配置し、上記操作解釈部は、上記メディア選択領域上でのメディア選択を解釈し、選択されたメディアを含むよう配置制御情報を生成することを特徴とする。
　上記課題を解決するため、本発明の一態様によるマルチメディア生成装置は、入力メディアに基づいて、対応するマルチメディア再生装置に供給することで、メディアを画面内の各領域に対応するメディアが提示された再生画面が生成されるマルチメディアデータを生成するマルチメディア生成装置であって、上記入力メディアを分析してメディアデータ情報とメディア分析情報を決定するメディア分析部と、上記入力メディアと上記メディア分析情報に基づいて、メディア間関係情報を決定するメディア間関係決定部と、上記メディアデータ情報と上記メディア間関係情報を含むマルチメディア情報を生成するマルチメディア情報決定部を備えることを特徴とする。
　本発明の一態様によるマルチメディア再生装置は、マルチメディア情報、及び、配置制御情報に基づいて画面構成を決定する。画面構成の決定は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて実行される。したがって、画面内の各領域には、メディア間関係情報を介して関連付けられたメディアが、マルチメディアデータの中から選択されて配置される。それにより、ユーザに画面内の領域毎にメディアを選択する操作を要求することなく再生画像を提示できる。
　また、本発明の一態様によるマルチメディア生成装置は、メディア分析部とメディア間関係決定部を備えている。したがって、その際、処理対象のメディア間の関係であるメディア間関係情報を含んだ、上記マルチメディア再生装置で再生可能なマルチメディアデータを生成できる。
本発明の一実施形態であるマルチメディア再生装置における画面構成決定処理の手順概略を示すフロー図である。 本発明の実施形態に係るマルチメディア再生装置１の構成要素及び構造を図示したブロック図である。 マルチメディア再生装置に入力されるマルチメディアデータの構造および内容を説明するための図である。 所定のマルチメディア情報と配置制御指示に基づいて画面構成決定部１６にて生成される画面構成を説明する図である。 メディア属性間関係と属性間関係を利用して画面構成を決定する方法を説明するための図である。 ２以上のメディアに関連付けられたメディアが存在する場合のメディア間関係を例示した図である。 メディアに全周映像を含む場合の画面構成の決定方法を説明するためのマルチメディア情報と画面構成を例示した図である。 主メディアに関連付けられたメディアを選択するためのインタフェースを例示した図である。 は本発明の一実施形態であるマルチメディア生成装置２の構成を示すブロック図である。
　以下では、入力されるマルチメディアデータを処理することで画面を構成し、再生画面として出力するマルチメディア再生装置１について説明する。また、マルチメディア再生装置１に入力されるマルチメディアデータを生成するマルチメディア生成装置２について説明する。先ず、マルチメディアデータについて説明する。
　〔マルチメディアデータの構成〕
　本発明の一態様の説明で想定するマルチメディアデータの構成を、図３を参照して説明する。図３(a)は、マルチメディアデータの概略のデータ構造を示す。マルチメディアデータは、マルチメディア記述、および、少なくとも１以上のメディアレイヤのデータから構成される。マルチメディア記述には、マルチメディアデータの名前、タグ情報、分類情報、作成日時、更新日時、提示日時に代表されるマルチメディアデータを修飾する情報が含まれる。また、マルチメディア記述には、マルチメディアデータに含まれるメディアデータの数や種類を示す情報が含まれる。また、マルチメディア記述には、メディアデータ間の相互関係を示す情報（メディア間関係）が含まれる。メディア間関係を参照することで、２つのメディアデータが関連付けられているか否かを判定できる。言い換えると、２つのメディアデータに関連性が有るか否かを判定できる。なお、メディア間関係と、後述のメディア間属性間関係と属性間関係とを総称して、メディア間関係情報とも呼ぶ。
　図３(b)は、メディアレイヤのデータの概略のデータ構造を示す。メディアレイヤのデータには、メディア記述、および、メディアデータが含まれる。メディア記述には、同じメディアレイヤに含まれるメディアデータの名前、タグ情報、種別、分類情報、作成日時、更新日時、提示日時に代表されるメディアデータを修飾する情報が含まれる。メディアデータの種別は、メディア記述と同一のメディアレイヤに含まれるメディアデータの種別を特定する情報であり、メディア種別とも呼称する。メディア種別は、メディアデータが、映像、音声、テキスト、時系列情報、その他メディアの何れに属するかを識別する情報を少なくとも含んでいる。
　以下では、マルチメディア記述およびメディア記述から読み取れる情報を総称してマルチメディア情報と呼称する。マルチメディア情報は、特定のマルチメディアデータに対して、マルチメディアデータ自身、および、マルチメディアデータに含まれるメディアデータに係る各種の情報であるとも表現できる。
　メディアデータは、映像、音声、テキスト、時系列情報等を表現するデータである。以下では、メディアデータを単にメディアとも呼称する。映像のメディアデータ（映像メディア）は、例えば、映像符号化方式HEVC(High Efficiency Video Coding)を用いて符号化された映像がある。音声のメディアデータ（音声メディア）には、音声符号化方式AAC(Advanced Audio Coding)を用いて符号化された音声がある。テキストのメディアデータ（テキストメディア）には、提示時刻と文字列のペアで表現された時系列テキストデータがある。時系列情報のメディアデータ（時系列情報メディア）には、例えば、時刻毎の特定対象の位置情報、機器の測定データ、特定の映像を解析して得られる動き量、輝度変化、イベント検出結果等のデータが含まれる。
　映像メディアの別の例として、前記の符号化された映像データを包含するデータを用いてもよい。例えば、HEVC形式の映像符号化データを包含したMP4形式のファイルを映像メディアとして利用できる。この例から、メディアデータは、映像、音声、テキスト等を抽出可能な形式で包含するデータと表現することもできる。
　マルチメディアデータの一例を図３(c)に示す。この例では、マルチメディアデータMMD1の概略を図示しており、マルチメディアデータMMD1は3個の映像（映像1～3）、3個のテキスト（テキスト1～3）、6個の時系列情報（時系列情報1a、1b、2a、2b、3a、3c）をメディアとして含む。またメディアはメディア間関係により関連付けられており、例えば、映像1とテキスト1の間の線分は、両者がメディア間関係により関連付けられていることを表す。図３(c)において、他のメディア間の線も同様にメディア間が関連付けられていることを示す。マルチメディア情報に含まれる情報を参照することで、図３(c)に例示した構造情報、すなわち、マルチメディアデータに含まれるメディアの種類や個数、および、メディア間の関係性を読み取ることができる。
　〔実施形態１：マルチメディア再生装置〕
　本実施形態に係るマルチメディア再生装置１の構成を図２に示す。マルチメディア再生装置１は、概略的には、入力されるマルチメディアデータをユーザ操作に基づいて処理し、提示時刻毎の再生画面を構成して出力する。
　図２に示すように、マルチメディア再生装置１は、マルチメディア解釈部１１、メディアデータ記録部１２、マルチメディア情報記録部１３、操作解釈部１４、再生制御部１５、画面構成決定部１６、および、画面合成部１７を備える。
　　（マルチメディア解釈部１１）
　マルチメディア解釈部１１は、入力されるマルチメディアデータから、マルチメディア記述と、マルチメディアデータに含まれる各メディアレイヤのデータに対応するメディア記述とメディアデータを分離して出力する。マルチメディア記述と各メディア記述はまとめてマルチメディア情報として出力される。
　マルチメディア解釈部１１は、必要に応じて、マルチメディア記述やメディア記述を別の形式に変換してもよい。例えば、既定の形式でバイナリ化されたマルチメディア記述を復号し、復号結果をJSON形式のデータ構造に格納して後段に出力してもよい。
　　（メディアデータ記録部１２）
　メディアデータ記録部１２は、入力されるメディアを保持し、要求に応じて出力する。要求には、マルチメディアデータに含まれる複数のメディアの中から対象のメディアを特定する情報（メディア識別情報）を用いる。例えば、メディアの識別子、または、マルチメディアデータ中での対象メディアのインデックスを利用できる。
　　（マルチメディア情報記録部１３）
　マルチメディア情報記録部１３は、入力されるマルチメディア情報、すなわち、マルチメディアデータから分離されたマルチメディア記述、および、各メディア記述を保持し、要求に応じて出力する。要求には、例えば、所望データのフィールド名や、メディア識別情報とフィールド名の組み合わせが利用できる。
　　（操作解釈部１４）
　操作解釈部１４は、ユーザ操作を解釈し、制御指示情報に変換して出力する。ユーザ操作には、マウス、タッチパッド、キーボードに代表されるユーザーインタフェース機器による入力を利用できる。また、ユーザは必ずしも操作を実行する人に限定されず、既定のAPI（Application Programming Interface)に基づいた制御命令を出す機器やプログラムも利用できる。
　制御指示情報には、マルチメディアデータの再生を制御するための再生制御情報や、画面内のマルチメディアデータの配置を制御する配置制御情報を含む。
　再生制御情報には、マルチメディアデータの再生開始指示、再生停止指示、指定提示時刻へのシーク指示を含む。また、再生制御情報には、マルチメディアデータに含まれる各メディア毎の再生開始指示、再生停止指示、指定提示時刻へのシーク指示を含んでもよい。
　配置制御情報は、画面内領域位置情報を含む。画面内領域情報は、画面内に含まれる各領域が、画面内のどの位置に、どの大きさで配置されるかを示す情報である。加えて、画面内領域情報は、各領域が主要な領域か否かを示す主領域指定を属性情報として含んでいてもよい。また、配置制御情報は、メディア形式指定情報を含んでいてもよい。メディア形式情報は、画面内の領域に表示すべきメディアのメディア形式（例えば、映像メディアやテキストメディア）を指定する情報である。また、配置制御情報には、メディア提示方法情報を含んでいてもよい。メディア提示方法情報は、メディアを領域上にどのように表示するかの方法を指示する情報である。例えば、映像や画像に対する各種の視覚的フィルタの適用有無やパラメータ、時系列情報のビジュアライゼーションの方法指定情報がメディア提示方法情報に含まれる。
　なお、図２には図示していないが、画面構成決定部１６から出力される画面構成を操作解釈部１４への追加入力として利用してもよい。その場合、画面内のどの位置にどの画面構成要素があるかを操作解釈部１４において識別でき、その情報を利用してユーザ操作を解釈できる。例えば、ユーザが画面内の再生開始ボタンをクリックしたことを解釈し、再生開始指示を出力できる。
　　（再生制御部１５）
　再生制御部１５は、入力される再生制御情報と、内部のクロックに基づいてマルチメディアデータの提示時刻を含む提示時刻情報を決定して出力する。再生制御部１５は、再生制御情報として再生開始指示が入力された場合、内部の提示時刻変数をクロックに基づいて増加させ、該提示時刻変数を所定の周期で提示時刻情報として出力する。再生停止指示が入力された場合、内部の提示時刻変数の増加を停止する。指定提示時刻へのシーク指示が入力された場合、内部の提示時刻変数の値を指定提示時刻に設定する。
　　（画面構成決定部１６）
　画面構成決定部１６は、入力される提示時刻情報、配置制御情報、および、マルチメディア情報に基づいて画面構成を決定して出力する。
　画面構成の決定方法を図４を参照して説明する。図４は、所定のマルチメディア情報と配置制御指示に基づいて画面構成決定部１６にて生成される画面構成を例示した図である。ここでは、所定のマルチメディア情報として、図３(c)に示したマルチメディアデータMMD1に含まれるマルチメディア情報を前提としている。
　図４(a)は、所定の配置制御指示（配置制御指示C1）とマルチメディア情報に基づいて構成された画面構成の概略を示す。
　配置制御指示C1は、画面レイアウト指示CL1を含む。画面レイアウト指示CL1は、画面P1を構成する領域の位置とサイズ、及び、各領域に表示するべきメディアの種別の情報を含む。具体的には、画面レイアウトCL1は、画面P1を映像を表示する領域V1、領域V2、領域V3、テキストを表示する領域T1、時系列情報を表示する領域D1、領域D2について、それぞれの画面P1内での位置とサイズ（領域の縦および横の長さ）を含む。
　配置制御指示C1は、加えて、主映像領域指定CMV1を含む。種映像領域指定CMV1は、画面P1内の領域のうち、何れの領域が主要な映像表示領域かを指定する情報である。図４の例では、領域V1が主映像領域に指定されている。なお、主映像領域指示CMV1は、必ずしも明示的に配置制御指示C1に含まれていなくてもよい。その場合、画面内で最大の映像表示領域を主映像領域と見なしてもよい。また最大サイズの映像領域が画面内に複数存在する場合、画面左上に近い最大サイズの映像領域を主映像領域とみなしてもよい。
　配置制御指示C1は、加えて、主映像指定CV1を含む。主映像指定CV1は、主映像領域（領域V1）に表示する映像をマルチメディアデータ内のメディアから選択する情報である。図４(a)の例では、主映像指定CV1に「映像1」を指定している。以下では、主映像指定CV1で指定された映像データを単に主映像と呼ぶ。
　図４(a)に示す画面構成は、画面P1を配置制御指示C1の示す領域に分割し、各領域に対してメディアを割り振っている。具体的には、領域V1に「映像1」、領域T1に「テキスト1」、領域D1に「時系列情報1a」、領域D2に「時系列情報1b」、領域V2に「映像2」、領域V3に「映像3」のメディアをそれぞれ割り振っている。
　画面構成決定部１６は、図４(a)に示す画面構成を決定するために、各領域に割り当てるべきメディアを、マルチメディアデータに含まれるメディアの中から以下の基準で選択する。
　・主映像領域（領域V1）：主映像指定CV1で指定された主映像（映像１）
　・テキスト領域（領域T1）：主映像に関連付けられたテキストデータ（テキスト１）
　・時系列情報領域（領域D1、領域D2）：主映像に関連付けられた時系列情報データ（時系列情報1a、時系列情報1b）
　・副映像領域（領域V2、領域V3）：主映像とは異なる映像データ（映像１、映像３）
　上記基準で選択することで、画面構成決定部１６は、ユーザ指定の主映像を主映像領域に配置し、主映像に関連するメディアを選択して対応する領域に配置できる。したがって、マルチメディアデータが多数のメディアを含む場合であっても、主映像として選択された映像と関連性の高いメディアを用いて画面を構成できる。また、その際、主映像以外のメディアをユーザが明示的に指定する手間を削減できる。
　図４(b)は、主映像指定CV1が「映像2」の場合に、前述の基準に基づいて画面構成決定部１６にて決定される画面構成を示す。ここで、画面レイアウトCL1は、図４(a)の場合と同一である。具体的には、領域V1に「映像2」、領域T1に「テキスト2」、領域D1に「時系列情報2a」、領域D2に「時系列情報2b」、領域V2に「映像3」、領域V3に「映像1」のメディアをそれぞれ割り振っている。
　なお、領域V2に「映像2」、領域V3に「映像3」を割り振ることも可能である。しかしながら、領域V2が領域V3よりも優先度の高い領域である点と、マルチメディア情報で映像2と映像3が関連付けられている点を考慮して、主映像2である映像2と関連性の高い映像3を、優先度の高い領域である領域V2に提示することが好ましい。ここで、領域の優先度は、領域のサイズが大きいほど高く、領域が画面内の情報にあるほど高く、領域が画面内の左方にあるほど高くなる指標を利用できる。
　画面構成決定部１６における画面構成決定処理のフローについて、図１を参照して説明する。
　［S101］入力される配置制御情報に基づいて主映像領域を決定し、主映像指定を参照して、主映像領域に配置する映像メディアを決定して主映像とする。次にS102を実行する。
　［S102］配置制御指示に含まれる画面レイアウトを参照して、画面に含まれる領域の中から未処理の領域を選択して対象領域に設定する。次にS103を実行する。
　［S103］画面レイアウトを参照して、対象領域に指定されているメディア種別を対象メディア種別に設定する。次にS104を実行する。
　［S104］マルチメディア情報を参照して、以下の全ての条件を満たすメディアを、マルチメディアデータに含まれるメディアから選択し、候補メディアとする。
　条件１：対象メディア種別と同一のメディア種別のメディアである
　条件２：マルチメディア情報に含まれるメディア間関係が、S101で決定した主映像とメディアの間に関係性が有ることを示している
　条件３：他の領域に未配置のメディアである
　次にS105を実行する。
　［S105］S104で導出された候補メディアの中から一つの候補メディアを選択して対象領域に配置する。なお、候補メディアが存在しない場合は、対象領域を未表示領域に設定する。次にS106を実行する。
　［S106］画面内に未処理の領域（メディアが配置されておらず、かつ、未表示領域にも設定されていない領域）が存在するかを判定する。存在する場合S102を実行する。存在しない場合、画面構成決定処理を終了する。
　画面構成決定部１６は、上記の画面構成決定処理フローに従って画面構成を決定することで、主映像領域に指定された映像とメディア間関係により関連付けられたメディアを優先して画面内の他の領域に配置できる。したがって、ユーザが各領域におけるメディア選択操作を実行せずにマルチメディアデータに含まれるメディアの中から関連性の高いメディアを集めて画面を構成できる。例えば、図４(a)の構成で再生画面が提示されている状況において、ユーザが主映像領域の映像1を映像2に変更する操作を実行した場合、再生画面は図４(b)の構成に切り替わる。なお、主映像を変更した際に、他の全ての領域のメディアを切り替えるのではなく、一部領域のメディアのみを切り替えるような配置制御指示を利用することもできる。その場合、再生画面において、主映像の切り替えに応じてメディアが変更される領域と、メディアが変更されない領域が識別可能な情報（メディア自動変更識別情報）が提示されていることが好ましい。例えば、メディアが変更されない領域の右上に鍵の記号を表示することで識別が可能となる。それに限らず、変更される領域全体や枠の輝度レベルや色を変化させることでメディア自動変更識別情報を表現してもよい。
　上記メディア自動変更識別情報は常に表示するのではなく、主映像の変更操作を検知したタイミングにのみ表示することが好ましい。例えば、主映像領域に表示する映像を選択するためのリストを開いた時にメディア自動変更識別情報を表示し、それ以外の場合にはメディア自動変更識別情報を非表示とする。また、個々の領域毎にメディア自動変更識別情報を表示するのではなく、画面全体で所定の領域（例えば主映像領域）の変更に応じて、別の領域が変更されるか否かを示す識別情報を表示してもよい。ユーザは各領域または画面全体の識別情報を見て、主映像切り替え時の画面構成の変化の有無を予め知ることができるため、意図しない画面構成で再生画面が表示されてユーザがストレスを感じることを防止できる。
　　（画面合成部１７）
　画面合成部１７は、入力される画面構成に基づいて、画面内の領域毎に対応するメディアを読み出し、提示時刻に応じて再生して領域に配置することで再生画面を生成して出力する。例えば、領域に映像メディアが関連付けられており、映像データがHEVC形式で符号化された映像符号化データである場合、画面合成部１７は、メディアとして映像符号化データを読み出し、映像符号化データをHEVC形式に対応した映像復号装置で復号し、指定提示時刻に対応する復号された映像フレームを必要に応じて拡大または縮小した上で領域に配置する。
　　（マルチメディア再生装置１の動作）
　マルチメディア再生装置１がユーザ操作に基づいて入力マルチメディアデータを処理して再生画面を出力する動作手順を説明する。
　[S11]マルチメディア解釈部１１は、入力されるマルチメディアデータからマルチメディア情報とメディアデータを分離し、マルチメディア情報をメディアデータ記録部１２に、メディアデータをメディアデータ記録部１２にそれぞれ供給する。
　[S12]操作解釈部１４はユーザ操作を解釈して再生制御情報を生成して再生制御部１５に供給する。
　[S13]再生制御部１５は、S12で入力された生成制御情報に基づいて提示時刻情報を決定して画面構成決定部１６に供給する。
　[S14]操作解釈部１４はユーザ操作を解釈して配置制御情報を生成して画面構成決定部１６に供給する。
　[S15]画面構成決定部１６は、S13で入力された提示時刻情報の示す提示時刻における画面構成を、S14で入力された配置制御情報と、マルチメディア記録部１３から読み出されるマルチメディア情報に含まれるメディア間関係情報とに基づいて決定し、画面合成部17に供給する。
　[S16]画面合成部１７は、S15で入力された画面構成に基づいて、画面内の各領域に表示するメディアをメディアデータ記録部１２から読み出して処理することで領域毎に部分画面を作成する。得られた画面を再生画面として出力して処理を終了する。
　　（マルチメディア再生装置１の効果）
　以上説明したように、マルチメディア再生装置１は、入力されたマルチメディアデータを処理して提示時刻に対応する再生画面を生成して出力するマルチメディア再生装置であって、マルチメディアデータに含まれるマルチメディア情報と配置制御情報に基づいて画面構成を決定する画面構成決定部を備えており、上記画面構成決定部は、上記マルチメディア情報に含まれるメディア間関係に基づいて、主映像として指定した映像データと関連性の高いメディアをマルチメディアデータに含まれるメディアの中から選択して画面を構成できる。したがって、マルチメディアデータが多数のメディアを含む場合であっても、ユーザのメディア選択の手間を増加させることなく、関連性の高いメディア群を選択して画面を構成して再生できる。
　　（変形例１：映像以外の主メディア）
　マルチメディア再生装置１の画面構成決定部１６は、概略的には、主映像とメディア間関係に基づいて各領域に配置するメディアを選択したが、配置制御情報に含まれる別の情報を主映像の代わりに利用してもよい。
　例えば、主映像の代わりに主テキストを利用できる。その場合、配置制御情報に、画面内での主要なテキスト領域（主テキスト領域）と、主テキスト領域に提示するテキストデータを指定する主テキスト指定を含める。画面構成決定部１６は、主テキスト領域に表示するテキストデータを主テキストとして導出し、主テキストとの関連性が設定されたメディアを選択して画面内の各領域に配置する。
　主映像の例と主テキストの例を一般化すると、次のように表現できる。配置制御情報に、画面内での主要なメディア領域（主メディア領域）と、主メディア領域に提示するメディアを指定する主メディア指定を含める。画面構成決定部１６は、主メディア領域に表示するメディアを主メディアとして導出し、メディア間関係を参照して主メディアとの関連性が設定されたメディアを選択して画面内の各領域に配置する。
　これにより、画面内の主要な映像を切り替える場合だけでなく、画面内の主要なテキストや時系列データを切り替える場合にも、切り替えた内容に応じて関連性の高いメディアを利用して画面を構成できる。
　また、複数のメディアの組み合わせを主メディアの代わりに利用してもよい。その場合、例えば、主映像と主テキストを配置制御情報に基づき設定し、主映像と主テキストの双方に関連付けられたメディアを画面内の領域に配置する。
　　（変形例２：メディア間関連性のバリエーション）
　マルチメディア情報に含まれるメディア間関係は、複数のメディア間の関連性を示す指標であり、次のような形式の情報をメディア間関係として利用できる。
　・無方向リンク：指定された２メディア間に関連性があるか否かを示す。
　・有方向リンク：指定されたメディア１に対して指定されたメディア２が関連性があるか否かを示す。逆にメディア２に対してメディア１が関連性があるか否かの情報は含まない。
　・関連性指標：指定された２メディア間の関係性の高さを示す指標。例えば、大きい値ほど関連性の高いと解釈される指標を設定し、関連性の値が所定の値より高い場合に、２メディア間で関連性が有ると判定する。
　・関連グループ：グループに属するメディア間相互に関係性があることを示す。例えば、関連グループにメディアA、メディアB、メディアCの3メディアが含まれる場合、メディアAとメディアB、メディアBとメディアC、メディアCとメディアAはそれぞれ関係性があると判定される。
　　（変形例３：属性間関係の利用）
　マルチメディア再生装置１において、メディア間関係を利用して画面構成を決定する構成を説明した。メディアとは別に属性を設定し、メディアと属性の間の関係（メディア属性間関係）、及び、属性と属性の間の関係（属性間関係）を設定し、それらの関係を利用して画面構成を決定することもできる。この場合、メディア間関係情報は、メディア属性間関係と、属性間関係を含んでいる。以下、図５を参照して説明する。
　図５(a)は、マルチメディア情報に含まれるメディア、属性、及び、メディア属性間関係を例示した図である。マルチメディアデータには、6個のメディア（映像1～3、テキスト1～3）と、3個の属性（俯瞰、対象A、対象B）が含まれている。メディア属性間関係として、映像1と俯瞰、テキスト1と俯瞰、映像2と対象A、テキスト2と対象A、映像3と対象B、テキスト3と対象Bの間にそれぞれ関連性有と設定されている。
　図５(b)は、マルチメディア情報に含まれる属性間関係を例示した図である。俯瞰に対して対象Aが関連性の高い属性として設定されている。同様に、対象Aに対して俯瞰が、対象Bに対して俯瞰が関連性の高い属性として設定されている。
　図５(c)は、配置制御情報に含まれる画面レイアウトを例示した図である。画面レイアウトでは、画面内に領域V1、領域T1、領域V2が設定されている。領域V1には対象Aの映像、領域V2には映像、領域T1にはテキストが表示対象メディア種別として設定されている。加えて、領域V1は主映像領域に設定されている。
　図５(d)は、画面構成決定部１６で生成される画面構成を例示した図である。領域V1に映像2、領域T1にテキスト2、領域V2に映像1がそれぞれ割り当てられている。ここで、画面構成決定部１６は、以下の手順で画面構成を決定している。
　［S201］主映像領域の映像メディアを決定する。画面レイアウトを参照して、主映像領域（領域V1）の表示対象メディア種別（上記例では「対象Aの映像」）を読み出す。に設定されている。次にS202を実行する。
　［S202］S201で読み出した表示対象メディア種別に対応するメディアをマルチメディア情報を参照して決定する。まず、表示対象メディア種別で指定された属性（上記例では対象A）と一致する属性をマルチメディア情報から選択する。続いて、選択された属性にメディア属性間関係によって関連付けられたメディアであって、表示対象メディア種別で指定されたメディア種別（上記例では映像）と同一のメディア種別のメディア（上記例では映像2）を選択する。そして、選択したメディアを主映像領域のメディアに設定する。次にS203を実行する。
　［S203］メディアが未割当の領域を順次対象領域に設定し、対象領域に対して割り当てるメディアを決定する。画面レイアウトを参照して対象領域の表示対象メディア種別を読み出す。表示対象メディア種別に属性とメディア種別の両方が記載されている場合、S202と同一の手順でメディアを決定する。表示対象メディア種別にメディア種別のみが記載されている場合、指定されたメディア種別であって主映像領域に設定されたメディアと関連性の高いメディアを設定する。ここで、メディアＡに対するメディアＢの関連性は、以下の順に高いと判定される。
　(条件1)　メディアＡと同一の属性に関連付けられたメディアであって、メディアＡとは異なるメディア
　(条件2)　メディアＡと関連付けられた属性Ａに対し、属性間関係により関連付けられた属性Ｂに関連付けられたメディア
　条件１を満たす場合の関連性が最も高く、次いで、条件２を満たす場合の関連性が高い。両条件を満たさない場合に関連性が最も低いと判定される。
　上記例では、領域T1のメディアとして、条件１に基づいて、映像2の属性である対象Aに関連付けられたテキストメディアであるテキスト2が選択される。また、領域V2のメディアとして、条件１を満たすメディアは存在しないため、条件２に基づいて、映像2の属性である対象Aに属性間関係により関連付けられた属性である俯瞰の属性に関連付けられたメディアである映像1が選択される。
　以上説明した通り、マルチメディア情報内のメディア間関係情報にメディア属性間関係と属性間関係を含み、それらの関係を利用して画面構成を決定するよう画面構成決定部１６を構成できる。このような構成で利用されるマルチメディア情報は、特にメディアの数が増加した場合に、全てのメディア間関係を含めるのに較べてより少ないデータ量となる。また、類似メディアソースのセット（例えばカメラのセット）から複数回マルチメディアデータを生成するような場合において、毎回メディア間の関連性を設定する必要がなくなるため、マルチメディアデータ生成処理を簡略化できる。
　なお、必ずしも、メディア属性間関係と属性間関係を両方を含むのではなく、メディア属性間関係のみを利用するよう画面構成決定部１６を構成してもよい。
　　（変形例４：２以上のメディアとの関連付け）
　一つのメディアに関連付けられるメディアが２以上になるようメディア間関係を設定し、そのようなメディア間関係を参照して画面構成を決定するよう画面構成決定部１６を構成することもできる。
　図６(a)に2以上のメディアに関連付けられたメディアが存在する場合のメディア間関係を例示する。メディア間関係の記述により、テキスト12は、映像1及び映像2と関連付けられている。また、映像1はテキスト1及びテキスト12と関連付けられている。また、映像2はテキスト2及びテキスト12と関連付けられている。
　画面レイアウトにおいて、主映像領域と少なくとも一つのテキスト領域が設定されている場合、該テキスト領域に対して主映像メディアと関連付けられた全てのテキストメディアを表示するよう画面構成決定部１６を構成してもよい。図６(a)の例で説明すると、主映像メディアが映像1である場合、テキスト1とテキスト12の両方をテキスト領域に表示するよう画面構成を決定する。
　映像メディアや音声メディアと異なり、テキストメディアは疎なデータであり、全ての提示時刻に対してテキストが存在するとは限らない。そのため、上記構成により、限られた表示領域を時間的に有効に活用して、主映像メディアと関連性の高い情報を提供できる。なお、主映像メディアとテキストメディアを例にあげて説明したが、それに限らず、主メディアと時間的に疎なメディアの組み合わせに対しても同様の構成が適用できる。
　また、上記構成において、2種類のテキストメディアを時間的に切り替えて表示することになるが、特定の提示時刻で表示されているテキストメディアに対して関連付けられている映像メディアが表示されるよう画面構成を決定してもよい。図６(a)の例で説明すると、テキスト1が表示対象の場合、図６(b)に示すとおり、主映像メディアである映像1とテキスト1を含む画面構成を決定する。一方、テキスト12が表示対象の場合、図６(c)に示すように、テキスト12に関連付けられた映像メディアである映像2を表示するよう画面構成を決定する。このような画面構成の決定方法により、特定の映像を関連付けられたテキストが表示されるときのみ表示することができ、ユーザのテキストの理解を補助できる。また、逆に、テキストと無関係の映像（テキスト1に対する映像2）を表示しないことで、ユーザの画面理解を手助けできる。
　上記の図６(c)で説明した内容を一般化して、次のように表現できる。画面構成決定部１６は、主メディアと関連付けられたメディアであって、提示時刻もしくはその近傍時刻にデータを有するメディアを副メディア１として選択して表示する。加えて、画面構成決定部は、上記副メディア１と関連付けられたメディアが存在するか否かを判定し、存在する場合にはそのメディアを副メディア２として選択して画面内の表示領域を選択、もしくは、生成して表示する。
　なお、上記の例では、特定の表示対象メディアに関連付けられたメディアが非表示である場合に表示するよう画面構成を変更することを想定している。しかしながら、それに限らず、特定の表示対象メディアに関連付けられたメディアが既に表示済であってもより目立つような表示に変更するようにしてもよい。例えば、メディアの表示領域のサイズを大きくしたり、メディアの表示領域の色や枠を変更することでメディアを目立つように表示できる。
　　（変形例５：メディアの分類に基づく表示方法決定）
　画面構成決定部１６は、画面レイアウトに記述された各領域に表示するメディアを選択するのに加え、各領域へのメディア表示方法をメディア間関係情報に基づいて決定してもよい。ここで、メディア間関係情報とは、メディア間の関係を直接または間接的に示す情報であり、メディア間関係、メディア属性間関係、及び、属性間関係はメディア間関係情報の一表現である。
　具体的には、特定のメディア種別に属するメディアに対し、それぞれ異なる色を対応付け、該メディア種別以外のメディア種別のメディアに対して対応付ける色として、該メディアが関連付けられた該メディア種別のメディアに対応付けられた色、または、その類似色を設定する。各メディアは対応付けられた色に基づいた表示方法で表示される。例えば、図３(c)のマルチメディアデータにおいて、映像1、映像2、映像3にそれぞれ異なる色を対応付ける。映像1と関連付けられたテキスト1、時系列情報1a、時系列情報1bに対応付ける色として、映像1に対応付けられた色、または、その類似色を設定する。
　特定の色（指定色）に基づいた表示方法には、例えば、次のような表示方法がある。
　・メディアの表示領域の背景を指定色に設定する
　・メディアの表示領域の枠、または、辺の一部を指定色に設定する
　・メディアの表示領域内にサブ領域を設け、サブ領域の背景またはサブ領域内の文字または記号の色を指定色に設定する。
　・テキストメディアの文字色を指定色に設定する。
　・時系列情報メディアをグラフ表示する場合のグラフ色（折れ線グラフの色、棒グラフの色）に指定色を設定する。
　なお、色に限らず、メディア間関係情報に基づき分類されたメディアを、分類間で判別可能な表示方法を用いてもよい。例えば、分類毎に異なるフォントを利用する、分類毎に異なるフォント修飾（下線マーカー、太字、斜体等）を利用する、分類毎に異なるパターンのハッチをかける、等の表示方法が適用できる。
　上記の画面構成の決定方法により、メディア間関係情報により表現されたメディア分類間で判別可能なようにメディアを表示することで、ユーザは画面内で特定の分類に係る情報を知りたい場合に注目すべき領域が画面内で容易に判別できるようになる。
　画面構成決定部１６の別の構成では、表示されているメディアの中でユーザが興味を示すメディア（ユーザ興味メディア）を特定し、該メディアと関連付けられたメディアに対し、画面上の他のメディアと判別できる表示方法を設定した画面構成を決定する。ここで、ユーザが興味を示すメディアには、例えば、ユーザがクリックしたメディア、ユーザがマウスカーソルを領域上に移動させたメディア、ユーザが直近の時刻に操作したメディアが含まれる。他のメディアと判別できる表示方法には、メディア分類間で判別可能な表示方法として説明した各種の表示方法が利用できる。例えば、ユーザが映像メディアをシーク操作した場合、該映像メディアに関連付けられたメディアの表示領域の外枠を明滅させることで、シーク操作した映像メディアと画面上のどのメディアが関連付けられているかをユーザが直感的に把握できる。
　　（変形例６：全周映像の利用）
　マルチメディアデータに含まれるメディアは必ずしも単一のファイルに関連付けられている必要はない。例えば、ファイルに格納されたデータの一部であってもよいし、セグメント化された複数のデータの集合であってもよい。
　データの一部を利用する例としては、全周映像の一部を映像メディアとして利用する例がある。全周映像は、一般に全方位映像や３６０度映像とも呼ばれ、超広角レンズを備えたカメラを用いて空間を撮影することで生成される映像であって、全周映像の一部とは、撮影された空間の部分空間に相当する映像（部分全周映像）である。部分映像は、部分空間指定情報をパラメータとして、全周映像の一部の領域を切り出して変形することで生成できる。メディア記述には、全周映像データの場所（ファイルの位置やURL）と部分空間指定情報をセットにして記述することで全周映像の部分映像に相当する映像メディアを記述できる。
　メディアに全周映像を含む場合の画面構成の決定方法について、図７を参照して説明する。図７(a)は、全周映像の映像メディア（全周映像メディア）を含むマルチメディアデータのマルチメディア情報の概略を例示した図である。この例では、メディアとして全周映像、全周映像R1、全周映像R2、全周映像R3、R1カメラ映像、R2カメラ映像、R3カメラ映像を含んでいる。全周映像R1は空間R1に相当する全周映像の部分映像であり、メディア間関係により全周映像と全周映像R1が、メディア属性関係により全周映像R1と属性「空間R1」が関連付けられている。全周映像R2も同様に全周映像と属性「空間R2」に関連付けられている。全周映像R3も同様に全周映像と属性「空間R3」に関連付けられている。また、属性「空間R1」にはR1カメラ映像、属性「空間R2」にはR2カメラ映像、属性「空間R3」にはR3機器データがそれぞれ関連付けられている。全周映像R1や全周映像R2のように、元の全周映像の部分空間に対応する全周映像は部分全周映像と呼び、部分全周映像に対応する映像メディアを部分全周映像メディアと呼ぶ。
　図７(a)のマルチメディアデータの構成は、次のようにも表現できる。マルチメディアデータは全周映像メディア、該全周映像から所定の空間領域に基づいて決定される部分全周映像メディアを含み、上記全周映像メディアと上記部分全周映像メディアはメディア間関係情報により関連付けられており、上記部分全周映像と上記所定の空間領域に対応する属性が関連付けられている。
　図７(b)は、全周映像を含むマルチメディアデータを再生するための画面レイアウトを例示した図である。画面内に領域V1（主映像領域）、領域V2、領域M1が設定されている。メディア種別として、領域V1には空間R1の部分全周映像が、領域V2には全周映像が、領域M1には任意メディアが設定されている。
　図７(c)は、図７(a)で説明したマルチメディアデータを図７(b)の画面レイアウトに従い再生する場合の画面構成を例示した図である。画面内の領域V1に全周映像R1、領域V2に全周映像、領域M1にR1カメラ映像が表示対象メディアとして設定されている。また、領域V2内の部分領域である領域V2sを示す枠が提示されている。
　画面構成部１６における画面構成の決定手順は次の通りである。
　［S301］画面レイアウトと、マルチメディア情報とを参照して、主映像領域に表示するメディアを決定する。上記例では、主映像領域の領域V1に対して指定メディア種別である空間R1の部分全周映像である全周映像R1を設定する。
　［S302］主映像領域以外の領域について、画面レイアウトと、メディア間関係情報を含むマルチメディア情報とを参照して、各領域の表示対象メディアを決定する。具体的には、変形例３に記載した画面構成決定手順のS202と同じ処理を適用する。上記例では、領域V2に対して全周映像R1を設定する。領域M1に対して、主映像である全周映像R1に関連付けられた属性「空間R1」に関連付けられたR1カメラ映像を選択する。
　［S303］画面内に部分全周映像を表示する領域と、全周映像を表示する領域が含まれている場合、全周映像の表示領域内に、上記部分全周映像に相当する領域を設定し、該領域に識別可能な表示方法を設定する。上記例では、主映像である全周映像R1に関連付けられた属性「空間R1」に対応する領域を領域V2sとして領域V2内に設定する。
　上記説明した構成によれば、全周映像の一部領域に注目してマルチメディアデータを観察する場合に、注目する一部領域に関連するメディアを用いて画面を構成できる。その際、ユーザが複数のメディアを選択する動作が不要である。
　　（変形例７：重畳表示）
　複数の領域が重畳して表示される画面構成を決定するよう画面構成決定部１６を構成してもよい。例えば、主映像領域（第一の領域）に重畳された領域（第二の領域）に対してテキストメディアを表示するような画面構成を決定してもよい。また、映像領域の上に映像領域を重畳するよう画面構成を決定してもよい。
　なお、映像領域の上に別の領域を重畳する場合、映像領域の中で相対的に重要度の低い部分領域上に領域を重畳することが好ましい。映像領域中の部分領域の重要度の高低は、例えば、映像領域を格子状の部分領域に分割した画像をユーザに提示し、ユーザが重要度の高低を指定することで決定できる。もしくは、各部分領域に画像処理を適用して、画素値の空間的変化度合（例えば画素値の分散の大きさ）や時間的変化度合（例えば推定動き量の大きさ）に基づいて重要度を決定することもできる。
　　（変形例８：複数メディア選択UI）
　上記説明では、基本的には、画面内に表示されるメディアの一つ（例えば主映像メディア）に関連付けられたメディアをマルチメディアデータに含まれるメディアから選択して画面構成を決定する例を中心に記載した。これにより、例えば、ユーザが主映像メディアを切り替えた場合に、その操作に応じて、切り替え後の主映像メディアと関連付けられたメディアを優先した画面構成を決定できる。
　マルチメディアデータに含まれるメディアの種類や数によっては、主メディアに関連付けられたメディアの数が多くなり、関連付けられたメディアの中でどのメディアを選択するかを簡単な操作で指定できるインタフェースをユーザに提示できることが好ましい。そのようなインタフェースとして、主メディアに関連付けられたメディアを記号化して画面上の所定領域（メディア選択領域）に提示し、マウスのドラッグ操作等により範囲選択された領域内の記号に対応するメディアを優先して表示するよう画面構成決定部１６を構成してもよい。この処理は、メディア選択領域上の操作は操作解釈部１４により解釈され、選択された領域内の記号に対応するメディアを画面内に含むことを示す配置制御情報を画面構成決定部１６に供給することで実現される。
　図８を参照して、上記インタフェース及び、インタフェースの選択結果に応じた画面構成の具体例を説明する。図８(a)は、図３(c)で示したマルチメディアデータの再生時であって、主メディアとして映像1が選択されている場合にユーザに提示されるメディア選択インタフェースを例示している。選択インタフェースでは、主メディア（映像1）に対応する記号と、メディア間関係により主メディアに関連付けられたメディア（テキスト1、時系列情報1a、時系列情報1b）に対応する記号が表示される。なお、同一メディア種別のメディア（上記例では時系列情報1aと時系列情報1b）に対して同一形状の記号を表示することが好ましい。図中の破線はユーザにより選択された領域（ユーザ選択領域）を示しており、ここでは、映像1、テキスト1、時系列情報1bが含まれるようユーザ選択領域が設定されている。画面構成決定部１６は、ユーザ選択領域に含まれるメディアを優先して画面構成を決定する。例えば、図８(b)に示すように、図８(a)に示したユーザ選択領域に含まれるメディアであるテキスト1と時系列情報1bを表示するよう画面構成を決定する。
　上記構成の画面構成決定部１６を用いることで、画面内の各領域のメディアを個別に選択する場合に較べてより簡単で直感的な手順により、画面に表示するメディアを選択できる。
　なお、主メディアに直接関連付けられたメディアに加え、主メディアに間接的に関連付けられたメディアや主メディアに関連付けられていないメディアを表示してもよい。ただし、その場合には、主メディアに直接関連付けられたメディアの記号が他のメディアの記号に較べて主メディアの近くに表示されるようメディア選択インタフェースを表示することが好ましい。この表示方法により、ユーザは主メディアと関連性の高いメディアを直感的に把握しやすくなり、また、そのような関連性の高いメディアが画面上で近くに配置されることで、まとめて選択しやすくなる。
　　（付記事項１：画面の定義）
　以上の説明において、画面構成部１６が生成する画面構成は１個の矩形で表現される領域を前提としていたが、それに限定されず、任意の形状の画面の画面構成を出力するよう画面構成部１６を構成することができる。なお、画面は複数の子画面から構成されていてもよく、子画面は必ずしも空間的に連続でなくてもよい。これは、表示端末が複数ある場合に、各表示端末用の画面を構成して出力する処理に相当する。
　〔実施形態２：マルチメディア生成装置〕
　続いて、入力される複数のメディアデータ（入力メディア）に基づいてマルチメディアデータを生成するマルチメディア生成装置２について説明する。マルチメディア生成装置２から出力されるマルチメディアデータはマルチメディア再生装置１に入力することで再生できる。
　図９はマルチメディア生成装置２の構成を示すブロック図である。マルチメディア生成装置２は、メディアスイッチ２１、メディア記録部２２、メディア分析部２３、メディア間関係決定部２４、マルチメディア情報決定部２５、及び、多重化部２６を備えている。
　　（メディアスイッチ２１）
　メディアスイッチ２１は、入力されるメディアデータを順次選択し、後段の処理ブロックに供給する。例えば、Ｎ個のメディアデータ（メディアデータ１～メディアデータＮ－１）が入力される場合に、メディアデータ１、メディアデータ２のように、メディアデータを１個ずつ順に出力する。
　　（メディア記録部２２）
　メディア記録部２２は、入力されるメディアデータを識別できるように管理して一時的に記録する。また、メディア記録部２２は要求に応じて、指定されたメディアデータを出力する。
　　（メディア分析部２３）
　メディア分析部２３は、入力されるメディアデータを分析し、メディアデータ情報を決定して出力する。メディア情報に含まれるメディア種別は、メディアデータのデータを分析して付与される。例えば、メディアデータの先頭部分を解析してヘッダ情報を読み出して判定する。メディア名は、処理対象メディアのメディア種別と、同じメディア種別のメディアを処理した順番により決定される。例えば、２個目の映像メディアに対して、「映像2」のメディア名を設定する。もしくは、メディアデータの取得に用いた機器名をメディア名に設定してもよい。
　また、メディア分析部２３は、メディアデータが所定の条件を満たすか否かを判定し、判定結果をメディア分析情報として出力する。メディア分析情報には、メディアが特定機器（例えば全周カメラ）で取得されたかを示すメディア取得機器情報が含まれる。また、映像メディアのメディア分析情報には、映像内に所定の対象が映っているか否かの情報が含まれる。また、メディア分析情報には、メディアデータが取得された時刻や場所の情報（メディア取得位置場所情報）が含まれる。
　また、メディア分析部２３は、メディアデータの分析結果を追加のメディアデータとして出力できる。例えば、映像メディアのフレーム毎の動き量を分析により導出し、動き量を時系列情報メディアとして出力することができる。
　　（メディア間関係決定部２４）
　メディア間関係決定部２４は、入力されるメディア分析情報に基づいて、メディア間関係情報（メディア間関係、メディア属性間関係、属性間関係）を決定して出力する。
　メディア間関係決定部２４は、２個の映像メディアが同一の対象を撮影しているかをメディア分析情報に基づき判定し、同一の対象を撮影している場合、当該対象の名前の属性を生成してメディア間関係情報に追加するとともに、生成した属性と２個のメディアをそれぞれ関連付けるメディア属性間関係をメディア間関係情報に追加する。
　また、メディア間関係決定部２４は、メディア分析情報に含まれるメディア取得位置場所情報を参照して、取得位置が所定の範囲内であるメディアを選択する。選択されたメディアが複数ある場合、それらのメディアが相互に関連付けられていることを示すメディア間関係を生成してメディア間関係情報に追加する。
　また、メディア間関係決定部２４は、特定のメディアがメディア分析部２３において別のメディア（元メディア）を分析して生成されたメディア（派生メディア）である場合、元メディアと派生メディアが関連付けられていることを示すメディア間関係を生成してメディア間関係情報に追加する。
　以上例示したように、メディア間関係決定部２４は、メディア分析情報に基づいてメディア間関係情報を生成できる。そのため、マルチメディアデータ作成者の負担を軽減することができる。
　なお、メディア間関係決定部２４は、必ずしも全てのメディア間関係情報を自動で導出する必要はなく、一部をユーザ入力や設定ファイルから読み込んだパラメータに基づいて決定する構成であっても構わない。
　　（マルチメディア情報決定部２５）
　マルチメディア情報決定部２５は、入力されるメディア情報とメディア間関係情報に基づいてマルチメディア情報を生成して出力する。
　　（多重化部２６）
　多重化部２６は、入力されるマルチメディア情報に基づいて、必要なメディアデータをメディア記録部から読み出し、マルチメディア情報とメディアデータを多重化することでマルチメディアデータを構成して出力する。
　以上説明したマルチメディア生成装置２は、メディア分析部２３とメディア間関係決定部２４を備えており、メディア間関係情報を含むマルチメディア情報をメディアデータと多重化することで生成されるマルチメディアデータを出力できる。マルチメディア生成装置２で生成されたマルチメディアデータはメディア間関係情報を含んでいるため、マルチメディア再生装置１に入力することで、ユーザのメディア選択にかかる手間を従来に比べて抑制した上で、画面内に複数のメディアを配置した画面構成の再生画像をユーザに提示できる。
　〔ソフトウェアによる実現例〕
　マルチメディア再生装置１およびマルチメディア生成装置２は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現しても良いし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現しても良い。
　後者の場合、マルチメディア再生装置１およびマルチメディア生成装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ，上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読みとって実行することにより、本発明の一態様の目的が達成される。上記記録媒体には、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されても良い。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　（関連出願の相互参照）本出願は、2016年4月22日に出願された特願2016-085884に対して優先権の利益を主張するものであり、当該出願を参照することにより、その内容の全てが本書に含まれる。
　１　　　　マルチメディア再生装置
　１１　　　マルチメディア解釈部
　１２　　　メディアデータ記録部
　１３　　　マルチメディア情報記録部
　１４　　　操作解釈部
　１５　　　再生制御部
　１６　　　画面構成決定部
　１７　　　画面合成部
　２　　　　マルチメディア生成装置
　２１　　　メディアスイッチ
　２２　　　メディア記録部
　２３　　　メディア分析部
　２４　　　メディア間関係決定部
　２５　　　マルチメディア情報決定部
　２６　　　多重化部

Claims (15)

  1. 　マルチメディアデータに含まれるメディアを画面内の各領域に表示する再生画面を再生するマルチメディア再生装置であって、
    　上記マルチメディアデータに係るマルチメディア情報、及び、配置制御情報に基づいて、上記再生画面を生成するために利用される画面構成を決定する画面構成決定部を備え、
    　上記画面構成決定部は、上記マルチメディア情報に含まれるメディア間関係情報と、上記配置制御情報に含まれる画面内領域情報とに基づいて、上記画面構成を決定することを特徴とするマルチメディア再生装置。
  2. 　上記画面構成決定部は、上記メディア間関係を参照して、画面内の領域の第１の領域である主領域に表示される主メディアに関連付けられたメディアを、画面内の領域に表示するメディアに決定することを特徴とする、請求項１に記載のマルチメディア再生装置。
  3. 　上記再生画面は、上記主メディアの変更に伴いメディアが変更される画面内の領域と、メディアが変更されない画面内の領域とを識別するメディア自動変更識別情報を含むことを特徴とする請求項２に記載のマルチメディア再生装置。
  4. 　上記メディア自動変更識別情報は、画面内の領域毎に主メディアの変更操作の開始が検知されたタイミングで表示されることを特徴とする請求項３に記載のマルチメディア再生装置。
  5. 　上記メディア間関係情報は、マルチメディアデータに含まれる少なくとも２つのメディア間の関連性の有無を、無方向リンク、有方向リンク、関連性指標、または、関連グループにより直接、もしくは、間接的に示すメディア間関係を含むことを特徴とする、請求項１から請求項４のいずれか一項に記載のマルチメディア再生装置。
  6. 　上記メディア間関係情報は、メディア属性間関係を含むことを特徴とする、請求項１から請求項５のいずれか一項に記載のマルチメディア再生装置。
  7. 　上記メディア間関係情報は、属性間関係を含むことを特徴とする、請求項６に記載のマルチメディア再生装置。
  8. 　上記マルチメディア情報は、マルチメディアデータに含まれる少なくとも一つのメディアに対して、少なくとも２つのメディアが関連付けられることを示す上記メディア間関係情報を含んでいることを特徴とする、請求項１から請求項７のいずれか一項に記載のマルチメディア再生装置。
  9. 　上記画面構成決定部は、上記メディア間関係情報に基づいてメディア分類を決定し、上記メディア分類に基づいて、画面内の各領域におけるメディア表示方法として、異なるメディア分類間で判別可能な表示方法を設定することを特徴とする請求項１から請求項８のいずれか一項に記載のマルチメディア再生装置。
  10. 　上記画面構成決定部は、上記メディア間関係情報に基づいてメディア分類を決定し、加えて、ユーザ興味メディアを特定し、該ユーザ興味メディアと同一分類のメディアのメディア表示方法として、別のメディア分類のメディアと判別可能な表示方法を設定することを特徴とする請求項１から請求項８のいずれか一項に記載のマルチメディア再生装置。
  11. 　マルチメディアデータに含まれるメディアは、全周映像メディア、および、部分全周映像メディアを含み、
    　上記マルチメディア情報は、上記部分全周映像メディアに含まれる空間領域と上記全周映像メディアに含まれる空間領域との関係を示す部分空間指定情報を含むことを特徴とする請求項１から請求項１０のいずれか一項に記載のマルチメディア再生装置。
  12. 　上記メディア間関係情報は、上記全周映像メディアと上記部分全周映像メディアを関連付けていることを特徴とする、請求項１１に記載のマルチメディア再生装置。
  13. 　上記画面構成決定部は、映像メディアを表示する第一の領域において、該第一の領域を空間的に分割した部分領域毎の重要度を決定し、該部分領域毎の重要度に基づいて、該第一の領域に重畳される第二の領域を設定することを特徴とする請求項１から請求項１２のいずれか一項に記載のマルチメディア再生装置。
  14. 　ユーザ操作を解釈して上記配置制御情報を生成する操作解釈部を備え、
    　上記画面構成決定部は、画面内にメディア選択領域を設定し、上記メディア間関係情報と上記配置制御情報に基づいて、主メディア、および、該主メディアに関連付けられたメディアをそれぞれ記号化して上記メディア選択領域に配置し、
    　上記操作解釈部は、上記メディア選択領域上でのメディア選択を解釈し、選択されたメディアを含むよう配置制御情報を生成することを特徴とする請求項１から請求項１３のいずれか一項に記載のマルチメディア再生装置。
  15. 　入力メディアに基づいて、マルチメディアデータを生成するマルチメディア生成装置であって、
    　上記入力メディアを分析してメディアデータ情報とメディア分析情報を決定するメディア分析部と、
    　上記入力メディアと上記メディア分析情報に基づいて、メディア間関係情報を決定するメディア間関係決定部と、
    　上記メディアデータ情報と上記メディア間関係情報を含むマルチメディア情報を生成するマルチメディア情報決定部とを備えることを特徴とするマルチメディア生成装置。
PCT/JP2017/006741 2016-04-22 2017-02-23 マルチメディア再生装置、及び、マルチメディア生成装置 WO2017183288A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016085884A JP2019110353A (ja) 2016-04-22 2016-04-22 マルチメディア再生装置、及び、マルチメディア生成装置
JP2016-085884 2016-04-22

Publications (1)

Publication Number Publication Date
WO2017183288A1 true WO2017183288A1 (ja) 2017-10-26

Family

ID=60116716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006741 WO2017183288A1 (ja) 2016-04-22 2017-02-23 マルチメディア再生装置、及び、マルチメディア生成装置

Country Status (2)

Country Link
JP (1) JP2019110353A (ja)
WO (1) WO2017183288A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023249131A1 (ko) * 2022-06-20 2023-12-28 엘지전자 주식회사 영상표시장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272712A (ja) * 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd 受信装置および情報閲覧方法
JP2010124429A (ja) * 2008-11-21 2010-06-03 Sony Corp 映像処理装置、映像処理方法及び映像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272712A (ja) * 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd 受信装置および情報閲覧方法
JP2010124429A (ja) * 2008-11-21 2010-06-03 Sony Corp 映像処理装置、映像処理方法及び映像処理プログラム

Also Published As

Publication number Publication date
JP2019110353A (ja) 2019-07-04

Similar Documents

Publication Publication Date Title
US8416332B2 (en) Information processing apparatus, information processing method, and program
US10909307B2 (en) Web-based system for capturing and sharing instructional material for a software application
JP4337062B2 (ja) 表示制御装置、表示方法、およびプログラム
KR101037864B1 (ko) 복수의 미디어 객체들에서 사용하기 위한 특징을 생성하는방법 및 소프트웨어 프로그램
USRE47421E1 (en) Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
JP4296521B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP5685224B2 (ja) コンテキスト適応型ユーザインターフェイスシステム
US20100057722A1 (en) Image processing apparatus, method, and computer program product
KR20150053162A (ko) 검색 시스템 및 영상 검색 방법
CN111095939A (zh) 识别媒体项目的先前流传输部分以避免重复重放
US11871060B2 (en) Systems and methods for media content navigation and filtering
US20110179003A1 (en) System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same
JP2009182876A (ja) 電子機器および表示処理方法
JP2010531561A (ja) マルチメディアファイルのサマリを自動的に生成する方法及び装置
WO2017183288A1 (ja) マルチメディア再生装置、及び、マルチメディア生成装置
US10924776B2 (en) Systems and methods for media content navigation and filtering
JP2020080115A (ja) サムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラム
CN115934974A (zh) 一种多媒体数据的处理方法、装置、设备及介质
WO2016157150A1 (en) Method and system for automatic generation of video from non-visual information
JP5854232B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
Shannon et al. Showtime: increasing viewer understanding of dynamic network visualisations
KR20230094541A (ko) 비디오 주석 관리 시스템 및 방법
JP5149616B2 (ja) ファイル管理装置、ファイル管理方法およびファイル管理プログラム
JP2021118492A (ja) 画像処理装置および画像処理方法
JP2023010008A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17785633

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17785633

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP