WO2021002165A1 - 画像ファイル作成装置、画像ファイル作成方法、及びプログラム - Google Patents

画像ファイル作成装置、画像ファイル作成方法、及びプログラム Download PDF

Info

Publication number
WO2021002165A1
WO2021002165A1 PCT/JP2020/022819 JP2020022819W WO2021002165A1 WO 2021002165 A1 WO2021002165 A1 WO 2021002165A1 JP 2020022819 W JP2020022819 W JP 2020022819W WO 2021002165 A1 WO2021002165 A1 WO 2021002165A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
images
metadata
image file
Prior art date
Application number
PCT/JP2020/022819
Other languages
English (en)
French (fr)
Inventor
昌敬 深田
英司 今尾
フランク ドゥヌアル
フレデリック マゼ
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020000990A external-priority patent/JP7457506B2/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to EP20834759.1A priority Critical patent/EP3992916A4/en
Priority to CN202080049066.3A priority patent/CN114072847A/zh
Priority to KR1020227002311A priority patent/KR20220027982A/ko
Publication of WO2021002165A1 publication Critical patent/WO2021002165A1/ja
Priority to US17/562,711 priority patent/US20220121704A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a technique for storing data of one or more images in an image file.
  • HEIF High Efficiency Image File Format
  • ISO base media file format ISO Base Media File Format
  • HEIF is being standardized under the name of "Image File Format" in ISO / IEC2380-12 (Part12).
  • HEIF also defines a normative structure that includes metadata, which defines how to associate metadata with images and how to structure metadata in a particular format.
  • Patent Document 1 describes that a derivative image is stored in an image file conforming to HEIF.
  • image generators equipped with image generation functions such as cameras and smartphones have various functions in recent years, and not only the shooting date and time, image size, and image quality, but also information at the time of shooting and captured image data. It is possible to generate various information such as the metadata of. For example, information for identifying a subject or scene at the time of shooting, various shooting setting information, and the like are generated together with image data. Information about such image data can be stored as metadata in a HEIF file together with the image data.
  • an application that has a function of automatically switching and displaying a plurality of images in order. In many applications, this feature is called a slide show. In HEIF, it is also possible to store a plurality of image data and create an image file intended to be displayed in a slide show.
  • HEIF has a specification that allows it to be stored as an image sequence when storing time-continuous still images (for example, continuous photographs taken burst by a camera).
  • a HEIF file with an image sequence needs to define a temporally continuous still image as a video track in the HEIF file so that the application that displays the image can perform continuous display processing. .. Therefore, the process of creating a HEIF file that stores the slide show settings that are automatically displayed in order by giving a display time (period) to an arbitrary image can be complicated.
  • the image file creating device of the present invention has the following configuration. That is, it is an image file creation device that creates an image file according to a predetermined image file format of a structure having an image data area for storing an image and a metadata area for storing metadata which is information about the image. , A determination means for determining a plurality of images to be continuously displayed from the images stored in the image data area, identification information for each of the plurality of images, and an image corresponding to the identification information are stored.
  • the metadata indicates that the position information in the image data area is created and stored in the metadata area, and the information indicating the display order of the plurality of images and the information indicating the display time of the plurality of images are obtained. It has a metadata processing means for storing in an area.
  • FIG. 1 It is a block diagram which shows the structure of the image file creation apparatus. It is a flowchart of an image file creation process. It is a flowchart of the metadata creation process of the slide show in Embodiment 1. It is a figure which shows an example of the data format of the description information of the derivative image in Embodiment 1. FIG. It is a figure which shows another example of the data format of the description information of a derivative image in Embodiment 1. FIG. It is a figure which shows the structure of the HEIF file created in Embodiment 1. FIG.
  • FIG. It is a figure which shows the example of the HEIF file output in Embodiment 1.
  • FIG. It is a flowchart of the metadata creation process of the slide show in Embodiment 2.
  • FIG. 1 shows an example of the configuration of the image file creation device 100.
  • the CPU 102 the RAM 103 which is a temporary storage device when executing a system program
  • the ROM 104 which is a non-volatile storage device for storing the system program are connected to the system bus 101.
  • the system program and application program are read from the ROM 104 into the RAM 103 and executed by the CPU 102.
  • the system bus 101 is connected to the coding / decoding unit 105, the metadata processing unit 106, the display unit 107, the user interface unit 108, and the communication control unit 109.
  • the system bus 101 transmits data between each of these blocks.
  • the RAM 103 also has an output buffer, and is also used as a data buffer for image file creation processing and as an output destination for data stored in the image file.
  • the coding / decoding unit 105 is described by H.I. 265 (HEVC), H. et al. It is a video codec for moving images and still images according to 264 (AVC), AV1, JPEG, and the like, and executes processing for encoding and decoding data of still images and moving images.
  • the metadata processing unit 106 acquires data (encoded data) encoded by the encoding / decoding unit 105, and generates an image file conforming to a predetermined file format (for example, HEIF). Specifically, the metadata processing unit 106 executes analysis processing of metadata stored in a still image or moving image file, generates information related to the still image or moving image, and acquires parameter information related to encoded data. ..
  • the metadata processing unit 106 executes a process of storing the information as metadata in a file together with the encoded data.
  • the metadata processing unit 106 analyzes the metadata stored in the file and performs metadata processing when playing back a still image or a moving image.
  • the display unit 107 is intended as a screen for displaying the application of the image file creation device 100, and is, for example, a liquid crystal display device. Further, the display unit 107 may be provided with a screen touch sensor so that the user can operate the application by the GUI (Graphic User Interface). Further, the display unit 107 may play back a file for confirming the generated file.
  • the user interface unit 108 is an interface for receiving an operation (input) to the image file creation device 100 by the user, and is composed of, for example, a physical operation interface such as a button or a switch.
  • the communication control unit 109 is a network interface that connects to a network and transmits / receives transmission frames.
  • the communication control unit 109 is, for example, PHY and MAC (transmission media control processing) of Ethernet (registered trademark) of a wired LAN.
  • the communication control unit 109 has a controller, an RF circuit, and an antenna that execute wireless LAN control such as IEEE802.11a / b / g / n / ac / ax. included.
  • FIG. 2 is a flowchart of the image file creation process. Specifically, the flow of the process of creating a file for storing one or more still images according to the HEIF file format is shown. Each step of the flowchart of FIG. 2 shows a process executed by the software by the CPU 102, the encoding / decoding unit 105, or the metadata processing unit 106. In the following description, the description CPU 102 is assumed to be software processing executed by the CPU 102.
  • FIG. 6 shows the structure of the HEIF file 600, which is an example of the HEIF file created by the image file creation device 100 in the present embodiment.
  • the HEIF file 600 has a metadata storage area 602 (MetaBox (meta)) (metadata area) and a coded data storage area 611 (MediaDataBox (mdat)) (image data area).
  • FIG. 7 is a diagram showing an example of a HEIF file output in the present embodiment.
  • FIG. 7 shows an example in which one or more still images and a derivative image (Derived Image) constituting the slide show are stored according to the HEIF file format.
  • the image file creation process starts from S201.
  • the CPU 102 acquires (selects) the image data to be stored in the HEIF file from the image data stored in the RAM 103 or the ROM 104.
  • the acquisition process may be performed based on information set in advance for the image file creation device 100, an operation by the user via the user interface unit 108, or the like.
  • the image data may be a HEIF file in which one still image is stored, or may be another still image file such as JPEG. Alternatively, if it is still image data, it does not have to be stored as a file.
  • the CPU 102 determines whether the image data acquired in S202 needs to be decoded (that is, whether it is a HEIF file).
  • the process proceeds to S207, otherwise (if the acquired image data is other than an HEIF file). (YES in S203), the process proceeds to S204.
  • the processing of S204 to S206 is executed by the coding / decoding unit 105.
  • the coding / decoding unit 105 decodes the acquired image data.
  • the coding / decoding unit 105 analyzes the decoded image data to acquire image attribute information.
  • the image attribute information includes, for example, the width and height of the image, the number of color components, the bit length, and the like.
  • the coding / decoding unit 105 executes HEVC coding on the decoded image data.
  • the metadata processing unit 106 acquires a parameter set necessary for decoding the coded data generated in S206.
  • the parameter set is a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), or the like.
  • the image data acquired in S202 is a HEIF file, so the metadata processing unit 106 takes out the parameter set of HEVC from the HEIF file and acquires it.
  • the coding / decoding unit 105 transfers the coded data to the output buffer on the RAM 103 and stores it.
  • the coded data is one of the coded data stored in the coded data storage area 611.
  • the image data / encoded data saved in S208 stored in the HEIF file
  • image data stored in the HEIF file
  • the next S209 is a process of creating metadata related to image data to be stored in the HEIF file, and is executed by the metadata processing unit 106.
  • the metadata created in S209 is image item information, image attribute information, and the like.
  • the image item information is entry data stored in the area 606 (ItemInfoBox (iinf)) of FIG.
  • the entry data of iinf sets an item ID (identification information) for identifying the image data in the file and an item type indicating that the image is a HEVC coded image.
  • the image attribute information is data stored in the area 608 (ItemPropertiesBox (ipr)) of FIG.
  • the image attribute information created in S209 is the entry data stored in the area 609 (ItemPropetyContainerBox (ipco)) of FIG. 6 and the entry data stored in the area 610 (ItemPropetyAssociationBox (ipma)).
  • ipco attribute information such as entry data indicating the HEVC parameter set acquired in S207 and entry data indicating the width and height of the selected image is stored.
  • entry data indicating the association between the item ID and the entry data of ipco is created.
  • the image attribute information data created in S209 is stored in the output buffer on the RAM 103 as a part of the metadata stored in the metadata storage area 602 (MetaDataBox (meta)) of FIG.
  • the CPU 201 confirms whether to still store other image data in the created HEIF file. If there is other image data to be stored, the process returns to S202, otherwise the process proceeds to S211. When the process returns from S210 to S202, the CPU 201 acquires (selects) other image data and executes the processes from S203 to S209 as described above.
  • S211 it is determined whether or not the CPU 102 stores the slide show (continuous image display processing) setting in the HEIF file being created.
  • the determination process may be performed based on information set in advance for the image file creation device 100, an operation by the user via the user interface unit 108, or the like.
  • the slide show metadata creation process in S212 is executed. The processing of S212 will be described later.
  • the metadata processing unit 106 determines a representative image from the images stored in the HEIF file and creates metadata for the main image item information (sets the main image item information in the metadata). The determination process of the representative image may be performed based on the information set in advance for the image file creation device 100, the operation by the user via the user interface unit 108, or the like.
  • the metadata created in S213 is stored in the area 604 (PrimaryItemBox (pit)) of FIG.
  • FIG. 16 shows the data format of the Primery ItemBox in the HEIF standard. As shown in FIG. 16, the pitm data format simply specifies the item ID of a representative image.
  • the metadata created in S213 is stored in the output buffer on the RAM 103.
  • the final process of S214 is executed by the metadata processing unit 106.
  • the metadata processing unit 106 creates data to be stored in the area 601 (FileTypeBox (ftyp)) and the area 603 (HandlerBox (hdlr)) of FIG. As shown in FIG. 7, the handler type of MetaDataBox (meta) specified in hdrl may be ‘pict’.
  • the metadata processing unit 106 includes the created metadata of ftyp and hdll, the metadata stored in the metadata storage area 602 (MetaBox (meta)) stored in the RAM 103, and the coded data storage area. It is combined with the encoded data stored in 611 (MediaDataBox (mdat)).
  • the metadata processing unit 106 forms data having a structure as shown in FIG. 6 on the RAM 103, completes it as a HEIF file, and outputs it. After that, the processing proceeds to S215 and the main processing flow ends (S215).
  • the data of the created HEIF file can be written and saved from the RAM 103 to the ROM 104 by the CPU 102.
  • the area 607 (ItemRefenceBox (iref)) of FIG. 6 may not be generated and may not be included in the metadata of the HEIF file. ..
  • the metadata processing unit 106 may perform inter-image data. Create image entry data indicating the association. Then, the metadata of the HEIF file finally created may include iref.
  • the ItemInfoBox (iinf) (corresponding to the region 606) shown in the description 702 shows information on what kind of image item each image item identified by item_ID is.
  • the image item having an item_ID of 1 is'slide', indicating that it is a derivative image constituting the slide show.
  • the ITEMLocationBox (iloc) (corresponding to region 605) shown in the description 703 indicates a storage position in the file of each image data bitstream.
  • An image item having an item_ID of 1 has a context_method of 1, indicating that data exists in the ItemDataBox (idat) (corresponding to region 616) shown in description 707. Further, in the other images, it is possible to specify at which position in the MediaDataBox (corresponding to the coded data storage area 611) shown in the description 708 the data exists.
  • the ItemRefenceBox (iref) (corresponding to the area 607) shown in the description 704 is an area showing a reference relationship between image items.
  • reference_type is'dimg', which indicates that it is a derivative image constituting the slide show, that is, a derivative image for referring to a plurality of images displayed in the slide show.
  • the description 704 indicates that the image items from item_ID1 to item_ID2, which are derivative image items, are referred to.
  • the ItempropertyContainerBox (ipco) (corresponding to the area 609) in the ItemProtertiesBox (iprp) (corresponding to the area 608) shown in the description 705 stores the Itemproperty indicating the attribute information of the image.
  • hvcC indicates the HEVC coding parameter
  • ispe is the attribute information indicating the size of the image.
  • Description 706 indicates an ItemPropertyAssociationBox (ipma) (corresponding to region 610) showing the relationship between each image item and attribute information. Each image item is associated with the attribute information in ipco in order.
  • FIG. 3 shows a flowchart of the metadata creation process in the present embodiment. This process starts from S301. First, in S302 and S303, the CPU 102 selects one or more image data to be displayed in the slide show from the image data stored in the HEIF file, and determines the display order thereof. Next, the CPU 102 determines the display time (period) of the selected image. The display time (period) may be constant for all images or may be different for each image.
  • a value may not be specified at the time of file generation, and an arbitrary value may be determined at the time of playback.
  • the selection and determination processing of S302 and S303 may be performed based on the information set in advance for the image file creation device 100, the operation by the user via the user interface unit 108, and the like.
  • Subsequent processing from S304 to S307 is executed by the metadata processing unit 106.
  • the metadata processing unit 106 creates image item information in order to set the item IDs of the derived images constituting the slide show. That is, similarly to S209 of FIG. 2 described above, the metadata processing unit 106 creates entry data to be stored in the area 606 (ItemInfoBox (iinf)) of FIG.
  • the metadata processing unit 106 specifies an ID that does not overlap with the item ID of the image data stored in the HEIF file as the item ID of the entry data, and the item type is a derived image that constitutes a slide show. Is specified (see description 702 in FIG. 7).
  • the metadata processing unit 106 creates image reference information in order to specify an image to be displayed in the slide show.
  • the image reference information is created as entry data stored in the area 607 (ItemRefenceBox (iref)) of FIG.
  • This entry data is given a type of'dimg'indicating that it is a derived image, and the item ID of the image data referenced by the item ID of the derived image is specified in a list format.
  • the item IDs of the referenced image data are specified in the list format in the display order determined in S302.
  • the metadata processing unit 106 sets the description information of the derived image constituting the slide show.
  • This descriptive information is data stored in the area 616 (ItemDataBox (idat)) of FIG.
  • FIG. 4 shows an example of the data format of the description information of the derivative image of the slide show.
  • This description information (ImageSlideshow) specifies the display time (period) of the image to be displayed in the slide show. In the example of FIG. 4, when the display time (period) of each image is constant, that is, when flags & 1 is 1, only one duration parameter is specified as shown in the description 401.
  • the duration parameters are specified in the order of display in the list of duration parameters that individually specify the display time (period) for each image data.
  • the duration parameter is a numerical value indicating the time to display the corresponding image item.
  • the unit of time to be set as the display time (period) is assumed to be seconds or milliseconds, but it is not limited and may be any unit in which time can be specified. Further, it may be a relative time parameter used by the reproduction device (that is, the display unit 107) to determine the display time (period). Further, the data format shown in FIG. 4 may include, for example, a parameter for designating a unit such as time_unit.
  • the parameter that specifies this unit may be configured to be valid depending on the version and the value of flags.
  • the time unit of the duration parameter can be specified. For example, when 10 is specified for duration, 10 seconds when a value indicating seconds is specified for time_unit, 10 milliseconds when a value indicating milliseconds is specified, and so on. In addition, any method may be used as long as it can uniquely identify microseconds, minutes, and other time units. If the display time (period) is not specified when the file is created, a value such as 0 may be specified to store information indicating that an arbitrary time (period) is specified when the file is played back.
  • the metadata processing unit 106 sets the image attribute information of the derived image that constitutes the slide show.
  • the image attribute information include information indicating the width and height of the screen on which the slide show is displayed. If the size of each image specified in the slide show is different from the size of the derived image, the image displayed in the slide show may be enlarged or reduced, or only the image that fits in the screen size is displayed. May be good. Further, when the screen size is larger, the attribute information for specifying the display of the margin portion may be described. However, since the image attribute information of the derived image is not always necessary, it is not necessary to set it.
  • FIG. 5 is another example of the data format of the description information of the derivative image of the slide show.
  • the description information (ImageSlideshowWithinCnvas) shown in FIG. 5 is a data format capable of specifying a canvas for displaying a slide show (an image area for displaying on the display unit 107 (an image area of a reconstructed image in which an input image is arranged)).
  • the canvas_fill_value shown in Description 501 indicates a pixel value per channel used when the pixels of the input image are not at a particular pixel position.
  • the pixel value is designated as RGBA (R, G, B, and A correspond to loop counters j equal to 0, 1, 2, and 3, respectively).
  • the RGB value is the sRGB color space defined in IEC61996-2-1.
  • the A value is a linear opacity in the range 0 (fully transparent) to 65535 (fully opaque).
  • the output_wise and output_height shown in the description 502 specify the width and height of the reconstructed image in which the input image is arranged, respectively. When flags & 1 is 0, output_wise and output_height are values represented by 16 bits. On the other hand, when flags & 1 is 1, output_wise and output_height are values represented by 32 bits.
  • the reference_count shown in description 503 is obtained from the ItemTypeRefenceBox (description 704 in FIG. 7) of type'dim'where this item is identified in the from_item_ID field.
  • the horizontal_offset and vertical_offset shown in the description 503 specify an offset in which the input image from the upper left corner of the canvas is arranged. Pixel positions with a negative offset value are not included in the reconstructed image. Horizontal pixel positions above output_with are not included in the reconstructed image. Pixel positions in the vertical direction above output_height are not included in the reconstructed image. Further, when flags & 2 is 1, a common duration parameter is specified as in the description 401 of FIG.
  • the duration parameters are specified in the order of display in the list of duration parameters that individually specify the display time (period) for each image data.
  • the duration parameter is a numerical value indicating the time to display the corresponding image item.
  • the unit of time to be set as the display time (period) is assumed to be seconds or milliseconds, but it is not limited and may be any unit in which time can be specified. It may also be a relative time parameter used by the playback device to determine the display time (duration).
  • the data format may include a parameter for designating a unit such as time_unit. The parameter that specifies this unit may be configured to be valid depending on the version and the value of flags.
  • the time unit of the duration parameter can be specified.
  • the value that can be specified may be a method that can uniquely identify minutes, seconds, milliseconds, microseconds, or other time units. If the display time (period) is not specified when the file is created, a value such as 0 may be specified to store information indicating that an arbitrary time (period) is specified when the file is played back.
  • the metadata processing unit 106 When setting the image attribute information in S307, the metadata processing unit 106 creates the entry data to be stored in the area 609 (ItemPropetyContainerBox (ipco)) of FIG. 6 in the same manner as in the above-mentioned S209. Further, the metadata processing unit 106 creates entry data to be stored in the area 610 (ItemPropertyAssociationBox (ipma)) of FIG. Then, the process proceeds to S308, and this process flow ends.
  • the metadata created in the processes of S304 to S307 is located at a position where each should be stored in the output buffer on the RAM 103 as a part of the metadata stored in the area 602 (MetaDataBox (meta)) of FIG. Written. Further, the item ID of the derivative image set in S213 may be specified as the item ID as the representative image in the above-mentioned processing of S213.
  • FIG. 20 is a flowchart of a slide show reproduction process of an image file.
  • FIG. 20 shows a flow of processing for playing back a file in which one or more still images are stored as a slide show according to the HEIF file format.
  • Each step of the flowchart of FIG. 20 shows a process executed by the software by the CPU 102, the encoding / decoding unit 105, or the metadata processing unit 106.
  • the description CPU 102 is assumed to be software processing executed by the CPU 102.
  • the slide show playback process for image file playback starts from S2001.
  • the CPU 102 first acquires the metadata stored in the metadata storage area 602 (MetaBox (meta)) from the HEIF file stored on the RAM 103 or the ROM 104.
  • the CPU 102 analyzes the metadata acquired in S2002, and in S2004, the CPU 102 determines whether or not the metadata related to the slide show is stored in the metadata as a result of the analysis. If the metadata contains metadata about the slide show (YES in S2004), the process proceeds to S2005, otherwise (NO in S2004), the process proceeds to S2010.
  • the image file creation device 100 executes a reproduction process of the HEIF file other than the slide show.
  • the metadata processing unit 106 acquires the metadata of the image item related to the slide show display. Specifically, the metadata processing unit 106 acquires item information of each image item referred to from the derived image constituting the slide show, attribute information of the image, and position information in the image file.
  • the coding / decoding unit 105 acquires image data in the order in which the slide show is displayed. The image data is acquired by specifying the position in the coded data storage area 611 (MediaDataBox (mdat)) from the position information in the image file stored in the metadata.
  • the encoding / decoding unit 105 decodes the image data to be displayed, and temporarily stores the image data decoded in S2008 in the buffer.
  • the CPU 102 displays an image on the display unit 107 according to the display time (period) and attribute information described in the metadata. If information indicating that an arbitrary time (period) is specified is stored when playing a file such as 0, the display time (period) is determined by the processing of the playback device.
  • the processes from S2005 to S2009 are repeatedly executed, and the images stored in the HEIF file are sequentially displayed on the display unit 107.
  • the CPU 102 displays the display unit so as to repeatedly display the first image or end the slide show display when all the images stored as the slide show have been displayed. 107 may be controlled.
  • the present embodiment by configuring and storing a plurality of images stored in the HEIF file as derivative images, it is possible to store the slide show constituent images by the derivative images. This facilitates the process of saving a HEIF file that stores a set of a plurality of still images as a file intended for slide show display. Further, by defining the canvas information in the description information of the derived image, it is possible to prevent the display size from being different each time each image is displayed even when the images of different sizes are handled. Further, by holding the canvas position information when displaying the image as a parameter in the description information of the derived image, it is possible to specify the display position.
  • the metadata for realizing the slide show using the derived image is stored in the HEIF file, but if the method is to configure the slide show using the derived image, the configuration is different. There may be.
  • the image file creation device has the same configuration as that described with reference to FIG. 1 in the first embodiment. Further, the flow of the image file creation process shown in FIG. 2 and the slide show reproduction process of the image file shown in FIG. 20 can be similarly applied to the present embodiment. However, the metadata creation process (S212) of the slide show of FIG. 2 is different from that of the first embodiment. Therefore, in the present embodiment, mainly regarding the processing of S212, FIGS. 8, 9, 10, 11, 12, 12, 13, 14, 14, 15, 21, 22, 22, 23, 24, and FIG. 25, FIG. 26, FIG. 27, FIG. 28, FIG. 29, FIG. 30 and FIG. 31 will be described.
  • FIG. 8 is a flowchart showing the flow of the slide show metadata creation process in the present embodiment.
  • FIG. 14 shows the structure of the HEIF file 1400, which is an example of the HEIF file created by the image file creation device 100 in the present embodiment.
  • the HEIF file 1400 has a metadata storage area 1402 (MetaBox (meta)) and a coded data storage area 1411 (MediaDataBox (mdat)).
  • the slide show metadata creation process starts from S801.
  • the CPU 102 selects the images to be displayed in the slide show and determines the display order in the same manner as in S302 and S303 of FIG. , Determine the display time (duration) of the selected image.
  • the unit of time to be set as the display time (period) is assumed to be seconds or milliseconds, but it is not limited and may be any unit in which time can be specified. It may also be a relative time parameter used by the playback device to determine the display time (duration). Note that the display time (period) may not be specified when the file is created, and an arbitrary time (period) may be specified when the file is played back.
  • the metadata processing unit 106 sets a group of display images of the slide show. Specifically, the metadata processing unit 106 creates information (group information) for grouping the images to be displayed in the slide show. This group information is metadata stored in the region 1416 (GroupListBox (grpl)) of FIG. In HEIF, group information of items such as image data is stored in grpl. The group information is given a group ID as group identification information and a group type, and is identified in the HEIF file. In the present embodiment, in S804, the metadata processing unit 106 creates slide show group information (SlideshowEntityToGroupBox) as group information. FIG. 9 shows the data format of SlideshowEntityToGroupBox.
  • the metadata processing unit 106 creates data in the data format shown in FIG. 9 and stores it in grpl (see region 1417 in FIG. 14).
  • This SlideshowentityToGroupBox is a box for identifying a group of entities for displaying a plurality of image sets in a slide show on a large canvas.
  • the group type of this SlideshowEntityToGroupBox is'slide', which means that it is a group of items used for a slide show. Since the data format of FIG. 9 is an extension from the EntryToGroupBox, the group_id for storing the group ID and the number_entries_in_group indicating the number of items included in the group are separately specified. As the item ID, the item IDs of the selected images to be displayed in the slide show are specified in the order of display.
  • tracks can also be stored as a group, but in this embodiment, only image items are targeted, and storage of tracks and storage of items other than images is prohibited.
  • a track may be included.
  • the track ID may be limited to one and parameters related to the display time (period) of each sample may be specified for the track.
  • the switching (transition) effect described later can be specified for each sample by the sample group.
  • the track ID is limited to one, and the display period of each sample is specified by the track. Then, there is a method in which the canvas and the switching (transition) effect, which will be described later, can be specified by using a derivative track whose standardization is in progress as MPEG-B Part 16 Delivered visual tracks in the ISO base Media file format.
  • a method in which the entity to be stored in the SlideshowEntityToGroupBox is not restricted can be considered.
  • a method of making it possible to store either the image item ID or the track ID is also conceivable. In that case, for example, a method of specifying a common display time (period) for the display time (period), or a method of specifying the track from the track and the item from the image attribute information can be considered.
  • the description 901 and the description 902 are the same as the description 501 and the description 502 of FIG. 5 described in the first embodiment, and thus the description thereof will be omitted.
  • the part of description 903 is optional and is specified when setting the default display time (period) of the slide show.
  • the display time (period) is specified in default_entity_duration.
  • default_entity-duration-present is a value of 0x000002.
  • flags & default_entity-duration-present is 1, the default display time (duration), the default_entity_duration parameter, is specified.
  • the display time (period) is specified using the image attribute in order to specify the display time (period) individually for each image data.
  • the default_entity_duration parameter is a numerical value indicating the time (duration) for displaying the corresponding image item.
  • the unit of time to be set as the display time (period) is assumed to be seconds or milliseconds, but it is not limited and may be any unit in which time can be specified. It may also be a relative time parameter used by the playback device to determine the display time (duration). Further, the data format may include a parameter for designating a unit such as time_unit.
  • the parameter that specifies this unit may be configured to be valid depending on the version and the value of flags.
  • the time unit of the default_entity_dration parameter can be specified.
  • the value that can be specified may be a method that can uniquely identify minutes, seconds, milliseconds, microseconds, or other time units. If the display time (period) is not specified when the file is created, a value such as 0 may be specified to specify information indicating that an arbitrary time (period) is specified when the file is played back.
  • the display time (period) of the image attribute information is prioritized.
  • the method of determining whether or not to specify the default display time (period) as an option by flags is used, but the default_entity_duration may be set instead of the optional setting.
  • the default_entity_duration specified in the SlideshowentityToGroupBox may be used as a default value and may be treated as a display time (period) to be used when the attribute information is not specified for each image item.
  • a common display time (period) may be used even when a separate flag is provided and a flag indicating that the value is used in common for all is specified in the attribute information.
  • the data format of the SlideshowEntityToGroupBox may be the configuration shown in FIG. 21.
  • the metadata processing unit 106 creates data in the data format shown in FIG. 9 and stores it in grpl (see region 1417 in FIG. 14).
  • the SlideshowentityToGroupBox is a box for identifying a group of entities for displaying a plurality of image sets in a slide show.
  • the group type of this SlideshowEntityToGroupBox is'slide', which means that it is a group of items used for a slide show. Since the data format of FIG. 21 is an extension from the EntryToGroupBox, the group_id for storing the group ID and the number_entries_in_group indicating the number of items included in the group are separately specified.
  • the item IDs of the selected images to be displayed in the slide show are specified in the order of display.
  • the SlideshowEntityToGroupBox is used to identify a group of images to be displayed in a slide show and to identify the display order thereof.
  • there is no special parameter as the SlideshowEntityToGroup in this case, each parameter is specified by using the entry data (group ID) stored in the ItemPropetyContainerBox (ipco) in the ItemPropertiesBox (iprp) described later and the ItemPropertyAssociationBox (ipma). Even if the configuration is shown in FIG. 9, the properties specified in the group may be associated with each other.
  • the entity stored in the SlideshowEntityToGroupBox stores a displayable item ID such as a coded image item or a derived image item.
  • the derivative image for example, by designating a defined identity (iden), grid (grid) image, or overlay (iovl) image, it can be displayed as an advanced slide show on the canvas.
  • the ID of another group may be stored.
  • the image may be limited to a specific item_type and stored.
  • an Overlay image defined as a derivative image.
  • the storable entity item_type specifies an iovl indicating Overlay.
  • all the items stored in the EntryToGroupBox are derived images of Overlay.
  • it is desirable that the output_wise and output_height of all Overlay-derived images stored in the SlideshowEntityToGroup are the same.
  • the ispe image property associated with each image is common.
  • a property that specifies the overall size of the slide show to be displayed may be associated with the group ID of the EntryToGroupBox without providing such a restriction. This is assumed to be a property with an extended configuration of the ispe property. That is, the ispe property can be applied to the Entry group.
  • the size of the image specified in the first entity of the SlideshowentityToGroupBox may be the overall size for displaying a slide show.
  • an image with a size different from these limits or display size crop the image so that it fits in the enlargement / reduction or display size, and if the image is small, set the other area to the default canvas information separately. It may be specified or a specific canvas may be specified and displayed in advance. However, it may be configured to switch the overall size of the slide show display for each image to be displayed.
  • the Image Scaling Property shown in FIG. 25 is a data format having the ratio parameter of the description 2501, and is a transformative item property for scaling (enlarging / reducing) the display size of the image. This property makes it possible to enlarge / reduce the image size while maintaining the aspect ratio.
  • the ratio of description 2501 is an 8-bit integer representing a ratio of 16, 8, 4, 2, or 1/2, 1/4, 1/8, 1/16 as a multiple of 2.
  • the upper 4 bits mean an operation for expansion, 16 times when the most significant bit is 1, 8 times when the second bit from the uppermost bit is 1, and 4 times when the third bit from the uppermost bit is 1. When the fourth bit from the high order is 1, it indicates that it is doubled.
  • the lower 4 bits mean an operation for reduction, 1/16 times when the least significant bit is 1, 1/8 times when the second bit from the least significant bit is 1, and 3 from the least significant bit.
  • the third bit is 1, it is 1/4 times, and when the 4th bit from the least significant bit is 1, it is 1/2 times.
  • the data format of the Image Scaling Property has the above configuration, but it may be configured to enable more detailed specification. Further, this property may be expressed as a variation of the clapp property. That is, it is also possible to configure the numerator and denominator so that they can be specified individually. Further, the target size may be specified and enlarged / reduced instead of the ratio.
  • both the width and the height may be specified so that the aspect ratio is not maintained and the enlargement / reduction is performed.
  • a method of specifying the vertical and horizontal magnifications may be used.
  • these designation methods may be combined and defined, and the designation method may be switched by using flags or the like so that the designation can be arbitrarily specified.
  • the Image Scaling Property shown in FIG. 26 is a data format having a target_wise parameter of description 2601 and a target_height parameter of description 2602, and is a transformative item property for specifying a size to be a display target of an image and enlarging / reducing it. With this property, it is possible to directly specify the size of the width and height in pixels to enlarge / reduce.
  • the target_width of description 2601 specifies the width of the resized image in pixels.
  • the target_height of description 2602 specifies the height of the image after resizing in pixels.
  • one of the sizes after resizing is not specified so that the aspect ratio is maintained and scaling is performed. It may be. Further, a data format may be used in which only one or both are valid depending on the value by using a version or a flag.
  • the present Image Scaling Property may be defined by extending the defined Image Spartments Property.
  • ImageSpatialExentsProducty which is a Descriptive property
  • an extension is made so that the ImageSpatialExtentsProproperty, which is a Descriptive property, can also be specified as a transformative property.
  • the image item defined as an identity (iden) -derived image item defined as a derived image as a property, and is associated with the image item with the intention of a Descriptive product, or with the intention of a transit-oriented product. It becomes possible to identify whether it is associated with an image item.
  • image_wise specifies the width of the resized image in pixels.
  • image_height specifies the height of the image after resizing in pixels.
  • the ImageSpatialExentsProprty shown in FIG. 27 is an extension that involves a change in the data structure.
  • a data format having an image_wise parameter of description 2701, an image_height parameter of description 2702, a target_wise parameter of description 2703 and a target_height parameter of description 2704.
  • This data format is a discrete item property and a transformative item property for describing and enlarging / reducing the image size information by specifying the reconstruction size of the encoded image data and the size to be displayed.
  • the ImageSpatialExentsProprty describes the width and height of the associated image item. All image items are associated with one item property of this type.
  • the image_wise of description 2701 and the image_height of description 2702 indicate the original size of the reconstructed image of the associated image item before the conversion, in pixels. If flags & 1 is equal to 1, the reconstructed image is resized from the pixel sizes specified in image_width and image_height to the pixel sizes specified in target_width and target_height, respectively.
  • image_wise specifies the width of the reconstructed image before resizing in pixels.
  • image_height specifies the height of the reconstructed image before resizing in pixels.
  • target_wise specifies the width of the reconstructed image after resizing in pixels.
  • target_height specifies the height of the reconstructed image after resizing in pixels.
  • the metadata processing unit 106 stores the metadata of the group information created in S804 in the output buffer on the RAM 103.
  • Subsequent processing of S805 to S806 is also executed by the metadata processing unit 106.
  • the metadata processing unit 106 determines whether or not the display time (period) of each image of the slide show is common and constant and can be specified as a default value. If it can be specified as the default value (YES in S805), the process proceeds to S806, otherwise (NO in S805), the process proceeds to S807.
  • the metadata processing unit 106 sets the default display time (period) parameter in the group set in S804. Specifically, the metadata processing unit 106 sets a default display time (period) in the default_entity_duration parameter (see description 903 in FIG.
  • the metadata processing unit 106 sets the image attribute information for specifying the image display time (period) in order to individually set the display time (period) of each image of the slide show.
  • the default display time (period) it is not necessary to specify the display time (period) as each image attribute information for the image that becomes the default display time (period).
  • the image attribute information is metadata stored in the area 1408 (Item Properties Box (ipr)) of FIG. 14, as described above in the first embodiment.
  • the image attribute information created in S807 is the entry data stored in the area 1409 (ItemPropetyContainerBox (ipco)) of FIG. 14 and the entry data stored in the area 1410 (ItemPropetyAssociationBox (ipma)).
  • the metadata processing unit 106 creates data indicating the display time (period) as entry data to be stored in ipco. If the display time (period) is not specified when the file is created, the property that specifies the display time may not be stored, or it may not be associated only with the image that is not specified. Further, by specifying a value such as 0, information indicating that an arbitrary time (period) is specified at the time of file playback may be stored and the property may be associated.
  • the time (period) for displaying the slide show may be specified for each image item, and only one can be specified as a group. In that case, the processing of S805 and the processing of S807 become unnecessary, and only the processing of S806 is performed. Further, in that case, the entry data stored in the area 1410 (ItemPropertyAssociationBox (ipma)) may directly specify the group ID which is the group identification information of the SlideshowEntityToGroup group. In that case, the ID indicating the group needs to be a unified ID space that can be uniquely distinguished from other item IDs and track IDs. On the other hand, when the same display time (period) is specified for each item, the same property may be applied to all the items stored in the group.
  • FIG. 10 shows the data format of the ImageDuration Property, which is the attribute information for specifying the image display time (period) in the slide show.
  • the ImageDurationProperty shown in FIG. 10 is a data format having an image_duration parameter of description 1001, and a display time (period) is set in this parameter.
  • the unit of time to be set as the display time (period) is assumed to be seconds or milliseconds, but it is not limited and may be any unit in which time can be specified. It may also be a relative time parameter used by the playback device to determine the display time (duration). As a relative parameter, for example, it can be specified as a percentage or a multiple of the value specified as the default display time (period).
  • the data format may include a parameter for designating a unit such as time_unit.
  • the parameter that specifies this unit may be configured to be valid depending on the version and the value of flags.
  • the time unit of the image_duration parameter can be specified.
  • the value that can be specified may be a method that can uniquely identify minutes, seconds, milliseconds, microseconds, or other time units.
  • the entry data of ipma that associates the item ID of the display image with the entry data of the created ImageProperty is created and stored.
  • data regarding the display position of the position to be displayed in the canvas is created.
  • the display time (period) is specified in preference to the default_entity_duration of the SlideshowEntityToGroupBox.
  • the display time (period) is specified in preference to the default display time associated with the group.
  • the property that specifies the display time may not be stored, or the association may not be performed only for the images that are not specified. Further, by specifying a value such as 0, a property storing information indicating that an arbitrary time (period) is specified at the time of file playback may be associated.
  • FIG. 23 shows the data format of SlideShowTimingProperty that specifies the default image display time (period) in the slide show.
  • the SlideShowTimingPerty shown in FIG. 23 is a data format having the slide_show_timing parameter of description 2301, and a default display time (period) is set in this parameter.
  • the unit of time to be set as the display time (period) is assumed to be seconds or milliseconds, but it is not limited and may be any unit in which time can be specified. It may also be a relative time parameter used by the playback device to determine the display time (duration).
  • the data format may include a parameter for designating a unit such as time_unit.
  • the parameter that specifies this unit may be configured to be valid depending on the version and the value of flags.
  • the time unit of the default_entity_dration parameter can be specified.
  • the value that can be specified may be a method that can uniquely identify minutes, seconds, milliseconds, microseconds, or other time units. This property is suitable when a default image display time (period) is specified for the SlideshowEntityToGroupBox shown in FIG. This item property is used to specify the duration between two consecutive image items in the EntryToGroupBox. This item property is a property associated only with the entity group. It is also assumed that this property is associated with the SlideshowEntityToGroupBox, but it is not necessary to limit it. That is, it may be used for other types of EntryToGroupBox.
  • the display time (period) specified in slide_show_timing is specified.
  • the item ID is multiplied by the index of the order of the item IDs stored in the SlideshowEntityToGroupBox by the value of this parameter. It may be interpreted as indicating the timing of displaying the image in the elapsed time from the start of the slide show. If the display time (period) is not specified when the file is created, the property that specifies the display time may not be stored, or the association may not be performed only for the images or groups that are not specified. Further, by specifying a value such as 0, a property storing information indicating that an arbitrary time (period) is specified at the time of file playback may be associated.
  • the ImageDurationType that specifies the display time (period) individually for each item and the SlideShowTimingProperty that specifies the default display time (period) in the group have different Box structures, but these are common Boxes. You may. In that case, if it is associated with an item, it indicates an individual display time (period), and if it is associated with a group, it indicates the default display time (period) of the entire group. In that case, the display time (period) specified for each item is preferentially used. On the other hand, as described above, the specification of individual items may be prohibited and only the group may be applied. This makes it possible to simplify the process for displaying a slide show. In addition, it is possible to clarify the difference from the case of storing as a track.
  • FIG. 11 shows the data format of the attribute information ImageLocationProperty that specifies the arrangement information of the image.
  • the ImageLocationproperty shown in FIG. 11 has an indication_position parameter 1101 indicating the position relative to the canvas when the version is 1 in the Box identified by imlo.
  • This alignment_position is determined by the specified value of the position with respect to the canvas.
  • alignment_posituo the image to be displayed is displayed so that the upper left corner of the canvas is aligned with the canvas. That is, the top and left of the canvas and the top and left of the displayed image are aligned and displayed.
  • the color determined by canvas_fill_value specified in the SlideshowEntityToGroupBox is displayed.
  • the display is performed in this way, but a display method such as enlarging or reducing the image may be used.
  • alignment_position 1
  • alignment_position 2
  • top and light are aligned.
  • position 3
  • middle and left are displayed
  • indication_position 4
  • middle and center are displayed
  • alignment_position 5
  • middle and right are displayed.
  • the alignment_position is 6, the bottom and left are displayed, when the alignment_position is 7, the bottom and the center are displayed, and when the alignment_position is 8, the bottom and the light are displayed.
  • a value in which alignment_position is 9 or later is a reserved value.
  • the values of these auxiliary_positions may be expressed by assigning them to Bit. For example, when all Bits are 0, the image to be displayed is displayed so that the upper left corner of the canvas is aligned with the canvas. If only the 1st bit is 1, it is displayed so that the top and center are aligned, and if only the 2nd bit is 1, it is displayed so that the top and right are aligned. It may be defined as. In this case, it is prohibited that a plurality of Bits become 1.
  • the position is specified by the offset values horizontal_offset and vertical_offset based on the top and left of the canvas (description 1102). When 0 is specified for each of these offset values, the setting is equivalent to specifying the top and left of version1. Pixel positions with negative offset values are not included. It should be noted that the horizontal pixel position equal to or higher than output_with specified in SlideshowEntityToGroupBox should not be specified. Similarly, vertical pixel positions greater than output_height specified in the SlideshowEntityToGroupBox should not be specified. In the present embodiment, the Image Location Property is used to specify the display position with respect to the canvas when displaying the slide show, but it can also be used for other purposes.
  • the image when full-screen display is performed on a monitor (arbitrary screen), the image is normally displayed in the specified image size at a position where the image is displayed in the center of the monitor, but when this image attribute information is specified. May be used to specify the position of the monitor screen to be displayed. Further, in the present embodiment, the image attribute information for specifying the display position is added, but as described above, the image attribute information for specifying the image to be enlarged or reduced may be specified.
  • This ImageLocationproperty was configured using item properties to determine the image position on the canvas. On the other hand, it may be configured by using the ImageOverlay-derived image shown in FIG.
  • the ImageOverlay-derived image shown in FIG.
  • An item with an item_type value of "iovl" defines a derived image item by overlaying one or more input images in a specified layer order in a large canvas.
  • the input images are listed in the SingleItemTypeReferenceBox, a derivative image item of type dimg in the ItemReferenceBox, in a layered order, with the bottom input image first, the top input image last, and so on.
  • the position is represented by the pixel position from the upper left corner of the canvas.
  • the horizontal_offset and vertical_offset (description 2202) of FIG. 22 store pixel offset information from the upper left corner as already defined.
  • information is defined that indicates a predefined relative position to the canvas.
  • the indication_position (description 2201) of FIG. 22 has the same parameters as the indication_position of the Image Location Property of FIG.
  • FIG. 12 shows a data format of the attribute information TransitionEfectPerty that specifies the switching (transition) effect in the slide show.
  • the data format of the Transition Effect Property shown in FIG. 24 has a configuration in which a version can be specified for the data format shown in FIG.
  • transition_duration which will be described later, can be specified when version is 1.
  • version the default value defined in advance is used for transition_duration.
  • it may be configured as an item property that does not have transition_dration.
  • This property defines a transition effect that is applied between the display of two consecutive items in the EntryToGroupBox.
  • This property can be associated with an item or an entity group.
  • identity iden
  • a method of assigning different item_ids to the same image data can be considered. In this case, for two or more image items with different item_ids specified by itemInformationBox (iinf), different item_ids can be specified for the same image data by specifying them to have the same offset and size in ItemMlocationBox (iloc). It becomes possible to specify.
  • the TransitionEffectivePerty shown in FIGS. 12 and 24 is composed of a transition_effect (description 1201, description 2401) that specifies a transition effect and a transition_duration (description 1202, description 2402) that indicates the time (duration) of the transition effect.
  • transition_effect is a parameter that specifies the effect when displaying an image by a specified value. For example, when 0 is specified for transition_effect, the cut switching (transition) effect is performed.
  • transition_effect a fade switching (transition) effect is performed, when it is 2, a wipe switching (transition) effect is performed, and when it is 3, a sprit switching (transition) effect is performed.
  • a value for identifying a predetermined effect for performing the dissolve in switching (transition) effect and in the case of 5 for the zoom switching (transition) effect is specified.
  • Other values may be left undefined and definitions may be added to identify predetermined effects.
  • transition_dration specifies the time (duration) for performing the switching (transition) effect specified by transition_effect.
  • the unit of time set as the time of the switching (transition) effect is assumed to be the unit of seconds or milliseconds, but it is not limited, and any unit that can specify the time may be used. It may also be a relative time parameter used by the playback device to determine the display time (duration). For example, as a relative time parameter, it is possible to specify a specified percentage or a multiple of the display time (period) specified for each item.
  • the data format may include a parameter for designating a unit such as time_unit.
  • the parameter that specifies this unit may be configured to be valid depending on the version and the value of flags.
  • the time unit of the default_entity_dration parameter can be specified.
  • the value that can be specified may be a method that can uniquely identify minutes, seconds, milliseconds, microseconds, or other time units.
  • this parameter may be configured to switch between arbitrary time units or percentage or multiple designation. Further, it is assumed that the time specified in this parameter is not included in the time of duration (description 903) in FIG. 9, image_duration (description 1001) in FIG. 10, and slide_show_timing (description 2301) in FIG. But that's not the case.
  • the time required for the entire display when displaying the slide show is the total of the display time (period) specified for each individual item or group and the time for the switching (transition) effect of this property specified for each item or group. It will be the total.
  • the number of items included in the group is multiplied by the value of the item included in the Slide_show_timing parameter of the SlideShowTimingproperty and the group. It is the time (period) obtained by adding the value obtained by multiplying the number by the value of adaptation_dration.
  • the time required for the entire display will be the total of the display times (periods) specified for individual items or groups. At this time, it should be specified so that the time (period) is shorter than each of these display times (period). However, if this value is a larger value, the switching (transition) effect may not be performed, or it may be adjusted to match the display of the image. Further, the effect of switching to the next image may be performed in the middle of the image display effect. On the other hand, when a specified percentage of time (period) is specified as a relative time parameter, it is not necessary to consider the magnitude relationship with the display time (period) of each image.
  • these two parameters are used, but they may be defined as separate image attribute information.
  • the image attribute information is specified as an effect when displaying the applied image item, but a configuration that can be specified separately as an effect when ending the display of the image may be used.
  • the effect of ending the display of the image and the effect of displaying the next image may be specified separately, or only one of them may be specified as a constraint. ..
  • the transition_duration of this property is included in the display time (period) of each image item, when it is included only in the display time (period) of the first image out of the display time (period) of two consecutive images. Can be considered.
  • cross_item_effect_ratio may be defined in the data format, and the proportion and time of each of the first image and the second image may be specified by this parameter. In this case, the specified value must be specified as 100% or less when the percentage is specified. The specified percentage is included in the display time (period) of the first image, and the time (period) of 100-designated percentage is included in the display time (period) of the second image.
  • cross_item_effect_ratio the configuration may be valid by specifying the version, flags, and the like. If not specified, it can be included in the display time (period) of each image at a rate specified in advance, such as including 50% as the default value.
  • a parameter may be defined in the item property for each switching (transition) effect so that the operation of the switching (transition) effect can be specified.
  • the TransitionEffectivePerty shown in FIG. 28 is a property that allows the operation of the switching (transition) effect to be specified in the item property. It is composed of a transition_effect (description 2801) that specifies a switching (transition) effect and a transition_direction (description 2802) that indicates a switching (transition) direction.
  • This property defines a transition effect applied between the display of two consecutive items in the EntryToGroupBox, as in FIGS. 12 and 24.
  • This property can be associated with an item or an entity group, and different transition effects can be specified for one image by the same method as in FIGS. 12 and 24.
  • transition_direction (description 2802). If (flags & 1) is not equal to 1, this parameter is not applicable. It should be noted that it may be defined as an arbitrary parameter that can be specified, which is applied according to the switching (transition) effect, not limited to the switching (transition) direction.
  • Transition_effect (description 2801) is a parameter that specifies the effect of displaying an image by a specified value. For example, when 0 is specified for transition_effect, the cut switching (transition) effect is performed. In this case, even if transition_direction (description 2802) is specified, it is ignored. Further, when transition_effect is 1, a fade or fade-in switching (transition) effect is performed, and when it is 2, a dissolve switching (transition) effect is performed. Similarly in these cases, the value of transition_direction is ignored. In the case of 3, the wipe switching (transition) effect is performed, and only the values 6 to 13 specified in transition_direction, which will be described later, are identified as valid values.
  • the split switching (transition) effect is performed, and only the values 2 to 5 to be described later specified in transition_direction are identified as valid values.
  • the zoom switching (transition) effect is performed and only the values 0 to 1 specified in transition_direction, which will be described later, are identified as valid values.
  • the push switching (transition) effect is performed, and only the values 6 to 13 specified in transition_direction, which will be described later, are identified as valid values. In this way, a value for identifying the predetermined effect is specified. Other values may be left undefined and definitions may be added to identify predetermined effects.
  • the transition_direction of the description 2802 is a parameter indicating the switching (transition) direction to be applied, and one of the following is specified. 0 for in, 1 for out, 2 for horizontal-in, 3 for horizontal-out, 4 for vertical-in, 5 for vertical-out, 6 for from-left, 7 for from- right, 8 for from-top, 9 for from-bottom, 10 for from-left-top, 11 for from-light-top, 12 for from-left-bottom, 13 for from-light- Defined as bottom. Other values are undefined. The transition_direction value is ignored if it is not within the allowed range for transition_effect.
  • the switching (transition) effect is specified by the combination of transition_effect and transition_direction.
  • transition_effect values 6 to 13 can be specified for transition_direction.
  • the wipe operation is performed from the left.
  • operations such as right, top, bottom, top left, top right, bottom left, and bottom right can be specified.
  • parameters that specify detailed operations according to each switching (transition) effect may be specified by defining parameters in the item property.
  • the type of the switching (transition) effect is specified by using transition_effect (description 1201, description 2401, description 2801), but the item property of each switching (transition) effect is switched as another item property.
  • transition_effect description 1201, description 2401, description 2801
  • Each effect may be represented by using 4CC. 29, 30, and 31 are examples thereof.
  • the WipeTransitionEfffectProperty shown in FIG. 29 is a property indicating the Wipe switching (transition) effect applied between the display of two consecutive items in the entity group. Describe the effect of wiping from the first image to the second image to produce the next image. This item property is associated with the first of two consecutive items.
  • the transition_direction of description 2901 specifies one of the following values.
  • 0 is from-left, 1 is from-light, 2 is from-top, 3 is from-bottom, 4 is from-left-top, 5 is from-light-top, 6 is from-top.
  • -Left-bottom in the case of 7, it is the switching (transition) direction to which from-right-bottom is applied. Other values are undefined. It should be noted that you may switch whether or not this parameter is valid by using flags or the like.
  • the ZoomTransitionEfffectProperty shown in FIG. 30 is a property indicating the Zoom switching (transition) effect applied between the display of two consecutive items in the entity group. Describe the effect of producing the next image by zooming in or out from the first image to the second image. This item property is associated with the first of two consecutive items.
  • the transition_direction of the description 3001 specifies one of the following values.
  • the switching (transition) direction is set to apply in the case of 1 and out in the case of 2. Other values are undefined. It should be noted that you may switch whether or not this parameter is valid by using flags or the like.
  • the FadeInTransitionEffective property shown in FIG. 31 is a property indicating the Fade-In switching (transition) effect applied between the display of two consecutive items in the entity group. Describe the effect of fading in the second image from the first image to produce the next image. This item property is associated with the first of two consecutive items. Since there is no switch (transition) direction that can be specified in this property, the parameters are not retained.
  • DissolveTransitionEffectivePerty for performing dissolve (smooth and stepwise transition from the first image to the second image) as a switching (transition) effect.
  • Other transition effects can also be defined as different item properties.
  • the effect of cut instantaneous transition from the first image to the second image
  • the effect of split is splitTransitionEffectiveItemproperty
  • push The effect of shifting the first image so that the second image is extruded
  • pushTransitionEffectItemPerty If there is a transition_direction that can be specified in these, the corresponding parameter is defined as a value that can be specified.
  • transition_effect (description 1201, description 2401, description 2801), the switching (transition) effect of the value reserved as undefined can also be defined as a new item property. Also, these can be individually specified for image items or groups. On the other hand, when defined as an individual item property, it is necessary to associate at most one item property intended for the transition effect with the item. In other words, it is defined as a constraint that only one switching (transition) effect item property can be associated. On the other hand, a plurality of switching (transition) effects may be adapted and expressed as a switching (transition) effect in which they are mixed. Further, a user-defined switching (transition) effect may be defined by using a uuid or the like. When the switching (transition) effect is defined using uuid, it is necessary for each of the file generation side and the file playback side to support it.
  • TransitionEffectivePerty shown in FIGS. 12, 24, and 28 is associated after the other discrete item properties and transformative item properties.
  • FIG. 13 shows a data format of the SlideShowproperty as image attribute information summarizing the ImageDurationType of FIG. 10 and the TransitionEffectivePerty of FIG. When configured as shown in FIG. 13, it is possible to collectively specify image attribute information related to the slide show. Similarly, the image attribute information indicating the display time (period) and the image attribute information indicating the switching (transition) effect may be combined into one image attribute information. Further, these image attribute information may be applied to an image group.
  • the metadata of the image attribute information created in S807 is saved in the output buffer on the RAM 203. Then, after processing S806 or S807, the process proceeds to S808, and the slide show metadata processing flow ends.
  • FIG. 15 is a diagram showing an example of a HEIF file output in this embodiment.
  • the PrimeryItemBox (pitm) shown in the description 1501 of FIG. 15 1 is stored as the item_ID.
  • the PrimaryItemBox may be extended and a group ID for identifying the SlideshowEntityToGroup may be specified as the ID specified in the present Box. In that case, 1001 which is a group_id described later is specified as the ID.
  • the ItemInfoBox shown in the description 1502 makes each image item identifiable by item_ID, and indicates what kind of image item the image item identified by item_ID is.
  • the image item having an item_ID of 1 is'hvc1', indicating that it is a HEVC coded image.
  • the ITEMConnectionBox shown in the description 1503 indicates the storage position in the file of each image data bitstream. It is possible to specify where the data of each image exists in the MediaDataBox.
  • Description 1504 indicates the ItemPropertyContainerBox in the ItemPropertiesBox, and the ItemProperty indicating the attribute information of the image is stored.
  • 'HvcC' indicates HEVC coding parameters.
  • 'ispe' is attribute information indicating the size of the image.
  • 'dura' is the above-mentioned ImageDurationPropertyBox.
  • 'Imlo' is an ImageLocationPropertyBox.
  • Reference numeral 1505 is an ItemPropertyAsdication Box showing the relationship between each image item and the attribute information.
  • Each image item is associated with the attribute information in ‘ipco’ in order.
  • item_ID1 and item_ID2 are associated with a common ispe, indicating that they have a common image size.
  • item_ID3 has different'ispe'applied and different image sizes.
  • dura since dura is not associated with item_ID1, the default display period is applied. Further, different display periods are applied to item_ID2 and item_ID3.
  • Description 1507 is a SlideshowEntityToGroupBox.
  • the group_id is 1001
  • the number of group entries is 48
  • the canvas fill value is opaque black
  • the canvas size is 4032 wide and 3024 high.
  • Item IDs of each image are specified in entry_id in the order of slide show display from 1, 2 to 48. As a result, information for displaying a slide show is stored.
  • the created HEIF image file has an internal structure as shown in FIG.
  • a derivative image of the slide show is described. Therefore, an entry having an item ID of the derived image is stored in the area 606 (ItemInfoBox (iinf)) of FIG. 6, but in the case of the present embodiment, the derived image of the slide show is shown in the area 1406 (iinf) of FIG. It is self-evident that such an entry is not included.
  • the image attribute information and the item reference information of the slide show derivative image are created and stored as entry data in the area 607 (ItemRefenceBox (iref)) and the area 608 (ItemProptiesBox (ipr)) of FIG. 6, respectively. ..
  • regions 1407 (iref) and 1408 (iprp) of FIG. 14 do not include entries relating to slideshow derivative images.
  • the images for displaying the slide show are grouped according to the above configuration, and the attribute information of each image at the time of displaying the slide show is adapted to each image.
  • different configurations may be used as long as the images are grouped and the related attributes are retained as properties or group parameters.
  • the present embodiment by grouping the images of the slide show display, it is possible to easily identify and store the image intended to be displayed in the slide show from among the plurality of images stored in the HEIF file. Also, by storing information about the canvas as a group parameter, it is possible to handle the size when displaying a slide show in a unified manner. Further, by holding the information on the display time (period) as the parameter of the group, the attribute information of the group, and the attribute information of each image, the time for displaying the slide show can be arbitrarily specified. Further, by holding the canvas position information when displaying an image as image attribute information or a parameter of a grouped derivative image, it is possible to specify the display position.
  • the derived image can be displayed as a slide show by designating an identity (iden), a grid (grid) image, or an overlay (iovl) image defined as a derived image as an image to be stored in the SlideshowEntityToGroupBox. It is also possible to store a plurality of SlideshowEntityToGroupBoxes in one file using different group IDs, and it is also possible to store a plurality of slide show expressions in one file.
  • the image file creation device has the same configuration as that described with reference to FIG. 1 in the first embodiment. Further, the flow of the image file creation process shown in FIG. 2 and the slide show playback flow shown in FIG. 20 can be similarly applied to the present embodiment. However, in the present embodiment, the metadata creation process (S212) of the slide show of FIG. 2 and the process of setting the main image item information (S213) are different from those of the first embodiment. Therefore, in the present embodiment, the processes of S212 and S213 will be mainly described with reference to FIGS. 16 and 17, 17, 18, and 19.
  • FIG. 16 is a diagram showing a data format of PrimaryItemBox (pitm) in the HEIF standard.
  • a data format that extends the specifications of the pitm shown in FIG. 16 is used.
  • FIG. 17 shows an example of the PrimeryItemBox data format, which is an extension of the pitm specifications. The intent of this extension is to allow one or more image items to be specified as the main image item information.
  • the metadata processing unit 106 selects an image to be displayed in the slide show and creates a list of item IDs in the display order. Then, a list of item IDs for designating one or more item IDs to be displayed in the slide show for the main image item is created.
  • the metadata processing unit 106 stores the image item IDs in the parts of description 1701 to description 1702 in FIG. 17 in the order of the list based on the list of item IDs created in S212, and stores the stored items. Set the number of IDs in the item_count parameter. As a result, one or more images are designated as the main image items in the HEIF image file to be created. Further, in the present embodiment, in S212, the metadata processing unit 106 individually sets the display time (period) of each image of the slide show, so that image attribute information for specifying the display time (period) of each image is created. To do. The process of setting the image attribute information is the same as the process of S807 of FIG.
  • the metadata processing unit 106 creates metadata of the Item Properties Box (iprp) and stores it in the RAM 203. To do.
  • iprp Item Properties Box
  • the metadata processing unit 106 creates metadata of the Item Properties Box (iprp) and stores it in the RAM 203.
  • iprp Item Properties Box
  • the metadata processing unit 106 creates metadata of the Item Properties Box (iprp) and stores it in the RAM 203.
  • iprp Item Properties Box
  • FIG. 18 shows another example of the PrimeryItemBox data format, which is an extension of the pitm specifications.
  • the group_id of the SlideshowEntityToGroupBox shown in the second embodiment can be specified in the PrimariItemBox (Description 1801).
  • FIG. 19 shows an example of the HEIF file output in this embodiment.
  • FIG. 19 shows an example of a file in which group_id can be specified.
  • the Group_id1001 specified in the SlideshowEntityToGroupBox (Description 1507) is specified in the PrimariItemBox (pitm) shown in the description 1901.
  • Descriptions 1902 to 1907 in FIG. 19 are common to descriptions 1502 to 1507 in FIG. 15 described in the second embodiment.
  • the present embodiment by designating the image of the slide show display in the extended PrimaryItemBox, it is possible to easily identify and store the image intended to be displayed in the slide show from among the plurality of images stored in the HEIF file. .. Further, by making it possible to specify a group ID grouped by the EntryToGroupBox in the PrimaryItemBox, it is possible to handle a plurality of images as the first priority image group. Further, by holding the information on the display time (period) as the parameter of the group or the attribute information for each image, the time for displaying the slide show can be arbitrarily specified. Further, by holding the canvas position information when displaying an image as image attribute information, it is possible to specify the display position.
  • the image file creation process and the slide show metadata creation process to be stored in the image file have been described above.
  • the HEIF image file created in each embodiment has ftyp, meta, and mdat (meta data storage area 602 (metaBox (meta)) in FIG. 6) and codes in the uppermost layer.
  • the structure is such that the conversion data storage area 611 (Meta DataBox (mdat))) is lined up.
  • the HEIF file created by the image file creation device is not limited to this internal structure.
  • any of the above embodiments may be implemented, and moving image data may be stored together so that a HEIF file can be created for the metadata of MovieBox (moov).
  • a HEIF file that has an image sequence as a temporally continuous still image defines the continuous still image as a video track in the HEIF file so that the application that displays the image can perform continuous display processing.
  • moov metadata may be required in addition to meta.
  • a HEIF file containing slide show information of a plurality of image data in meta is created.
  • HEIF has been described as an example as a file format, but if it is a file that can store a plurality of image files in one file and can hold metadata about those image files, it can be applied to other formats. You may.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC
  • the process of creating an image file (FIG. 2 and the like) and the process of reproducing the created image file (FIG. 20 and the like) are executed by the same device, that is, the image file creating device 100. Although examples have been described, they may be performed in separate devices. That is, the image file created by the image file creating apparatus 100 is reproduced by the image file reproducing apparatus received by wired or wireless communication by analyzing the received image file and executing the process of FIG. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

画像を格納する画像データ領域と、該画像に関する情報であるメタデータを格納するメタデータ領域とを有する構造の所定のイメージファイルフォーマットに従った画像ファイルを作成する画像ファイル作成装置は、該画像データ領域に格納されている画像から、連続的に表示させる複数の画像を決定し、該複数の画像それぞれに対する識別情報と、該識別情報に対応する画像が格納されている該画像データ領域における位置の情報を作成して該メタデータ領域に格納し、かつ、該複数の画像の表示順番を示す情報と、該複数の画像の表示時間を示す情報とを、該メタデータ領域に格納する。

Description

画像ファイル作成装置、画像ファイル作成方法、及びプログラム
 本発明は、1つ以上の画像のデータを画像ファイルに格納するための技術に関する。
 MPEG(Moving Pictures Experts Group)では、単一の静止画、複数の静止画、又は、画像シーケンス(静止画のバースト等)を1つのファイルに格納するための標準化を行っている。本標準は、HEIF(High Efficiency Image File Format)と呼ばれ、画像と画像シーケンスの交換、編集、及び表示を可能とする。またHEIFは、ISOベースメディアファイルフォーマット(ISOBMFF:ISO Base Media File Format)で定められるツールを基に拡張された格納フォーマットである。HEIFは、ISO/IEC23008―12(Part12)において「Image File Format」という名称で標準化が進行している。またHEIFは、メタデータを含む規範的な構造を定めており、メタデータと画像を関連付けする方法、特定の形式のメタデータの構成について定めている。特許文献1には、HEIFに準拠した画像ファイルに派生画像を格納することが記載されている。
 一方、カメラやスマートフォン等、画像生成機能を備えた画像生成装置は近年様々な機能を有しており、撮影日時や、画像サイズ、画像品質だけでなく、撮影時の情報や、撮影した画像データのメタデータなど様々な情報を生成可能となっている。例えば、撮影時の被写体やシーンを識別する情報、各種の撮影設定情報などが画像データとともに生成される。このような画像データに関する情報は、メタデータとして画像データと一緒にHEIFファイルに格納することができる。また、複数の画像を自動的に順番に切り替えながら表示する機能を持つアプリケーションがある。多くのアプリケーションにおいて、この機能はスライドショーと呼ばれる。HEIFでは、複数の画像データを格納してスライドショーでの表示を意図する画像ファイルを作成することも可能とされている。
米国特許出願公開第2016/371265号明細書
 HEIFでは、時間的に連続する静止画(例えば、カメラでバースト撮影した連続写真など)を格納する場合、イメージシーケンスとして格納することが可能な仕様となっている。イメージシーケンスを持つHEIFファイルは、画像を表示するアプリケーションが連続的な表示処理をできるように、動画と同様に、時間的に連続する静止画をHEIFファイルの中にビデオトラックとして定義する必要がある。ゆえに、任意の画像に表示時間(期間)を付与して順番に自動表示するスライドショーの設定を格納するHEIFファイルの作成処理は煩雑になり得る。
 本開示は、上記課題に鑑み、複数の画像を連続的に表示させるために必要な情報を画像ファイルに格納する処理を効率的に行うための技術を提供することを目的とする
 上記課題を解決するための一手段として、本発明の画像ファイル作成装置は、以下の構成を有する。すなわち、画像を格納する画像データ領域と、前記画像に関する情報であるメタデータを格納するメタデータ領域とを有する構造の所定のイメージファイルフォーマットに従った画像ファイルを作成する画像ファイル作成装置であって、前記画像データ領域に格納されている画像から、連続的に表示させる複数の画像を決定する決定手段と、前記複数の画像それぞれに対する識別情報と、当該識別情報に対応する画像が格納されている前記画像データ領域における位置の情報を作成して前記メタデータ領域に格納し、かつ、前記複数の画像の表示順番を示す情報と、前記複数の画像の表示時間を示す情報とを、前記メタデータ領域に格納するメタデータ処理手段と、を有する。
 複数の画像を連続的に表示させるために必要な情報を画像ファイルに格納する処理を効率的に行うことが可能となる。
 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
画像ファイル作成装置の構成を示すブロック図である。 画像ファイル作成処理のフローチャートである。 実施形態1におけるスライドショーのメタデータ作成処理のフローチャートである。 実施形態1における派生画像の記述情報のデータフォーマットの一例を示す図である。 実施形態1における派生画像の記述情報のデータフォーマットの別の例を示す図である。 実施形態1で作成されるHEIFファイルの構造を示す図である。 実施形態1で出力されるHEIFファイルの例を示す図である。 実施形態2におけるスライドショーのメタデータ作成処理のフローチャートである。 SlideshowEntityToGroupBoxのデータフォーマットの一例を示す図である。 ImageDurationPropertyのデータフォーマットを示す図である。 ImageLocationPropertyのデータフォーマットを示す図である。 TransitionEffectPropertyのデータフォーマットの一例を示す図である。 SlideShowPropertyのデータフォーマットを示す図である。 実施形態2で作成されるHEIFファイルの構造を示す図である。 実施形態2で出力されるHEIFファイルの例を示す図である。 HEIF標準におけるPrimaryItemBoxのデータフォーマットを示す図である。 PrimaryItemBoxデータフォーマットの一例を示す図である。 PrimaryItemBoxデータフォーマットの別の例を示す図である。 実施形態3で出力されるHEIFファイルの例を示す図である。 画像ファイルのスライドショー再生処理のフローチャートである。 SlideshowEntityToGroupBoxのデータフォーマットの別の例を示す図である。 ImageOverlay派生画像の記述情報のデータフォーマットの一例を示す図である。 SlideShowTimingPropertyのデータフォーマットを示す図である。 TransitionEffectPropertyのデータフォーマットの別の例を示す図である。 ImageScalingPropertyのデータフォーマットを示す図である。 ImageScalingPropertyのデータフォーマットの別の例を示す図である。 ImageSpatialExtentPropertyのデータフォーマットを示す図である。 TransitionEffectPropertyのデータフォーマットの別の例を示す図である。 WipeTransitionEffectPropertyのデータフォーマットの一例を示す図である。 ZoomTransitionEffectPropertyのデータフォーマットの一例を示す図である。 FadeInTransitionEffectPropertyのデータフォーマットの一例を示す図である。
 以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
 <実施形態1>
 [ハードウェア構成]
 図1は、画像ファイル作成装置100の構成の一例を示す。画像ファイル作成装置100では、システムバス101にCPU102、システムプログラム実行時の一時記憶装置であるRAM103、システムプログラムが格納される不揮発性記憶装置であるROM104が接続されている。システムプログラムやアプリケーションプログラムが、ROM104からRAM103に読み込まれ、CPU102によって実行される。また、システムバス101には、符号化/復号化部105、メタデータ処理部106、表示部107、ユーザーインターフェース部108、通信制御部109接続されている。システムバス101は、これらの各ブロック間でデータを伝達する。またRAM103は、出力バッファを有し、画像ファイルの作成処理のデータバッファや、画像ファイルに格納するデータの出力先としても使用される。
 符号化/復号化部105は、H.265(HEVC)、H.264(AVC)、AV1、JPEGなどに従う動画や静止画のビデオコーデックであり、静止画や動画のデータの符号化および復号化の処理を実行する。メタデータ処理部106は、符号化/復号化部105によって符号化されたデータ(符号化データ)を取得し、所定のファイルフォーマット(例えばHEIF)に準拠した画像ファイルを生成する。具体的には、メタデータ処理部106は、静止画や動画ファイルに格納されるメタデータの解析処理を実行し、静止画や動画に関する情報の生成や、符号化データに関するパラメータ情報の取得を行う。そして、メタデータ処理部106は、これらの情報をメタデータとして、符号化データと共にファイルに格納する処理を実行する。また、メタデータ処理部106は、ファイルに格納されたメタデータを解析し静止画や動画の再生時のメタデータ処理を行う。
 表示部107は、画像ファイル作成装置100のアプリケーションを表示する画面を意図しており、例えば液晶ディスプレイ装置である。また、表示部107は、ユーザーによるGUI(Graphic User Interface)によるアプリケーションの操作を可能にするように、画面タッチセンサを備えてもよい。また、表示部107は、生成されたファイルの確認を行うためのファイルの再生を行ってもよい。ユーザーインターフェース部108は、ユーザーによる画像ファイル作成装置100への操作(入力)を受け付けるためのインターフェースであり、例えば、ボタンやスイッチ等の物理的な操作インターフェースで構成される。
 通信制御部109は、ネットワークに接続して伝送フレームの送受信を行うネットワークインタフェースである。通信制御部109は、例えば、有線LANのイーサネット(登録商標)のPHYおよびMAC(伝送メディア制御処理)である。あるいは、画像ファイル作成装置100が無線LANに接続可能な場合、通信制御部109にはIEEE802.11a/b/g/n/ac/ax等の無線LAN制御を実行するコントローラ、RF回路、アンテナが含まれる。
 [画像ファイル作成処理]
 次に、画像ファイル作成装置100の画像ファイル作成処理の流れについて、図2、図6、図7を参照しながら説明する。図2は、画像ファイル作成処理のフローチャートである。具体的には、HEIFファイルフォーマットに従って1つ以上の静止画を格納するファイルを作成する処理の流れを示している。図2のフローチャートの各ステップは、CPU102によるソフトウェア、符号化/復号化部105、メタデータ処理部106の何れかによって実行される処理を示す。なお、以下の説明において、CPU102という記述はCPU102で実行するソフトウェア処理であるものとする。図6は、本実施形態において画像ファイル作成装置100が作成するHEIFファイルの一例であるHEIFファイル600の構造を示している。HEIFファイル600は、メタデータ格納領域602(MetaBox(meta))(メタデータ領域)と符号化データ格納領域611(MediaDataBox(mdat))(画像データ領域)を有する。また図7は、本実施形態で出力されるHEIFファイルの例を示す図である。図7は、HEIFファイルフォーマットに従って、1つ以上の静止画と、スライドショーを構成する派生画像(Derived Image)とを格納した例を示している。
 画像ファイル作成処理は、S201から開始し、まずS202において、CPU102が、RAM103もしくはROM104上で記憶している画像データの中から、HEIFファイルに格納する画像データを取得(選択)する。当該取得処理は、予め画像ファイル作成装置100に対して設定された情報や、ユーザーインターフェース部108を介するユーザーによる操作等に基づいて行われてもよい。画像データは、1つの静止画が格納されたHEIFファイルでもよいし、JPEGなど他の静止画のファイルであってもよい。あるいは、静止画データであればファイルとして記憶していなくてもよい。次にS203において、CPU102は、S202で取得した画像データは復号化が必要か(すなわち、HEIFファイルであるか)を判定する。取得した画像データは復号化が必要でない(取得した画像データがHEIFファイルである)場合(S203でNO)、処理はS207へ進み、そうでなければ(取得した画像データがHEIFファイル以外の場合)(S203でYES)、処理はS204へ進む。
 S204からS206の処理は符号化/復号化部105によって実行される。S204では、符号化/復号化部105は、取得した画像データを復号化する。次にS205において、符号化/復号化部105は、復号化した画像データを解析して画像属性情報を取得する。画像属性情報には、例えば画像の幅と高さ、色コンポーネントの個数およびビット長、等が含まれる。S206では、符号化/復号化部105は、復号化した画像データに対してHEVC符号化を実行する。次にS207では、メタデータ処理部106は、S206で生成された符号化データの復号化において必要なパラメータセットを取得する。当該パラメータセットは、具体的には、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS),ピクチャパラメータセット(PPS)等である。但し、処理がS203からS207へ直接至った場合は、S202で取得した画像データがHEIFファイルである場合であるので、メタデータ処理部106は、HEVCのパラメータセットをHEIFファイルから取り出して取得する。次のS208では、符号化/復号化部105は、符号化データを、RAM103上の出力バッファに転送して保存しておく。当該符号化データは、符号化データ格納領域611に格納される符号化データの1つである。なお、以降の説明において、S208で保存した(HEIFファイルに格納する)画像データ/符号化データを総称して画像データとも称するものとする。
 次のS209は、HEIFファイルに格納する画像データに関するメタデータを作成する処理であり、メタデータ処理部106により実行される。S209で作成されるメタデータは、画像アイテム情報や画像属性情報等である。画像アイテム情報は、図6の領域606(ItemInfoBox(iinf))に格納されるエントリデータである。iinfのエントリデータは、画像データをファイル内で識別するためのアイテムID(識別情報)と、HEVC符号化画像であることを示すアイテムタイプを設定する。一方、画像属性情報は、図6の領域608(ItemPropertiesBox(iprp))に格納されるデータである。S209で作成される画像属性情報は、図6の領域609(ItemPropetyContainerBox(ipco))に格納されるエントリデータと、領域610(ItemPropertyAssociationBox(ipma))に格納されるエントリデータである。ipcoには、S207で取得したHEVCのパラメータセットを示すエントリデータや、選択した画像の幅と高さを示すエントリデータ等の属性情報が格納される。そしてipmaには、アイテムIDとipcoのエントリデータへの関連付けを示すエントリデータが作成される。S209にて作成された画像属性情報のデータは、図6のメタデータ格納領域602(MetaDataBox(meta))に格納するメタデータの一部として、RAM103上の出力バッファに保存される。
 処理がS209の後S210に進むと、CPU201は、作成するHEIFファイルに、まだ他の画像データを格納するかどうかを確認する。もし他に格納する画像データがあれば、処理はS202に戻り、そうでなければ処理はS211に進む。処理がS210からS202に戻った場合は、CPU201は他の画像データを取得(選択)して、前述したようなS203からS209までの処理を実行する。
 S211では、CPU102が、作成中のHEIFファイルにスライドショー(画像の連続的な表示処理)の設定を格納するどうかを判定する。当該判定処理は、予め画像ファイル作成装置100に対して設定された情報や、ユーザーインターフェース部108を介するユーザーによる操作等に基づいて行われてもよい。スライドショーの設定をHEIFファイルに格納する場合は(S211でYES)、S212のスライドショーのメタデータ作成処理が実行される。なお、S212の処理については後述する。
 S213では、メタデータ処理部106は、HEIFファイルに格納される画像の中から代表画像を決定して、主要画像アイテム情報のメタデータを作成する(メタデータに主要画像アイテム情報を設定する)。当該代表画像の決定処理は、予め画像ファイル作成装置100に対して設定された情報や、ユーザーインターフェース部108を介するユーザーによる操作等に基づいて行われてもよい。S213で作成されたメタデータは、図6の領域604(PrimaryItemBox(pitm))に格納される。図16に、HEIF標準におけるPrimaryItemBoxのデータフォーマットを示す。図16に示すように、pitmのデータフォーマットは、単純に代表とする画像のアイテムIDを指定するものである。S213で作成されたメタデータは、RAM103上の出力バッファに保存される。
 最後のS214の処理は、メタデータ処理部106により実行される。S214では、メタデータ処理部106は、図6の領域601(FileTypeBox(ftyp))と、領域603(HandlerBox(hdlr))に格納するデータを作成する。なお、図7に示すように、hdlrに指定するMetaDataBox(meta)のハンドラタイプは‘pict’であり得る。そして、メタデータ処理部106は、作成したftypとhdlrのメタデータと、RAM103に保存しておいたメタデータ格納領域602(MetaBox(meta))に格納されるメタデータと、符号化データ格納領域611(MediaDataBox(mdat))に格納される符号化データと結合する。そして、メタデータ処理部106は、図6に示すような構造のデータをRAM103上に形成し、HEIFファイルとして完成して出力する。その後、処理はS215に進んで本処理フローが終了する(S215)。作成されたHEIFファイルのデータは、CPU102によりRAM103からROM104に書き込んで保存され得る。
 なお、S212のスライドショーのメタデータ作成処理がスキップされた場合は(S211でNO)、図6の領域607(ItemReferenceBox(iref))が生成されず、HEIFファイルのメタデータに含まれないことも有り得る。しかし、例えば格納する画像データの中に撮影画像とそのサムネイル画像のように、何かの関連性がある画像データが含まれる場合、S209の処理において、メタデータ処理部106は、画像データ間の関連付けを示すirefのエントリデータを作成する。そして、最終的に作成されるHEIFファイルのメタデータに、irefが含まれ得る。
 以上に示したフロー従ってHEIFファイルの内部構造に格納した値(データ)の例を、図7を参照して説明する。記述701に示すPrimaryItemBox(pitm)(領域604に対応)には、item_IDとして1が格納されている。記述702に示すItemInfoBox(iinf)(領域606に対応)には、item_IDで識別される各画像アイテムがどのような種類の画像アイテムであるかの情報が示される。item_IDが1である画像アイテムは‘slid’であり、スライドショーを構成する派生画像であることを示す。item_ID2以降は‘hvc1’であり、HEVC符号化画像であることを示す。記述703に示すItemLocationBox(iloc)(領域605に対応)は、各画像データビットストリームのファイル内の格納位置を示している。item_IDが1の画像アイテムはconstruction_methodが1を示しており、記述707に示すItemDataBox(idat)(領域616に対応)内にデータが存在することを示している。またその他の画像は、記述708に示すMediaDataBox(符号化データ格納領域611に対応)内のどの位置にデータが存在するかを特定することが可能となっている。記述704に示すItemReferenceBox(iref)(領域607に対応)は、画像アイテム間の参照関係を示した領域である。ここで、reference_typeは‘dimg‘であり、これはスライドショーを構成する派生画像、すなわちスライドショーで表示する複数の画像を参照するための派生画像であることを示している。また、記述704は、派生画像アイテムであるitem_ID1からitem_ID2以降の画像アイテムが参照されていることを示している。記述705に示すItemPropertiesBox(iprp)(領域608に対応)内のItemPropertyContainerBox(ipco)(領域609に対応)には、画像の属性情報を示すItemPropertyが格納されている。hvcCはHEVC符号化パラメータを示し、ispeは画像のサイズを示す属性情報である。記述706は各画像アイテムと属性情報との関連を示したItemPropertyAssociationBox(ipma)(領域610に対応)を示す。各画像アイテムが順にipco内の属性情報と関連づけが行われる。
 [スライドショーのメタデータ作成処理]
 次に、図2のS212のスライドショーのメタデータ作成処理について、図3、図4、図5および図6を参照しながら説明する。本実施形態では、スライドショーを構成する画像を派生画像(Derived Image)としてHEIFファイルに格納する。図3は、本実施形態におけるメタデータの作成処理のフローチャートを示す。この処理はS301から開始し、はじめにS302とS303において、CPU102が、HEIFファイルに格納する画像データの中からスライドショーで表示する1つ以上の画像データを選択し、且つそれらの表示順番を決定する。次に、CPU102は、選択した画像の表示時間(期間)を決定する。表示時間(期間)はすべての画像で一定であっても、個別に異なる時間であってもよい。また、ファイル生成時には値を指定せず、再生時に任意の値を決定してもよい。S302とS303選択および決定処理は、予め画像ファイル作成装置100に対して設定された情報や、ユーザーインターフェース部108を介するユーザーによる操作等に基づいて行われてもよい。
 続くS304からS307までの処理は、メタデータ処理部106で実行される。S304では、メタデータ処理部106は、スライドショーを構成する派生画像のアイテムIDを設定するために画像アイテム情報を作成する。すなわち、前述した図2のS209と同様に、メタデータ処理部106は、図6の領域606(ItemInfoBox(iinf))に格納するエントリデータを作成する。ここでは、メタデータ処理部106は、エントリデータのアイテムIDに、HEIFファイルに格納している画像データのアイテムIDとは重複しないIDを指定し、アイテムタイプにスライドショーを構成する派生画像であることを示す‘slid’を指定する(図7の記述702を参照)。
 次にS305では、メタデータ処理部106は、スライドショーで表示する画像を指定するために画像参照情報を作成する。画像参照情報は、図6の領域607(ItemReferenceBox(iref))に格納するエントリデータとして作成される。このエントリデータには、派生画像であることを示す‘dimg’のタイプが付与され、派生画像のアイテムIDが参照する画像データのアイテムIDをリスト形式で指定する。ここで、参照先の画像データのアイテムIDは、S302で決定した表示する順番でリスト形式に指定される。
 続いてS306では、メタデータ処理部106は、スライドショーを構成する派生画像の記述情報を設定する。この記述情報は、図6の領域616(ItemDataBox(idat))に格納されるデータである。スライドショーの派生画像の記述情報のデータフォーマットの一例を図4に示す。この記述情報(ImageSlideshow)は、スライドショーで表示する画像の表示時間(期間)を指定する。図4の例では、各画像の表示時間(期間)を一定とする場合、つまりflags&1が1である場合は、記述401に示すように1つだけのdurationパラメータが指定される。あるいは、flags&1が0の場合は、記述402に示すように、各々の画像データに個別に表示時間(期間)を指定するdurationパラメータのリストに、durationパラメータが表示する順番で指定される。durationパラメータは、対応する画像アイテムを表示する時間を示す数値である。表示時間(期間)として設定する時間の単位については秒やミリ秒の単位を想定するが、限定するものではなく、時間を指定できる単位であればよい。また、再生装置(すなわち表示部107)が表示時間(期間)を決定するために用いる相対的な時間パラメータであってもよい。また、図4に示すデータフォーマットに例えば、time_unit等の単位を指定するためのパラメータを含む構成としてもよい。この単位を指定するパラメータはバージョンやflagsの値によって有効となる構成としてもよい。このパラメータ指定によって、durationパラメータの時間単位を指定可能となる。例えばdurationに10が指定してあった場合、time_unitに秒を示す値が指定してあった場合10秒、ミリ秒を示す値であった場合10ミリ秒といったように利用可能である。その他、マイクロ秒や分、その他時間単位を一意に識別可能な方法であればよい。なお、ファイル作成時に表示時間(期間)を指定しない場合は0等の値を指定することでファイル再生時に任意の時間(期間)を指定することを示す情報を格納するようにしもよい。
 S307では、メタデータ処理部106は、スライドショーを構成する派生画像の画像属性情報を設定する。この画像属性情報には、例えばスライドショーを表示するスクリーンの幅・高さを示す情報が挙げられる。スライドショーに指定した各画像のサイズと、派生画像のサイズが異なる場合、スライドショー表示する画像を拡大または縮小して表示してもよいし、スクリーンのサイズに収まる部分の画像のみを表示するようにしてもよい。また、スクリーンのサイズの方が大きい場合、余白の部分の表示を指定する属性情報を記述してもよい。ただし、派生画像の画像属性情報は必ずしも必要ではないため設定しなくてもよい。
 また、スライドショーを構成する派生画像の記述情報のフォーマットは、図5に示す形態であってもよい。図5は、スライドショーの派生画像の記述情報のデータフォーマットの別の例である。図5に示す記述情報(ImageSlideshowWithinCnvas)は、スライドショーを表示する際のキャンバス(表示部107に表示する際の画像領域(入力画像が配置される再構成画像の画像領域))を指定可能なデータフォーマットを有する。記述501に示すcanvas_fill_valueは、入力画像のピクセルが特定のピクセル位置にない場合に使用されるチャンネル当たりのピクセル値を示す。当該ピクセル値は、RGBAとして指定される(R、G、B、およびAは、それぞれ0、1、2、および3に等しいループカウンタjに対応する)。 RGB値は、IEC61996-2-1で定義されているsRGBカラースペースである。A値は、0(完全に透明)から65535(完全に不透明)の範囲の線形不透明度である。記述502に示すoutput_widthおよびoutput_heightは、入力画像が配置される再構成画像の幅と高さをそれぞれ指定する。flags&1が0の場合、output_width、output_heightは16ビットで表される値となる。一方でflags&1が1の場合、output_width、output_heightは32ビットで表される値となる。記述503に示すreference_countは、このアイテムがfrom_item_IDフィールドで識別されるタイプ‘dimg’のItemTypeReferenceBox(図7の記述704)から取得される。また、記述503に示すhorizontal_offsetおよびvertical_offsetは、キャンバスの左上隅からの入力イメージが配置されるオフセットを指定する。負のオフセット値を有する画素位置は再構成画像に含まれない。output_width以上の水平方向のピクセル位置は、再構成された画像には含まれない。output_height以上の垂直方向のピクセル位置は、再構成された画像には含まれない。また、flags&2が1の場合、図4の記述401と同様に、共通のdurationパラメータが指定される。また、記述504に示すように、flags&2が0の場合は、各々の画像データに個別に表示時間(期間)を指定するdurationパラメータのリストに、durationパラメータが表示する順番で指定される。durationパラメータは対応する画像アイテムを表示する時間を示す数値である。表示時間(期間)として設定する時間の単位については秒やミリ秒の単位を想定するが、限定するものではなく、時間を指定できる単位であればよい。また、再生装置が表示時間(期間)を決定するために用いる相対的な時間パラメータであってもよい。また、図4同様に、データフォーマットに、time_unit等の単位を指定するためのパラメータを含む構成としてもよい。この単位を指定するパラメータは、バージョンやflagsの値によって有効となる構成としてもよい。このパラメータ指定によって、durationパラメータの時間単位を指定可能となる。指定可能な値は、分や秒、ミリ秒、マイクロ秒、その他時間単位を一意に識別可能な方法であればよい。なお、ファイル作成時に表示時間(期間)を指定しない場合は0等の値を指定することでファイル再生時に任意の時間(期間)を指定することを示す情報を格納するようにしもよい。
 S307で画像属性情報を設定する場合は、前述のS209と同様に、メタデータ処理部106は、図6の領域609(ItemPropetyContainerBox(ipco))に格納するエントリデータを作成する。また、メタデータ処理部106は、図6の領域610(ItemPropertyAssociationBox(ipma))に格納するエントリデータを作成する。そして、処理はS308に進み、この処理フローは終了する。
 なお、S304からS307の処理において作成されたメタデータは、図6の領域602(MetaDataBox(meta))に格納するメタデータの一部として、RAM103上の出力バッファに各々が格納されるべき位置に書き込まれる。また、前述のS213の処理において代表画像とするアイテムIDに、S213で設定した派生画像のアイテムIDを指定するようにしてもよい。
 [スライドショーの再生処理]
 次に、イメージファイルフォーマットに格納したスライドショーの再生処理について図20を用いて説明する。図20は、画像ファイルのスライドショー再生処理のフローチャートである。具体的には、図20は、HEIFファイルフォーマットに従って1つ以上の静止画をスライドショーとして格納したファイルを再生する処理の流れを示している。図20のフローチャートの各ステップは、CPU102によるソフトウェア、符号化/復号化部105、メタデータ処理部106の何れかによって実行される処理を示す。なお、以下の説明において、CPU102という記述はCPU102で実行するソフトウェア処理であるものとする。
 画像ファイル再生でのスライドショー再生処理は、S2001から開始する。そして、まずS2002において、CPU102が、RAM103もしくはROM104上で記憶しているHEIFファイルの中から、メタデータ格納領域602(MetaBox(meta))に格納してあるメタデータを取得する。次にS2003において、CPU102は、S2002で取得したメタデータを解析し、S2004において、CPU102は、解析の結果、メタデータ中にスライドショーに関するメタデータが格納されているかを判定する。メタデータ中にスライドショーに関するメタデータが格納されている場合は(S2004でYES)、処理はS2005へ進み、そうでなければ(S2004でNO)、処理はS2010へ進む。S2010へ進む場合、画像ファイル作成装置100は、スライドショー以外のHEIFファイルの再生処理を実行する。
 S2005において、メタデータ処理部106は、スライドショー表示に関連する画像アイテムのメタデータを取得する。具体的には、メタデータ処理部106は、スライドショーを構成する派生画像から参照される各画像アイテムのアイテム情報やその画像の属性情報、画像のファイル内の位置情報を取得する。S2006において、符号化/復号化部105は、スライドショー表示する順に画像データを取得する。画像データはメタデータに格納された画像ファイル内の位置情報から符号化データ格納領域611(MediaDataBox(mdat))内の位置を特定して取得する。S2007において符号化/復号化部105は、表示する画像データを復号化し、S2008において復号化した画像データをいったんバッファに保存する。続いてS2009では、CPU102は、メタデータに記載されている表示時間(期間)、属性情報に従い画像を表示部107に表示する。なお、0等のファイル再生時に任意の時間(期間)を指定することを示す情報が格納されていた場合、再生装置の処理によって表示時間(期間)を決定する。
 S2005からS2009までの処理を繰り返し実行してHEIFファイルに格納された画像を表示部107に順次表示する。なお、本実施形態では図示していないが、CPU102は、スライドショーとして格納された画像すべてを表示し終わった場合、先頭の画像から繰り返し表示するように、または、スライドショー表示を終了するように表示部107を制御してもよい。
 以上、本実施形態によれば、HEIFファイルに格納された複数の画像を、派生画像として構成して格納することで、派生画像によるスライドショー構成画像の格納が可能となる。これにより複数の静止画の集合を格納するHEIFファイルを、スライドショー表示を意図するファイルとして保存する処理が容易となる。また、キャンバスの情報を派生画像の記述情報に定義することにより、異なるサイズの画像を扱う場合でも、それぞれの画像を表示する毎に表示サイズが異なることを防ぐことが可能となる。また、画像を表示する際のキャンバス位置情報を派生画像の記述情報にパラメータとして保持することで、表示位置を指定することが可能となる。また派生画像アイテムを主要画像アイテムとして適応することで、優先的に表示するための画像をスライドショーで切り替えることが可能となる。なお、本実施形態では、派生画像を用いてスライドショーを実現するためのメタデータをHEIFファイル内に格納する構成を示したが、派生画像を用いてスライドショーを構成する方法であれば、異なる構成であってもよい。
 <実施形態2>
 実施形態2における画像ファイル作成装置は、実施形態1において図1で説明した構成と同一の構成を有する。また、図2で示される画像ファイル作成処理と、図20で示される画像ファイルのスライドショー再生処理のフローも、本実施形態に同様に適用できる。但し、図2のスライドショーのメタデータ作成処理(S212)が実施形態1と異なる。したがって本実施形態では、主にS212の処理について、図8、図9、図10、図11、図12、図13、図14、図15、図21、図22、図23、図24、図25、図26、図27、図28、図29、図30および図31を参照しながら説明する。
 図8は、本実施形態におけるスライドショーのメタデータ作成処理の流れを表すフローチャートである。また、図14は、本実施形態において画像ファイル作成装置100が作成するHEIFファイルの一例であるHEIFファイル1400の構造を示している。HEIFファイル1400は、メタデータ格納領域1402(MetaBox(meta))と符号化データ格納領域1411(MediaDataBox(mdat))を有する。
 図8において、スライドショーのメタデータ作成処理は、S801から開始し、はじめにS802とS803において、図3のS302、S303と同様に、CPU102が、スライドショーで表示する画像を選択し、表示順番を決定し、選択した画像の表示時間(期間)を決定する。表示時間(期間)として設定する時間の単位については秒やミリ秒の単位を想定するが、限定するものではなく、時間を指定できる単位であればよい。また、再生装置が表示時間(期間)を決定するために用いる相対的な時間パラメータであってもよい。なお、ファイル作成時に表示時間(期間)を指定せず、ファイル再生時に任意の時間(期間)を指定するようにしてもよい。
 次にS804において、メタデータ処理部106は、スライドショーの表示画像のグループを設定する。具体的には、メタデータ処理部106は、スライドショーで表示する画像をグループ化するための情報(グループ情報)を作成する。このグループ情報は、図14の領域1416(GroupsListBox(grpl))に格納するメタデータである。HEIFでは、grplに画像データなどのアイテムのグループ情報が格納される。グループ情報には、グループ識別情報としてのグループIDと、グループタイプが付与され、HEIFファイル内において識別される。本実施形態では、S804において、メタデータ処理部106は、グループ情報としてスライドショーグループ情報(SlideshowEntityToGroupBox)を作成する。図9に、SlideshowEntityToGroupBoxのデータフォーマットを示す。メタデータ処理部106は、図9に示すデータフォーマットのデータを作成し、grplに格納する(図14の領域1417を参照)。本SlideshowEntityToGroupBoxは複数の画像イメージセットを大きなキャンバス内にスライドショー表示することを目的としたentityのグループを識別するためのBoxである。このSlideshowEntityToGroupBoxのグループタイプは‘slid’であり、スライドショーに使用するアイテムのグループであることを意味する。図9のデータフォーマットは、EntityToGroupBoxからの拡張であるため、グループIDを格納するgroup_id、グループに含むアイテムの個数を示すnum_entries_in_groupは別途指定される。また、アイテムIDは、スライドショーで表示する選択画像のアイテムIDを表示順番通りに指定する。
 なお、SlideshowEntityToGroupBoxはEntityToGroupBoxの拡張であるため、トラックについてもグループとして格納可能であるが、本実施形態では画像アイテムのみを対象とし、トラックの格納および画像以外のアイテムの格納は禁止する。ただし、別の形態ではトラックを含める構成としてもよく、例えばトラックIDが含まれる場合トラックIDは1つに限定しトラックで各サンプルの表示時間(期間)に関するパラメータを指定してもよい。また、サンプルグループにより後述する切り替え(遷移)効果をそれぞれのサンプルに指定可能とする。その他の形態では同様にトラックIDは1つに限定し、トラックで各サンプルの表示期間を指定する。そして後述するキャンバスや切り替え(遷移)効果はMPEG-B Part16 Derived visual tracks in the ISO base Media file formatとして規格化が進行中の派生トラックを用いて指定可能とする方法がある。
 また、その他の方法として、SlideshowEntityToGroupBoxに格納するエンティティに制限を設けない方法も考えられる。または、画像アイテムIDまたはトラックIDのいずれかを格納可能とする方法も考えられる。その場合例えば表示時間(期間)については共通の表示時間(期間)を指定する方法や、トラックについてはトラックから指定しアイテムについては画像属性情報から指定するという方法が考えられる。
 図9において、記述901と記述902は、実施形態1において説明した図5の記述501と記述502とそれぞれ同様のため、説明を省略する。記述903の部分はオプショナルであり、スライドショーのデフォルトの表示時間(期間)を設定する場合に指定する。デフォルトの表示時間(期間)を指定する場合、その表示時間(期間)をdefault_entity_durationに指定する。default_entity-duration-presentは0x000002の値である。flags&default_entity-duration-presentが1の場合は、デフォルトの表示時間(期間)であるdefault_entity_durationパラメータを指定する。flags&default_entity-duration-presentが0の場合は、各々の画像データに個別に表示時間(期間)を指定するため、画像属性を用いて表示時間(期間)が指定される。default_entity_durationパラメータは対応する画像アイテムを表示する時間(期間)を示す数値である。表示時間(期間)として設定する時間の単位については秒やミリ秒の単位を想定するが、限定するものではなく、時間を指定できる単位であればよい。また、再生装置が表示時間(期間)を決定するために用いる相対的な時間パラメータであってもよい。また、データフォーマットに、time_unit等の単位を指定するためのパラメータを含む構成としてもよい。この単位を指定するパラメータは、バージョンやflagsの値によって有効となる構成としてもよい。このパラメータ指定によって、default_entity_durationパラメータの時間単位を指定可能となる。指定可能な値は、分や秒、ミリ秒、マイクロ秒、その他時間単位を一意に識別可能な方法であればよい。なお、ファイル作成時に表示時間(期間)を指定しない場合は0等の値を指定することでファイル再生時に任意の時間(期間)を指定することを示す情報を指定してもよい。
 なお、flags&default_entity-duration-presentが1でdefault_entity_durationパラメータが指定されていた場合でも、画像属性情報に表示時間(期間)を指定した場合は画像属性情報の表示時間(期間)を優先する。本実施形態ではflagsによってデフォルトの表示時間(期間)をオプショナルで指定するか否かを決定する方法としたが、オプショナルの設定ではなくdefault_entity_durationを設定するようにしてもよい。この場合例えば、SlideshowEntityToGroupBox内で指定したdefault_entity_durationはデフォルト値として利用し、画像アイテム個別に属性情報が指定されていない場合に利用する表示時間(期間)として扱ってもよい。また、別途フラグを設けてすべてに共通で使う値であることを示すフラグを用いて属性情報に指定されていた場合でも共通の表示時間(期間)を利用するようにしてもよい。
 また、SlideshowEntityToGroupBoxのデータフォーマットとして、図21に示す構成であってもよい。この場合、メタデータ処理部106は、図9に示すデータフォーマットのデータを作成し、grplに格納する(図14の領域1417を参照)。本SlideshowEntityToGroupBoxは、複数の画像イメージセットをスライドショー表示することを目的としたentityのグループを識別するためのBoxである。このSlideshowEntityToGroupBoxのグループタイプは‘slid’であり、スライドショーに使用するアイテムのグループであることを意味する。図21のデータフォーマットは、EntityToGroupBoxからの拡張であるため、グループIDを格納するgroup_id、グループに含むアイテムの個数を示すnum_entries_in_groupは別途指定される。また、アイテムIDは、スライドショーで表示する選択画像のアイテムIDを表示順番通りに指定する。図21に示す構成の場合、SlideshowEntityToGroupBoxはスライドショー表示をする画像のグループの識別とその表示順を識別するために利用する。図21に示す構成の場合、SlideshowEntityToGroupとしての特別なパラメータは存在しない。この場合、各パラメータは後述するItemPropertiesBox(iprp)内のItemPropetyContainerBox(ipco)に格納するエントリデータ(グループID)と、ItemPropertyAssociationBox(ipma)を用いて指定する。なお、図9に示す構成であったとしても、グループに指定するプロパティを関連づけてもよい。SlideshowEntityToGroupBoxに格納するエンティティは、符号化画像アイテムや派生画像アイテム等の表示可能なアイテムIDを格納することを想定する。派生画像としては例えば、定義済みのアイデンティティ(iden)やグリッド(grid)イメージやオーバーレイ(iovl)イメージを指定することでキャンバス上に高度なスライドショーとして表示可能である。また、別のグループのIDを格納可能としてもよい。例えば、一連の撮影グループとしてグループ化された画像群を同一のタイミングで表示する等が考えられる。例えば、HDR(High Dynamic Range)合成を行うために撮影された画像群やパノラマ写真として表示するために撮影された画像群をグループとして格納し、そのグループのIDをSlideshowEntityToGroupのエンティティとして指定することが考えられる。これにより、より高度なスライドショー表示が可能となる。
 また一方で、特定のitem_typeの画像に制限して格納する構成としてもよい。例えば、図21に示したEntityToGroupBoxの構成の場合、キャンバスの情報を持たない。そのため、派生画像として定義されているOverlayイメージを利用することが考えられる。キャンバスが必要な場合は、格納可能なエンティティのitem_typeはOverlayを示すiovlを指定する。そしてEntityToGroupBoxに格納するすべてのアイテムはOverlayの派生画像とすることなどが考えられる。その場合、SlideshowEntityToGroupに格納するすべてのOverlay派生画像のoutput_widthとoutput_heightを同じにすることが望ましい。また、符号化イメージを指定する場合は符号化イメージのみを指定するということも考えられる。この場合、各画像に関連付けるispeイメージプロパティは共通であることが望ましい。一方でこのような制限を設けずにEntityToGroupBoxのグループIDにスライドショー表示する全体サイズを指定するプロパティを関連づけてもよい。これはispeプロパティの拡張した構成のプロパティが想定される。つまり、ispeプロパティをEntityグループに適応可能とする。または、SlideshowEntityToGroupBoxの最初entityに指定された画像のサイズをスライドショー表示する全体サイズとしてもよい。その他、SlideshowEntityToGroupBoxに格納するEntityの画像サイズは共通でなければならないという制限を設けてもよい。これらの制限や表示サイズと異なるサイズの画像が指定された場合は、拡大/縮小や表示サイズに収まるように画像をクロップすることや、画像が小さい場合はその他の領域をデフォルトのキャンバス情報を別途指定するか特定のキャンバスをあらかじめ規定して表示するようにしてもよい。しかしながら、表示する画像毎にスライドショー表示する全体サイズを切り替えるように構成してもよいものとする。
 図25に示したImageScalingPropertyは、記述2501のratioパラメータを持つデータフォーマットであり、画像の表示サイズをスケール(拡大/縮小)するためのトランスフォーマティブアイテムプロパティである。本プロパティでは、縦横比を維持して画像サイズを拡大/縮小を行うことを可能とする。記述2501のratioは、8ビットの整数で2の倍数としての比率16、8、4、2、または1/2、1/4、1/8、1/16を表現する。上位4ビットは拡大のための操作を意味し、最上位ビットが1の場合16倍、上位から2番目のビットが1の場合は8倍、上位から3番目のビットが1の場合4倍、上位から4番目のビットが1の場合は2倍であることを示す。また、下位4ビットは縮小のための操作を意味し、最下位ビットが1の場合は1/16倍、最下位から2番目のビットが1の場合は1/8倍、最下位ビットから3番目のビットが1の場合は1/4倍、最下位ビットから4番目のビットが1の場合は1/2倍であることを示す。なお、本実施形態ではImageScalingPropertyのデータフォーマットとして以上のような構成としたが、より細かな指定を可能とするように構成してもよい。また、本プロパティはclapプロパティの変化形で表現してもよい。つまり、分子、分母を個別に指定可能とするように構成することも可能である。また、比率による指定ではなく、ターゲットとなるサイズを指定して拡大/縮小するように構成してもよい。この場合、例えば幅と高さのいずれかを指定して縦横比率を維持して拡大縮小を行うことが可能である。一方で、幅と高さの両方それぞれを指定して縦横比は維持せずに拡大縮小を行うように構成してもよい。縦横比を維持しない場合は、縦、横それぞれの倍率指定を行う方法であってもよい。また、これらの指定方法を組み合わせて定義し、任意に指定可能とするようにflags等を用いて指定方法を切り替えられる構成としてもよい。
 図26に示したImageScalingPropertyは、記述2601のtarget_widthパラメータおよび記述2602のtarget_heightパラメータを持つデータフォーマットであり、画像の表示ターゲットとなるサイズを指定して拡大/縮小するためのトランスフォーマティブアイテムプロパティである。本プロパティでは、幅、高さのピクセル単位のサイズを直接指定して拡大/縮小を行うことを可能とする。記述2601のtarget_widthはサイズ変更後のイメージの幅をピクセル単位で指定する。記述2602のtarget_heightはサイズ変更後のイメージの高さをピクセル単位で指定する。なお、いずれか一方の値をのみを指定し、もう一方の値を0等の値を指定することでサイズ変更後のサイズの一方を指定しないことで縦横比率を維持して拡大縮小を行うようにしてもよい。またバージョンやフラグを用いてその値に応じていずれか一方のみ、または両方が有効となるようなデータフォーマットとしてもよい。
 また、本ImageScalingPropertyを規定済みのImageSpatialExtentsPropertyを拡張して定義してもよい。例えば規定済みのデータ構造は変更せずにImageSpatialExtentsProeprtyの意味を変更する方法が考えられる。その場合Descriptive item propertyであるImageSpatialExtentsProeprtyをtransformative propertyとしても指定可能とする拡張を行う。transformative propertyとして扱う場合は、派生画像として定義されているアイデンティティ(iden)派生画像アイテムとして定義した画像アイテムにプロパティとして関連づけることでDescriptive propertyを意図して画像アイテムに関連づけたか、transformative propertyを意図して画像アイテムに関連づけたかを識別可能となる。より詳細にはiden派生画像アイテムに関連づけられたImageSpatialExtentsProeprtyが派生元となる画像アイテムに関連づけられたImageSpatialExtentsProeprtyと異なる場合、画像サイズの拡大/縮小操作を適用する必要があると解釈する。この場合、image_widthはサイズ変更後のイメージの幅をピクセル単位で指定する。同様にimage_heightはサイズ変更後のイメージの高さをピクセル単位で指定する。なお派生画像アイテムを定義せずに直接画像サイズを変更することはできないという制約がある。
 一方で、図27に示したImageSpatialExtentsProeprtyはデータ構造の変更を伴う拡張である。記述2701のimage_widthパラメータ、記述2702のimage_heightパラメータ、記述2703のtarget_widthパラメータおよび記述2704のtarget_heightパラメータを持つデータフォーマットである。本データフォーマットは符号化画像データの再構成サイズおよび表示ターゲットとなるサイズを指定して画像サイズ情報の記述および拡大/縮小するためのディスクリプティブアイテムプロパティかつトランスフォーマティブアイテムプロパティである。ImageSpatialExtentsProeprtyは、関連付けられた画像アイテムの幅と高さを記述する。全ての画像アイテムはこのタイプの一つのアイテムプロパティに関連付けられる。記述2701のimage_widthおよび記述2702のimage_heightは、変換を行う前の関連する画像アイテムの再構成イメージの元のサイズをピクセル単位で示す。flags&1が1に等しい場合、再構成画像は、image_widthおよびimage_heightに指定されたピクセルサイズからtarget_widthおよびtarget_heightに指定されたピクセルサイズにそれぞれリサイズされる。image_widthはサイズ変更前の再構成イメージの幅をピクセル単位で指定する。image_heightはサイズ変更前の再構成イメージの高さをピクセル単位で指定する。target_widthはサイズ変更後の再構成イメージの幅をピクセル単位で指定する。target_heightはサイズ変更後の再構成イメージの高さをピクセル単位で指定する。図27の拡張によりImageSpatialExtentsProeprtyをiden派生画像アイテムとして定義していなくとも直接画像アイテムに拡大/縮小するためのアイテムプロパティを関連づけることが可能となる。一方で、iden派生画像アイテムとして定義して関連づけを行ってもよい。
 メタデータ処理部106は、S804で作成したグループ情報のメタデータをRAM103上の出力バッファに保存しておく。
 続くS805~S806の処理もメタデータ処理部106で実行される。S805では、メタデータ処理部106は、スライドショーの各画像の表示時間(期間)がいくつかが共通で一定でデフォルト値として指定可能であるかどうかを判定する。デフォルト値として指定可能であるならば(S805でYES)、処理はS806に進み、そうでなければ(S805でNO)、処理はS807に進む。S806では、メタデータ処理部106は、S804で設定したグループにデフォルトの表示時間(期間)のパラメータを設定する。具体的には、メタデータ処理部106は、作成したグループ情報(SlideshowEntityToGroupBox)のデータのdefault_entity_durationパラメータ(図9の記述903を参照)にデフォルトの表示時間(期間)を設定する。または、図21のEntityToGroupBoxの構成の場合、後述するSlideShowTimingPropertyのslide_show_timingパラメータに値を設定し、画像グループ属性として画像グループに関連付けを行う。S807では、メタデータ処理部106は、スライドショーの各画像の表示時間(期間)を個別に設定するため、画像の表示時間(期間)を指定する画像属性情報を設定する。なお、デフォルトの表示時間(期間)を設定した場合、デフォルトの表示時間(期間)となる画像については各画像属性情報として表示時間(期間)を指定する必要はない。画像属性情報は、実施形態1でも前述したように、図14の領域1408(ItemPropertiesBox(iprp))に格納されるメタデータである。S807で作成する画像属性情報は、図14の領域1409(ItemPropetyContainerBox(ipco))に格納するエントリデータと、領域1410(ItemPropertyAssociationBox(ipma))に格納するエントリデータである。メタデータ処理部106は、ipcoに格納するエントリデータとして表示時間(期間)を示すデータを作成する。なお、ファイル作成時に表示時間(期間)を指定しない場合は表示時間を指定するプロパティを格納しないようにしてもよいし、指定しない画像にのみ関連づけないようにしてもよい。また、0等の値を指定することでファイル再生時に任意の時間(期間)を指定することを示す情報を格納してプロパティを関連づけるようにしもよい。
 なお、スライドショー表示する時間(期間)の指定は画像アイテム毎の指定を禁止し、グループとして1つのみ指定可能な構成であってもよい。その場合、S805の処理とS807の処理は不要となり、S806の処理のみを行う。またその場合、領域1410(ItemPropertyAssociationBox(ipma))に格納するエントリデータはSlideshowEntityToGroupグループのグループ識別情報であるグループIDを直接指定してもよい。その場合、グループを示すIDはその他のアイテムIDやトラックIDと一意に識別可能な統一のID空間である必要がある。一方で、アイテム毎に同じ表示時間(期間)を指定する場合は、グループに格納されるアイテムすべてに同じプロパティを適応するように構成してもよい。
 図10に、スライドショーでの画像表示時間(期間)を指定する属性情報であるImageDurationPropertyのデータフォーマットを示す。図10に示すImageDurationPropertyは、記述1001のimage_durationパラメータを持つデータフォーマットであり、このパラメータに表示時間(期間)を設定する。表示時間(期間)として設定する時間の単位については秒やミリ秒の単位を想定するが、限定するものではなく、時間を指定できる単位であればよい。また、再生装置が表示時間(期間)を決定するために用いる相対的な時間パラメータであってもよい。相対的なパラメータとして例えば、デフォルトの表示時間(期間)として指定された値のパーセントや倍数で指定する等が考えられる。また、データフォーマットに、time_unit等の単位を指定するためのパラメータを含む構成としてもよい。この単位を指定するパラメータは、バージョンやflagsの値によって有効となる構成としてもよい。このパラメータ指定によって、image_durationパラメータの時間単位を指定可能となる。指定可能な値は、分や秒、ミリ秒、マイクロ秒、その他時間単位を一意に識別可能な方法であればよい。表示画像毎に表示時間(期間)が異なる場合には、このパラメータ値が異なるImageDurationPropertyデータを表示画像の個数分だけipcoに格納する。そして、各表示画像の表示時間(期間)を指定するために、作成したImagePropertyのエントリデータに表示画像のアイテムIDを関連付けるipmaのエントリデータを作成して格納する。また各画像を表示する際に、キャンバス内のどの位置に表示を行うかの表示位置に関するデータを作成する。本ImageDurationPropertyを関連付けた表示画像はSlideshowEntityToGroupBoxのdefault_entity_durationより優先して表示時間(期間)を指定する。また、図21に示したSlideshowEntityToGroupBoxの場合は、グループに関連づけたデフォルトの表示時間より優先して表示時間(期間)を指定する。なお、ファイル作成時に表示時間(期間)を指定しない場合は表示時間を指定するプロパティを格納しないようにしてもよいし、指定しない画像にのみ関連づけを行わないようにしてもよい。また0等の値を指定することでファイル再生時に任意の時間(期間)を指定することを示す情報を格納したプロパティを関連づけてもよい。
 図23に、スライドショーでのデフォルトの画像表示時間(期間)を指定するSlideShowTimingPropertyのデータフォーマットを示す。図23に示すSlideShowTimingPropertyは、記述2301のslide_show_timingパラメータを持つデータフォーマットであり、このパラメータにデフォルトの表示時間(期間)を設定する。表示時間(期間)として設定する時間の単位については秒やミリ秒の単位を想定するが、限定するものではなく、時間を指定できる単位であればよい。また、再生装置が表示時間(期間)を決定するために用いる相対的な時間パラメータであってもよい。また、データフォーマットに、time_unit等の単位を指定するためのパラメータを含む構成としてもよい。この単位を指定するパラメータは、バージョンやflagsの値によって有効となる構成としてもよい。このパラメータ指定によって、default_entity_durationパラメータの時間単位を指定可能となる。指定可能な値は、分や秒、ミリ秒、マイクロ秒、その他時間単位を一意に識別可能な方法であればよい。本プロパティは、図21に示したSlideshowEntityToGroupBoxにデフォルトの画像表示時間(期間)を指定する場合に好適である。本アイテムプロパティは、EntityToGroupBox内の連続する2つの画像アイテム間の継続時間を指定するために使用される。このアイテムプロパティは、entity groupのみに関連づけられるプロパティである。また、このプロパティは、SlideshowEntityToGroupBoxに関連づけられることを想定するが、それを制限しなくてもよい。つまり、他のタイプのEntityToGroupBoxに利用されてもよい。なお、本実施形態ではslide_show_timingに指定した表示時間(期間)を指定するようにしたが、言い換えればSlideshowEntityToGroupBoxに格納されたアイテムIDの並び順のインデックスに本パラメータの値を乗算したタイミングにそのアイテムIDの画像を、スライドショーを開始した時点からの経過時間に表示するタイミングを示すものと解釈してもよい。なお、ファイル作成時に表示時間(期間)を指定しない場合は表示時間を指定するプロパティを格納しないようにしてもよいし、指定しない画像またはグループにのみ関連づけを行わないようにしてもよい。また0等の値を指定することでファイル再生時に任意の時間(期間)を指定することを示す情報を格納したプロパティを関連づけてもよい。
 なお、本実施形態ではアイテム毎に個別に表示時間(期間)を指定するImageDurationPropertyとグループでデフォルトの表示時間(期間)を指定するSlideShowTimingPropertyを別のBox構造としたが、これらは共通のBoxであってもよい。その場合、アイテムに関連づけられた場合は個別の表示時間(期間)を示し、グループに関連づけられた場合はグループ全体のデフォルトの表示時間(期間)を示す。その場合はアイテム個別に指定した表示時間(期間)を優先的に利用する。一方で、前述したようにアイテム個別の指定を禁止して、グループのみに適応するという構成であってもよい。これにより、スライドショー表示するための処理を簡素化することが可能となる。またトラックとして格納する場合との差異を明確にすることが可能となる。
 図11に、画像の配置情報を指定する属性情報ImageLocationPropertyのデータフォーマットを示す。図11に示すImageLocationPropertyは、imloで識別されるBoxでversionが1の場合キャンバスに対する相対的な位置を示すalignment_positionパラメータ1101を持つ。このalignment_positionは、キャンバスに対する位置を指定した値によって決定する。alignment_positioが0である場合、表示する画像はキャンバスの左上をキャンバスにそろえるように表示する。つまりキャンバスのtop、leftと表示画像のtop,leftをそろえて表示する。この際、表示する画像の方が小さい場合はSlideshowEntityToGroupBoxで指定したcanvas_fill_valueによって決定される色が表示される。表示する画像の方が大きい場合は、キャンバスに収まる範囲の画像部分のみが表示される。本実施形態ではこのように表示するようにしたが、画像を拡大、縮小するなどの表示方法であってもよい。同様にしてalignment_positionが1の場合はtop、centerそろえるように表示する。alignment_positionが2の場合は、top、rightをそろえるように表示する。positionが3の場合はmiddle、leftを、alignment_positionが4の場合はmiddle、centerを、alignment_positionが5の場合はmiddle、rightをそろえて表示する。またalignment_positionが6の場合はbottom、left、alignment_positionが7の場合はbottom、centerを、alignment_positionが8の場合bottom、rightをそろえて表示する。なお、alignment_positionが9以降の値は、予約値である。なお、本実施形態では数値で表現したが、これらのalignment_positionの値はBitアサインして表現してもよい。例えばすべてのBitが0の場合は表示する画像はキャンバスの左上をキャンバスにそろえるように表示する。1Bit目のみが1の場合はtop、centerそろえるように表示、2Bit目のみが1の場合はtop、rightをそろえるように表示する。といったように定義してもよい。この場合複数のBitが1になることは禁止されるものとする。
 versionが1ではない場合は、キャンバスのtop、leftを基準としたオフセット値horizontal_offsetおよびvertical_offsetで位置を指定する(記述1102)。なお、それらのオフセット値にそれぞれ0を指定した場合は、version1のtop,leftを指定することと等価の設定となる。負のオフセット値を有する画素位置は含まれない。なお、SlideshowEntityToGroupBoxで指定したoutput_width以上の水平方向のピクセル位置は、指定するべきではない。同様に、SlideshowEntityToGroupBoxで指定したoutput_height以上の垂直方向のピクセル位置は、指定するべきではない。本実施形態ではImageLocationPropertyをスライドショー表示の際キャンバスに対する表示位置を指定するために用いたが、別の用途でも利用可能である。例えば、モニター(任意の画面)へ全画面表示する際に通常はモニターの中央に画像が表示されるような位置に指定の画像サイズで表示を行うが、本画像属性情報が指定されている場合は表示するモニター画面の位置を指定する際に使用するようにしてもよい。また本実施形態では表示する位置を指定する画像属性情報を付加する構成としたが、前述のように画像を拡大、縮小して表示するための指定をする画像属性情報を指定してもよい。
 本ImageLocationPropertyは、キャンバス上の画像位置を決定するためにアイテムプロパティを用いて構成した。一方で、図22に示すImageOverlay派生画像を用いて構成してもよい。現在、ISO/IEC23008―12(Part12)において定義されているImageOverlay派生画像の構成では、ピクセル位置を示すことによって画像の位置合わせを行うことが可能となっているが、図11のImageLocationPropertyに示したようなキャンバスに対する相対的な位置を示す定義済みの値によって位置合わせを行うことはできない。そのため、図22に示すような構成に置き換えることで前述の相対的な位置合わせが可能となる。item_type値が「iovl 」のアイテムは、大きなキャンバス内で、指定されたレイヤ順に1つ以上の入力イメージをオーバーレイすることにより、派生画像アイテムを定義する。入力画像は、ItemReferenceBox内のタイプがdimgの派生イメージアイテムのSingleItemTypeReferenceBoxに、一番下の入力イメージが最初、一番上の入力イメージが最後というように、レイヤ化された順序で一覧表示される。バージョン0の場合、位置はキャンバスの左上隅からのピクセル位置で表される。図22のhorizontal_offsetおよびvertical_offset(記述2202)には、すでに定義されているように左上隅からのピクセルのオフセット情報が格納される。バージョン1の場合、キャンバスに対する事前に定義された相対的な位置を示す情報が定義される。図22のalignment_position(記述2201)には図11のImageLocationPropertyのalignment_positionと同様のパラメータである。本ImageOverlayのアイテムIDをSlideshowEntityToGroupのEntityとして格納することで、図21に示したSlideshowEntityToGroupであってもキャンバスを指定可能である。
 次に、メタデータ処理部106は、その他の画像属性情報の指定として、スライドショー表示の際の画像切り替え(遷移)効果を指定するための画像属性情報を作成する。図12に、スライドショーでの切り替え(遷移)効果を指定する属性情報TransitionEffectPropertyのデータフォーマットを示す。図24に示すTransitionEffectPropertyのデータフォーマットは図12に示すデータフォーマットにversion指定可能とした構成である。図24に示すフォーマットの場合、後述するtransition_durationは、versionが1の場合に指定可能となる。versionが0の場合transition_durationはあらかじめ定義されたデフォルトの値が利用される。また、その他の形態としてtransition_durationを持たないアイテムプロパティとして構成してもよい。本プロパティはEntityToGroupBox内の2つの連続するアイテムの表示の間に適用される切り替え(遷移)効果を規定するものである。本プロパティはアイテムまたはEntityグループに関連づけ可能である。1つまたは異なるスライドショーグループに同一の画像を格納し異なる切り替え(遷移)効果を適応する場合、派生画像として定義されているアイデンティティ(iden)派生画像アイテムを用いて行う方法が考えられる。また、同一の画像データに対して異なるitem_idを付与して行う方法が考えられる。この場合itemInformationBox(iinf)で指定されるitem_idの異なる2つ以上の画像アイテムに対してItemLocationBox(iloc)では同一のオフセットおよびサイズを持つように指定することで同一の画像データに対して異なるitem_idを指定することが可能となる。またその他ItemPropertyAssociationBoxを拡張したBoxを新たに定義することによって指定可能とする構成が考えられる。これら指定方法はスライドショーにおけるアイテムプロパティの指定のみならず、その他のアイテムプロパティの指定においても利用できる。図12、図24に示すTransitionEffectPropertyは、切り替え(遷移)効果を指定するtransition_effect(記述1201、記述2401)と切り替え(遷移)効果の時間(期間)を示すtransition_duration(記述1202、記述2402)から構成されている。transition_effectは、指定する値によって画像表示の際の効果を指定するパラメータである。例えば、transition_effectに0を指定した場合、cut切り替え(遷移)効果を行う。また、transition_effectが1の場合、fade切り替え(遷移)効果を、2の場合wipe切り替え(遷移)効果を、3の場合split切り替え(遷移)効果を行うというように、あらかじめ決定した効果を識別するための値を指定する。その他、4の場合dissolve in切り替え(遷移)効果を、5の場合zoom切り替え(遷移)効果を行うためのあらかじめ決定した効果を識別するための値を指定する。その他の値は未定義として、あらかじめ決定した効果を識別するために定義を追加してもよい。またtransision_durationは、transition_effectで指定した切り替え(遷移)効果を行う時間(期間)を指定する。切り替え(遷移)効果の時間として設定する時間の単位については秒やミリ秒の単位を想定するが、限定するものではなく、時間を指定できる単位であればよい。また、再生装置が表示時間(期間)を決定するために用いる相対的な時間パラメータであってもよい。例えば相対的な時間パラメータとして、各アイテムに指定された表示時間(期間)のうちの指定パーセントや倍数の時間(期間)を指定することが可能である。
 また、データフォーマットに、time_unit等の単位を指定するためのパラメータを含む構成としてもよい。この単位を指定するパラメータは、バージョンやflagsの値によって有効となる構成としてもよい。このパラメータ指定によって、default_entity_durationパラメータの時間単位を指定可能となる。指定可能な値は、分や秒、ミリ秒、マイクロ秒、その他時間単位を一意に識別可能な方法であればよい。また、本パラメータによって、任意の時間単位または、パーセントや倍数指定を切り替えるように構成してもよい。また、本パラメータに指定する時間は、図9のduration(記述903)および、図10のimage_duration(記述1001)、図23のslide_show_timing(記述2301)の時間には含めない時間として指定することを想定するが、その限りではない。
 この場合、スライドショー表示する際の全体表示にかかる時間は、個別アイテムまたはグループに指定した表示時間(期間)の合計とそれぞれのアイテムまたはグループに指定した本プロパティの切り替え(遷移)効果を行う時間の合計となる。例えば、図23に示したSlideShowTimingPropertyをグループのみに適応し、本TransitionEffectPropertyをグループのみに適応した場合、グループに含まれるアイテムの個数にSlideShowTimingPropertyのslide_show_timingパラメータの値を乗算した値とグループに含まれるアイテムの個数にtransition_durationの値を乗算した値を加算した時間(期間)となる。
 その他、これら時間に含めた時間とする場合は、全体表示にかかる時間は、個別アイテムまたはグループに指定した表示時間(期間)の合計となる。この際、これら各表示時間(期間)よりも短い時間(期間)となるように指定すべきである。しかし、本値の方が大きな値を指定していた場合は切り替え(遷移)効果を行わないようにしてもよいし、画像の表示に合わせるようにしてもよい。また、画像表示の効果の途中で次の画像に切り替える効果を行うというようにしてもよい。一方で、相対的な時間パラメータとして指定パーセントの時間(期間)を指定した場合は各画像の表示時間(期間)との大小関係は考慮しなくてもよくなる。なお、本実施形態ではこれら二つのパラメータで構成したが、それぞれ別々の画像属性情報として定義してもよい。また本実施形態では本画像属性情報を適応した画像アイテムを表示する際の効果として指定することを想定するが、別途画像の表示を終了する際の効果として指定可能な構成であってもよい。その際、画像の表示を終了する際の効果と次の画像を表示する際の効果とは別々に指定可能であってもよいし、制約としてどちらかのみを指定可能である構成であってよい。また、本プロパティのtransition_durationを各画像アイテムの表示時間(期間)に含める場合に、連続する2つの画像の表示時間(期間)のうち、1つ目の画像の表示時間(期間)のみに含める場合が考えられる。また、連続する2つの画像の表示時間(期間)にそれぞれ50%ずつ対称的に含めることも可能である。その他、cross_item_effect_ratio等のパラメータをデータフォーマットに定義しこのパラメータによって1つ目の画像、2つ目の画像それぞれどれだけの割合や時間で含めるかを指定可能な構成であってもよい。この場合、指定した値はパーセント指定の場合は100%以下で指定する必要がある。指定したパーセント分を1つ目の画像の表示時間(期間)に含め、100-指定パーセント分の時間(期間)を2つ目の画像の表示時間(期間)に含めることとなる。なお、cross_item_effect_ratioを定義する場合、バージョンやflags等の指定によって有効となる構成であってもよい。指定されない場合はデフォルト値として50%ずつ含める等、あらかじめ指定した割合でそれぞれの画像の表示時間(期間)に含めることが可能である。
 また、各切り替え(遷移)効果においてアイテムプロパティ内にパラメータを定義し、切り替え(遷移)効果の動作を指定できるようにしてもよい。図28に示したTransitionEffectPropertyはアイテムプロパティ内に切り替え(遷移)効果の動作を指定可能としたプロパティである。切り替え(遷移)効果を指定するtransition_effect(記述2801)と切り替え(遷移)方向を示すtransition_direction(記述2802)から構成されている。本プロパティは図12、図24同様にEntityToGroupBox内の2つの連続するアイテムの表示の間に適用される切り替え(遷移)効果を規定するものである。本プロパティはアイテムまたはEntityグループに関連づけ可能であり、図12、図24と同様の方法によって1つの画像に異なる切り替え(遷移)効果を指定可能である。(flags&1)が1に等しい場合transition_effect(記述2801)に指定した切り替え(遷移)効果に応じて適用される推奨の切り替え(遷移)方向をtransition_direction(記述2802)で指定する。(flags&1)が1に等しくない場合、本パラメータは適応されない。なお、切り替え(遷移)方向に限らず切り替え(遷移)効果に応じて適用される指定可能な任意のパラメータとして定義してもよい。
 transition_effect(記述2801)は、指定する値によって画像表示の際の効果を指定するパラメータである。例えば、transition_effectに0を指定した場合、cut切り替え(遷移)効果を行う。この場合transition_direction(記述2802)が指定されていたとしても無視する。また、transition_effectが1の場合、fadeまたはfade-in切り替え(遷移)効果を、2の場合dissolve切り替え(遷移)効果を行う。これらの場合同様にtransition_directionの値は無視する。3の場合wipe切り替え(遷移)効果を行い、transition_directionに指定された後述する値6~13のみ有効な値として識別する。また4の場合split切り替え(遷移)効果を行い、transition_directionに指定された後述する値2~5のみ有効な値として識別する。5の場合zoom切り替え(遷移)効果を行いtransition_directionに指定された後述する値0~1のみ有効な値として識別する。6の場合push切り替え(遷移)効果を行い、transition_directionに指定された後述する値6~13のみ有効な値として識別する。このようにあらかじめ決定した効果を識別するための値を指定する。その他の値は未定義として、あらかじめ決定した効果を識別するために定義を追加してもよい。記述2802のtransition_directionは適用する切り替え(遷移)方向を示すパラメータであり、次のいずれかを指定する。0の場合in、1の場合out、2の場合horizontal-in、3の場合horizontal-out、4の場合vertical-in、5の場合vertical-out、6の場合from-left、7の場合from-right、8の場合from-top、9の場合from-bottom、10の場合from-left-top、11の場合from-right-top、12の場合from-left-bottom、13の場合from-right-bottomと定義する。その他の値は未定義とする。transition_direction値はtransition_effectに対して許可された範囲にない場合は無視される。
 このようにtransition_effectとtransition_directionの組み合わせによって切り替え(遷移)効果を指定する。例えばtransition_effectに3のwipeを指定した場合、transition_directionは値6~13が指定可能である。この指定された値が6の場合、左からwipe動作を行うといった指定である。その他wipe効果では右から、上から、下から、左上から、右上から、左下から、右下からといった動作を指定できる。その他の切り替え(遷移)効果についても同様に適応する。その他にも各切り替え(遷移)効果に応じた詳細な動作を指定するパラメータをアイテムプロパティ内にパラメータを定義して指定してもよい。
 本実施形態ではtransition_effect(記述1201、記述2401、記述2801)を用いて切り替え(遷移)効果の種別を指定する構成としたが、それぞれの切り替え(遷移)効果のアイテムプロパティを別のアイテムプロパティとして切り替え(遷移)効果毎に4CCを用いて表す構成としてもよい。図29、図30、図31はその一例である。図29に示したWipeTransitionEffectPropertyはエンティティグループの連続する二つのアイテムの表示間に適用するWipe切り替え(遷移)効果を示すプロパティである。1つ目の画像から2つ目の画像へ拭き去るようにして次の画像を出すような効果を記述する。本アイテムプロパティは2つの連続するアイテムの1つ目に関連づける。記述2901のtransition_directionは次のいずれかの値を指定する。0の場合from-left、1の場合from-right、2の場合from-top、3の場合from-bottom、4の場合from-left-top、5の場合from-right-top、6の場合from-left-bottom、7の場合from-right-bottomを適用する切り替え(遷移)方向とする。その他の値は未定義とする。なおflags等を用いて本パラメータを有効とするか否かを切り替えてもよい。
 図30に示したZoomTransitionEffectPropertyはエンティティグループの連続する二つのアイテムの表示間に適用するZoom切り替え(遷移)効果を示すプロパティである。1つ目の画像から2つ目の画像をズームインまたはズームアウトするようにして次の画像を出すような効果を記述する。本アイテムプロパティは2つの連続するアイテムの1つ目に関連づける。記述3001のtransition_directionは次のいずれかの値を指定する。1の場合in、2の場合outを適用する切り替え(遷移)方向とする。その他の値は未定義とする。なおflags等を用いて本パラメータを有効とするか否かを切り替えてもよい。
 図31に示したFadeInTransitionEffectPropertyはエンティティグループの連続する二つのアイテムの表示間に適用するFade-In切り替え(遷移)効果を示すプロパティである。1つ目の画像から2つ目の画像をフェードインするようにして次の画像を出すような効果を記述する。本アイテムプロパティは2つの連続するアイテムの1つ目に関連づける。本プロパティでは指定可能な切り替え(遷移)方向がないためパラメータは保持しない。
 その他にも、dissolve(1つ目の画像から2つ目の画像へなめらかで段階的な遷移)を切り替え(遷移)効果として行うためのDissolveTransitionEffectItemPropertyとして定義することが考えられる。その他の切り替え(遷移)効果についても同様に異なるアイテムプロパティとして定義可能である。cut(1つ目の画像から2つ目の画像へ瞬間的な遷移)する効果としてcutTransitionEffectItemProperty、split(垂直または水平に画像をスプリットして2つ目の画像へ遷移)する効果としてsplitTransitionEffectItemProperty、push(1つ目の画像を2つ目の画像が押し出すように遷移)する効果としてpushTransitionEffectItemPropertyというように定義可能である。またこれらに指定可能なtransition_directionがある場合対応したパラメータを指定可能な値として定義する。
 transition_effect(記述1201、記述2401、記述2801)では未定義として予約している値の切り替え(遷移)効果についても同様に新たなアイテムプロパティとして定義可能である。またこれらは個別に画像アイテムまたはグループに指定可能である。一方で個別のアイテムプロパティとして定義した場合は最大でいずれか一つの切り替え(遷移)効果を意図したアイテムプロパティをアイテムに関連づける必要がある。つまり最大で1つの切り替え(遷移)効果のアイテムプロパティしか関連づけることができないという制約として規定する。一方で複数の切り替え(遷移)効果を適応可能としそれらをミックスした切り替え(遷移)効果として表現できるようにしてもよい。またuuid等を用いてユーザー定義の切り替え(遷移)効果を定義してもよい。uuidを用いて切り替え(遷移)効果を定義した場合はファイル生成側とファイル再生側それぞれがサポートする必要がある。
 なお、図12、図24、図28に示したTransitionEffectPropertyは他のディスクリプティブアイテムプロパティおよびトランスフォーマティブアイテムプロパティよりも後に関連づけられる。
 図10のImageDurationPropertyまたは図23のSlideShowTimingPropertyと図12または図24のTransitonEffectPropertyを1つの画像属性情報としてまとめて構成してもよい。図13に、図10のImageDurationPropertyと図12のTransitionEffectPropertyをまとめた画像属性情報としてのSlideShowPropertyのデータフォーマットを示す。図13に示すように構成した場合、スライドショーに関する画像属性情報をまとめて指定することが可能となる。同様にして、表示時間(期間)を示す画像属性情報と切り替え(遷移)効果を示す画像属性情報を組み合わせて1つの画像属性情報としてもよい。また、これらの画像属性情報は画像グループに適応してもよい。
 S807で作成した画像属性情報のメタデータはRAM203上の出力バッファに保存しておく。そして、S806もしくはS807の処理後S808に進み、スライドショーのメタデータ処理フローが終了する。
 図15は、本実施形態で出力されるHEIFファイルの例を示す図である。図15の記述1501に示すPrimaryItemBox(pitm)には、item_IDとして1が格納されている。なお、PrimaryItemBoxの拡張を行い本Boxに指定するIDとして前記SlideshowEntityToGroupを識別するグループIDを指定するようにしてもよい。その場合はIDとして後述するgroup_idである1001を指定する。記述1502に示すItemInfoBoxは、各画像アイテムをitem_IDで識別可能とし、item_IDで識別される画像アイテムがどのような種類の画像アイテムであるかを示す。item_IDが1である画像アイテムは‘hvc1’であり、HEVC符号化イメージであることを示す。同様にしてitem_ID48である画像アイテムまですべての画像アイテムがHEVC符号化イメージとして格納されている。記述1503に示すItemLocationBoxは、各画像データビットストリームのファイル内の格納位置を示している。各画像のデータがMediaDataBox内のどの位置に存在するかを特定することが可能となっている。記述1504は、ItemPropertiesBox内のItemPropertyContainerBoxを示しており、画像の属性情報を示すItemPropertyが格納されている。‘hvcC’はHEVC符号化パラメータを示している。また‘ispe’は画像のサイズを示す属性情報である。また‘dura’は前述したImageDurationPropertyBoxである。‘imlo’はImageLocationPropertyBoxである。また‘teff’はTransitionEffectPropertyBoxである。1505は各画像アイテムと属性情報との関連を示したItemPropertyAssociationBoxである。各画像アイテムが順に‘ipco’内の属性情報と関連づけが行われる。例えばitem_ID1およびitem_ID2には共通ispeが関連づけられており共通の画像サイズであることが示されている。一方でitem_ID3は異なる‘ispe’が適応されており異なる画像サイズであることがわかる。また、item_ID1にはduraが関連づけられていないためデフォルトの表示期間を適応する。また、item_ID2、item_ID3は異なる表示期間が適応されている。記述1507は、SlideshowEntityToGroupBoxである。group_idは1001、グループのエントリ数は48個、キャンバスフィル値は不透明の黒、キャンバスのサイズは幅4032、高さ3024が指定されている。スライドショー表示の順にentity_idに各画像のアイテムIDが1、2から48まで指定されている。これによりスライドショー表示するための情報が格納されている。
 前述したように、本実施形態で説明されたスライドショーのメタデータ作成処理を実施した場合、作成されるHEIF画像ファイルは、図14に示すような内部構造となる。なお、実施形態1ではスライドショーの派生画像を記述する。そのため、図6の領域606(ItemInfoBox(iinf))には派生画像のアイテムIDを持つエントリが格納されるが、本実施形態の場合、図14の領域1406(iinf)にスライドショーの派生画像を示すようなエントリが含まれないことは自明である。また、実施形態1ではスライドショーの派生画像の画像属性情報とアイテム参照情報を作成し、それぞれ、図6の領域607(ItemReferenceBox(iref))と領域608(ItemProptiesBox(iprp))にエントリデータとして格納する。しかし本実施形態では、図14の領域1407(iref)と領域1408(iprp)にスライドショーの派生画像に関するエントリが含まれないことについても自明である。
 本実施形態では以上の構成でスライドショー表示をするための画像をグループ化し、スライドショー表示の際の各画像の属性情報を各画像に適応する方法で構成した。しかし、画像をグループ化し、関連する属性をプロパティないしグループのパラメータとして保持する方法であれば異なる構成であってもよい。
 以上、本実施形態によればスライドショー表示の画像をグループ化することでHEIFファイルに格納された複数の画像のうちスライドショー表示を意図する画像を容易に識別、格納することが可能となる。またグループのパラメータとしてキャンバスに関する情報を格納することでスライドショー表示する際のサイズを統一して扱うことが可能となる。また、表示時間(期間)に関する情報をグループのパラメータないしグループの属性情報、画像毎の属性情報として保持することで、スライドショー表示する時間を任意に指定可能となる。また、画像を表示する際のキャンバス位置情報を画像属性情報またはグループ化した派生画像のパラメータとして保持することで、表示位置を指定することが可能となる。さらに、スライドショー表示の際の画像切り替え(遷移)効果を画像属性情報として指定可能とすることで、より柔軟なスライドショー表示が可能となる。また、SlideshowEntityToGroupBoxに格納する画像として派生画像として定義されているアイデンティティ(iden)やグリッド(grid)イメージやオーバーレイ(iovl)イメージを指定することで派生画像をスライドショーとして表示することが可能となる。また1つのファイル内に複数のSlideshowEntityToGroupBoxを異なるグループIDを用いて格納することも可能であり、1ファイル内に複数のスライドショー表現を格納することも可能である。
 [実施形態3]
 実施形態3における画像ファイル作成装置は、実施形態1において図1で説明した構成と同一の構成を有する。また、図2で示される画像ファイル作成処理のフローと、図20で示されるスライドショー再生フローも、本実施形態に同様に適用できる。但し、本実施形態では、図2のスライドショーのメタデータ作成処理(S212)、および主要画像アイテム情報を設定する処理(S213)が実施形態1と異なる。したがって本実施形態では、主にS212とS213の処理について、図16と図17、図18、図19を参照しながら説明する。
 図16は、HEIF標準におけるPrimaryItemBox(pitm)のデータフォーマットを示す図である。本実施形態では、図16に示すpitmの仕様を拡張したデータフォーマットを使用する。図17に、pitmの仕様を拡張した、PrimaryItemBoxデータフォーマットの一例を示す。この拡張の意図は、主要画像アイテム情報として、1以上の画像アイテムを指定できるようにすることである。メタデータ処理部106は、S212の処理において、スライドショーで表示する画像を選択して、表示順にアイテムIDのリストを作成する。そして、主要画像アイテムにスライドショーで表示する1以上のアイテムIDを指定するためのアイテムIDのリストを作成する。次のS213では、メタデータ処理部106は、S212で作成したアイテムIDのリストに基づいて、図17の記述1701ないし記述1702の部分に画像アイテムIDをリストの順番通りに格納し、格納したアイテムIDの個数をitem_countパラメータにセットする。これにより、作成するHEIF画像ファイルは主要画像アイテムとして1以上の画像が指定されることになる。また、本実施形態では、S212において、メタデータ処理部106は、スライドショーの各画像の表示時間(期間)を個別に設定するため、各画像の表示時間(期間)を指定する画像属性情報を作成する。この画像属性情報を設定する処理は、前述した実施形態2で説明した図8のS807の処理と同じであり、メタデータ処理部106は、ItemPropertiesBox(iprp)のメタデータを作成し、RAM203に保存する。また別の方法として、現在HEIF標準ではPrimaryItemBoxは1つのみ指定可能となっているが、これを複数可能としスライドショーで表示する順にPrimaryItemBoxを格納していく方法であってもよい。
 また、図18に、pitmの仕様を拡張した、PrimaryItemBoxデータフォーマットの別の例を示す。図18に示すデータフォーマットでは、実施形態2で示したSlideshowEntityToGroupBoxのgroup_idをPrimariItemBoxに指定可能となる(記述1801)。
 図19に、本実施形態で出力されるHEIFファイルの例を示す。図19では、group_idを指定可能とするファイルの例を示す。図19では、記述1901に示したPrimariItemBox(pitm)に、SlideshowEntityToGroupBox(記述1507)で指定したgroup_id1001を指定する。図19における記述1902から記述1907は、実施形態2において説明した図15における記述1502から記述1507までと共通である。
 以上、本実施形態によればスライドショー表示の画像を拡張したPrimaryItemBoxに指定することでHEIFファイルに格納された複数の画像のうちスライドショー表示を意図する画像を容易に識別、格納することが可能となる。またPrimaryItemBoxにEntityToGroupBoxでグループ化したグループIDを指定可能とすることで、複数の画像を第一優先画像グループとして扱うことが可能となる。また、表示時間(期間)に関する情報をグループのパラメータないし、画像毎の属性情報として保持することで、スライドショー表示する時間を任意に指定可能となる。また、画像を表示する際のキャンバス位置情報を画像属性情報として保持することで、表示位置を指定することが可能となる。さらに、スライドショー表示の際の画像切り替え(遷移)効果を画像属性情報として指定可能とすることで、より柔軟なスライドショー表示が可能となる。なお、本実施形態ではPrimaryItemBoxを拡張することでスライドショーを意図するファイル格納を可能としたが、異なる拡張方法であってもスライドショー格納が実現可能であればよい。
 以上、各実施形態において、画像ファイル作成処理と画像ファイルに格納するスライドショーのメタデータ作成処理の実施形態について説明した。各実施形態で作成されるHEIFの画像ファイルは、図6あるいは図14に示すように、最上位の階層にftypとmetaとmdat(図6のメタデータ格納領域602(MetaBox(meta))と符号化データ格納領域611(MediaDataBox(mdat)))が並ぶ構造となる。但し、画像ファイル作成装置が作成するHEIFファイルがこの内部構造に限定するものではない。例えば、以上の何れかの実施形態を実施し、さらに動画データも一緒に格納してMovieBox(moov)のメタデータもHEIFファイルを作成可能にしてもよい。
 HEIFでは、時間的に連続する静止画としてのイメージシーケンスを持つHEIFファイルは、画像を表示するアプリケーションが連続的な表示処理をできるように、連続する静止画をHEIFファイルの中にビデオトラックとして定義する必要がある。ファイル構造としては、meta以外にmoovのメタデータも必要となり得る。上記に説明した各実施形態では、複数の画像データのスライドショーの情報をmetaの中に収めたHEIFファイルを作成する。つまりユーザーが任意の複数の画像を選択して任意の順番や表示時間(期間)を決めるスライドショーの設定を持つ画像ファイルの作成においては、イメージシーケンスを格納するHEIFファイルの生成に比べ、より効率的にHEIFファイルを作成することが可能になる。
 また、以上の実施形態ではファイルフォーマットとしてHEIFを例に説明したが、1ファイル内に複数画像ファイルを格納でき、それらの画像ファイルに関するメタデータを保持可能なファイルであれば他の形式に適用してもよい。
(その他の実施例) 
 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
 上記各実施形態の説明において、画像ファイルを作成する処理(図2等)と、作成された画像ファイルを再生する処理(図20等)が同一の装置、即ち画像ファイル作成装置100によって実行される例を説明したが、それらが別々の装置において実行されてもよい。即ち、画像ファイル作成装置100において作成された画像ファイルを、有線又は無線通信によって受信した画像ファイル再生装置が、受信された画像ファイルを解析して、図20の処理を実行することによって再生するようにしてもよい。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
 本願は、2019年7月1日提出の日本国特許出願特願2019-123136、2019年9月30日提出の日本国特許出願特願2019-180721、2020年1月7日提出の日本国特許出願特願2020-000990を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

 

Claims (15)

  1.  画像を格納する画像データ領域と、前記画像に関する情報であるメタデータを格納するメタデータ領域とを有する構造の所定のイメージファイルフォーマットに従った画像ファイルを作成する画像ファイル作成装置であって、
     前記画像データ領域に格納されている画像から、連続的に表示させる複数の画像を決定する決定手段と、
     前記複数の画像それぞれに対する識別情報と、当該識別情報に対応する画像が格納されている前記画像データ領域における位置の情報を作成して前記メタデータ領域に格納し、かつ、前記複数の画像の表示順番を示す情報と、前記複数の画像の表示時間を示す情報とを、前記メタデータ領域に格納するメタデータ処理手段と、
    を有することを特徴とする画像ファイル作成装置。
  2. 前記メタデータ処理手段は、前記複数の画像を参照する派生画像を設定し、前記複数の画像の表示順番を示す情報を、前記派生画像の記述情報として作成して前記メタデータ領域に格納することを特徴とする請求項1に記載の画像ファイル作成装置。
  3.  前記メタデータ処理手段は、前記識別情報に対応する画像の属性情報と前記識別情報を関連付ける情報を、前記派生画像の属性情報として作成して前記メタデータ領域に格納することを特徴とする請求項2に記載の画像ファイル作成装置。
  4.  前記メタデータ処理手段は、前記複数の画像をグループ化するための情報を作成し、前記複数の画像の表示順番を示す情報と前記複数の画像の表示時間を示す情報とを前記グループ化するための情報に含めて前記メタデータ領域に格納することを特徴とする請求項1に記載の画像ファイル作成装置。
  5.  前記メタデータ処理手段は、前記複数の画像をグループ化するための情報を作成し、前記複数の画像の表示順番を示す情報を前記グループ化するための情報に含めて前記メタデータ領域に格納し、
     前記複数の画像の表示時間を示す情報を前記識別情報に対応する画像の属性情報と前記識別情報を関連付ける情報を、前記画像の属性情報として作成して前記メタデータ領域に格納することを特徴とする請求項1に記載の画像ファイル作成装置。
  6.  前記メタデータ処理手段は、前記複数の画像をグループ化するための情報を作成し、前記複数の画像の表示順番を示す情報を前記グループ化するための情報に含めて前記メタデータ領域に格納し、
     前記複数の画像の表示時間を示す情報を前記グループ化した複数の画像のグループを識別する情報に対応するグループの属性情報と前記グループの識別情報を関連付ける情報を、前記グループの属性情報として作成して前記メタデータ領域に格納することを特徴とする請求項1に記載の画像ファイル作成装置。
  7.  前記イメージファイルフォーマットは、HEIF(High Efficiency Image File Format)であることを特徴とする請求項1から6のいずれか1項に記載の画像ファイル作成装置。
  8.  前記メタデータ処理手段は、前記複数の画像を指定するための情報を、前記メタデータ領域において主要画像アイテムを指定する領域(PrimaryItemBox)に指定することを特徴とする請求項7に記載の画像ファイル作成装置。
  9.  前記複数の画像を指定するための情報は、前記複数の画像のグループを識別するグループ識別情報であることを特徴とする請求項8に記載の画像ファイル作成装置。
  10.  前記メタデータ処理手段は、前記複数の画像を表示させる際の画像領域に関する情報を前記メタデータ領域に格納する請求項1から9のいずれか1項に記載の画像ファイル作成装置。
  11.  前記メタデータ処理手段は、前記複数の画像を表示させる際の画像の切り替えの際の効果の情報を前記メタデータ領域に格納することを特徴とする請求項1から10のいずれか1項に記載の画像ファイル作成装置。
  12.  前記メタデータ処理手段は、前記複数の画像を表示させる際の画像の表示位置の情報を前記メタデータ領域に格納することを特徴とする請求項1から11のいずれか1項に記載の画像ファイル作成装置。
  13.  前記複数の画像の表示順番を示す情報と、前記複数の画像それぞれの表示時間を示す情報をユーザーの操作に基づいて設定する設定手段を更に有することを特徴とする請求項1から12のいずれか1項に記載の画像ファイル作成装置。
  14.  画像を格納する画像データ領域と、前記画像に関する情報であるメタデータを格納するメタデータ領域とを有する構造の所定のイメージファイルフォーマットに従った画像ファイルを作成する画像ファイル作成方法であって、
     前記画像データ領域に格納されている画像から、連続的に表示させる複数の画像を決定する決定工程と、
     前記複数の画像それぞれに対する識別情報と、当該識別情報に対応する画像が格納されている前記画像データ領域における位置の情報を作成して前記メタデータ領域に格納し、かつ、前記複数の画像の表示順番を示す情報と、前記複数の画像それぞれの表示時間を示す情報とを、前記メタデータ領域に格納するメタデータ処理工程と、
    を有することを特徴とする画像ファイル作成方法。
  15.  コンピュータを、請求項1から13のいずれか1項に記載の画像ファイル作成装置として機能させるためのプログラム。
     
PCT/JP2020/022819 2019-07-01 2020-06-10 画像ファイル作成装置、画像ファイル作成方法、及びプログラム WO2021002165A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20834759.1A EP3992916A4 (en) 2019-07-01 2020-06-10 DEVICE, METHOD AND PROGRAM FOR GENERATION OF IMAGE FILES
CN202080049066.3A CN114072847A (zh) 2019-07-01 2020-06-10 图像文件创建设备、图像文件创建方法和程序
KR1020227002311A KR20220027982A (ko) 2019-07-01 2020-06-10 화상 파일 작성 장치, 화상 파일 작성 방법, 및 프로그램
US17/562,711 US20220121704A1 (en) 2019-07-01 2021-12-27 Image file creation apparatus, image file creation method, and storage medium

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2019123136 2019-07-01
JP2019-123136 2019-07-01
JP2019180721 2019-09-30
JP2019-180721 2019-09-30
JP2020000990A JP7457506B2 (ja) 2019-07-01 2020-01-07 画像ファイル生成装置、画像ファイル生成方法、画像ファイル再生装置、画像ファイル再生方法、及びプログラム
JP2020-000990 2020-01-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/562,711 Continuation US20220121704A1 (en) 2019-07-01 2021-12-27 Image file creation apparatus, image file creation method, and storage medium

Publications (1)

Publication Number Publication Date
WO2021002165A1 true WO2021002165A1 (ja) 2021-01-07

Family

ID=74100660

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022819 WO2021002165A1 (ja) 2019-07-01 2020-06-10 画像ファイル作成装置、画像ファイル作成方法、及びプログラム

Country Status (5)

Country Link
US (1) US20220121704A1 (ja)
EP (1) EP3992916A4 (ja)
KR (1) KR20220027982A (ja)
CN (1) CN114072847A (ja)
WO (1) WO2021002165A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336566A (ja) * 2002-12-18 2004-11-25 Sony Corp 情報処理装置、情報処理方法及びプログラム、並びに記録媒体
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法
JP2011209942A (ja) * 2010-03-29 2011-10-20 Olympus Imaging Corp 撮像装置、画像管理サーバ、画像通信システム、画像ファイルのデータ構造、および画像管理方法
JP2019123136A (ja) 2018-01-16 2019-07-25 凸版印刷株式会社 印刷装置及び印刷方法
JP2019180721A (ja) 2018-04-09 2019-10-24 洋子 遠藤 立体玩具
JP2020000990A (ja) 2018-06-28 2020-01-09 ゼニス羽田株式会社 分離装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860510B1 (ko) * 2007-04-23 2008-09-26 엠엠비 주식회사 모바일 장치에서 시각 효과가 삽입된 슬라이드 쇼의 생성방법
KR20090088772A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
CA2668306A1 (en) * 2009-06-08 2010-12-08 Stephen R. Germann Method and system for applying metadata to data sets of file objects
KR102104498B1 (ko) * 2013-11-22 2020-04-24 삼성전자주식회사 슬라이드 쇼를 제공하는 시스템 및 방법
WO2016118519A1 (en) * 2015-01-19 2016-07-28 Berman Matthew System and methods for facile, instant, and minimally disruptive playback of media files
US10291561B2 (en) * 2015-02-09 2019-05-14 Nokia Technologies Oy Apparatus, a method and a computer program for image coding and decoding
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
EP3107011B1 (en) 2015-06-16 2018-12-12 Nokia Technologies Oy Method, apparatus, and computer program product for storage of dynamically derived images in an image container file
CN113302944B (zh) * 2018-12-28 2023-10-27 索尼集团公司 信息处理装置和信息处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336566A (ja) * 2002-12-18 2004-11-25 Sony Corp 情報処理装置、情報処理方法及びプログラム、並びに記録媒体
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法
JP2011209942A (ja) * 2010-03-29 2011-10-20 Olympus Imaging Corp 撮像装置、画像管理サーバ、画像通信システム、画像ファイルのデータ構造、および画像管理方法
JP2019123136A (ja) 2018-01-16 2019-07-25 凸版印刷株式会社 印刷装置及び印刷方法
JP2019180721A (ja) 2018-04-09 2019-10-24 洋子 遠藤 立体玩具
JP2020000990A (ja) 2018-06-28 2020-01-09 ゼニス羽田株式会社 分離装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3992916A4

Also Published As

Publication number Publication date
EP3992916A1 (en) 2022-05-04
US20220121704A1 (en) 2022-04-21
CN114072847A (zh) 2022-02-18
EP3992916A4 (en) 2023-06-21
KR20220027982A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
RU2656880C2 (ru) Устройство воспроизведения, способ воспроизведения и носитель записи
JP6528683B2 (ja) 再生装置、再生方法
US7027086B1 (en) Photographing apparatus and signal processing method that allow data of still pictures to be converted into a moving picture file
EP1628477A1 (en) Reproduction device and program
JPH0923394A (ja) 符号化装置および方法、復号化装置および方法、並びに記録媒体
TWI461062B (zh) 再生裝置、再生方法、再生電腦程式產品以及再生資料結構產品
US20120251081A1 (en) Image editing device, image editing method, and program
JP7457506B2 (ja) 画像ファイル生成装置、画像ファイル生成方法、画像ファイル再生装置、画像ファイル再生方法、及びプログラム
RU2343543C2 (ru) Способ синтезирования динамических виртуальных картинок
WO2021002165A1 (ja) 画像ファイル作成装置、画像ファイル作成方法、及びプログラム
JP2023018015A (ja) 再生装置、再生方法、プログラム、情報処理システム
WO2021117481A1 (ja) データ処理装置、データ処理方法、及び、プログラム
JP2006325082A (ja) 動画データ編集装置および方法
JP2021193778A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US20090279844A1 (en) Recording apparatus, recording method, recording program, and integrated circuit
CN111095918B (zh) 再现装置、再现方法、程序和记录介质
US20230140152A1 (en) Image processing apparatus, image capturing apparatus, control method, and storage medium
KR100487330B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
JP7251480B2 (ja) 再生装置、再生方法、プログラム
JP2021193777A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2004282305A (ja) 画像処理システム
JP2022109138A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2004248076A (ja) コンテンツ表示装置
JP3062507B2 (ja) 画像符号化装置及び画像復号装置
JP3188237B2 (ja) 画像符号化装置及び画像復号装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20834759

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20227002311

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020834759

Country of ref document: EP

Effective date: 20220201