WO2020196006A1 - ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム - Google Patents

ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム Download PDF

Info

Publication number
WO2020196006A1
WO2020196006A1 PCT/JP2020/011363 JP2020011363W WO2020196006A1 WO 2020196006 A1 WO2020196006 A1 WO 2020196006A1 JP 2020011363 W JP2020011363 W JP 2020011363W WO 2020196006 A1 WO2020196006 A1 WO 2020196006A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
image
heif
box
item
Prior art date
Application number
PCT/JP2020/011363
Other languages
English (en)
French (fr)
Inventor
大輔 船元
伊藤　亮吾
磯部　幸雄
敏弥 石坂
裕司 松井
山田　崇晴
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080022531.4A priority Critical patent/CN113615158A/zh
Priority to JP2021509079A priority patent/JPWO2020196006A1/ja
Priority to EP20777009.0A priority patent/EP3952275A4/en
Priority to US17/441,520 priority patent/US11849249B2/en
Publication of WO2020196006A1 publication Critical patent/WO2020196006A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present technology relates to a file generation device, a file generation method, a file playback device, a file playback method, and a program, and in particular, for example, an image stored in a file can be associated with external data outside the file.
  • File generation device, file generation method, file playback device, file playback method, and program are used to generate a file generation method, a file generation method, and program.
  • HEIF High Efficiency Image File Format
  • HEIF High Efficiency Image File Format
  • This technology was made in view of such a situation, and makes it possible to associate the image stored in the HEIF file with the external data outside the HEIF file.
  • the file generator of the present technology or the first program is a specific information that identifies an image in a HEIF file conforming to HEIF (High Efficiency Image File Format) and external data outside the HEIF file that is associated with the image. It is a program for operating a computer as a file generation device provided with a file control unit for generating an association type HEIF file stored in association with the above, or as such a file generation device.
  • HEIF High Efficiency Image File Format
  • the file generation method of this technology is an association that stores an image in a HEIF file that conforms to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with that image.
  • a file generation method that includes generating a type HEIF file.
  • the image in the HEIF file conforming to HEIF High Efficiency Image File Format
  • An associated HEIF file is generated that stores the specific information associated with the specific information.
  • the file playback device of the present technology or the second program is a specific information that identifies an image in a HEIF file conforming to HEIF (High Efficiency Image File Format) and external data outside the HEIF file that is associated with the image. It is a program for operating a computer as a file reproduction device provided with a file control unit for reproducing an association type HEIF file stored in association with the above, or as such a file reproduction device.
  • HEIF High Efficiency Image File Format
  • the file playback method of this technology is an association that stores an image in a HEIF file conforming to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with the image.
  • a file playback method that includes playing a type HEIF file.
  • the image in the HEIF file conforming to HEIF conforming to HEIF (High Efficiency Image File Format) and the external data outside the HEIF file associated with the image.
  • HEIF High Efficiency Image File Format
  • the associated HEIF file that is stored in association with the specific information that identifies the file is played.
  • file generation device and the file playback device may be independent devices or may be internal blocks constituting one device.
  • first program and the second program can be provided by recording on a recording medium or transmitting via a transmission medium.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a digital camera to which the present technology is applied.
  • the digital camera 10 includes an optical system 11, an image sensor 12, a signal processing unit 13, media 14, interfaces 15 and 16, buttons / keys 17, a touch panel 18, a liquid crystal panel 19, a viewfinder 20, an interface 21, and the like.
  • the optical system 11 collects the light from the subject on the image sensor 12.
  • the image sensor 12 receives light from the optical system 11 and performs photoelectric conversion to perform imaging to generate image data as an electric signal and supply it to the signal processing unit 13.
  • the signal processing unit 13 includes an optical system / image sensor control unit 41, a coding control unit 42, a file control unit 43, a media control unit 44, an operation control unit 45, a display control unit 46, and a UI control unit 47.
  • the optical system / image sensor control unit 41 controls the optical system 11 and the image sensor 12, and supplies (data) an image (data) obtained by imaging performed according to the control to the coding control unit 42.
  • the coding control unit 42 supplies the image from the optical system / image sensor control unit 41 to the display control unit 46, encodes the image as necessary, and supplies the image to the file control unit 43. Further, the coding control unit 42 decodes the image supplied from the file control unit 43 as necessary, and supplies the image to the display control unit 46.
  • the file control unit 43 generates a file storing the image supplied from the coding control unit 42 and supplies it to the media control unit 44. Further, the file control unit 43 reproduces the file supplied from the media control unit 44, that is, reads out data such as an image stored in the file. For example, the image read from the file is supplied from the file control unit 43 to the coding control unit 42.
  • the media control unit 44 controls the exchange of files between the media 14 and the interfaces 15 and 16. For example, the media control unit 44 causes the media 14 to record the file from the file control unit 43, or causes the interfaces 15 and 16 to transmit the file. Further, the media control unit 44 reproduces a file from the media 14, or causes the interfaces 15 and 16 to receive the file and supplies the file to the file control unit 43.
  • the operation control unit 45 supplies an operation signal corresponding to the operation of the button / key 17 or the touch panel 18 by the user to a necessary block.
  • the display control unit 46 performs display control and the like to supply the image and the like supplied from the coding control unit 42 to the liquid crystal panel 19, the viewfinder 20, and the interface 21 for display.
  • the UI control unit 47 is in charge of UI (User Interface) control.
  • the media 14 is a storage medium such as an SD card.
  • the interface 15 is a LAN (Local Area Network) interface such as WiFi (registered trademark) or Ethernet (registered trademark).
  • the interface 16 is, for example, a USB (Universal Serial Bus) interface.
  • the buttons / keys 17 and the touch panel 18 are operated by the user when inputting commands and other information to the digital camera 10.
  • the touch panel 18 can be integrally configured with the liquid crystal panel 19.
  • the liquid crystal panel 19 and the viewfinder 20 display an image or the like supplied from the display control unit 46.
  • the interface 21 is an interface for transmitting at least an image such as HDMI (High-Definition Multimedia Interface) (registered trademark) or DP (DisplayPort).
  • the coding control unit 42 uses, for example, the same resolution as the RAW image from the image of the RAW data (hereinafter, also referred to as the RAW image) obtained by the imaging of the image sensor 12.
  • a YUV image (hereinafter, also referred to as a main image) of (number of pixels) is generated.
  • the coding control unit 42 has a resolution higher than, for example, the main image of the YUV as a first other image based on the main image for display on the liquid crystal panel 19 or an external display.
  • Image (hereinafter, also referred to as thumbnail image) is generated.
  • the coding control unit 42 supplies the screen nail image to the liquid crystal panel 19 via the display control unit 46 and displays it as a so-called through image.
  • the thumbnail image for example, an image having a long side of 320 pixels or less can be adopted.
  • the ratio of the size (number of pixels) of the main image to the screen nail image as the first other image based on the main image or the thumbnail image as the second other image based on the main image is, for example, 200. Can be doubled or less. Similarly, the size ratio of the screen nail image as the first other image based on the main image and the thumbnail image as the second other image based on the main image can be 200 times or less.
  • the screen nail image for example, an image having a resolution of 4K or higher can be adopted. Further, as the screen nail image, for example, a 4K (QFHD) or FHD image can be adopted according to the user's selection. Further, as the main image and the screen nail image, an image having the same resolution can be adopted.
  • both the main image and the screen nail image can be stored in the HEIF file, or the book without storing the screen nail image. Images can be stored.
  • the main image is stored in the HEIF file without storing the screen nail image, the main image can be resized and used as the screen nail image.
  • the coding control unit 42 obtains a main image, a screen nail image, and a thumbnail image (a main image generated from the RAW image, a screen nail image, and a thumbnail image) corresponding to the RAW image, if necessary. It is encoded and supplied to the file control unit 43 together with the RAW image.
  • the file control unit 43 generates a RAW file in which the RAW image is stored, and also generates a corresponding main image, a screen nail image, and a thumbnail image (a main image generated from the same RAW image, a screen nail image, and a thumbnail image).
  • a HEIF file or a JPEG file in which a thumbnail image) is stored is generated and supplied to the media control unit 44.
  • a HEIF file is a file conforming to HEIF (High Efficiency Image File Format)
  • a JPEG file is a file conforming to JPEG (Joint Photographic Experts Group).
  • the media control unit 44 records the RAW file from the file control unit 43 and the HEIF file or JPEG file on the media 14 or causes the interface 15 or 16 to transmit the RAW file and the HEIF file or the JPEG file.
  • the file control unit 43 which of the HEIF file and the JPEG file is generated can be selected, for example, according to the operation of the user. Further, as will be described later, the HEIF file has an image item format and an image sequence format. Which of the image item format and the image sequence format should be adopted is selected according to, for example, the user's operation. be able to. Further, the file control unit 43 can perform mutual conversion between the HEIF file and the JPEG file according to the operation of the user.
  • the internal data (data stored in the HEIF file) in the HEIF file to be associated with the external data (data not stored in the HEIF file) outside the HEIF file and the internal data (data stored in the HEIF file) thereof. It can be stored in a HEIF file in association with specific information that identifies external data.
  • a HEIF file in which internal data and specific information of external data associated with the internal data are associated and stored is also referred to as an association type HEIF file.
  • the association type HEIF file can store the internal data and the specific information in association with each other, for example, by storing the association information for associating the internal data with the specific information.
  • FIG. 2 is a diagram showing an example of a JPEG file format conforming to JPEG (Joint Photographic Experts Group).
  • JPEG files include, for example, Exif metadata, thumbnail images, XMP (Extensible Metadata Platform) (registered trademark) metadata, MPFs representing storage locations (positions) of main images and simple display images, and main images.
  • a simple display image is stored and configured.
  • As the simple display image for example, a screen nail image can be adopted.
  • FIG. 3 is a diagram showing an example of an ISO base media file format.
  • HEIF (ISO / IEC 23008-12) is a file format that conforms to the ISO base media file format (ISO / IEC 14496-12), so HEIF files conform to the ISO base media file format.
  • the ISO-based media file format is composed of units called boxes as containers for storing data, and has a structure called a box structure.
  • the box has a type (box type), actual data (data), and the like.
  • the type represents the type of actual data in the box.
  • the actual data includes images (still images, moving images), playable media data such as audio and subtitles (subtitles), attribute names (field names) and attribute values (variables represented by) of the attribute names (fields). Value) and various other data can be adopted.
  • a box can be adopted as the actual data. That is, the box can have a box as actual data, thereby forming a hierarchical structure.
  • the base media file conforming to the ISO base media file format can have an ftyp box, a moov box (MovieBox), a meta box (MetaBox), an mdat box (MediaDataBox), and the like.
  • the ftyp box stores identification information that identifies the file format.
  • the moov box can store a trak box and the like.
  • the meta box can store an inf box, an iprp box, an iref box, an iloc box, and the like.
  • the mdat box can store media data (AV data) and any other data.
  • HEIF conforms to the above ISO-based media file format.
  • FIG. 4 is a diagram showing an example of a HEIF file format conforming to HEIF.
  • HEIF files are roughly divided into image item format and image sequence format. Further, the image item format includes a single image format having only one item, which will be described later, and an image collection format having a plurality of items.
  • the HEIF file in the image item format has an ftyp box, a meta box, and an mdat box.
  • the image sequence format HEIF file has an ftyp box, a moov box, and an mdat box.
  • the HEIF file can have both, not just one of the meta box and the moov box.
  • the ftyp box stores identification information that identifies the file format, for example, that the file is a HEIF file in image item format or image sequence format.
  • the meta box and moov box store metadata such as the storage location of media data, which is necessary for playing and managing the media data stored in the mdat box.
  • which of the HEIF files of the image item format and the image sequence format is generated can be selected, for example, according to the user's operation. Further, when the image is encoded and stored in the mdat of the HEIF file, only intra-encoding is permitted for the image item format, and intra-encoding and inter-encoding are permitted for the image sequence format. Therefore, for example, when giving priority to high-speed access to the data stored in the HEIF file, selecting the generation of the HEIF file in the image item format and giving priority to reducing the size (data amount) of the HEIF file. You can choose to generate a HEIF file in image sequence format.
  • FIG. 5 is a diagram showing an example of the format of the HEIF file in the image item format.
  • image item format HEIF file information indicating that the image item format HEIF file is used, for example, mif1 etc., is stored (as an attribute value) in the ftyp box.
  • the meta box stores the iinf box, iref box, iprp box, and iloc box.
  • the iinf box stores the number of items (attribute names and attribute values) that are media data (AV data) stored in the mdat box.
  • An item is one piece of data stored in the mdat box of a HEIF file in the image item format.
  • one image is an item.
  • one image regardless of whether it is a still image or a moving image, is also referred to as a frame.
  • One frame is one item.
  • the iref box stores information that indicates the relationship between items.
  • the mdat box can store the corresponding main image, screen nail image, and thumbnail image as items. If the mdat box contains item I1 as the main image, item I2 as the screen nail image, and item I3 as the thumbnail image, then item I2 is the screen nail of the main image as item I1 in the iref box. Information indicating that it is an image and information indicating that item I3 is a thumbnail image of the main image as item I1 are stored.
  • Information about item properties is stored in the iprp box.
  • the iloc box stores information about the storage location of the items stored in the mdat box.
  • the mdat box (of the HEIF file) in the image item format stores, for example, an image frame as an item.
  • the mdat box can store one or more items.
  • the frame as an item can be encoded and stored in the mdat box.
  • the coding of the frame as an item stored in the mdat box in the image item format is limited to the intra coding.
  • a coding method (codec) for encoding a frame as an item for example, HEVC or the like can be adopted.
  • FIG. 6 is a diagram showing an example of the iprp box of FIG.
  • the iprp box stores the ipco box and ipma box related to item properties.
  • the ipco box stores the property of the item stored in the mdat box, for example, the codec information regarding the codec of the image as an item and the image size information regarding the size.
  • the ipma box stores the index (pointer) of the item stored in the mdat box to the property stored in the ipco box.
  • FIG. 7 is a diagram showing an example of the format of the HEIF file in the image sequence format.
  • image sequence format HEIF file information indicating that the image sequence format HEIF file is used, such as msf1, is stored in the ftyp box.
  • the trak box is stored in the moov box.
  • the trak box stores information about the tracks stored in the mdat box.
  • a track is composed of one independent media data such as an image or sound that is played back according to a timeline.
  • a track is composed of one or more frames of images that are elementary streams.
  • the tracks stored in the mdat box a plurality of tracks, for example, images and sounds recorded at the same time, can be played back at the same time.
  • the media data of a truck is composed of units called samples.
  • a sample is the smallest unit (access unit) for accessing media data in a HEIF file. Therefore, it is not possible to access the media data in the HEIF file in smaller units than the sample.
  • one frame or the like is one sample.
  • the audio media data for example, one audio frame defined by the standard of the audio media data is one sample.
  • the media data of the track is arranged in units called chunks.
  • a chunk is a set of one or more samples arranged at logically contiguous addresses.
  • the multiple tracks are interleaved and arranged in chunk units.
  • the moov box stores the trak box that manages each track stored in the mdat box.
  • the mdat box in the image sequence format stores one or more tracks composed of media data such as images and sounds.
  • the frames of the images that make up the track can be encoded and stored.
  • long GOP can be adopted as the GOP (Group of Picture), and both intra-encoding and inter-encoding can be adopted. it can.
  • a codec for encoding a frame constituting a track for example, HEVC or the like can be adopted.
  • FIG. 8 is a diagram showing an example of a trak box.
  • the tkhd box and mdia box can be stored in the trak box.
  • the tkhd box stores track header information such as the creation date and time of the track managed by the trak box.
  • the minf box and the like are stored in the mdia box.
  • the stbl box is stored in the minf box.
  • the stbl box contains stsd boxes, stsc boxes, stsz boxes, and stco boxes that store sample tracks and, by extension, information for accessing chunks.
  • the stsd box stores codec information about the track's codec.
  • the chunk size (the number of samples in one chunk) is stored in the stsc box.
  • the sample size is stored in the stsz box.
  • the stco box stores the chunk offset, that is, the offset of the placement position of each chunk of the track stored in the mdat box.
  • the HEIF file in the image item format is also referred to as a collection file
  • the HEIF file in the image sequence format is also referred to as a sequence file.
  • the association type HEIF file in the image item format is also referred to as an association type collection file
  • the association type HEIF file in the image sequence format is also referred to as an association type sequence file.
  • the digital camera 10 can generate a HEIF file (including an associated HEIF file) in which one or both of the main image, the necessary screen nail image, and the thumbnail image are stored.
  • a HEIF file including an associated HEIF file
  • FIG. 9 is a diagram showing an example of a normal collection file in which a main image and a thumbnail image are stored.
  • the normal collection file means a collection file in which the internal data in the collection file and the specific information of the external data are not associated with each other.
  • the frame (item) is encoded by HEVC and stored in the mdat box of the collection file.
  • heic indicating that it is an image item format and that the codec is HEVC is stored as identification information that identifies the file format.
  • the number of items (number of items) stored in the mdat box is stored in the iinf box.
  • the main image specified by the item ID # 1 hereinafter, also described as the main image Item # 1
  • the thumbnail image specified by the main image Item # 2 and the item ID # 101 (hereinafter, the thumbnail).
  • a total of four items (frames), including image Item # 101) and thumbnail image Item # 102, are stored in the mdat box. Therefore, the number of items is 4.
  • the thumbnail image Item # 101 is a thumbnail image of the main image Item # 1
  • the thumbnail image Item # 102 is a thumbnail image of the main image Item # 2.
  • an infe box is stored for each item stored in the mdat box.
  • the item ID that identifies the item and the item type are registered.
  • FIG. 9 there are Infe boxes for the main images Item # 1 and Item # 2, and thumbnail images Item # 101 and Item # 102, respectively.
  • the thmb box is stored as information for associating the items stored in the mdat box with each other.
  • a reference source and a reference destination as information for associating the main image with the thumbnail image of the main image are stored in association with each other.
  • the reference source represents the item ID of the main image
  • the reference destination represents the item ID of the thumbnail image of the main image specified by the item ID of the reference source. Therefore, according to the reference destination associated with the reference source, the item ID of the thumbnail image of the main image specified by the item ID represented by the reference source can be recognized. Further, according to the reference source associated with the reference destination, the item ID of the main image of the thumbnail image specified by the item ID represented by the reference destination can be recognized.
  • the iprp box stores the ipco box and the ipma box as described in FIG.
  • the ipco box stores frame properties as items stored in the mdat box, for example, codec information related to the codec and image size information related to the size.
  • the ipma box stores the index of the item stored in the mdat box to the property stored in the ipco box.
  • the iloc box stores information about the storage location of items in the mdat box as explained in FIG. In FIG. 9, the number of items is stored in the iloc box. Further, in the iloc box, the offsets and sizes of the main images Item # 1 and Item # 2 stored in the mdat box and the storage locations of the thumbnail images Item # 101 and Item # 102 are associated with the item ID. Is stored.
  • FIG. 10 is a diagram showing an example of the first association type collection file.
  • the external data associated with the main image as the internal data in the HEIF file, for example, the RAW file in which the RAW image of the main image is stored is adopted.
  • the first association type collection file contains association information that associates the main image as internal data with the specific information of the RAW file as external data (the RAW file in which the RAW image of the main image as internal data is stored). By storing, the main image and the specific information of the RAW file are stored in association with each other. Further, in the first association type collection file, the association information is stored in the meta box.
  • the file name of the RAW file As the specific information of the RAW file as external data, the file name of the RAW file, uuid (Universally Unique Identifier) issued for the RAW file, URL (Uniform Resource Locator), and other RAW files can be specified. Any information that can be adopted can be adopted.
  • the association information storage box in which the association information is stored is defined as a new box stored in the meta box, and is stored in the meta box.
  • the association information in which the item ID that identifies the main image and the uuid as the specific information that identifies the RAW file associated with the main image are associated is stored. It is stored. Further, the number of main images associated with the RAW file (number of main images) is stored in the association information storage box. Since the number of main images stored in the association information storage box is the number of main images associated with the RAW file, the value is equal to or less than the number of main images stored in the mdat box.
  • the uuid of the RAW file of the main image Item # 1 is UUID # 1
  • the uuid of the RAW file of the main image Item # 2 is UUID # 2.
  • the RAW file whose uuid is UUID # i is described as the RAW file UUID # i
  • the item ID # 1 of the main image Item # 1 and the uuid of the RAW file UUID # 1 are associated with each other.
  • the association information in which the item ID # 2 of the main image Item # 2 and the uuid of the RAW file UUID # 2 are associated with each other is stored in the association information storage box.
  • FIG. 11 is a diagram showing an example of the second association type collection file.
  • the second association type collection file stores the association information that associates the main image as internal data with the specific information of the RAW file as external data, thereby storing the main image. And the specific information of the RAW file are stored in association with each other. However, in the second association type collection file, the association information is stored in the mdat box.
  • the same association information as in the case of the first association collection file is stored as an item in the mdat box.
  • the association information is stored in the mdat box as an item with item ID # 201.
  • the information stored in the meta box is the normal collection of FIG. 9 in response to the association information as item Item # 201 being stored in the mdat box. Different from the case of files.
  • the metadata of the association information as item Item # 201 is stored in the meta box.
  • the number of items stored in the inf box and the iloc box is changed from 4 in the case of FIG. 9 to 5 in which 1 of item Item # 201 is added.
  • an infe box for item Item # 201 is added to the iinf box, and an offset and size to the storage location of item Item # 201 are added to the iloc box.
  • IDIF is a newly defined attribute value (field value) indicating that the item is association information.
  • FIG. 12 is a diagram showing an example of a third association type collection file.
  • the specific information of the RAW file as external data is stored in the mdat box as an item for each specific information, and the main image as internal data and the RAW file as external data are stored.
  • the association information is information in which the item ID of the main image as an item and the item ID of the specific information (of the RAW file) as an item are associated with each other, and is in the meta box. Stored in the cdsc box stored in the iref box of.
  • the cdsc box can store the reference source and the reference destination as information that associates the main image and the items as specific information of the RAW file of the main image with each other.
  • the reference source represents the item ID of the main image
  • the reference destination represents the item ID of the specific information as an item of the RAW file of the main image specified by the item ID of the reference source.
  • UUID # 1 which is uuid as the specific information of the RAW file of the main image Item # 1
  • UUID # 2 is stored in mdat as item Item # 202
  • the cdsc box that stores the association information that associates the item ID # 1 of the main image Item # 1 and the item ID # 201 of the specific information UUID # 1 as a reference source and a reference destination, respectively, is in the iref box.
  • the iref box is the cdsc box that stores the association information that associates the item ID # 2 of the main image Item # 2 and the item ID # 202 of the specific information UUID # 2 as a reference source and a reference destination, respectively. It is stored in.
  • FIG. 13 is a diagram showing an example of a normal sequence file in which a track of the main image and a track of the thumbnail image of the main image are stored.
  • the normal sequence means a sequence file in which the internal data in the sequence file and the specific information of the external data are not associated with each other.
  • the frame is encoded by HEVC and stored in the mdat box of the sequence file.
  • hevc indicating that it is in the image sequence format and that the codec is HEVC is stored as identification information for identifying the file format.
  • the moov box stores a trak box that manages each track stored in the mdat box.
  • the track of the main image specified by track ID # 1 (hereinafter, also described as track # 1) and track # 2 of the thumbnail image of the main image of track # 1 are placed in the mdat box. It is stored. Therefore, the moov box stores a trak box that manages track # 1 and a trak box that manages track # 2.
  • the nth thumbnail image (frame) of track # 2 (from the beginning) is the thumbnail image of the nth main image of track # 1.
  • the sequence file is useful, for example, when continuous shooting is performed by the digital camera 10 and the main image and the thumbnail image of a plurality of frames obtained by the continuous shooting are recorded as one track.
  • the tkhd box of the trak box that manages track # 1 of the main image contains the track ID # 1 that identifies track # 1, the image size of the main image that composes track # 1, and the digital camera when the main image is captured. Rotation information indicating the direction of 10 and the creation date and time of track # 1 are stored.
  • the tkhd box of the trak box that manages the track # 2 of the thumbnail image stores the track ID # 2 that identifies the track # 2 and the creation date and time of the track # 2.
  • the tref box can be stored in the trak box.
  • a track ID that identifies another track related to the track managed by the truck box in which the tref box is stored, information indicating the contents of the track, and the like are stored.
  • a tref box is provided in the trak box that manages the track # 2.
  • the mdia box of the trak box can store the hdlr box.
  • the hdlr box stores information indicating the types of data constituting the tracks managed by the trak box in which the hdlr box is stored.
  • Information (pict) indicating that the data constituting track # 1 is a picture (frame) is stored in the hdlr box stored (in the stored mdia box) in the trak box that manages track # 1 of the main image.
  • the hdlr box which is stored and stored in the trak box that manages the track # 2 of the thumbnail image, stores information indicating that the data constituting the track # 2 is a picture.
  • the minf box is as explained in FIG.
  • FIG. 14 is a diagram showing an example of an association type sequence file.
  • track # 3 of the uuid (elementary) stream (Meta ES) as specific information of the RAW file as external data is added to the mdat box, and the track # 3 is managed in the trak box. Is added to the moov box.
  • track # 1 is a time series of one or more frames of the main image arranged on the timeline
  • track # 3 is a time series of uuid of the RAW file of each frame of the main image arranged on the timeline. is there.
  • the nth uuid (from the beginning) of track # 3 is the specific information of the RAW file of the frame of the nth main image of track # 1. Further, a plurality of tracks (data) stored in the mdat box can be reproduced synchronously according to the time information on one timeline. Therefore, by storing the track # 1 of the main image and the track # 3 of the uuid (stream) of the RAW file of each frame of the main image constituting the track # 1 in the mdat box, n of the track # 1.
  • the frame of the second main image and the uuid of the RAW file of (the frame of) the main image are stored in association with each other. In this case, it can be said that the frame of the main image of track # 1 and the uuid of the RAW file of (the frame of) the main image are associated with each other by the time information on the timeline.
  • the nth uuid (from the beginning) of track # 3 is specific information of the RAW file of the nth frame of track # 1, and the main image (frame) constituting track # 1 and track # 3 It can also be considered that the uuids that make up are associated with each other according to the order in which they are placed on the track.
  • association type sequence file when the uuid track # 3 of the RAW file is added to the mdat box, the trak box that manages the track # 3 is added to the moov box.
  • the tkhd box, tref box, mdia box, etc. are stored in the trak box that manages the uuid track # 3 of the RAW file.
  • the tkhd box of the track box that manages track # 3 stores the track ID # 3 that identifies track # 3 and the creation date and time of track # 3.
  • the mdia box of the trak box that manages track # 3 stores the hdlr box and the minf box.
  • the hdlr box stores information (meta) indicating that the data constituting track # 3 is metadata (of the main image), and the minf box stores track # 3.
  • the stsc box, stsc box, stsz box, and stco box for 3 are stored.
  • FIG. 15 is a flowchart illustrating an outline of an example of a generation process for generating an association type HEIF file.
  • step S11 the file control unit 43 generates a uuid as specific information of the RAW file of the frame of the main image, and the process proceeds to step S12.
  • step S12 the file control unit 43 allocates the uuid generated in step S11 to the RAW file of the frame of the main image, and the process proceeds to step S13.
  • step S13 the file control unit 43 generates an association type HEIF file in which the frame of the main image and the uuid of the RAW file of the frame are associated with each other in the HEIF file, and ends the generation process.
  • FIG. 16 is a flowchart illustrating an outline of an example of a reproduction process for reproducing an association type HEIF file.
  • step S21 the file control unit 43 generates, for example, a handle list of handles that identify individual frames of the main image stored in the HEIF file stored in the media 14, and the process is in step S22. Proceed to.
  • the handle of the frame of the main image includes the file name of the HEIF file in which the frame is stored.
  • the handle of the frame (item) of the main image stored in the collection file also contains the item ID of that frame.
  • the handle of the frame of the main image stored in the sequence file contains the time information of that frame. According to the handle of the frame of the main image, the frame for the handle can be uniquely identified (specified).
  • the track ID of the track including the frame and the order of the frames in the track are displayed. Can be included.
  • the time information of each frame is unique regardless of whether there is one or more tracks composed of frames of the main image stored in the sequence file. Therefore, according to the time information of the frame, even if a plurality of tracks are stored in the sequence file, the frame of the time information included in the handle can be uniquely identified from the frames constituting each of the plurality of tracks. it can. Therefore, when the time information of the frame is included in the handle of the frame of the main image, the frame for the time information can be uniquely specified even if the track ID of the track in which the frame exists does not exist.
  • the handle list can be generated for all the frames of the main image stored in the HEIF file stored in the media 14, or only the frames narrowed down by specific conditions such as the frame of a specific creation date and time. Can also be generated in.
  • the HEIF file is accessed by referring to the handle list as necessary.
  • step S22 for example, the UI control unit 47 requests the file control unit 43 to display the thumbnail image, waiting for the user to operate the digital camera 10 so as to display the thumbnail image.
  • the file control unit 43 reads the thumbnail image (frame) of the frame of the main image identified by the handle of the handle list from the HEIF file in response to the request from the UI control unit 47 to display the thumbnail image.
  • the file control unit 43 displays a list of thumbnail images read from the HEIF file on, for example, the liquid crystal panel 19 (FIG. 1), and the process proceeds from step S22 to step S23.
  • step S23 for example, waiting for the user to select a desired thumbnail (frame) from the list of thumbnail images, the UI control unit 47 selects the main image corresponding to the thumbnail image selected by the user. Request to the file control unit 43.
  • the file control unit 43 reads the main image from the HEIF file in response to a request from the UI control unit 47 for the main image.
  • the file control unit 43 can display the main image read from the HEIF file on the liquid crystal panel 19 as needed.
  • the UI control unit 47 requests the file control unit 43 for the uuid of the RAW file of the main image corresponding to the thumbnail image selected by the user.
  • the file control unit 43 reads the uuid from the association type HEIF file in response to the uuid request from the UI control unit 47.
  • the file control unit 43 can access the RAW file specified by the uuid read from the associated HEIF file, if necessary.
  • FIG. 17 is a flowchart illustrating an example of a reproduction process for reproducing a collection file.
  • step S31 the file control unit 43 acquires the item ID (hereinafter, also referred to as the reproduction target item ID) of the reproduction target image which is the reproduction target image (item), and the process proceeds to step S32.
  • the reproduction target item ID the item ID of the reproduction target image which is the reproduction target image (item)
  • the main image identified by any handle in the handle list, the thumbnail image of the main image, and the thumbnail image selected by the user from the list of thumbnail images (hereinafter, also referred to as selected thumbnail image) )
  • the main image of the selected thumbnail image, etc. is used as the reproduction target image, and the item ID (reproduction target item ID) of the reproduction target image is acquired.
  • step S32 the file control unit 43 reads out the reproduction target image according to the reproduction target item ID acquired in step S31.
  • the playback target image specified by the playback target item ID is read from the collection file.
  • FIG. 18 is a flowchart illustrating an example of reading processing of the image to be reproduced in step S32 of FIG.
  • step S41 the file control unit 43 searches for the item ID to be reproduced from the iloc box of the collection file (FIGS. 9 to 12), and the process proceeds to step S42.
  • step S42 the file control unit 43 reads out the offset and size associated with the playback target item ID searched in step S41 in the iloc box, and the process proceeds to step S43.
  • step S43 the file control unit 43 reads the playback target image stored in the mdat box of the collection file according to the offset and size associated with the playback target item ID, and the process ends.
  • FIG. 19 is a flowchart illustrating a first example of the process of acquiring the reproduction target item ID in step S31 of FIG.
  • FIG. 19 shows an example of acquiring the item ID of the thumbnail image which is the reproduction target image, using the thumbnail image as the reproduction target image.
  • the file control unit 43 recognizes the item ID of the main image of the thumbnail image as the image to be reproduced from the handle, for example.
  • step S51 the file control unit 43 searches the thmb box in the iref box of the collection file (FIGS. 9 to 12) for a thmb box whose reference source matches the item ID of the main image, and the process is performed in step S51. Proceed to S52.
  • step S52 the file control unit 43 reads out the reference destination in the thmb box whose reference source matches the item ID of the main image, which is searched in step S51, as the item ID of the thumbnail image as the playback target image, and processes it. Is finished.
  • FIG. 20 is a flowchart illustrating a second example of the process of acquiring the reproduction target item ID in step S31 of FIG.
  • FIG. 20 shows an example of acquiring the item ID of the main image which is the reproduction target image, using the main image as the reproduction target image.
  • step S61 the file control unit 43 searches the thmb box in the iref box of the collection file (FIGS. 9 to 12) for a thmb box whose reference destination matches the item ID of the selected thumbnail image, and the process is performed. The process proceeds to step S62.
  • step S62 the file control unit 43 reads out the reference source in the thmb box whose reference destination matches the item ID of the selected thumbnail image, which is searched in step S61, as the item ID of the main image as the playback target image. The process ends.
  • FIG. 21 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a predetermined main image RAW file from the first association type collection file of FIG.
  • the file control unit 43 recognizes the item ID of the predetermined main image by the handle list or the like.
  • step S71 the file control unit 43 searches for the item ID of the predetermined main image from the association information in the association information storage box of the first association type collection file (FIG. 10), and the process proceeds to step S72.
  • step S72 the file control unit 43 reads the uuid associated with the item ID of the predetermined main image searched in step S71 in the association information, and the process ends.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid read as described above.
  • FIG. 22 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a predetermined main image RAW file from the second association type collection file of FIG.
  • the file control unit 43 recognizes the item ID of the predetermined main image by the handle list or the like.
  • step S81 the file control unit 43 searches the infe box in the inf box of the second association type collection file (FIG. 11) for the infe box of the item type IDIF indicating that the item is the association information, and processes it. Goes to step S82.
  • step S82 the file control unit 43 reads the item ID of the association information as an item from the infe box of the item type ID IF searched in step S81, and the process proceeds to step S83.
  • step S83 the file control unit 43 searches the item ID of the association information read in step S82 from the iloc box of the second association type collection file, and the process proceeds to step S84.
  • step S84 the file control unit 43 reads out the offset and size associated with the item ID of the association information searched in step S83 in the iloc box, and the process proceeds to step S85.
  • step S85 the file control unit 43 is stored in the mdat box of the second association type collection file according to the offset and size associated with the item ID of the association information read in step S84.
  • the association information as an item is read, and the process proceeds to step S86.
  • step S86 the file control unit 43 searches for the item ID of the predetermined main image from the association information read in step S85, and the process proceeds to step S87.
  • step S87 the file control unit 43 reads the uuid associated with the item ID of the predetermined main image searched in step S86 in the association information, and the process ends.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid read as described above.
  • FIG. 23 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a predetermined main image RAW file from the third association type collection file of FIG.
  • the file control unit 43 recognizes the item ID of the predetermined main image by the handle list or the like.
  • step S91 the file control unit 43 searches the cdsc box in the iref box of the third association type collection file (FIG. 12) for the cdsc box whose reference source matches the item ID of the predetermined main image, and processes it. Proceeds to step S92.
  • step S92 the file control unit 43 sets the reference destination in the cdsc box whose reference source matches the item ID of the predetermined main image, which is searched in step S91, as an item of the RAW file of the predetermined main image. Read as the item ID of the specific information, and the process proceeds to step S93.
  • step S93 the file control unit 43 searches for the item ID of the specific information as an item read in step S92 from the iloc box of the third association type collection file, and the process proceeds to step S94.
  • step S94 the file control unit 43 reads out the offset and size associated with the item ID of the specific information searched in step S93 in the iloc box, and the process proceeds to step S95.
  • step S95 the file control unit 43 is stored in the mdat box of the third association type collection file according to the offset and size associated with the item ID of the specific information read in step S94. , Reads uuid as specific information of the RAW file of the predetermined main image, and the process ends.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid read as described above.
  • FIG. 24 is a flowchart illustrating an example of a process of acquiring a list of item IDs of the main image from the collection file.
  • the process of acquiring the list of item IDs of the main image from the collection file is performed, for example, when generating a handle list.
  • step S101 the file control unit 43 reads the item IDs from all the infe boxes in the inf box of the collection file (FIGS. 9 to 12), and lists the item IDs of the main image (hereinafter, also referred to as the main image list). ), The process proceeds to step S102.
  • step S102 the file control unit 43 reads the item ID that is the reference destination from all the boxes in the iref box of the collection file, excludes it from the main image list, and ends the process.
  • the item ID registered in the main image list becomes the item ID of the main image.
  • FIG. 25 is a flowchart illustrating an example of a process of reproducing a thumbnail image of a main image (frame) for a predetermined time information from a sequence file.
  • the file control unit 43 recognizes the time information (or order) of the predetermined main image by the handle list or the like.
  • step S111 the file control unit 43 stores information indicating that the data constituting the track is a thumbnail image from the trak box in the moov box of the sequence file (FIGS. 13 and 14) to the tref box.
  • the trak box that is, the trak box whose type is thmb in the tref box is searched as a trak box that manages the track of the thumbnail image of the main image with respect to the predetermined time information, and the process proceeds to step S112.
  • step S112 the file control unit 43 reads the track ID in the tkhd box in the trak box searched in step S111 as the track ID of the thumbnail image of the main image with respect to the predetermined time information, and the process is performed in step S112. Proceed to S113.
  • step S113 the file control unit 43 reproduces the track with the track ID read in step S112, and from the track, thumbnail images (frames) for predetermined time information (or order) are provided with predetermined time information. It is acquired as a thumbnail image of the main image for, and the process ends.
  • the process of playing back the image stored in the sequence file is the same as the process of playing back the moving image of the MP4 file.
  • FIG. 26 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a RAW file of a predetermined main image (frame) from an association type sequence file.
  • the file control unit 43 recognizes the time information (or order) of the predetermined main image by the handle list or the like.
  • step S121 the file control unit 43 stores information indicating that the data constituting the track is specific information in the tref box from the trak box in the moov box of the association type sequence file (FIG. 14).
  • the box that is, the trak box whose type is cdsc in the tref box is searched as the trak box that manages the track of the specific information, and the process proceeds to step S122.
  • step S122 the file control unit 43 reads the track ID in the tkhd box in the trak box searched in step S121 as the track ID of the track of the specific information, and the process proceeds to step S123.
  • step S123 the file control unit 43 sets the uuid as specific information for the time information (or order) of the predetermined main image from the track with the track ID read in step S122 of the RAW file of the predetermined main image. Get it as uuid and finish the process.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid acquired as described above.
  • the file control unit 43 stores the HEIF-compliant HEIF file in association with the main image in the HEIF file and the specific information that identifies the external data outside the HEIF file that is associated with the main image. Since the associated HEIF file is generated and played back, the main image stored in the HEIF file can be associated with external data outside the HEIF file.
  • FIG. 27 is a diagram showing an example of storing a uuid in a RAW file when a RAW file of the main image is adopted as external data and an association type collection file is generated.
  • the first association type collection file is adopted as the association type collection file.
  • the RAW file has an area called a marker note (MakerNote) as a part of the area for storing the attached information of Exif as metadata.
  • a marker note (MakerNote) as a part of the area for storing the attached information of Exif as metadata.
  • the file control unit 43 can store the uuid assigned to the RAW file in the RAW file, for example, the marker note.
  • the main images Item # 1, Item # 2, Item # 3, Item # 4 as four items are stored in the association type collection file, and the main images Item # 1, Item # 2, Item # 3 are stored.
  • RAW files # 1, # 2, # 3, # 4 that store the RAW images of Item # 4 have been generated.
  • UUID # i is assigned to the RAW file #i
  • the main image Item # i is used as the association information for associating the main image Item # i with the UUID # i of the RAW file #i of the main image Item # i.
  • the association information in which the specified item ID #i and the UUID # i of the RAW file #i associated with the main image Item # i are associated is stored in the association information storage box.
  • FIG. 28 is a diagram showing an example of storing the uuid in the RAW file when the RAW file of the main image is adopted as the external data and the association type sequence file is generated.
  • the file control unit 43 When generating the association type sequence file, the file control unit 43 stores the uuid assigned to the RAW file in the marker note of the RAW file, as in the case of generating the association type collection file described with reference to FIG. 27. can do.
  • the association type sequence file stores the track # 1 composed of the main images # 1, # 2, # 3, and # 4 as four frames, and the main images # 1, # 2, and # 3 are stored.
  • RAW files # 1, # 2, # 3, # 4 that store the RAW images of # 4 are generated.
  • UUID # i is assigned to the RAW file #i, and the UUID # i of the RAW file #i is the same time information as the main image #i corresponding to the RAW file #i in the associated sequence file.
  • the UUID # i of the RAW file #i is arranged so as to have the same time information as the main image #i corresponding to the RAW file #i, and the track # 3 is configured to form the track.
  • the i-th main image #i of # 1 and the i-th UUID # i of track # 3, that is, the UUID # i of the RAW file #i of the main image #i are associated and stored in the associated sequence file. Will be done.
  • the RAW file of the main image was adopted as the external data, but other data can be adopted as the external data.
  • the external data for example, a file or the like that stores the sound (sound) recorded together with the imaging of the main image can be adopted.
  • the file storing the audio for example, a WAV file in WAV format, an MP4 file in MP4 format, or the like can be adopted. In the following, for example, a WAV file will be adopted as the file that stores the audio.
  • FIG. 29 shows the uuid to the WAV file when the WAV file of the main image (WAV file in which the sound recorded together with the imaging of the main image is stored) is adopted as the external data and the associated collection file is generated. It is a figure which shows the example of storage.
  • the first association type collection file is adopted as the association type collection file.
  • the WAV file has an area called List chunk as a part of the area for describing metadata.
  • the file control unit 43 can store the uuid assigned to the WAV file in the WAV file, for example, the List chunk.
  • the main images Item # 1, Item # 2, Item # 3, Item # 4 as four items are stored in the association type collection file, and the main images Item # 1, Item # 2, Item # 3 are stored.
  • Item # 4 WAV files # 1, # 2, # 3, # 4 have been generated.
  • UUID # i is assigned to the WAV file #i
  • the main image Item # i is used as the association information for associating the main image Item # i with the UUID # i of the WAV file #i of the main image Item # i.
  • the association information associated with the specified item ID # i and the UUID # i of the WAV file #i associated with the main image Item # i is stored in the association information storage box.
  • FIG. 30 is a diagram showing an example of storing the uuid in the WAV file when the WAV file of the main image is adopted as the external data and the association type sequence file is generated.
  • the file control unit 43 When generating the association type sequence file, the file control unit 43 stores the uuid assigned to the WAV file in the List chunk of the WAV file, as in the case of generating the association type collection file described with reference to FIG. 29. can do.
  • the association type sequence file stores the track # 1 composed of the main images # 1, # 2, # 3, and # 4 as four frames, and the main images # 1, # 2, and # 3 are stored.
  • # 4 WAV files # 1, # 2, # 3, # 4 have been generated.
  • UUID # i is assigned to the WAV file #i
  • the UUID # i of the RAW file #i is the same time information as the main image #i corresponding to the RAW file #i in the associated sequence file.
  • the UUID # i of the RAW file #i is arranged so as to have the same time information as the main image #i corresponding to the RAW file #i, and the track # 3 is configured to form the track.
  • the i-th main image #i of # 1 and the i-th UUID # i of track # 3, that is, the WAV file #i of the main image #i #i UUID # i are associated and stored in the associated sequence file. Will be done.
  • this technology can be applied to ISO-based media files, MP4 files, Miaf files, etc. that have a box structure other than HEIF files.
  • this technology can be applied to other files, for example, which do not have a box structure and store an image (main image) and another image whose resolution is lowered.
  • this technology can be applied not only when associating external data with the main image in the HEIF file, but also when associating it with the screen nail image or thumbnail image in the HEIF file.
  • this technology can be applied to other cases, for example, when external data is associated with internal data other than images such as the main image in the HEIF file.
  • FIG. 31 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 905. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 902, and the input / output interface 910 is connected to the CPU 902 via the bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes a program stored in the ROM (Read Only Memory) 903 accordingly. .. Alternatively, the CPU 902 loads the program stored in the hard disk 905 into the RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • the CPU 902 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 902 outputs the processing result from the output unit 906 or transmits it from the communication unit 908, and further records it on the hard disk 905, if necessary, via the input / output interface 910.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • ⁇ 1> File control that generates an associated HEIF file that stores an image in a HEIF file that conforms to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with that image.
  • ⁇ 2> The file generation device according to ⁇ 1>, wherein the file control unit generates the association type HEIF file that stores the association information that associates the image with the specific information of the external data.
  • ⁇ 3> The file generation device according to ⁇ 2>, wherein the file control unit stores the association information in which the item ID that identifies the image and the specific information are associated with each other in the association type HEIF file.
  • ⁇ 4> The file generation device according to ⁇ 3>, wherein the file control unit stores the association information in the meta box or mdat box of the association type HEIF file.
  • the file control unit The specific information is stored in the mdat box of the association type HEIF file, and the specific information is stored. Described in ⁇ 2>, in which the association information in which the item ID that identifies the image and the item ID that identifies the specific information stored in the mdat box are associated with each other is stored in the meta box of the association type HEIF file.
  • File generator In which the item ID that identifies the image and the item ID that identifies the specific information stored in the mdat box are associated with each other is stored in the meta box of the association type HEIF file.
  • ⁇ 6> The file generation device according to ⁇ 1>, wherein the file control unit stores a track of specific information of the external data associated with each frame constituting the track of the image in the mdat box of the association type HEIF file.
  • ⁇ 7> The file generation according to ⁇ 6>, wherein each frame constituting the track of the image and the specific information constituting the track of the specific information are associated with the time information on the timeline or the order in which the tracks are arranged. apparatus.
  • ⁇ 8> The file generation device according to any one of ⁇ 1> to ⁇ 7>, wherein the image and another image based on the image are stored in the association type HEIF file.
  • ⁇ 9> To generate an associated HEIF file that stores an image in a HEIF file that conforms to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with that image.
  • File generation method to include.
  • File control that generates an associated HEIF file that stores an image in a HEIF file that conforms to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with that image.
  • a program to make a computer work As a part, a program to make a computer work.
  • ⁇ 11> File control to play back an associated HEIF file that stores an image in a HEIF file that conforms to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with that image.
  • a file playback device that has a unit.
  • the file control unit reads out the specific information of the external data associated with the predetermined image from the association type HEIF file storing the association information for associating the image with the specific information of the external data.
  • the association type HEIF file stores the association information in which the item ID that identifies the image and the specific information are associated with each other.
  • the file playback device reads out the specific information associated with the item ID of the predetermined image in the association information.
  • the association information is stored in the meta box or mdat box of the association type HEIF file.
  • the file playback device reads the specific information associated with the item ID of the predetermined image in the association information from the meta box or the mdat box.
  • the specific information is stored in the mdat box of the associated HEIF file.
  • the association information in which the item ID that identifies the image and the item ID that identifies the specific information stored in the mdat box are associated with each other is stored in the meta box of the association type HEIF file.
  • the file control unit reads out the specific information specified by the item ID of the specific information associated with the item ID of the predetermined image in the association information stored in the meta box from the mdat box.
  • the file playback device according to ⁇ 12>. ⁇ 16> A track of specific information of the external data associated with each frame constituting the track of the image is stored in the mdat box of the association type HEIF file.
  • Each frame constituting the track of the image and the specific information constituting the track of the specific information are associated with each other according to the time information on the timeline or the order in which the tracks are arranged.
  • the file control unit acquires the time information on the timeline of a predetermined frame or the specific information regarding the order of arrangement on the track of the predetermined frame from the track of the specific information according to ⁇ 11>.
  • File playback device ⁇ 17> The file playback device according to any one of ⁇ 11> to ⁇ 16>, wherein the image and another image based on the image are stored in the association type HEIF file.
  • ⁇ 18> Playing back an associated HEIF file that stores an image in a HEIF file that conforms to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with that image.
  • File playback method including. ⁇ 19> File control to play back an associated HEIF file that stores an image in a HEIF file that conforms to HEIF (High Efficiency Image File Format) and specific information that identifies external data outside the HEIF file that is associated with that image.
  • a program to make a computer work As a part, a program to make a computer work.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本技術は、ファイルに格納される画像と、ファイル外の外部データとを関連付けることができるようにするファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラムに関する。 ファイル制御部は、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成する。また、ファイル制御部は、関連付け型HEIFファイルを再生する。本技術は、HEIFファイルを生成する場合や再生する場合に適用することができる。

Description

ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム
　本技術は、ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラムに関し、特に、例えば、ファイルに格納される画像と、ファイル外の外部データとを関連付けることができるようにするファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラムに関する。
　画像を、効率的に格納するファイルフォーマットとして、HEIF(High Efficiency Image File Format)がある。
ISO/IEC 23008-12:2017, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 12: Image File Format
　HEIF(High Efficiency Image File Format)に準拠したHEIFファイルについては、HEIFファイル内に格納される画像と、HEIFファイル外の外部データとを関連付けることができれば、便利である。
　本技術は、このような状況に鑑みてなされたものであり、HEIFファイル内に格納される画像と、HEIFファイル外の外部データとを関連付けることができるようにするものである。
　本技術のファイル生成装置、又は、第１のプログラムは、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部を備えるファイル生成装置、又は、そのようなファイル生成装置として、コンピュータを機能させるためのプログラムである。
　本技術のファイル生成方法は、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成することを含むファイル生成方法である。
　本技術のファイル生成装置、ファイル生成方法、及び、第１のプログラムにおいては、　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルが生成される。
　本技術のファイル再生装置、又は、第２のプログラムは、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部を備えるファイル再生装置、又は、そのようなファイル再生装置として、コンピュータを機能させるためのプログラムである。
　本技術のファイル再生方法は、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生することを含むファイル再生方法である。
　本技術のファイル再生装置、ファイル再生方法、及び、第２のプログラムにおいては、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルが再生される。
　なお、ファイル生成装置やファイル再生装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、第１のプログラムや第２のプログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。
本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。 ISOベースメディアファイルフォーマットの例を示す図である。 HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。 イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。 iprpボックスの例を示す図である。 イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。 trakボックスの例を示す図である。 主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。 第１の関連付け型コレクションファイルの例を示す図である。 第２の関連付け型コレクションファイルの例を示す図である。 第３の関連付け型コレクションファイルの例を示す図である。 主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。 関連付け型シーケンスファイルの例を示す図である。 関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。 関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。 コレクションファイルを再生する再生処理の例を説明するフローチャートである。 ステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。 ステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。 ステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。 第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。 シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。 関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 外部データとして、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。 外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。 外部データとして、主画像のWAVファイルを採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。 外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したディジタルカメラの一実施の形態＞
　図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
　ディジタルカメラ１０は、光学系１１、イメージセンサ１２、信号処理部１３、メディア１４、インタフェース１５及び１６、ボタン／キー１７、タッチパネル１８、液晶パネル１９、ビューファインダ２０、並びに、インタフェース２１等を有する。
　光学系１１は、被写体からの光を、イメージセンサ１２に集光する。
　イメージセンサ１２は、光学系１１からの光を受光し、光電変換する撮像を行うことで、電気信号としての画像のデータを生成し、信号処理部１３に供給する。
　信号処理部１３は、光学系／イメージセンサ制御部４１、符号化制御部４２、ファイル制御部４３、メディア制御部４４、操作制御部４５、表示制御部４６、及び、UI制御部４７を有する。
　光学系／イメージセンサ制御部４１は、光学系１１及びイメージセンサ１２を制御し、その制御に従って行われる撮像により得られる画像（のデータ）を、符号化制御部４２に供給する。
　符号化制御部４２は、光学系／イメージセンサ制御部４１からの画像を表示制御部４６に供給するとともに、必要に応じて符号化し、ファイル制御部４３に供給する。また、符号化制御部４２は、ファイル制御部４３から供給される画像を必要に応じて復号し、表示制御部４６に供給する。
　ファイル制御部４３は、符号化制御部４２から供給される画像を格納したファイルを生成し、メディア制御部４４に供給する。また、ファイル制御部４３は、メディア制御部４４から供給されるファイルの再生、すなわち、ファイルに格納された画像等のデータの読み出しを行う。例えば、ファイルから読み出された画像は、ファイル制御部４３から符号化制御部４２に供給される。
　メディア制御部４４は、メディア１４、並びに、インタフェース１５及び１６との間でのファイルのやりとりを制御する。例えば、メディア制御部４４は、ファイル制御部４３からのファイルを、メディア１４に記録させ、又は、インタフェース１５及び１６から送信させる。また、メディア制御部４４は、メディア１４からファイルを再生し、又は、インタフェース１５及び１６にファイルを受信させ、ファイル制御部４３に供給する。
　操作制御部４５は、ユーザによるボタン／キー１７やタッチパネル１８の操作に応じて、その操作に対応する操作信号を、必要なブロックに供給する。
　表示制御部４６は、符号化制御部４２から供給される画像等を、液晶パネル１９や、ビューファインダ２０、インタフェース２１に供給して表示させる表示制御等を行う。
　UI制御部４７は、UI(User Interface)制御をつかさどる。
　メディア１４は、例えば、SDカード等の記憶媒体である。インタフェース１５は、例えば、WiFi（登録商標）やイーサネット（登録商標）等のLAN(Local Area Network)のインタフェースである。インタフェース１６は、例えば、USB(Universal Serial Bus)のインタフェースである。ボタン／キー１７及びタッチパネル１８は、ディジタルカメラ１０に指令その他の情報を入力するときに、ユーザによって操作される。タッチパネル１８は、液晶パネル１９と一体的に構成することができる。液晶パネル１９及びビューファインダ２０は、表示制御部４６から供給される画像等を表示する。インタフェース２１は、HDMI(High-Definition Multimedia Interface)（登録商標）やDP(Display Port)等の少なくとも画像を伝送するインタフェースである。
　以上のように構成されるディジタルカメラ１０では、符号化制御部４２は、イメージセンサ１２の撮像により得られるRAWデータの画像（以下、RAW画像ともいう）から、例えば、そのRAW画像と同一の解像度（画素数）のYUVの画像（以下、主画像ともいう）を生成する。さらに、符号化制御部４２は、YUVの主画像から、液晶パネル１９や外部のディスプレイでの表示の用途用に、主画像に基づく第１の他の画像としての、例えば、主画像よりも解像度が低いYUVの画像（以下、スクリーンネイル画像ともいう）を生成するとともに、一覧表示の用途用に、主画像に基づく第２の他の画像としての、例えば、スクリーンネイル画像よりも解像度が低いYUVの画像（以下、サムネイル画像ともいう）を生成する。符号化制御部４２は、例えば、スクリーンネイル画像を、表示制御部４６を介して、液晶パネル１９に供給し、いわゆるスルー画として表示させる。サムネイル画像としては、例えば、長辺が320ピクセル以下のサイズの画像を採用することができる。主画像と、主画像に基づく第１の他の画像としてのスクリーンネイル画像、又は、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズ（ピクセル数）の比率は、例えば、200倍以下にすることができる。主画像に基づく第１の他の画像としてのスクリーンネイル画像と、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズの比率も、同様に、200倍以下とすることができる。スクリーンネイル画像としては、例えば、解像度が4K以上の画像を採用することができる。また、スクリーンネイル画像としては、例えば、ユーザの選択に応じて、4K（QFHD）又はFHDの画像を採用することができる。さらに、本画像とスクリーンネイル画像としては、同一の解像度の画像を採用することができる。本画像とスクリーンネイル画像として、同一の解像度の画像を採用する場合、HEIFファイルには、本画像とスクリーンネイル画像との両方を格納することもできるし、スクリーンネイル画像を格納せずに、本画像を格納することができる。HEIFファイルに、スクリーンネイル画像を格納せずに、本画像を格納する場合には、本画像をリサイズして、スクリーンネイル画像として用いることができる。
　また、符号化制御部４２は、RAW画像に対応する主画像、スクリーンネイル画像、及び、サムネイル画像（RAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）を、必要に応じて符号化し、RAW画像とともに、ファイル制御部４３に供給する。
　ファイル制御部４３は、RAW画像が格納されたRAWファイルを生成するとともに、対応する主画像、スクリーンネイル画像、及び、サムネイル画像（同一のRAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）が格納されたHEIFファイル、又は、JPEGファイルを生成し、メディア制御部４４に供給する。HEIFファイルとは、HEIF(High Efficiency Image File Format)に準拠したファイルであり、JPEGファイルとは、JPEG(Joint Photographic Experts Group)に準拠したファイルである。
　メディア制御部４４は、ファイル制御部４３からのRAWファイルと、HEIFファイル又はJPEGファイルとを、メディア１４に記録し、あるいは、インタフェース１５又は１６から送信させる。
　ファイル制御部４３において、HEIFファイル、及び、JPEGファイルのうちのいずれを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルには、後述するように、イメージアイテム形式とイメージシーケンス形式とがあるが、イメージアイテム形式とイメージシーケンス形式とのいずれを採用するかは、例えば、ユーザの操作に応じて選択することができる。さらに、ファイル制御部４３では、ユーザの操作に応じて、HEIFファイルとJPEGファイルとの間の相互変換を行うことができる。
　さらに、ファイル制御部４３では、HEIFファイルの生成にあたって、HEIFファイル外の外部データ（HEIFファイルに格納されていないデータ）と関連付けるHEIFファイル内の内部データ（HEIFファイルに格納されたデータ）と、その外部データを特定する特定情報とを関連付けて、HEIFファイルに格納することができる。内部データと、その内部データと関連付ける外部データの特定情報とが関連付けられて格納されたHEIFファイルを、関連付け型HEIFファイルともいう。関連付け型HEIFファイルには、例えば、内部データと特定情報とを関連付ける関連付け情報を格納すること等によって、内部データと特定情報とを関連付けて格納することができる。
　＜JPEGファイル＞
　図２は、JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。
　JPEGファイルは、例えば、Exifのメタデータ、サムネイル画像、XMP(Extensible Metadata Platform)（登録商標）のメタデータ、主画像及び簡易表示用画像の格納場所（位置）等を表すMPF、主画像、並びに、簡易表示用画像が格納されて構成される。簡易表示用画像としては、例えば、スクリーンネイル画像を採用することができる。
　＜ISOベースメディアファイルフォーマット＞
　図３は、ISOベースメディアファイルフォーマットの例を示す図である。
　HEIF(ISO/IEC 23008-12)は、ISOベースメディアファイルフォーマット(ISO/IEC 14496-12)に準拠したファイルフォーマットであり、したがって、HEIFファイルは、ISOベースメディアファイルフォーマットに準拠する。
　ISOベースメディアファイルフォーマットは、データを格納するコンテナとしてのボックス(box)と呼ばれる単位で構成され、ボックス構造と呼ばれる構造を有する。
　ボックスは、タイプ(box type)、及び、実データ(data)等を有する。タイプは、ボックス内の実データの種類を表す。実データとしては、画像（静止画、動画）や、オーディオ、字幕（サブタイトル）等の再生可能なメディアデータ、属性名（フィールド名）とその属性名（で表される変数）の属性値（フィールド値）、その他の各種のデータを採用することができる。
　さらに、実データとしては、ボックスを採用することができる。すなわち、ボックスは、実データとして、ボックスを持つことができ、これにより、階層構造にすることができる。
　ISOベースメディアファイルフォーマットに準拠したベースメディアファイルは、ftypボックス、moovボックス(MovieBox)、metaボックス(MetaBox)、及び、mdatボックス(MediaDataBox)等を有することができる。ftypボックスには、ファイルフォーマットを識別する識別情報が格納される。moovボックスは、trakボックス等を格納することができる。metaボックスは、iinfボックス、iprpボックス、irefボックス、ilocボックス等を格納することができる。mdatボックスは、メディアデータ（AVデータ）、その他任意のデータを格納することができる。
　HEIFは、以上のようなISOベースメディアファイルフォーマットに準拠する。
　＜HEIFファイル＞
　図４は、HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。
　HEIFファイルには、大きく分けて、イメージアイテム形式と、イメージシーケンス形式とがある。さらに、イメージアイテム形式には、後述するアイテムを１つだけ有するシングルイメージ形式と、アイテムを複数有するイメージコレクション形式とがある。
　イメージアイテム形式のHEIFファイルは、ftypボックス、metaボックス、及び、mdatボックスを有する。
　イメージシーケンス形式のHEIFファイルは、ftypボックス、moovボックス、及び、mdatボックスを有する。
　なお、HEIFファイルは、metaボックス及びmoovボックスのうちの一方だけでなく、両方を有することもできる。
　ftypボックスには、ファイルフォーマットを識別する識別情報、例えば、ファイルがイメージアイテム形式又はイメージシーケンス形式のHEIFファイルであること等が格納される。
　metaボックス及びmoovボックスには、mdatボックスに格納されるメディアデータの再生や管理等に必要な、例えば、メディアデータの格納場所等のメタデータが格納される。
　mdatボックスには、メディアデータ（AVデータ）等が格納される。
　ディジタルカメラ１０において、イメージアイテム形式とイメージシーケンス形式とのHEIFファイルのうちのいずれのHEIFファイルを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルのmdatに、画像を符号化して格納する場合には、イメージアイテム形式については、イントラ符号化のみが許され、イメージシーケンス形式については、イントラ符号化及びインター符号化が許される。したがって、例えば、HEIFファイルに格納されたデータへの高速アクセスを優先する場合には、イメージアイテム形式のHEIFファイルの生成を選択し、HEIFファイルのサイズ（データ量）を小さくすることを優先する場合には、イメージシーケンス形式のHEIFファイルの生成を選択することができる。
　図５は、イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。
　イメージアイテム形式のHEIFファイルでは、ftypボックスに、イメージアイテム形式のHEIFファイルであることを表す情報、例えば、mif1等が（属性値として）格納される。
　metaボックスには、iinfボックス、irefボックス、iprpボックス、及び、ilocボックスが格納される。
　iinfボックスには、mdatボックスに格納されたメディアデータ（AVデータ）であるアイテムの数（を表す属性名と属性値）等が格納される。アイテムとは、イメージアイテム形式のHEIFファイルのmdatボックスに格納される１つのデータであり、例えば、１枚（画面）の画像が、アイテムである。本明細書では、静止画及び動画にかかわらず、画像の１枚を、フレームともいう。１フレームは、１アイテムである。
　irefボックスには、アイテムどうしの関連を表す情報が格納される。例えば、mdatボックスには、対応する主画像、スクリーンネイル画像、及び、サムネイル画像のそれぞれをアイテムとして格納することができる。mdatボックスに、主画像としてのアイテムI1、スクリーンネイル画像としてのアイテムI2、及び、サムネイル画像としてのアイテムI3が格納される場合、irefボックスには、アイテムI2がアイテムI1としての主画像のスクリーンネイル画像であることを表す情報や、アイテムI3がアイテムI1としての主画像のサムネイル画像であることを表す情報が格納される。
　iprpボックスには、アイテムのプロパティに関する情報が格納される。
　ilocボックスには、mdatボックスに格納されたアイテムの格納場所に関する情報が格納される。
　イメージアイテム形式の（HEIFファイルの）mdatボックスには、アイテムとしての、例えば、画像のフレームが格納される。mdatボックスには、１個以上のアイテムを格納することができる。また、mdatボックスには、アイテムとしてのフレームを符号化して格納することができる。但し、イメージアイテム形式のmdatボックスに格納するアイテムとしてのフレームの符号化は、イントラ符号化に制限される。アイテムとしてのフレームを符号化する符号化方式（コーデック）としては、例えば、HEVC等を採用することができる。
　図６は、図５のiprpボックスの例を示す図である。
　iprpボックスには、アイテムのプロパティに関するipcoボックス及びipmaボックスが格納される。ipcoボックスには、mdatボックスに格納されたアイテムのプロパティ、例えば、アイテムとしての画像のコーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクス（ポインタ）が格納される。
　図７は、イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。
　イメージシーケンス形式のHEIFファイルでは、ftypボックスに、イメージシーケンス形式のHEIFファイルであることを表す情報、例えば、msf1等が格納される。
　moovボックスには、trakボックスが格納される。trakボックスには、mdatボックスに格納されるトラックに関する情報が格納される。
　トラックは、画像や音声等の１つの独立した、タイムラインに従って再生されるメディアデータで構成される。例えば、トラックは、エレメンタリストリームとなる１フレーム以上の画像で構成される。mdatボックスに格納されるトラックについては、複数のトラック、例えば、同時に記録された画像及び音声それぞれのトラックを、同時に再生することができる。
　トラックのメディアデータは、サンプルと呼ばれる単位で構成される。サンプルとは、HEIFファイル内のメディアデータにアクセスする場合の、最小の単位（アクセス単位）である。したがって、サンプルより細かい単位で、HEIFファイル内のメディアデータにアクセスすることはできない。
　画像のメディアデータについては、例えば、１フレーム等が、１サンプルとなる。また、音声のメディアデータについては、例えば、その音声のメディアデータの規格で定められた１オーディオフレーム等が、１サンプルとなる。
　イメージシーケンス形式の（HEIFファイルの）mdatボックスにおいて、トラックのメディアデータは、チャンク(chunk)と呼ばれる単位で配置される。チャンクは、論理的に連続したアドレスに配置される１以上のサンプルの集合である。
　mdatボックスに、メディアデータとしての複数のトラックが格納される場合、その複数のトラックは、チャンク単位で、インターリーブして配置される。
　moovボックスには、mdatボックスに格納されるトラックそれぞれを管理するtrakボックスが格納される。
　イメージシーケンス形式のmdatボックスには、画像や音声等のメディアデータで構成される１以上のトラックが格納される。mdatボックスには、トラックを構成する画像のフレームを符号化して格納することができる。イメージシーケンス形式のmdatボックスに格納するトラックを構成するフレームの符号化には、GOP(Group of Picture)として、long GOPを採用するとともに、イントラ符号化及びインター符号化のいずれをも採用することができる。トラックを構成するフレームを符号化するコーデックとしては、例えば、HEVC等を採用することができる。
　図８は、trakボックスの例を示す図である。
　trakボックスには、tkhdボックス及びmdiaボックスを格納することができる。tkhdボックスには、trakボックスが管理するトラックの作成日時等の、トラックのヘッダ情報が格納される。mdiaボックスには、minfボックス等が格納される。minfボックスには、stblボックスが格納される。stblボックスには、トラックのサンプル、ひいては、チャンクにアクセスするための情報が格納されるstsdボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。stsdボックスには、トラックのコーデックに関するコーデック情報が格納される。stscボックスには、チャンクサイズ（1チャンクのサンプル数）が格納される。stszボックスには、サンプルサイズが格納される。stcoボックスには、チャンクオフセット、すなわち、mdatボックスに格納されたトラックの各チャンクの配置位置のオフセットが格納される。
　ここで、イメージアイテム形式のHEIFファイルを、コレクションファイルともいい、イメージシーケンス形式のHEIFファイルを、シーケンスファイルともいう。さらに、イメージアイテム形式の関連付け型HEIFファイルを、関連付け型コレクションファイルともいい、イメージシーケンス形式の関連付け型HEIFファイルを、関連付け型シーケンスファイルともいう。
　ディジタルカメラ１０では、主画像、さらには、必要なスクリーンネイル画像、及び、サムネイル画像のうちの一方又は両方が格納されたHEIFファイル（関連付け型HEIFファイルを含む）を生成することができる。
　＜コレクションファイル＞
　図９は、主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。
　ここで、通常のコレクションファイルとは、コレクションファイル内の内部データと、外部データの特定情報とが関連付けられていないコレクションファイルを意味する。
　いま、コレクションファイルのmdatボックスには、フレーム（アイテム）がHEVCで符号化されて格納されることとする。
　ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージアイテム形式であることと、コーデックがHEVCであることとを表すheicが格納される。
　iinfボックスには、mdatボックスに格納されたアイテムの数（アイテム数）が格納される。図９では、アイテムID#1で特定される主画像（以下、主画像Item#1のようにも記載する）、主画像Item#2、アイテムID#101で特定されるサムネイル画像（以下、サムネイル画像Item#101のようにも記載する）、サムネイル画像Item#102の合計で４個のアイテム（フレーム）が、mdatボックスに格納されている。したがって、アイテム数は４である。なお、サムネイル画像Item#101は、主画像Item#1のサムネイル画像であり、サムネイル画像Item#102は、主画像Item#2のサムネイル画像である。
　iinfボックスには、さらに、例えば、mdatボックスに格納されたアイテムごとに、infeボックスが格納される。infeボックスには、アイテムを特定するアイテムIDと、アイテムタイプとが登録される。図９では、主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びIteｍ#102それぞれのInfeボックスが存在する。
　irefボックスには、mdatボックスに格納されたアイテムどうしを関連付ける情報として、例えば、thmbボックスが格納される。thmbボックスは、主画像とその主画像のサムネイル画像とを関連付ける情報としての参照元と参照先とが対応付けられて格納される。thmbボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のサムネイル画像のアイテムIDを表す。したがって、参照元に対応付けられている参照先によれば、参照元が表すアイテムIDで特定される主画像のサムネイル画像のアイテムIDを認識することができる。また、参照先に対応付けられている参照元によれば、参照先が表すアイテムIDで特定されるサムネイル画像の主画像のアイテムIDを認識することができる。
　iprpボックスには、図６で説明したように、ipcoボックス及びipmaボックスが格納される。ipcoボックスには、図６で説明したように、mdatボックスに格納されたアイテムとしてのフレームプロパティ、例えば、コーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、図６で説明したように、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクスが格納される。
　ilocボックスには、図６で説明したようにmdatボックスにおけるアイテムの格納場所に関する情報が格納される。図９では、ilocボックスには、アイテム数が４であることが格納されている。さらに、ilocボックスには、mdatボックスに格納された主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びIteｍ#102それぞれの格納場所へのオフセット及びサイズがアイテムIDと対応付けられて格納されている。
　以下、図９の通常のコレクションファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型コレクションファイルを説明する。
　図１０は、第１の関連付け型コレクションファイルの例を示す図である。
　ここで、以下では、HEIFファイル内の内部データとしての主画像と関連付ける外部データとして、例えば、その主画像のRAW画像が格納されたRAWファイルを採用することとする。
　第１の関連付け型コレクションファイルには、内部データとしての主画像と、外部データとしてのRAWファイル（内部データとしての主画像のRAW画像が格納されたRAWファイル）の特定情報とを関連付ける関連付け情報を格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。さらに、第１の関連付け型コレクションファイルでは、関連付け情報が、metaボックスに格納される。
　外部データとしてのRAWファイルの特定情報としては、RAWファイルのファイル名や、RAWファイルに対して発行されたuuid(Universally Unique Identifier)、URL(Uniform Resource Locator)、その他、RAWファイルを特定することができる任意の情報を採用することができる。
　第１の関連付け型コレクションファイルについては、metaボックスに格納される新たなボックスとして、関連付け情報が格納される関連付け情報格納ボックスが定義され、metaボックスに格納される。第１の関連付け型コレクションファイルの関連付け情報格納ボックスには、例えば、主画像を特定するアイテムIDと、その主画像に関連付けるRAWファイルを特定する特定情報としてのuuidとが対応付けられた関連付け情報が格納される。さらに、関連付け情報格納ボックスには、RAWファイルと関連付けられる主画像の数（主画像数）が格納される。関連付け情報格納ボックスに格納される主画像数は、RAWファイルと関連付けられる主画像の数であるので、mdatボックスに格納されている主画像の数以下の値になる。
　図１０では、主画像Item#1のRAWファイルのuuidが、UUID#1になっており、主画像Item#2のRAWファイルのuuidが、UUID#2になっている。いま、uuidがUUID#iのRAWファイルを、RAWファイルUUID#iと記述することとすると、図１０では、主画像Item#1のアイテムID#1とRAWファイルUUID#1のuuidとが対応付けられ、かつ、主画像Item#2のアイテムID#2とRAWファイルUUID#2のuuidとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。
　図１１は、第２の関連付け型コレクションファイルの例を示す図である。
　第２の関連付け型コレクションファイルには、第１の関連付けコレクションファイルと同様に、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第２の関連付け型コレクションファイルでは、関連付け情報が、mdatボックスに格納される。
　第２の関連付け型コレクションファイルについては、例えば、第１の関連付けコレクションファイルの場合と同様の関連付け情報が、アイテムとして、mdatボックスに格納される。図１１では、関連付け情報が、アイテムID#201のアイテムとして、mdatボックスに格納されている。
　以上のように、第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報が、mdatボックスに格納されることに応じて、metaボックスに格納される情報が、図９の通常のコレクションファイルの場合と異なる。第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報のメタデータが、metaボックスに格納される。
　具体的には、第２の関連付け型コレクションファイルでは、iinfボックス及びilocボックスに格納されるアイテム数が、図９の場合の４から、その４に、アイテムItem#201の１を加えた５になる。さらに、iinfボックスに、アイテムItem#201に対するinfeボックスが追加されるとともに、ilocボックスに、アイテムItem#201の格納場所へのオフセット及びサイズが追加される。アイテムItem#201に対するinfeボックスには、アイテムItem#201のアイテムID#201と、アイテムItem#201が関連付け情報であることを表すアイテムタイプIDIF(identifying data info)とが格納される。IDIFは、アイテムが関連付け情報であることを表す、新たに定義された属性値（フィールド値）である。
　図１２は、第３の関連付け型コレクションファイルの例を示す図である。
　第３の関連付け型コレクションファイルでは、外部データとしてのRAWファイルの特定情報を、特定情報ごとに、アイテムとして、mdatボックスに格納するとともに、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を、metaボックスに格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第３の関連付け型コレクションファイルでは、関連付け情報は、アイテムとしての主画像のアイテムIDと、アイテムとしての（RAWファイルの）特定情報のアイテムIDとを対応付けた情報であり、metaボックス内のirefボックスに格納されるcdscボックスに格納される。
　cdscボックスには、主画像とその主画像のRAWファイルの特定情報それぞれとしてのアイテムどうしとを関連付ける情報としての参照元と参照先とを対応付けて格納することができる。cdscボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のRAWファイルのアイテムとしての特定情報のアイテムIDを表す。
　図１２では、主画像Item#1のRAWファイルの特定情報としてのuuidであるUUID#1が、アイテムItem#201として、mdatに格納され、主画像Item#2のRAWファイルの特定情報としてのuuidであるUUID#2が、アイテムItem#202として、mdatに格納されている。さらに、主画像Item#1のアイテムID#1と、特定情報UUID#1のアイテムID#201とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納され、主画像Item#2のアイテムID#2と、特定情報UUID#2のアイテムID#202とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。
　＜シーケンスファイル＞
　図１３は、主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。
　ここで、通常のシーケンスとは、シーケンスファイル内の内部データと、外部データの特定情報とが関連付けられていないシーケンスファイルを意味する。
　いま、シーケンスファイルのmdatボックスには、フレームがHEVCで符号化されて格納されることとする。
　ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージシーケンス形式であることと、コーデックがHEVCであることとを表すhevcが格納される。
　moovボックスには、図７で説明したように、mdatボックスに格納されるトラックそれぞれを管理するtrakボックスが格納される。図１３では、トラックID#1で特定される主画像のトラック（以下、トラック#1のようにも記載する）、及び、トラック#1の主画像のサムネイル画像のトラック#2が、mdatボックスに格納されている。したがって、moovボックスには、トラック#1を管理するtrakボックスと、トラック#2を管理するtrakボックスとが格納される。トラック#2の（先頭から）n番目のサムネイル画像（のフレーム）は、トラック#1のn番目の主画像のサムネイル画像である。
　シーケンスファイルは、例えば、ディジタルカメラ１０で連写が行われた場合に、その連写で得られる複数フレームの主画像及びサムネイル画像を、それぞれ、1トラックとして記録する場合等に有用である。
　主画像のトラック#1を管理するtrakボックスのtkhdボックスには、トラック#1を特定するトラックID#1、トラック#1を構成する主画像の画サイズ、主画像が撮像されたときのディジタルカメラ１０の向きを表す回転情報、及び、トラック#1の作成日時が格納される。サムネイル画像のトラック#2を管理するtrakボックスのtkhdボックスには、トラック#2を特定するトラックID#2、及び、トラック#2の作成日時が格納される。
　trakボックスには、図７で説明したtkhdボックス及びmdiaボックスの他に、trefボックスを格納することができる。trefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラックと関連する他のトラックを特定するトラックID、及び、トラックの内容を表す情報等が格納される。図１３では、トラック#2を管理するtrakボックスの中に、trefボックスが設けられている。そして、そのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#2を構成するデータがサムネイル画像であること（トラック#2がサムネイル画像のトラックであること）(type=thmb)を表す情報が格納されている。
　trakボックスのmdiaボックスには、図８で説明したminfボックスの他、hdlrボックスを格納することができる。hdlrボックスには、そのhdlrボックスが格納されたtrakボックスが管理するトラックを構成するデータの種別を表す情報が格納される。主画像のトラック#1を管理するtrakボックスに（格納されるmdiaボックスに）格納されるhdlrボックスには、トラック#1を構成するデータがピクチャ（フレーム）であることを表す情報(pict)が格納され、サムネイル画像のトラック#2を管理するtrakボックスに格納されるhdlrボックスには、トラック#2を構成するデータがピクチャであることを表す情報が格納される。
　minfボックスについては、図８で説明した通りである。
　以下、図１３の通常のシーケンスファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型シーケンスファイルを説明する。
　図１４は、関連付け型シーケンスファイルの例を示す図である。
　関連付け型シーケンスファイルでは、外部データとしてのRAWファイルの特定情報としてのuuidの（エレメンタリ）ストリーム(Meta ES)のトラック#3が、mdatボックスに追加されるとともに、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。
　ここで、トラック#1は、タイムライン上に並ぶ主画像の１フレーム以上の時系列であり、トラック#3は、タイムライン上に並ぶ、主画像の各フレームのRAWファイルのuuidの時系列である。
　トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目の主画像のフレームのRAWファイルの特定情報である。また、mdatボックスに格納された複数のトラック（のデータ）は、１つのタイムライン上の時刻情報に従って同期して再生することができる。したがって、主画像のトラック#1と、トラック#1を構成する主画像の各フレームのRAWファイルのuuid（のストリーム）のトラック#3とを、mdatボックスに格納することで、トラック#1のn番目の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、関連付けられて格納される。この場合、トラック#1の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、タイムライン上の時刻情報により関連付けられるということができる。
　なお、トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目のフレームのRAWファイルの特定情報であり、トラック#1を構成する主画像（のフレーム）と、トラック#3を構成するuuidとは、トラックに配置される順番によって関連付けられると捉えることもできる。
　関連付け型シーケンスファイルでは、RAWファイルのuuidのトラック#3が、mdatボックスに追加されることに応じて、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。
　RAWファイルのuuidのトラック#3を管理するtrakボックスには、tkhdボックス、trefボックス、及び、mdiaボックス等が格納される。
　トラック#3を管理するtrakボックスのtkhdボックスには、トラック#3を特定するトラックID#3、及び、トラック#3の作成日時が格納される。
　トラック#3を管理するtrakボックスのtrefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラック#3と関連する他のトラックを特定するトラックID、及び、トラック#3の内容を表す情報等が格納される。トラック#3を構成するuuidは、トラック#1を構成する主画像のRAWファイルの特定情報であり、トラック#3は、トラック#1と関連しているので、図１４のトラック#3を管理するtrakボックスのtrefボックスには、トラック#3と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#3がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)を表す情報が格納される。
　トラック#3を管理するtrakボックスのmdiaボックスには、hdlrボックス及びminfボックスが格納される。トラック#3を管理するtrakボックスにおいて、hdlrボックスには、トラック#3を構成するデータが（主画像の）メタデータであることを表す情報(meta)が格納され、minfボックスには、トラック#3についてのstscボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。
　＜HEIFファイルの生成及び再生＞
　図１５は、関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。
　生成処理では、ステップＳ１１において、ファイル制御部４３は、主画像のフレームのRAWファイルの特定情報としてのuuidを生成し、処理は、ステップＳ１２に進む。
　ステップＳ１２では、ファイル制御部４３は、ステップＳ１１で生成したuuidを、主画像のフレームのRAWファイルに割り当て、処理は、ステップＳ１３に進む。
　ステップＳ１３では、ファイル制御部４３は、HEIFファイルに主画像のフレームと、そのフレームのRAWファイルのuuidとを関連付けて格納した関連付け型HEIFファイルを生成し、生成処理を終了する。
　図１６は、関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。
　再生処理では、ステップＳ２１において、ファイル制御部４３は、例えば、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームの個々を識別するハンドルのハンドルリストを生成し、処理は、ステップＳ２２に進む。
　ここで、主画像のフレームのハンドルは、そのフレームが格納されたHEIFファイルのファイル名を含む。コレクションファイルに格納された主画像のフレーム（アイテム）のハンドルは、さらに、そのフレームのアイテムIDを含む。シーケンスファイルに格納された主画像のフレームのハンドルは、そのフレームの時刻情報を含む。主画像のフレームのハンドルによれば、そのハンドルに対するフレームを、一意に識別（特定）することができる。
　なお、シーケンスファイルに格納された主画像のフレームのハンドルには、フレームの時刻情報に代えて、フレームを含むトラックのトラックIDと、そのトラックにおけるフレームの順番（何番目のフレームであるか）を含めることができる。
　シーケンスファイルに格納される、主画像のフレームで構成されるトラックが、１つであっても複数であっても、各フレームの時刻情報はユニークである。したがって、フレームの時刻情報によれば、シーケンスファイルに複数のトラックが格納されていても、その複数のトラックそれぞれを構成するフレームから、ハンドルに含まれる時刻情報のフレームを、一意に特定することができる。そのため、主画像のフレームのハンドルに、そのフレームの時刻情報を含める場合には、そのフレームが存在するトラックのトラックIDがなくても、時刻情報に対するフレームを、一意に特定することができる。
　ハンドルリストは、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームすべてを対象に生成することもできるし、特定の作成日時のフレーム等の、特定の条件で絞り込んだフレームのみを対象に生成することもできる。
　ファイル制御部４３において、ハンドルリストの生成後、HEIFファイルへのアクセスは、必要に応じて、ハンドルリストを参照して行われる。
　ステップＳ２２では、例えば、ユーザが、サムネイル画像の表示を行うように、ディジタルカメラ１０を操作すること等を待って、UI制御部４７は、サムネイル画像の表示を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのサムネイル画像の表示の要求に応じて、ハンドルリストのハンドルにより識別される主画像のフレームのサムネイル画像（のフレーム）を、HEIFファイルから読み出す。そして、ファイル制御部４３は、HEIFファイルから読み出されたサムネイル画像の一覧を、例えば、液晶パネル１９（図１）に表示させ、処理は、ステップＳ２２からステップＳ２３に進む。
　ステップＳ２３では、例えば、ユーザが、サムネイル画像の一覧から、所望のサムネイル（のフレーム）を選択すること等を待って、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からの主画像の要求に応じて、その主画像を、HEIFファイルから読み出す。ファイル制御部４３は、HEIFファイルから読み出された主画像を、必要に応じて、液晶パネル１９に表示させることができる。
　又は、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像のRAWファイルのuuidを、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのuuidの要求に応じて、そのuuidを、関連付け型HEIFファイルから読み出す。ファイル制御部４３は、必要に応じて、関連付け型HEIFファイルから読み出されたuuidにより特定されるRAWファイルにアクセスすることができる。
　図１７は、コレクションファイルを再生する再生処理の例を説明するフローチャートである。
　ステップＳ３１において、ファイル制御部４３は、再生対象の画像（アイテム）である再生対象画像のアイテムID（以下、再生対象アイテムIDともいう）の取得を行い、処理は、ステップＳ３２に進む。
　再生対象アイテムIDの取得では、例えば、ハンドルリストの任意のハンドルにより識別される主画像や、その主画像のサムネイル画像、サムネイル画像の一覧からユーザが選択したサムネイル画像（以下、選択サムネイル画像ともいう）、選択サムネイル画像の主画像等を、再生対象画像として、その再生対象画像のアイテムID（再生対象アイテムID）が取得される。
　ステップＳ３２では、ファイル制御部４３は、ステップＳ３１で取得された再生対象アイテムIDに応じて、再生対象画像の読み出しを行う。
　再生対象画像の読み出しでは、再生対象アイテムIDにより特定される再生対象画像が、コレクションファイルから読み出される。
　図１８は、図１７のステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。
　ステップＳ４１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のilocボックスから、再生対象アイテムIDを検索し、処理は、ステップＳ４２に進む。
　ステップＳ４２では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ４１で検索された再生対象アイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ４３に進む。
　ステップＳ４３では、ファイル制御部４３は、再生対象アイテムIDに対応付けられているオフセット及びサイズに応じて、コレクションファイルのmdatボックスに格納された再生対象画像を読み出し、処理は終了する。
　図１９は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。
　すなわち、図１９は、サムネイル画像を再生対象画像として、その再生対象画像であるサムネイル画像のアイテムIDの取得の例を示している。
　なお、図１９では、ファイル制御部４３は、例えば、ハンドルから、再生対象画像としてサムネイル画像の主画像のアイテムIDを認識していることとする。
　ステップＳ５１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照元が主画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ５２に進む。
　ステップＳ５２では、ファイル制御部４３は、ステップＳ５１で検索された、参照元が主画像のアイテムIDに一致するthmbボックス内の参照先を、再生対象画像としてのサムネイル画像のアイテムIDとして読み出し、処理は終了する。
　図２０は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。
　すなわち、図２０は、主画像を再生対象画像として、その再生対象画像である主画像のアイテムIDの取得の例を示している。
　なお、図２０では、例えば、ユーザが、サムネイル画像の一覧からサムネイル画像（選択サムネイル画像）を選択し、ファイル制御部４３は、その選択サムネイル画像のアイテムIDを認識していることとする。
　ステップＳ６１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ６２に進む。
　ステップＳ６２では、ファイル制御部４３は、ステップＳ６１で検索された、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックス内の参照元を、再生対象画像としての主画像のアイテムIDとして読み出し、処理は終了する。
　図２１は、図１０の第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２１では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。
　ステップＳ７１において、ファイル制御部４３は、第１の関連付け型コレクションファイル（図１０）の関連付け情報格納ボックスの関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ７２に進む。
　ステップＳ７２では、ファイル制御部４３は、関連付け情報において、ステップＳ７１で検索された所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。
　ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　図２２は、図１１の第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２２では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。
　ステップＳ８１において、ファイル制御部４３は、第２の関連付け型コレクションファイル（図１１）のiinfボックス内のinfeボックスから、アイテムが関連付け情報であることを表すアイテムタイプIDIFのinfeボックスを検索し、処理は、ステップＳ８２に進む。
　ステップＳ８２では、ファイル制御部４３は、ステップＳ８１で検索された、アイテムタイプIDIFのinfeボックスから、アイテムとしての関連付け情報のアイテムIDを読み出し、処理は、ステップＳ８３に進む。
　ステップＳ８３では、ファイル制御部４３は、第２の関連付け型コレクションファイルのilocボックスから、ステップＳ８２で読み出された、関連付け情報のアイテムIDを検索し、処理は、ステップＳ８４に進む。
　ステップＳ８４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ８３で検索された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ８５に進む。
　ステップＳ８５では、ファイル制御部４３は、ステップＳ８４で読み出された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第２の関連付け型コレクションファイルのmdatボックスに格納されたアイテムとしての関連付け情報を読み出し、処理は、ステップＳ８６に進む。
　ステップＳ８６では、ファイル制御部４３は、ステップＳ８５で読み出された関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ８７に進む。
　ステップＳ８７では、ファイル制御部４３は、関連付け情報において、ステップＳ８６で検索された、所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。
　ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　図２３は、図１２の第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２３では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。
　ステップＳ９１において、ファイル制御部４３は、第３の関連付け型コレクションファイル（図１２）のirefボックス内のcdscボックスから、参照元が所定の主画像のアイテムIDに一致するcdscボックスを検索し、処理は、ステップＳ９２に進む。
　ステップＳ９２では、ファイル制御部４３は、ステップＳ９１で検索された、参照元が所定の主画像のアイテムIDに一致するcdscボックス内の参照先を、アイテムとしての、所定の主画像のRAWファイルの特定情報のアイテムIDとして読み出し、処理は、ステップＳ９３に進む。
　ステップＳ９３では、ファイル制御部４３は、第３の関連付け型コレクションファイルのilocボックスから、ステップＳ９２で読み出された、アイテムとしての特定情報のアイテムIDを検索し、処理は、ステップＳ９４に進む。
　ステップＳ９４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ９３で検索された、特定情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ９５に進む。
　ステップＳ９５では、ファイル制御部４３は、ステップＳ９４で読み出された、特定情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第３の関連付け型コレクションファイルのmdatボックスに格納された、所定の主画像のRAWファイルの特定情報としてのuuidを読み出し、処理は終了する。
　ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　図２４は、コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。
　コレクションファイルから主画像のアイテムIDのリストを取得する処理は、例えば、ハンドルリストを生成する場合等に行われる。
　ステップＳ１０１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のiinfボックス内のすべてのinfeボックスから、アイテムIDを読み出し、主画像のアイテムIDのリスト（以下、主画像リストともいう）に登録して、処理は、ステップＳ１０２に進む。
　ステップＳ１０２では、ファイル制御部４３は、コレクションファイルのirefボックス内のすべてのボックスから、参照先になっているアイテムIDを読み出し、主画像リストから除外して、処理は終了する。
　以上の処理後、主画像リストに登録されているアイテムIDが、主画像のアイテムIDとなる。
　図２５は、シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。
　なお、図２５では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。
　ステップＳ１１１において、ファイル制御部４３は、シーケンスファイル（図１３及び図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータがサムネイル画像であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがthmbになっているtrakボックスを、所定の時刻情報に対する主画像のサムネイル画像のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１１２に進む。
　ステップＳ１１２では、ファイル制御部４３は、ステップＳ１１１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、所定の時刻情報に対する主画像のサムネイル画像のトラックのトラックIDとして読み出し、処理は、ステップＳ１１３に進む。
　ステップＳ１１３では、ファイル制御部４３は、ステップＳ１１２で読み出されたトラックIDのトラックを再生し、そのトラックから、所定の時刻情報（又は順番）に対するサムネイル画像（のフレーム）を、所定の時刻情報に対する主画像のサムネイル画像として取得して、処理は終了する。
　なお、シーケンスファイルに格納された画像を再生する処理は、MP4ファイルの動画再生の処理と同様である。
　図２６は、関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２６では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。
　ステップＳ１２１において、ファイル制御部４３は、関連付け型シーケンスファイル（図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータが特定情報であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがcdscになっているtrakボックスを、特定情報のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１２２に進む。
　ステップＳ１２２では、ファイル制御部４３は、ステップＳ１２１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、特定情報のトラックのトラックIDとして読み出し、処理は、ステップＳ１２３に進む。
　ステップＳ１２３では、ファイル制御部４３は、ステップＳ１２２で読み出されたトラックIDのトラックから、所定の主画像の時刻情報（又は順番）に対する特定情報としてのuuidを、所定の主画像のRAWファイルのuuidとして取得して、処理は終了する。
　ファイル制御部４３は、以上のように取得されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　以上のように、ファイル制御部４３では、HEIFに準拠したHEIFファイルに、HEIFファイル内の主画像と、その主画像と関連付ける、HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルの生成及び再生を行うので、HEIFファイル内に格納される主画像と、HEIFファイル外の外部データとを関連付けることができる。
　また、特定情報として、uuidを用いる場合には、外部データのファイル名が変更されても、uuidにより、HEIFファイル内の主画像と、ファイル名の変更後の外部データとの関連付けを維持することができる。
　＜外部データに割り当てられた特定情報の格納＞
　図２７は、外部データとして、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。
　なお、図２７では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。
　RAWファイルは、メタデータとしてのExifの付属情報を格納する領域の一部の領域として、マーカノート(MakerNote)と呼ばれる領域を有する。
　ファイル制御部４３は、RAWファイルに割り当てられたuuidを、そのRAWファイルの、例えば、マーカノートに格納することができる。
　図２７では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#iには、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのRAWファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるRAWファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。
　図２８は、外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。
　ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２７で説明した関連付け型コレクションファイルを生成する場合と同様に、RAWファイルに割り当てられたuuidを、そのRAWファイルのマーカノートに格納することができる。
　図２８では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。
　以上のように、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのRAWファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。
　以上においては、外部データとして、主画像のRAWファイルを採用したが、外部データとしては、その他のデータを採用することができる。外部データとしては、例えば、主画像の撮像とともに録音した音声（音）を格納したファイル等を採用することができる。音声を格納したファイルとしては、例えば、WAVフォーマットのWAVファイルや、MP4フォーマットのMP4ファイル等を採用することができる。以下では、音声を格納したファイルとしては、例えば、WAVファイルを採用することとする。
　図２９は、外部データとして、主画像のWAVファイル（主画像の撮像とともに録音された音声が格納されたWAVファイル）を採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。
　なお、図２９では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。
　WAVファイルは、メタデータを記述する領域の一部の領域として、Listチャンクと呼ばれる領域を有する。
　ファイル制御部４３は、WAVファイルに割り当てられたuuidを、そのWAVファイルの、例えば、Listチャンクに格納することができる。
　図２９では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#iには、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのWAVファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるWAVファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。
　図３０は、外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。
　ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２９で説明した関連付け型コレクションファイルを生成する場合と同様に、WAVファイルに割り当てられたuuidを、そのWAVファイルのListチャンクに格納することができる。
　図３０では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。
　以上のように、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのWAVファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。
　なお、本技術は、HEIFファイルの他、HEIFファイル以外のボックス構造を有する、例えば、ISOベースメディアファイルや、MP4ファイル、Miafファイル等に適用することができる。
　また、本技術は、その他、例えば、ボックス構造を有しない、画像（主画像）と、その画像の解像度を低下させた他の画像とを格納するファイル等に適用することができる。
　さらに、本技術は、外部データを、HEIFファイル内の主画像に関連付ける場合の他、HEIFファイル内のスクリーンネイル画像やサムネイル画像に関連付ける場合に適用することができる。
　また、本技術は、その他、例えば、外部データを、HEIFファイル内の主画像等の画像以外の内部データに関連付ける場合に適用することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述したファイル制御部４３その他の信号処理部１３（図１）を構成する各ブロックの一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、コンピュータ等にインストールされる。
　図３１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部を備える
　ファイル生成装置。
　＜２＞
　前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報を格納した前記関連付け型HEIFファイルを生成する
　＜１＞に記載のファイル生成装置。
　＜３＞
　前記ファイル制御部は、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルに格納する
　＜２＞に記載のファイル生成装置。
　＜４＞
　前記ファイル制御部は、前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納する
　＜３＞に記載のファイル生成装置。
　＜５＞
　前記ファイル制御部は、
　　前記特定情報を、前記関連付け型HEIFファイルのmdatボックスに格納し、
　　前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックスに格納する
　＜２＞に記載のファイル生成装置。
　＜６＞
　前記ファイル制御部は、前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックを、前記関連付け型HEIFファイルのmdatボックスに格納する
　＜１＞に記載のファイル生成装置。
　＜７＞
　前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられる
　＜６＞に記載のファイル生成装置。
　＜８＞
　前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
　＜１＞ないし＜７＞のいずれかに記載のファイル生成装置。
　＜９＞
　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成することを含む
　ファイル生成方法。
　＜１０＞
　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部
　として、コンピュータを機能させるためのプログラム。
　＜１１＞
　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部を備える
　ファイル再生装置。
　＜１２＞
　前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報を格納した前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出す
　＜１１＞に記載のファイル再生装置。
　＜１３＞
　前記関連付け型HEIFファイルには、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報が格納され、
　前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を読み出す
　＜１２＞に記載のファイル再生装置。
　＜１４＞
　前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納され、
　前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を、前記metaボックス、又は、mdatボックスから読み出す
　＜１３＞に記載のファイル再生装置。
　＜１５＞
　前記特定情報が、前記関連付け型HEIFファイルのmdatボックスに格納され、
　前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックスに格納され、
　前記ファイル制御部は、前記metaボックスに格納された前記関連付け情報において、所定の前記画像のアイテムIDに対応付けられた前記特定情報のアイテムIDにより特定される前記特定情報を、前記mdatボックスから読み出す
　＜１２＞に記載のファイル再生装置。
　＜１６＞
　前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックが、前記関連付け型HEIFファイルのmdatボックスに格納され、
　前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられ、
　前記ファイル制御部は、所定のフレームのタイムライン上の時刻情報、又は、前記所定のフレームのトラックに配置される順番に対する前記特定情報を、前記特定情報のトラックから取得する
　＜１１＞に記載のファイル再生装置。
　＜１７＞
　前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
　＜１１＞ないし＜１６＞のいずれかに記載のファイル再生装置。
　＜１８＞
　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生することを含む
　ファイル再生方法。
　＜１９＞
　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部
　として、コンピュータを機能させるためのプログラム。
　１０　ディジタルカメラ，　１１　光学系，　１３　信号処理部，　１４　メディア，　１５，１６　インタフェース，　１７　ボタン／キー，　１８　タッチパネル，　１９　液晶パネル，　２０　ビューファインダ，　２１　インタフェース，　４１　光学系／イメージセンサ制御部，　４２　符号化制御部，　４３　ファイル制御部，　４４　メディア制御部，　４５　操作制御部，　４６　表示制御部，　４７　UI制御部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (19)

  1. 　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部を備える
    　ファイル生成装置。
  2. 　前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報を格納した前記関連付け型HEIFファイルを生成する
    　請求項１に記載のファイル生成装置。
  3. 　前記ファイル制御部は、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルに格納する
    　請求項２に記載のファイル生成装置。
  4. 　前記ファイル制御部は、前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納する
    　請求項３に記載のファイル生成装置。
  5. 　前記ファイル制御部は、
    　　前記特定情報を、前記関連付け型HEIFファイルのmdatボックスに格納し、
    　　前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックスに格納する
    　請求項２に記載のファイル生成装置。
  6. 　前記ファイル制御部は、前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックを、前記関連付け型HEIFファイルのmdatボックスに格納する
    　請求項１に記載のファイル生成装置。
  7. 　前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられる
    　請求項６に記載のファイル生成装置。
  8. 　前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
    　請求項１に記載のファイル生成装置。
  9. 　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成することを含む
    　ファイル生成方法。
  10. 　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部
    　として、コンピュータを機能させるためのプログラム。
  11. 　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部を備える
    　ファイル再生装置。
  12. 　前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報を格納した前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出す
    　請求項１１に記載のファイル再生装置。
  13. 　前記関連付け型HEIFファイルには、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報が格納され、
    　前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を読み出す
    　請求項１２に記載のファイル再生装置。
  14. 　前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納され、
    　前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を、前記metaボックス、又は、mdatボックスから読み出す
    　請求項１３に記載のファイル再生装置。
  15. 　前記特定情報が、前記関連付け型HEIFファイルのmdatボックスに格納され、
    　前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックスに格納され、
    　前記ファイル制御部は、前記metaボックスに格納された前記関連付け情報において、所定の前記画像のアイテムIDに対応付けられた前記特定情報のアイテムIDにより特定される前記特定情報を、前記mdatボックスから読み出す
    　請求項１２に記載のファイル再生装置。
  16. 　前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックが、前記関連付け型HEIFファイルのmdatボックスに格納され、
    　前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられ、
    　前記ファイル制御部は、所定のフレームのタイムライン上の時刻情報、又は、前記所定のフレームのトラックに配置される順番に対する前記特定情報を、前記特定情報のトラックから取得する
    　請求項１１に記載のファイル再生装置。
  17. 　前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
    　請求項１１に記載のファイル再生装置。
  18. 　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生することを含む
    　ファイル再生方法。
  19. 　HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部
    　として、コンピュータを機能させるためのプログラム。
PCT/JP2020/011363 2019-03-28 2020-03-16 ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム WO2020196006A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080022531.4A CN113615158A (zh) 2019-03-28 2020-03-16 文件生成设备、文件生成方法、文件再现设备、文件再现方法和程序
JP2021509079A JPWO2020196006A1 (ja) 2019-03-28 2020-03-16
EP20777009.0A EP3952275A4 (en) 2019-03-28 2020-03-16 FILE GENERATING DEVICE, FILE GENERATING METHOD, FILE PLAYING DEVICE, FILE PLAYING METHOD, AND PROGRAM
US17/441,520 US11849249B2 (en) 2019-03-28 2020-03-16 File generation device, file generation method, file reproduction device, file reproduction method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-063995 2019-03-28
JP2019063995 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020196006A1 true WO2020196006A1 (ja) 2020-10-01

Family

ID=72611459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011363 WO2020196006A1 (ja) 2019-03-28 2020-03-16 ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム

Country Status (5)

Country Link
US (1) US11849249B2 (ja)
EP (1) EP3952275A4 (ja)
JP (1) JPWO2020196006A1 (ja)
CN (1) CN113615158A (ja)
WO (1) WO2020196006A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022148729A1 (en) * 2021-01-06 2022-07-14 Canon Kabushiki Kaisha Method and apparatus for encapsulating uncompressed images and uncompressed video data into a file

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3952275A4 (en) * 2019-03-28 2022-06-01 Sony Group Corporation FILE GENERATING DEVICE, FILE GENERATING METHOD, FILE PLAYING DEVICE, FILE PLAYING METHOD, AND PROGRAM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038375A (ja) * 2010-08-05 2012-02-23 Canon Inc 記録装置
JP2014045353A (ja) * 2012-08-27 2014-03-13 Canon Inc 画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055599A1 (ja) * 2003-12-01 2005-06-16 Konica Minolta Photo Imaging, Inc. 情報記録装置及び再生指示ファイル生成プログラム並びに記録媒体
JP4182932B2 (ja) * 2004-08-04 2008-11-19 ソニー株式会社 記録装置および方法、再生装置および方法、記録再生装置および方法、並びにプログラム
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP2011223248A (ja) * 2010-04-08 2011-11-04 Sony Corp 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5917123B2 (ja) * 2011-12-14 2016-05-11 キヤノン株式会社 記録装置
EP3240285B1 (en) * 2014-12-22 2021-04-21 Sony Corporation Information processing device, information recording medium, information processing method, and program
GB2538998A (en) 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
EP3107011B1 (en) * 2015-06-16 2018-12-12 Nokia Technologies Oy Method, apparatus, and computer program product for storage of dynamically derived images in an image container file
JP6576122B2 (ja) * 2015-06-29 2019-09-18 キヤノン株式会社 データ記録装置およびその制御方法、撮像装置
EP3952275A4 (en) * 2019-03-28 2022-06-01 Sony Group Corporation FILE GENERATING DEVICE, FILE GENERATING METHOD, FILE PLAYING DEVICE, FILE PLAYING METHOD, AND PROGRAM
WO2020255757A1 (ja) * 2019-06-18 2020-12-24 ソニー株式会社 ファイル処理装置、ファイル処理方法、及び、プログラム
JP7468530B2 (ja) * 2019-06-18 2024-04-16 ソニーグループ株式会社 ファイル処理装置、ファイル処理方法、及び、プログラム
JPWO2021020142A1 (ja) * 2019-07-30 2021-02-04
WO2021100491A1 (ja) * 2019-11-21 2021-05-27 ソニーグループ株式会社 ファイル処理装置及びファイル処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038375A (ja) * 2010-08-05 2012-02-23 Canon Inc 記録装置
JP2014045353A (ja) * 2012-08-27 2014-03-13 Canon Inc 画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "ISO/IEC 23008-12 Information technology - High efficiency coding and media delivery in heterogeneous environments Part 12: Image File Format", ISO/IEC 23008-12, 2017, pages 68 - 69, XP009522782, Retrieved from the Internet <URL:https://standards.iso.org/ittf/PubliclyAvailableStandards/c066067_IS0_IEC_23008-12_2017.zip> *
See also references of EP3952275A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022148729A1 (en) * 2021-01-06 2022-07-14 Canon Kabushiki Kaisha Method and apparatus for encapsulating uncompressed images and uncompressed video data into a file

Also Published As

Publication number Publication date
JPWO2020196006A1 (ja) 2020-10-01
US11849249B2 (en) 2023-12-19
EP3952275A1 (en) 2022-02-09
CN113615158A (zh) 2021-11-05
EP3952275A4 (en) 2022-06-01
US20220182576A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
US20090282060A1 (en) Representing digital content metadata
US20220269716A1 (en) File processing device, file processing method, and program
KR20100081868A (ko) 통합 채널 관리를 통한 컨텐트 재생 방법 및 장치
WO2013118505A1 (ja) マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路
WO2020196006A1 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム
WO2020255757A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
KR20030092176A (ko) 컨텐츠 파일과 네비게이션 정보의 편집처리방법
WO2020255756A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
WO2021100491A1 (ja) ファイル処理装置及びファイル処理方法
WO2021182089A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
WO2021182090A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
WO2021117481A1 (ja) データ処理装置、データ処理方法、及び、プログラム
US8565425B2 (en) Recording medium, method for manufacturing the same and apparatus for reproducing the same
WO2021177044A1 (ja) 画像処理装置及び画像処理方法
WO2007148304A2 (en) Representing digital content metadata
JP2013021430A (ja) サムネイル画像提供装置、方法、およびシステム
JP2011130219A (ja) 映像記録装置および映像再生装置
Peltzman Unlocking the DCP

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777009

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021509079

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020777009

Country of ref document: EP

Effective date: 20211028