WO2021100491A1 - ファイル処理装置及びファイル処理方法 - Google Patents

ファイル処理装置及びファイル処理方法 Download PDF

Info

Publication number
WO2021100491A1
WO2021100491A1 PCT/JP2020/041495 JP2020041495W WO2021100491A1 WO 2021100491 A1 WO2021100491 A1 WO 2021100491A1 JP 2020041495 W JP2020041495 W JP 2020041495W WO 2021100491 A1 WO2021100491 A1 WO 2021100491A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
image
encrypted
encryption key
item
Prior art date
Application number
PCT/JP2020/041495
Other languages
English (en)
French (fr)
Inventor
嶺 陣内
伊藤　亮吾
大輔 舩元
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/773,958 priority Critical patent/US20230006818A1/en
Priority to JP2021558287A priority patent/JPWO2021100491A1/ja
Priority to CN202080079060.0A priority patent/CN114731276A/zh
Priority to EP20890468.0A priority patent/EP4050841A4/en
Priority to KR1020227016320A priority patent/KR20220103109A/ko
Publication of WO2021100491A1 publication Critical patent/WO2021100491A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0822—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using key encryption key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357—Television signal processing therefor for scrambling ; for copy protection by modifying the video signal
    • H04N2005/91364—Television signal processing therefor for scrambling ; for copy protection by modifying the video signal the video signal being scrambled

Definitions

  • the present technology relates to a file processing device and a file processing method, and more particularly to, for example, a file processing device and a file processing method that enable restriction of viewing of an image.
  • HEIF High Efficiency Image File Format
  • This technology was made in view of such a situation, and makes it possible to restrict viewing of images stored in a file.
  • the first file processing device of the present technology associates an encrypted image in which an image is encrypted with a first encryption key with an encryption encryption key in which the first encryption key is encrypted with a second encryption key. It is a file processing device equipped with a file control unit that generates a stored file.
  • the first file processing method of the present technology associates an encrypted image in which an image is encrypted with a first encryption key and an encryption encryption key in which the first encryption key is encrypted with a second encryption key. It is a file processing method including generating a stored file.
  • an encrypted image in which an image is encrypted with a first encryption key and an encryption in which the first encryption key is encrypted with a second encryption key is generated.
  • the second file processing device of the present technology associates an encrypted image in which an image is encrypted with a first encryption key with an encryption encryption key in which the first encryption key is encrypted with a second encryption key.
  • a file control unit that decrypts the encrypted encryption key of the stored file into the first encryption key, and decrypts the encrypted image into the image with the first encryption key obtained by the decryption. It is a file processing device provided.
  • the second file processing method of the present technology associates an encrypted image in which an image is encrypted with a first encryption key and an encryption encryption key in which the first encryption key is encrypted with a second encryption key.
  • a file including decrypting the encrypted encryption key of the stored file into the first encryption key, and decrypting the encrypted image into the image with the first encryption key obtained by the decryption. It is a processing method.
  • an encrypted image in which an image is encrypted with a first encryption key and an encryption in which the first encryption key is encrypted with a second encryption key is decrypted by the first encryption key, and the encrypted image is decrypted into the image by the first encryption key obtained by the decryption. Will be done.
  • the first and second file processing devices may be independent devices or internal blocks constituting one device.
  • first and second file processing devices can be realized by causing a computer to execute a program.
  • a program that causes a computer to function as a first and second file processing device can be provided by recording on a recording medium or transmitting via a transmission medium.
  • the second encrypted HEIF file is handled by the image processing system 100, the viewing of the main image obtained by decrypting the encrypted image is restricted by a user other than the user who can obtain the private key corresponding to the encrypted image.
  • restriction processing It is a flowchart explaining an example of restriction processing. It is a flowchart explaining the example of the reproduction processing which reproduces the 2nd encrypted HEIF file when the image processing system 100 handles the 2nd encrypted HEIF file.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a digital camera to which the present technology is applied.
  • the digital camera 10 includes an optical system 11, an image sensor 12, a signal processing unit 13, media 14, interfaces 15 and 16, buttons / keys 17, a touch panel 18, a liquid crystal panel 19, a viewfinder 20, an interface 21, and the like.
  • the optical system 11 collects the light from the subject on the image sensor 12.
  • the image sensor 12 receives light from the optical system 11 and performs photoelectric conversion to perform imaging to generate image data as an electric signal and supply it to the signal processing unit 13.
  • the signal processing unit 13 includes an optical system / image sensor control unit 41, a coding control unit 42, a file control unit 43, a media control unit 44, an operation control unit 45, a display control unit 46, and a UI control unit 47.
  • the optical system / image sensor control unit 41 controls the optical system 11 and the image sensor 12, and supplies (data) an image (data) obtained by imaging performed according to the control to the coding control unit 42.
  • the coding control unit 42 supplies the image from the optical system / image sensor control unit 41 to the display control unit 46, encodes it as necessary, and supplies it to the file control unit 43. Further, the coding control unit 42 decodes the image supplied from the file control unit 43 as necessary, and supplies the image to the display control unit 46.
  • the file control unit 43 generates a file in which the image supplied from the coding control unit 42 is stored and supplies the file to the media control unit 44. Further, the file control unit 43 plays back a file supplied from the media control unit 44, that is, reads out data such as an image stored in the file. For example, the image read from the file is supplied from the file control unit 43 to the coding control unit 42.
  • the media control unit 44 controls the exchange of files between the media 14 and the interfaces 15 and 16. For example, the media control unit 44 causes the media 14 to record the file from the file control unit 43, or causes the interfaces 15 and 16 to transmit the file. Further, the media control unit 44 reads a file from the media 14 or causes the interfaces 15 and 16 to receive the file and supplies the file to the file control unit 43.
  • the operation control unit 45 supplies an operation signal corresponding to the operation of the button / key 17 or the touch panel 18 by the user to a necessary block.
  • the display control unit 46 performs display control and the like to supply the image and the like supplied from the coding control unit 42 to the liquid crystal panel 19, the viewfinder 20, and the interface 21 for display.
  • the UI control unit 47 is in charge of UI (User Interface) control.
  • the media 14 is a storage medium such as an SD card.
  • the interface 15 is a LAN (Local Area Network) interface such as WiFi (registered trademark) or Ethernet (registered trademark).
  • the interface 16 is, for example, a USB (Universal Serial Bus) interface.
  • the buttons / keys 17 and the touch panel 18 are operated by the user when inputting commands and other information to the digital camera 10.
  • the touch panel 18 can be integrally configured with the liquid crystal panel 19.
  • the liquid crystal panel 19 and the viewfinder 20 display an image or the like supplied from the display control unit 46.
  • the interface 21 is an interface for transmitting at least an image such as HDMI (registered trademark) (High-Definition Multimedia Interface) or DP (DisplayPort).
  • the optical system / image sensor control unit 41 uses, for example, a RAW image from an image of RAW data (hereinafter, also referred to as a RAW image) obtained by imaging the image sensor 12.
  • a RAW image obtained by imaging the image sensor 12.
  • a YUV image having the same resolution (number of pixels) is generated as a master image of the HEIF file and supplied to the coding control unit 42.
  • the coding control unit 42 has a lower resolution than, for example, a main image of the YUV as a first other image based on the main image for display on a liquid crystal panel 19 or an external display. Generates a YUV image (hereinafter also referred to as a screen nail image) and has a higher resolution than, for example, a screen nail image as a second other image based on the main image for use in index display (list display). Generates a low YUV image (hereinafter also referred to as a thumbnail image). For example, the coding control unit 42 supplies the screen nail image to the liquid crystal panel 19 via the display control unit 46 and displays it as a so-called through image.
  • a YUV image hereinafter also referred to as a screen nail image
  • thumbnail image Generates a low YUV image
  • thumbnail image for example, an image having a long side of 320 pixels or less can be adopted.
  • the ratio of the size (number of pixels) of the main image to the screen nail image as the first other image based on the main image or the thumbnail image as the second other image based on the main image is, for example, 200. Can be doubled or less.
  • the size ratio of the screen nail image as the first other image based on the main image and the thumbnail image as the second other image based on the main image can be 200 times or less.
  • the screen nail image for example, an image having a resolution of 4K or higher can be adopted. Further, as the screen nail image, for example, a 4K (QFHD) or FHD image can be adopted according to the user's selection.
  • the main image and the screen nail image an image having the same resolution can be adopted.
  • both the main image and the screen nail image can be stored in the HEIF file, or the main image and the screen nail image are not stored. Images can be stored.
  • the main image is stored in the HEIF file without storing the screen nail image, the main image can be resized and used as the screen nail image.
  • the coding control unit 42 needs a main image, a screen nail image, and a thumbnail image (a main image, a screen nail image, and a thumbnail image generated from the same RAW image) corresponding to the RAW image. It is encoded accordingly and supplied to the file control unit 43 together with the RAW image.
  • the file control unit 43 generates a RAW file in which the RAW image is stored, and also generates a corresponding main image, a screen nail image, and a thumbnail image (a main image generated from the same RAW image, a screen nail image, and a thumbnail image).
  • a HEIF file or a JPEG file in which a thumbnail image) is stored is generated and supplied to the media control unit 44.
  • a HEIF file is a file conforming to HEIF (High Efficiency Image File Format)
  • a JPEG file is a file conforming to JPEG (Joint Photographic Experts Group).
  • the media control unit 44 records the RAW file from the file control unit 43 and the HEIF file or JPEG file on the media 14 or causes the interface 15 or 16 to transmit the RAW file and the HEIF file or the JPEG file.
  • the file control unit 43 which of the HEIF file and the JPEG file is generated can be selected, for example, according to the operation of the user. Further, as will be described later, the HEIF file has an image item format and an image sequence format, and which of the image item format and the image sequence format should be adopted is selected according to, for example, the user's operation. be able to. Further, the file control unit 43 can perform mutual conversion between the HEIF file and the JPEG file according to the operation of the user.
  • the internal data (data stored in the HEIF file) in the HEIF file to be associated with the external data outside the HEIF file (data not stored in the HEIF file) and the internal data (data stored in the HEIF file) thereof. It can be stored in a HEIF file in association with specific information that identifies external data.
  • a HEIF file in which internal data and specific information of external data associated with the internal data are associated and stored is also referred to as an association type HEIF file.
  • the association type HEIF file can store the internal data and the specific information in association with each other, for example, by storing the association information for associating the internal data with the specific information.
  • FIG. 2 is a diagram showing an example of a JPEG file format conforming to JPEG (Joint Photographic Experts Group).
  • JPEG files include, for example, Exif metadata, thumbnail images, XMP (Extensible Metadata Platform) (registered trademark) metadata, MPFs representing storage locations (positions) of main images and simple display images, and main images.
  • a simple display image is stored and configured.
  • As the simple display image for example, a screen nail image can be adopted.
  • FIG. 3 is a diagram showing an example of an ISO base media file format.
  • HEIF (ISO / IEC 23008-12) is a file format that conforms to the ISO base media file format (ISO / IEC 14496-12), and therefore HEIF files conform to the ISO base media file format.
  • the ISO-based media file format is composed of units called boxes as containers for storing data, and has a structure called a box structure.
  • the box has a type (box type), actual data (data), and the like.
  • the type represents the type of actual data in the box.
  • the actual data includes images (still images, moving images), playable media data such as audio and subtitles (subtitles), and attribute values (fields) of attribute names (field names) and their attribute names (variables represented by). Value) and various other data can be adopted.
  • a box can be adopted as the actual data. That is, the box can have a box as actual data, thereby forming a hierarchical structure.
  • the base media file conforming to the ISO base media file format can have an ftyp box, a moov box (MovieBox), a meta box (MetaBox), an mdat box (MediaDataBox), and the like.
  • the ftyp box stores identification information that identifies the file format.
  • the moov box can store a trak box and the like.
  • the meta box can store an inf box, an iprp box, an iref box, an iloc box, and the like.
  • the mdat box can store media data (AV data) and any other data.
  • HEIF conforms to the above ISO-based media file format.
  • FIG. 4 is a diagram showing an example of a HEIF file format conforming to HEIF.
  • HEIF files are roughly divided into image item format and image sequence format. Further, the image item format includes a single image format having only one item, which will be described later, and an image collection format having a plurality of items.
  • the HEIF file in the image item format has an ftyp box, a meta box, and an mdat box.
  • the image sequence format HEIF file has an ftyp box, a moov box, and an mdat box.
  • the HEIF file can have both, not just one of the meta box and the moov box.
  • the ftyp box stores identification information that identifies the file format, for example, that the file is a HEIF file in image item format or image sequence format.
  • the meta box and moov box store metadata such as the storage location of media data, which is necessary for playing and managing the media data stored in the mdat box.
  • which of the HEIF files of the image item format and the image sequence format is generated can be selected, for example, according to the user's operation.
  • an image is encoded and stored in the mdat box of the HEIF file
  • intra-encoding is permitted for the image item format
  • intra-encoding and inter-encoding are permitted for the image sequence format. .. Therefore, for example, when giving priority to high-speed access to the data stored in the HEIF file, selecting the generation of the HEIF file in the image item format and giving priority to reducing the size (data amount) of the HEIF file. You can choose to generate a HEIF file in image sequence format.
  • FIG. 5 is a diagram showing an example of the format of the HEIF file in the image item format.
  • image item format HEIF file information indicating that it is an image item format HEIF file, for example, mif1 etc., is stored (as an attribute value) in the ftyp box.
  • the meta box stores the iinf box, iref box, iprp box, and iloc box.
  • the iinf box stores the number of items (attribute name and attribute value) that are media data (AV data) stored in the mdat box.
  • An item is one piece of data stored in the mdat box of a HEIF file in the image item format.
  • one image is an item.
  • one image regardless of whether it is a still image or a moving image, is also referred to as a frame.
  • One frame is one item.
  • the iref box stores information that indicates the relationship between items.
  • the mdat box can store the corresponding main image, screen nail image, and thumbnail image as items. If the mdat box contains item I1 as the main image, item I2 as the screen nail image, and item I3 as the thumbnail image, then item I2 is the screen nail of the main image as item I1 in the iref box. Information indicating that it is an image and information indicating that item I3 is a thumbnail image of the main image as item I1 are stored.
  • Information about item properties is stored in the iprp box.
  • the iloc box stores information about the storage location of the items stored in the mdat box.
  • the mdat box (of the HEIF file) in the image item format stores, for example, an image frame as an item.
  • One or more items can be stored in the mdat box.
  • the frame as an item can be encoded and stored in the mdat box.
  • the coding of the frame as an item stored in the mdat box of the image item format is limited to the intra coding.
  • a coding method (codec) for encoding a frame as an item for example, HEVC or the like can be adopted.
  • FIG. 6 is a diagram showing an example of the iprp box of FIG.
  • the iprp box stores the ipco box and ipma box related to item properties.
  • the ipco box stores the property of the item stored in the mdat box, for example, the codec information regarding the codec of the image as an item and the image size information regarding the size.
  • the ipma box stores the index (pointer) of the item stored in the mdat box to the property stored in the ipco box.
  • FIG. 7 is a diagram showing an example of the format of the HEIF file in the image sequence format.
  • the ftyp box stores information indicating that the image sequence format HEIF file is, for example, msf1.
  • the trak box is stored in the moov box.
  • the trak box contains information about the tracks stored in the mdat box.
  • a track is composed of one independent media data such as an image or sound that is played back according to a timeline.
  • a track is composed of one or more frames of images that are elementary streams.
  • the tracks stored in the mdat box a plurality of tracks, for example, images and sounds recorded at the same time, can be played back at the same time.
  • the media data of a truck is composed of units called samples.
  • a sample is the smallest unit (access unit) for accessing media data in a HEIF file. Therefore, it is not possible to access the media data in the HEIF file in smaller units than the sample.
  • one frame or the like is one sample.
  • the audio media data for example, one audio frame defined by the audio media data standard is one sample.
  • the media data of the track is arranged in units called chunks.
  • a chunk is a set of one or more samples arranged at logically contiguous addresses.
  • the multiple tracks are interleaved and arranged in chunk units.
  • one or more tracks composed of media data such as images and sounds are stored in the mdat box in the image sequence format.
  • the frames of the images that make up the track can be encoded and stored.
  • long GOP can be adopted as the GOP (Group of Picture), and both intra-encoding and inter-encoding can be adopted. it can.
  • a codec for encoding a frame constituting a track for example, HEVC or the like can be adopted.
  • FIG. 8 is a diagram showing an example of a trak box.
  • the tkhd box and mdia box can be stored in the trak box.
  • the tkhd box stores track header information such as the creation date and time of the track managed by the trak box.
  • the minf box and the like are stored in the mdia box.
  • the stbl box is stored in the minf box.
  • the stbl box contains stsd boxes, stsc boxes, stsz boxes, and stco boxes that store sample tracks and, by extension, information for accessing chunks.
  • the stsd box stores codec information about the track's codec.
  • the chunk size (number of samples per chunk) is stored in the stsc box.
  • the sample size is stored in the stsz box.
  • the stco box stores the chunk offset, that is, the offset of the placement position of each chunk of the track stored in the mdat box.
  • the HEIF file in the image item format is also referred to as a collection file
  • the HEIF file in the image sequence format is also referred to as a sequence file
  • the associated HEIF file in the image item format is also referred to as an associated collection file
  • the associated HEIF file in the image sequence format is also referred to as an associated sequence file.
  • the digital camera 10 can generate a HEIF file (including an association type HEIF file) in which one or both of the main image, the necessary screen nail image, and the thumbnail image are stored.
  • a HEIF file including an association type HEIF file
  • FIG. 9 is a diagram showing an example of a normal collection file in which a main image and a thumbnail image are stored.
  • the normal collection file means a collection file in which the internal data in the collection file and the specific information of the external data are not associated with each other.
  • the frame (item) is encoded by HEVC and stored in the mdat box of the collection file.
  • heic indicating that it is an image item format and that the codec is HEVC is stored as identification information that identifies the file format.
  • the number of items (number of items) stored in the mdat box is stored in the iinf box.
  • the main image specified by the item ID # 1 hereinafter, also described as the main image Item # 1
  • the thumbnail image specified by the main image Item # 2 and the item ID # 101 (hereinafter, the thumbnail).
  • a total of four items (frames), including image Item # 101) and thumbnail image Item # 102, are stored in the mdat box. Therefore, the number of items is 4.
  • the thumbnail image Item # 101 is a thumbnail image of the main image Item # 1
  • the thumbnail image Item # 102 is a thumbnail image of the main image Item # 2.
  • an infe box is stored for each item stored in the mdat box.
  • the item ID that identifies the item and the item type are registered.
  • FIG. 9 there are infe boxes for the main images Item # 1 and Item # 2, and thumbnail images Item # 101 and Item # 102, respectively.
  • the thmb box is stored as information for associating the items stored in the mdat box with each other.
  • a reference source and a reference destination as information for associating the main image with the thumbnail image of the main image are stored in association with each other.
  • the reference source represents the item ID of the main image
  • the reference destination represents the item ID of the thumbnail image of the main image specified by the item ID of the reference source. Therefore, according to the reference destination associated with the reference source, the item ID of the thumbnail image of the main image specified by the item ID represented by the reference source can be recognized. Further, according to the reference source associated with the reference destination, the item ID of the main image of the thumbnail image specified by the item ID represented by the reference destination can be recognized.
  • the iprp box stores the ipco box and the ipma box as described in FIG.
  • the ipco box stores frame properties as items stored in the mdat box, for example, codec information related to the codec and image size information related to the size.
  • the ipma box stores the index of the item stored in the mdat box to the property stored in the ipco box.
  • the iloc box stores information about the storage location of items in the mdat box as explained in FIG. In FIG. 9, the number of items is stored in the iloc box. Further, in the iloc box, the offsets and sizes of the main images Item # 1 and Item # 2 stored in the mdat box and the storage locations of the thumbnail images Item # 101 and Item # 102 are associated with the item ID. Is stored.
  • FIG. 10 is a diagram showing an example of the first association type collection file.
  • the RAW image (the RAW file in which the main image is stored) of the main image is adopted as the external data to be associated with the main image as the internal data in the HEIF file.
  • the first association type collection file stores the association information that associates the main image as internal data with the specific information of the RAW file (RAW image stored in) in which the RAW image as external data is stored. Then, the main image and the specific information of the RAW file in which the RAW image is stored are stored in association with each other. Further, in the first association type collection file, the association information is stored in the meta box.
  • Specific information of a RAW file in which a RAW image as external data is stored includes the file name of the RAW file, uuid (Universally Unique Identifier) issued for the RAW file, URL (Uniform Resource Locator), and other RAW. Any information that can identify the file (RAW image stored in) can be adopted.
  • the association information storage box in which the association information is stored is defined as a new box stored in the meta box, and is stored in the meta box.
  • the association information storage box of the first association type collection file for example, the item ID that identifies the main image and the RAW file (the RAW image stored in) associated with the main image (the RAW image stored in) are stored.
  • the association information associated with uuid as the specific information to be specified is stored.
  • the association information storage box stores the number of main images (number of main images) associated with the RAW file (RAW image stored in). Since the number of main images stored in the association information storage box is the number of main images associated with the RAW file, the value is equal to or less than the number of main images stored in the mdat box.
  • the uuid of the RAW file of the main image Item # 1 (the uuid of the RAW image associated with the main image Item # 1) is UUID # 1
  • the uuid of the RAW file of the main image Item # 2 is , UUID # 2.
  • the RAW file whose uuid is UUID # i is described as the RAW file UUID # i
  • the item ID # 1 of the main image Item # 1 and the uuid of the RAW file UUID # 1 are associated with each other.
  • the association information in which the item ID # 2 of the main image Item # 2 and the uuid of the RAW file UUID # 2 are associated with each other is stored in the association information storage box.
  • FIG. 11 is a diagram showing an example of the second association type collection file.
  • the second association type collection file stores the association information that associates the main image as internal data with the specific information of the RAW file as external data, thereby storing the main image. And the specific information of the RAW file are stored in association with each other. However, in the second association type collection file, the association information is stored in the mdat box.
  • the same association information as in the case of the first association collection file is stored as an item in the mdat box.
  • the association information is stored in the mdat box as an item with item ID # 201.
  • the information stored in the meta box is the normal collection of FIG. 9 in response to the association information as item Item # 201 being stored in the mdat box. Different from the case of files.
  • the metadata of the association information as item Item # 201 is stored in the meta box.
  • the number of items stored in the inf box and the iloc box is changed from 4 in the case of FIG. 9 to 5 in which 1 of item Item # 201 is added to the number 4.
  • an infe box for item Item # 201 is added to the iinf box, and an offset and size to the storage location of item Item # 201 are added to the iloc box.
  • IDIF is a newly defined attribute value (field value) indicating that the item is association information.
  • FIG. 12 is a diagram showing an example of a third association type collection file.
  • the specific information of the RAW file as external data is stored in the mdat box as an item for each specific information, and the main image as internal data and the RAW file as external data are stored.
  • the association information is information in which the item ID of the main image as an item and the item ID of the specific information (of the RAW file) as an item are associated with each other, and is in the meta box. Stored in the cdsc box stored in the iref box of.
  • the cdsc box can store the reference source and the reference destination as information that associates the main image and the items as specific information of the RAW file of the main image with each other.
  • the reference source represents the item ID of the main image
  • the reference destination represents the item ID of the specific information as an item of the RAW file of the main image specified by the item ID of the reference source.
  • the UUID # 1 which is the uuid as the specific information of the RAW file of the main image Item # 1
  • UUID # 2 which is uuid
  • UUID # 2 is stored in the mdat box as item Item # 202.
  • the cdsc box that stores the association information that associates the item ID # 1 of the main image Item # 1 and the item ID # 201 of the specific information UUID # 1 as a reference source and a reference destination, respectively, is in the iref box.
  • the iref box is the cdsc box that stores the association information that associates the item ID # 2 of the main image Item # 2 and the item ID # 202 of the specific information UUID # 2 as a reference source and a reference destination, respectively. It is stored in.
  • FIG. 13 is a diagram showing an example of a normal sequence file in which a track of the main image and a track of the thumbnail image of the main image are stored.
  • the normal sequence means a sequence file in which the internal data in the sequence file and the specific information of the external data are not associated with each other.
  • the frame is encoded by HEVC and stored in the mdat box of the sequence file.
  • hevc indicating that it is in the image sequence format and that the codec is HEVC is stored as identification information that identifies the file format.
  • the moov box stores a trak box that manages each track stored in the mdat box.
  • the track of the main image specified by track ID # 1 (hereinafter, also referred to as track # 1) and track # 2 of the thumbnail image of the main image of track # 1 are placed in the mdat box. It is stored. Therefore, the moov box stores a trak box that manages track # 1 and a trak box that manages track # 2.
  • the nth thumbnail image (frame) of track # 2 (from the beginning) is the thumbnail image of the nth main image of track # 1.
  • the sequence file is useful, for example, when continuous shooting is performed by the digital camera 10, and the main image and the thumbnail image of a plurality of frames obtained by the continuous shooting are recorded as one track, respectively.
  • the tkhd box of the trak box that manages track # 1 of the main image contains the track ID # 1 that identifies track # 1, the image size of the main image that composes track # 1, and the digital camera when the main image is captured. Rotation information indicating the direction of 10 and the creation date and time of track # 1 are stored.
  • the tkhd box of the trak box that manages the track # 2 of the thumbnail image stores the track ID # 2 that identifies the track # 2 and the creation date and time of the track # 2.
  • the tref box can be stored in the trak box.
  • the tref box stores a track ID that identifies another track related to the track managed by the truck box in which the tref box is stored, information indicating the contents of the track, and the like.
  • a tref box is provided in the trak box that manages the track # 2.
  • the data constituting track # 2 is a thumbnail image (track # 2 is).
  • the mdia box of the trak box can store the hdlr box.
  • the hdlr box stores information indicating the types of data that make up the tracks managed by the trak box in which the hdlr box is stored.
  • Information (pict) indicating that the data constituting track # 1 is a picture (frame) is stored in the hdlr box stored (in the stored mdia box) in the trak box that manages track # 1 of the main image.
  • the hdlr box which is stored and stored in the trak box that manages track # 2 of the thumbnail image, stores information indicating that the data constituting track # 2 is a picture.
  • the minf box is as explained in FIG.
  • association type sequence file in which the specific information of the internal data and the external data are stored in association with the normal sequence file of FIG. 13 will be described.
  • FIG. 14 is a diagram showing an example of an association type sequence file.
  • track # 3 of the uuid (elementary) stream (Meta ES) as specific information of the RAW file as external data is added to the mdat box, and the track # 3 is managed in the trak box. Is added to the moov box.
  • track # 1 is a time series of one or more frames of the main image arranged on the timeline
  • track # 3 is a time series of uuid of the RAW file of each frame of the main image arranged on the timeline. is there.
  • the nth uuid (from the beginning) of track # 3 is the specific information of the RAW file of the frame of the nth main image of track # 1. Further, a plurality of tracks (data) stored in the mdat box can be reproduced synchronously according to the time information on one timeline. Therefore, by storing the track # 1 of the main image and the track # 3 of the uuid (stream) of the RAW file of each frame of the main image constituting the track # 1 in the mdat box, n of the track # 1.
  • the frame of the second main image and the uuid of the RAW file of (the frame of) the main image are stored in association with each other. In this case, it can be said that the frame of the main image of track # 1 and the uuid of the RAW file of (the frame of) the main image are associated with each other by the time information on the timeline.
  • the nth uuid (from the beginning) of track # 3 is specific information of the RAW file of the nth frame of track # 1, and the main image (frame) constituting track # 1 and track # 3 are used. It can also be considered that the uuids that make up the are associated with each other according to the order in which they are placed on the track.
  • association type sequence file when the uuid track # 3 of the RAW file is added to the mdat box, the trak box that manages the track # 3 is added to the moov box.
  • the tkhd box, tref box, mdia box, etc. are stored in the trak box that manages the uuid track # 3 of the RAW file.
  • the tkhd box of the truck box that manages track # 3 stores the track ID # 3 that identifies track # 3 and the creation date and time of track # 3.
  • the mdia box of the truck box that manages track # 3 stores the hdlr box and the minf box.
  • the hdlr box stores information indicating that the data that makes up track # 3 is metadata (of the main image), and the minf box contains information about track # 3.
  • FIG. 15 is a flowchart illustrating an outline of an example of a generation process for generating an association type HEIF file.
  • step S11 the file control unit 43 generates a uuid as specific information of the RAW file (RAW image) of the frame of the main image, and the process proceeds to step S12.
  • RAW file RAW image
  • step S12 the file control unit 43 assigns the uuid generated in step S11 to the RAW file (RAW image) of the frame of the main image, and the process proceeds to step S13.
  • RAW file RAW image
  • step S13 the file control unit 43 generates an association type HEIF file in which the frame of the main image and the uuid of the RAW file of the frame are associated with each other in the HEIF file, and ends the generation process.
  • FIG. 16 is a flowchart illustrating an outline of an example of a reproduction process for reproducing an associated HEIF file.
  • step S21 the file control unit 43 generates, for example, a handle list of handles that identify individual frames of the main image stored in the HEIF file stored in the media 14, and the process is in step S22. Proceed to.
  • the handle of the frame of the main image includes the file name of the HEIF file in which the frame is stored.
  • the handle of the frame (item) of the main image stored in the collection file also contains the item ID of that frame.
  • the handle of the frame of the main image stored in the sequence file further contains the time information of that frame. According to the handle of the frame of the main image, the frame for the handle can be uniquely identified (specified).
  • the track ID of the track including the frame and the order of the frames in the track are displayed. Can be included.
  • the time information of each frame is unique regardless of whether there is one or more tracks composed of frames of the main image stored in the sequence file. Therefore, according to the time information of the frame, even if a plurality of tracks are stored in the sequence file, the frame of the time information included in the handle can be uniquely identified from the frames constituting each of the plurality of tracks. it can. Therefore, when the time information of the frame is included in the handle of the frame of the main image, the frame for the time information can be uniquely specified even if the track ID of the track in which the frame exists does not exist.
  • the handle list can be generated for all the frames of the main image stored in the HEIF file stored in the media 14, or only the frames narrowed down by specific conditions such as the frame of a specific creation date and time. Can also be generated in.
  • the HEIF file is accessed by referring to the handle list as necessary.
  • step S22 for example, the UI control unit 47 requests the file control unit 43 to display the thumbnail image, waiting for the user to operate the digital camera 10 so as to display the thumbnail image.
  • the file control unit 43 reads the thumbnail image (frame) of the frame of the main image identified by the handle of the handle list from the HEIF file in response to the request from the UI control unit 47 to display the thumbnail image.
  • the file control unit 43 displays a list of thumbnail images read from the HEIF file on, for example, the liquid crystal panel 19 (FIG. 1), and the process proceeds from step S22 to step S23.
  • step S23 for example, waiting for the user to select a desired thumbnail (frame) from the list of thumbnail images, the UI control unit 47 selects the main image corresponding to the thumbnail image selected by the user. Request to the file control unit 43.
  • the file control unit 43 reads the main image from the HEIF file in response to a request from the UI control unit 47 for the main image.
  • the file control unit 43 can display the main image read from the HEIF file on the liquid crystal panel 19 as needed.
  • the UI control unit 47 requests the file control unit 43 for the uuid of the RAW file of the main image corresponding to the thumbnail image selected by the user.
  • the file control unit 43 reads the uuid from the associated HEIF file in response to the uuid request from the UI control unit 47.
  • the file control unit 43 can access the RAW file specified by the uuid read from the associated HEIF file, if necessary.
  • FIG. 17 is a flowchart illustrating an example of a reproduction process for reproducing a collection file.
  • step S31 the file control unit 43 acquires the item ID (hereinafter, also referred to as the reproduction target item ID) of the reproduction target image which is the reproduction target image (item), and the process proceeds to step S32.
  • the reproduction target item ID the item ID of the reproduction target image which is the reproduction target image (item)
  • the main image identified by an arbitrary handle in the handle list, the thumbnail image of the main image, and the thumbnail image selected by the user from the list of thumbnail images (hereinafter, also referred to as selected thumbnail image).
  • the main image of the selected thumbnail image and the like are set as the reproduction target image, and the item ID (reproduction target item ID) of the reproduction target image is acquired.
  • step S32 the file control unit 43 reads out the reproduction target image according to the reproduction target item ID acquired in step S31.
  • the playback target image specified by the playback target item ID is read from the collection file.
  • FIG. 18 is a flowchart illustrating an example of a process of reading the image to be reproduced in step S32 of FIG.
  • step S41 the file control unit 43 searches the iloc box of the collection file (FIGS. 9 to 12) for the item ID to be reproduced, and the process proceeds to step S42.
  • step S42 the file control unit 43 reads the offset and size associated with the playback target item ID searched in step S41 in the iloc box, and the process proceeds to step S43.
  • step S43 the file control unit 43 reads the playback target image stored in the mdat box of the collection file according to the offset and size associated with the playback target item ID, and the process ends.
  • FIG. 19 is a flowchart illustrating a first example of the process of acquiring the reproduction target item ID in step S31 of FIG.
  • FIG. 19 shows an example of acquiring the item ID of the thumbnail image which is the reproduction target image, using the thumbnail image as the reproduction target image.
  • the file control unit 43 recognizes, for example, the item ID of the main image of the thumbnail image as the image to be reproduced from the handle.
  • step S51 the file control unit 43 searches the thmb box in the iref box of the collection file (FIGS. 9 to 12) for a thmb box whose reference source matches the item ID of the main image, and the process is performed in step S51. Proceed to S52.
  • step S52 the file control unit 43 reads and processes the reference destination in the thmb box whose reference source matches the item ID of the main image, which is searched in step S51, as the item ID of the thumbnail image as the playback target image. Is finished.
  • FIG. 20 is a flowchart illustrating a second example of the process of acquiring the reproduction target item ID in step S31 of FIG.
  • FIG. 20 shows an example of acquiring the item ID of the main image which is the reproduction target image, using the main image as the reproduction target image.
  • step S61 the file control unit 43 searches the thmb box in the iref box of the collection file (FIGS. 9 to 12) for a thmb box whose reference destination matches the item ID of the selected thumbnail image, and the process is performed. The process proceeds to step S62.
  • step S62 the file control unit 43 reads out the reference source in the thmb box whose reference destination matches the item ID of the selected thumbnail image, which is searched in step S61, as the item ID of the main image as the playback target image. The process ends.
  • FIG. 21 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a predetermined main image RAW file from the first association type collection file of FIG.
  • the file control unit 43 recognizes the item ID of the predetermined main image by the handle list or the like.
  • step S71 the file control unit 43 searches for the item ID of the predetermined main image from the association information in the association information storage box of the first association type collection file (FIG. 10), and the process proceeds to step S72.
  • step S72 the file control unit 43 reads the uuid associated with the item ID of the predetermined main image searched in step S71 in the association information, and the process ends.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid read as described above.
  • FIG. 22 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a predetermined main image RAW file from the second association type collection file of FIG.
  • the file control unit 43 recognizes the item ID of the predetermined main image by the handle list or the like.
  • step S81 the file control unit 43 searches the infe box in the inf box of the second association type collection file (FIG. 11) for the infe box of the item type IDIF indicating that the item is the association information, and processes it. Goes to step S82.
  • step S82 the file control unit 43 reads the item ID of the association information as an item from the infe box of the item type ID IF searched in step S81, and the process proceeds to step S83.
  • step S83 the file control unit 43 searches for the item ID of the association information read in step S82 from the iloc box of the second association type collection file, and the process proceeds to step S84.
  • step S84 the file control unit 43 reads out the offset and size associated with the item ID of the association information searched in step S83 in the iloc box, and the process proceeds to step S85.
  • step S85 the file control unit 43 is stored in the mdat box of the second association type collection file according to the offset and size associated with the item ID of the association information read in step S84.
  • the association information as an item is read, and the process proceeds to step S86.
  • step S86 the file control unit 43 searches for the item ID of the predetermined main image from the association information read in step S85, and the process proceeds to step S87.
  • step S87 the file control unit 43 reads the uuid associated with the item ID of the predetermined main image searched in step S86 in the association information, and the process ends.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid read as described above.
  • FIG. 23 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a predetermined main image RAW file from the third association type collection file of FIG.
  • the file control unit 43 recognizes the item ID of the predetermined main image by the handle list or the like.
  • step S91 the file control unit 43 searches the cdsc box in the iref box of the third association type collection file (FIG. 12) for the cdsc box whose reference source matches the item ID of the predetermined main image, and processes it. Proceeds to step S92.
  • step S92 the file control unit 43 sets the reference destination in the cdsc box whose reference source matches the item ID of the predetermined main image, which is searched in step S91, as an item of the RAW file of the predetermined main image. Read as the item ID of the specific information, and the process proceeds to step S93.
  • step S93 the file control unit 43 searches for the item ID of the specific information as an item read in step S92 from the iloc box of the third association type collection file, and the process proceeds to step S94.
  • step S94 the file control unit 43 reads out the offset and size associated with the item ID of the specific information searched in step S93 in the iloc box, and the process proceeds to step S95.
  • step S95 the file control unit 43 is stored in the mdat box of the third association type collection file according to the offset and size associated with the item ID of the specific information read in step S94. , The uuid as the specific information of the RAW file of the predetermined main image is read, and the process ends.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid read as described above.
  • FIG. 24 is a flowchart illustrating an example of a process of acquiring a list of item IDs of the main image from the collection file.
  • the process of acquiring the list of item IDs of the main image from the collection file is performed, for example, when generating a handle list.
  • step S101 the file control unit 43 reads the item IDs from all the infe boxes in the inf box of the collection file (FIGS. 9 to 12), and lists the item IDs of the main image (hereinafter, also referred to as the main image list). ), The process proceeds to step S102.
  • step S102 the file control unit 43 reads the item ID that is the reference destination from all the boxes in the iref box of the collection file, excludes it from the main image list, and ends the process.
  • the item ID registered in the main image list becomes the item ID of the main image.
  • FIG. 25 is a flowchart illustrating an example of a process of reproducing a thumbnail image of a main image (frame) for a predetermined time information from a sequence file.
  • the file control unit 43 recognizes the time information (or order) of the predetermined main image by the handle list or the like.
  • step S111 the file control unit 43 stores information indicating that the data constituting the track is a thumbnail image from the trak box in the moov box of the sequence file (FIGS. 13 and 14) to the tref box.
  • the trak box that is, the trak box whose type is thmb in the tref box is searched as a trak box that manages the track of the thumbnail image of the main image with respect to the predetermined time information, and the process proceeds to step S112.
  • step S112 the file control unit 43 reads the track ID in the tkhd box in the trak box searched in step S111 as the track ID of the thumbnail image of the main image with respect to the predetermined time information, and the process is performed in step S112. Proceed to S113.
  • step S113 the file control unit 43 reproduces the track with the track ID read in step S112, and from the track, thumbnail images (frames) for predetermined time information (or order) are provided with predetermined time information. It is acquired as a thumbnail image of the main image for, and the process ends.
  • the process of playing the track of the image stored in the sequence file is the same as the process of playing the moving image of the MP4 file.
  • FIG. 26 is a flowchart illustrating an example of a process of acquiring a uuid as specific information of a RAW file of a predetermined main image (frame) from an association type sequence file.
  • the file control unit 43 recognizes the time information (or order) of the predetermined main image by the handle list or the like.
  • step S121 the file control unit 43 stores information indicating that the data constituting the track is specific information in the tref box from the trak box in the moov box of the association type sequence file (FIG. 14).
  • the box that is, the trak box whose type is cdsc in the tref box is searched as the trak box that manages the track of the specific information, and the process proceeds to step S122.
  • step S122 the file control unit 43 reads the track ID in the tkhd box in the trak box searched in step S121 as the track ID of the track of the specific information, and the process proceeds to step S123.
  • step S123 the file control unit 43 sets the uuid as specific information for the time information (or order) of the predetermined main image from the track with the track ID read in step S122 of the RAW file of the predetermined main image. Get it as uuid and finish the process.
  • the file control unit 43 can access the RAW file of the predetermined main image by the uuid acquired as described above.
  • the file control unit 43 stores the HEIF compliant HEIF file in association with the main image in the HEIF file and the specific information that identifies the external data outside the HEIF file that is associated with the main image. Since the associated HEIF file is generated and played back, the main image stored in the HEIF file can be associated with external data outside the HEIF file.
  • FIG. 27 is a diagram showing an example of storing the uuid in the RAW file when the RAW file of the main image is adopted as the external data (the file in which the file is stored) and the association type collection file is generated.
  • the first association type collection file is adopted as the association type collection file.
  • the RAW file has an area called a marker note (MakerNote) as a part of the area for storing the attached information of Exif as metadata.
  • a marker note (MakerNote) as a part of the area for storing the attached information of Exif as metadata.
  • the file control unit 43 can store the uuid assigned to the RAW file (RAW image) in the RAW file, for example, the marker note.
  • the main images Item # 1, Item # 2, Item # 3, Item # 4 as four items are stored in the association type collection file, and the main images Item # 1, Item # 2, Item # 3 are stored.
  • RAW files # 1, # 2, # 3, # 4 that store the RAW images of Item # 4 have been generated.
  • UUID # i is assigned to the RAW file #i (RAW image), and the main image is used as association information for associating the main image Item # i with the UUID # i of the RAW file #i of the main image Item # i.
  • the association information associated with the item ID # i that identifies Item # i and the UUID # i of the RAW file #i associated with the main image Item # i is stored in the association information storage box.
  • FIG. 28 is a diagram showing an example of storing the uuid in the RAW file when the RAW file of the main image is adopted as the external data and the association type sequence file is generated.
  • the file control unit 43 When generating the association type sequence file, the file control unit 43 stores the uuid assigned to the RAW file in the marker note of the RAW file, as in the case of generating the association type collection file described with reference to FIG. 27. can do.
  • track # 1 composed of main images # 1, # 2, # 3, and # 4 as four frames is stored in the association type sequence file, and main images # 1, # 2, and # 3 are stored.
  • RAW files # 1, # 2, # 3, # 4 that store the RAW images of # 4 are generated.
  • UUID # i is assigned to the RAW file #i, and the UUID # i of the RAW file #i is the same as the main image #i corresponding to the RAW file #i (RAW image) in the associated sequence file.
  • Track # 3 is stored, which is arranged and configured to have the time information of.
  • the UUID # i of the RAW file #i is arranged so as to have the same time information as the main image #i corresponding to the RAW file #i, and the track # 3 is configured to form the track.
  • the i-th main image #i of # 1 and the i-th UUID #i of track # 3, that is, the RAW file #i of the main image #i and the UUID # i of #i are associated and stored in the associated sequence file. Will be done.
  • the RAW file (RAW image) of the main image was adopted as the external data, but other data can be adopted as the external data.
  • the external data for example, voice (sound) recorded together with the acquisition of the main image can be adopted.
  • a file for storing audio for example, a WAV file in WAV format, an MP4 file in MP4 format, or the like can be adopted.
  • a WAV file will be adopted as a file for storing audio.
  • FIG. 29 is a diagram showing an example of storing the uuid in the WAV file when the WAV file of the main image is adopted as the external data (the file in which the file is stored) and the association type collection file is generated.
  • the first association type collection file is adopted as the association type collection file.
  • the WAV file has an area called List chunk as a part of the area for describing metadata.
  • the file control unit 43 can store the uuid assigned to the WAV file (voice) in the WAV file, for example, the List chunk.
  • the main images Item # 1, Item # 2, Item # 3, Item # 4 as four items are stored in the association type collection file, and the main images Item # 1, Item # 2, Item # 3 are stored.
  • Item # 4 WAV files # 1, # 2, # 3, # 4 have been generated.
  • UUID # i is assigned to the WAV file #i (audio)
  • the main image Item is used as association information for associating the main image Item # i with the UUID # i of the WAV file #i of the main image Item # i.
  • the association information associated with the item ID #i that identifies #i and the UUID # i of the WAV file #i associated with the main image Item # i is stored in the association information storage box.
  • FIG. 30 is a diagram showing an example of storing the uuid in the WAV file when the WAV file of the main image is adopted as the external data and the association type sequence file is generated.
  • the file control unit 43 When generating the association type sequence file, the file control unit 43 stores the uuid assigned to the WAV file in the List chunk of the WAV file, as in the case of generating the association type collection file described with reference to FIG. 29. can do.
  • track # 1 composed of main images # 1, # 2, # 3, and # 4 as four frames is stored in the association type sequence file, and main images # 1, # 2, and # 3 are stored.
  • # 4 WAV files # 1, # 2, # 3, # 4 have been generated.
  • UUID # i is assigned to the WAV file #i, and the UUID # i of the WAV file #i is the same time information as the main image #i corresponding to the WAV file #i in the associated sequence file.
  • the UUID # i of the WAV file #i is arranged so as to have the same time information as the main image #i corresponding to the WAV file #i, and the track # 3 is configured to form the track.
  • the i-th main image #i of # 1 and the i-th UUID # i of track # 3, that is, the WAV file #i of the main image #i # i UUID # i are associated and stored in the associated sequence file. Will be done.
  • this technology can be applied to ISO-based media files, MP4 files, Miaf files, etc. that have a box structure other than HEIF files.
  • this technology can be applied to other files, for example, which do not have a box structure and store an image (main image) and another image whose resolution is lowered.
  • this technology can be applied not only when associating external data with the main image in the HEIF file, but also when associating it with the screen nail image or thumbnail image in the HEIF file.
  • this technology can be applied to other cases, for example, when external data is associated with internal data other than images such as the main image in the HEIF file.
  • FIG. 31 is a block diagram showing a configuration example of the first embodiment of the image processing system to which the present technology is applied.
  • the image processing system 100 is composed of the digital camera 10 of FIG. 1 and an external computer 101 such as a cloud computer, for example.
  • the digital camera 10 and the external computer 101 can communicate with each other via a network such as the Internet.
  • viewing of the image captured by the digital camera 10 can be restricted by generating an encrypted HEIF file using the associated HEIF file in the digital camera 10.
  • the file control unit 43 uses an encrypted image in which the main image stored in the HEIF file is encrypted with the first encryption key and the first encryption key with the second encryption key.
  • a HEIF file stored in association with an encrypted encryption encryption key can be generated as an encrypted HEIF file.
  • the file control unit 43 associates the encrypted image stored in the encrypted HEIF file with the encrypted encryption key that encrypts the first encryption key used for obtaining the encrypted image. It is possible to use the association between the main image stored in the HEIF file and the specific information of the external data. That is, the file control unit 43 connects the encrypted image stored in the encrypted HEIF file and the encrypted encryption key in the same manner as the association between the main image stored in the associated HEIF file and the specific information of the external data. You can make an association.
  • the file control unit 43 decrypts the encryption encryption key of the encrypted HEIF file into the first encryption key, and uses the first encryption key obtained by the decryption to convert the encrypted image into the original main image. It can be decrypted.
  • the first encryption key and the second encryption key can be requested from the digital camera 10 to the external computer 101.
  • the external computer 101 When the digital camera 10 requests the first encryption key and the second encryption key, the external computer 101 generates the first encryption key and the second encryption key, and provides (transmits) the first encryption key and the second encryption key to the digital camera 10. To do.
  • the first encryption key and the second encryption key can be generated by the digital camera 10. Further, one of the first encryption key and the second encryption key can be generated by the digital camera 10 and the other can be generated by the external computer 101.
  • an encryption key of any encryption method can be adopted. Further, as the first encryption key and the second encryption key, an encryption key having the same encryption method can be adopted, or an encryption key having a different encryption method can be adopted.
  • the common key of the common key encryption method is adopted as the first encryption key
  • the public key of the public key encryption method is adopted as the second encryption key
  • the load of the process of generating the common key is lighter than the load of the process of generating the public key and the private key of the public key cryptosystem, it can be easily performed by the digital camera 10. Then, according to the common key, it is possible to encrypt and decrypt an image having a relatively large amount of data as compared with a public key and a private key in a short time.
  • the confidentiality of the common key encrypted by the public key can be improved.
  • the common key is generated by the digital camera 10, and the public key and the private key are generated and managed by the external computer 101.
  • the encrypted image in which the main image stored in the HEIF file is encrypted with the common key as the first encryption key and the public key using the common key as the second encryption key is obtained.
  • the private key (or encryption) corresponding to the public key used for encryption to obtain the encryption encryption key is obtained.
  • the viewing of the main image can be restricted so that only the user who can obtain (acquire) the common key before being encrypted by the encryption key can view the main image.
  • association type HEIF files for example, an encrypted HEIF file using (association with) the third association type collection file of FIG. 12 will be described.
  • a HEIF using an associative HEIF file other than the third associative collection file (a first associative collection file, a second associative collection file, or an associative sequence file) is used. You can generate a file.
  • FIG. 32 is a diagram showing an example of the first encrypted HEIF file.
  • items Item # 1, Item # 2, Item # 201, and Item # 202 are stored in the mdat box.
  • Item Item # 1 is an encrypted image in which the main image 1 is encrypted with a common key (using a common key encryption method)
  • item Item # 2 is an encrypted image in which the main image 2 is encrypted with a common key.
  • Different common keys can be used to encrypt different main images. For example, a common key used for encryption to obtain an encrypted image as item Item # 1 (hereinafter, also referred to as encrypted image Item # 1) and an encryption used to obtain encrypted image Item # 2.
  • the common key to be used is a different common key. The same common key can be used for encryption of different main images, if necessary.
  • Item # 201 is an encryption encryption key in which the common key used for encryption of the main image 1 is encrypted with a public key (by a public key encryption method), and item Item # 202 is the encryption of the main image 2. It is an encryption encryption key in which the common key used for encryption is encrypted with a public key. Different public keys (corresponding to private keys) can be used to encrypt different public keys. For example, a public key used for encryption to obtain an encryption encryption key as item Item # 201 (hereinafter, also referred to as an encryption encryption key Item # 201) and an encryption to obtain an encryption encryption key Item # 202. The public key used for encryption is a different public key. The same public key can be used for encryption of different common keys, if necessary.
  • the white lock mark indicates that it is encrypted with the common key
  • the shaded lock mark indicates that it is encrypted with the public key.
  • a third associative collection that associates the main image with the specific information by storing the association information that associates the main image and the specific information stored in the mdat box in the meta box. Similar to the file (Fig. 12), the encrypted image Item # i stored in the mdat box and the common key used for the encryption to obtain the encrypted image Item # i are encrypted with the public key. By storing the association information associated with the key Item # 200 + i in the meta box, the encrypted image Item # i and the encrypted encryption key Item # 200 + i are associated.
  • the association information that associates the encrypted image Item # i with the encrypted encryption key Item # 200 + i is the item ID # i of the encrypted image Item # i and the encryption encryption key, as in the third association collection file. It is the information associated with the item ID of Item # 200 + i, and is stored in the cdsc box stored in the iref box in the meta box.
  • a cdsc box that stores the association information that associates ID # 201 with the reference source and reference destination is stored in the iref box, and the item ID # 2 of the encrypted image Item # 2 and its encrypted image Item
  • the association information is stored in which the item ID # 202 of the encryption encryption key Item # 202, in which the common key used for encryption to obtain # 2 is encrypted with the public key, is associated with the reference source and the reference destination, respectively.
  • the cdsc box is stored in the iref box.
  • the private key corresponding to the encrypted image Item # i that is, the common used for the encryption to obtain the encrypted image Item # i.
  • the file control unit 43 sets the encryption encryption key Item # 200 + i associated with the encryption image Item # i.
  • the encrypted image Item # i can be decrypted to the original main image i with the private key, which is decrypted into the common key, and the common key obtained by the decryption. Therefore, viewing of the main image i can be restricted to a user who can obtain the private key corresponding to the encrypted image Item # i.
  • the item type (ItemType) of the encrypted encryption key Item # 200 + i is the encryption key (here, the common key). Is set to, for example, ECKI (Encryption key for Item).
  • the item time attribute value representing the encryption key is not limited to ECKI.
  • the encryption encryption key Item # 200 + i corresponding to i that is, the item ID # 200 + of the encryption encryption key Item # 200 + i that encrypts the common key used for encrypting the encrypted image Item # i. It is specified as i, and the encryption encryption key Item # 200 + i of item ID # 200 + i is acquired (read) and decrypted from the mdat box according to the item ID # 200 + i. Whether or not the item specified by the item ID referenced by the cdsc box is an encryption encryption key can be recognized (determined) from the item type set in the infe box of the item specified by the item ID. it can.
  • FIG. 33 is a diagram showing an example of the second encrypted HEIF file.
  • the encrypted images Item # 1 and Item # 2 and the encrypted encryption keys Item # 201 and Item # 202 are stored in the mdat box. Further, in FIG. 33, the plaintext common keys Item # 301 and Item # 302 are stored in the mdat box.
  • Encryption The encryption key Item # 200 + i is a plaintext common key Item # 300 + i as an item encrypted with a private key.
  • plaintext means data in an unencrypted state.
  • the plain text common key Item # 300 + i is the encrypted encryption key Item # 200 + i corresponding to the common key Item # 300 + i, that is, the common key Item # 300 + i. It is stored in association with the encrypted image Item # i (corresponding to the main image i) in the same manner as the encryption encryption key Item # 200 + i obtained by encrypting.
  • the item ID # 1 of the encrypted image Item # 1 and the plaintext common key Item # 301 corresponding to the encrypted image Item # 1 (encrypted image Item # 1).
  • the cdsc box that stores the association information that associates the item ID # 301 of the common key Item # 301) used for encryption to obtain 1 as the reference source and the reference destination is stored in the iref box. ..
  • the item ID # 2 of the encrypted image Item # 2 and the item ID # 302 of the plaintext common key Item # 302 corresponding to the encrypted image Item # 2 are associated with each other as a reference source and a reference destination, respectively.
  • the cdsc box containing the association information is stored in the iref box.
  • the plaintext common key Item # 300 + i stored in the mdat box can be deleted according to the user's operation.
  • the file control unit 43 may use the file control unit 43.
  • the encrypted image Item # i cannot be decrypted unless the private key corresponding to the encrypted image Item # i can be obtained.
  • the file control unit 43 receives the encrypted image stored in the second encrypted HEIF file as in the case of the first encrypted HEIF file.
  • the encryption encryption key Item # 200 + i associated with Item # i is decrypted into a common key with the corresponding private key, and the encrypted image Item # i is decrypted with the common key obtained by the decryption. It can be decrypted into image i.
  • the file control unit 43 is associated with the encrypted image Item # i stored in the second encrypted HEIF file.
  • the encrypted image Item # i can be decrypted to the original main image i with the plaintext common key Item # 300 + i.
  • the encryption is performed regardless of the acquisition of the private key corresponding to the encrypted image Item # i.
  • the encrypted image Item # i can be decoded into the main image i, and any user can view the main image i.
  • the user does not need to restrict viewing, and for the main image, the plaintext common key associated with the main image (encrypted encrypted image). Can be allowed to be viewed by any user by leaving the in the mdat box. Further, the user can restrict viewing by any user by deleting the plaintext common key associated with the main image for the main image for which viewing is restricted from the mdat box.
  • the plaintext common key Item # 300 + i is the same as the infe box of the encrypted encryption key Item # 200 + i.
  • Item Type is set to ECKI, which represents the encryption key.
  • FIG. 34 is a diagram showing an example of a third encrypted HEIF file.
  • the encrypted images Item # 1 and Item # 2 and the encrypted encryption keys Item # 201 and Item # 202 are stored in the mdat box.
  • the encryption encryption key Item # 200 + i is uuid as specific information for specifying the external data associated with the main image i, and is common used for encrypting the main image i.
  • the key is a specific information containing encryption key encrypted with a private key, and is also described below as a specific information containing encryption key Item # 200 + i.
  • the main image 1 is assigned to the encrypted image Item # 1 encrypted with the common key and the RAW file ARW # 1 (RAW data stored in) associated with the main image 1.
  • the UUID # 1 and the specific information containing encryption key Item # 201 in which the common key used for encrypting the main image 1 is encrypted with the private key are associated with the association information stored in the cdsc box of the iref box. Associated with and stored in the mdat box. Further, it was used to encrypt the encrypted image Item # 2 in which the main image 2 is encrypted with a common key, the UUID # 2 assigned to the WAV file WAV # 2 associated with the main image 2, and the main image 2.
  • the specific information containing encryption key Item # 202, in which the common key is encrypted with the private key is associated with the association information stored in the cdsc box of the iref box and is stored in the mdat box.
  • the file control unit 43 decrypts the specific information containing encryption key Item # 200 + i associated with the encrypted image Item # i into a common key and UUID # i with a private key, and the common key obtained by the decryption. Then, the encrypted image Item # i can be decrypted into the original main image i. Therefore, viewing of the main image i can be restricted to a user who can obtain the private key corresponding to the encrypted image Item # i.
  • the third encrypted HEIF file if the private key corresponding to the encrypted image Item # i can be obtained, the specific information containing encryption key Item # 200 + i using the private key can be obtained. It is possible to access the external data specified by UUID # i obtained by decryption, that is, the external data associated with the main image i. Therefore, access to the external data associated with the main image i can be restricted to the user who can obtain the private key corresponding to the encrypted image Item # i. Further, it is possible to prevent falsification of the uuid as specific information of the external data associated with the main image i.
  • FIG. 35 is a diagram showing an example of a fourth encrypted HEIF file.
  • the fourth encrypted HEIF file is configured in the same manner as the third encrypted HEIF file (FIG. 34).
  • the external data associated with the main image i is encrypted with the common key used to encrypt the main image i.
  • the RAW file ARW # 1 (the RAW data stored in the RAW file ARW # 1) is encrypted with the common key used for encrypting the main image 1 associated with the RAW file ARW # 1.
  • the WAV file WAV # 2 (the voice stored in the WAV file WAV # 2) is encrypted with the common key used for encrypting the main image 2 associated with the WAV file WAV # 2.
  • the file control unit 43 decrypts the specific information containing encryption key Item # 200 + i associated with the encrypted image Item # i into a common key and UUID # i with a private key, and the common key obtained by the decryption. Then, the encrypted image Item # i can be decrypted into the original main image i. Therefore, viewing of the main image i can be restricted to a user who can obtain the private key corresponding to the encrypted image Item # i.
  • the specific information containing encryption key Item # 200 + i using the private key can be obtained.
  • FIG. 36 is a diagram showing an example of a fifth encrypted HEIF file.
  • the encrypted images Item # 1 and Item # 2 and the specific information containing encryption keys Item # 201 and Item # 202 are stored in the mdat box. Further, in FIG. 36, in the mdat box, a set of UUID # 1 as a plaintext common key and specific information (hereinafter, also referred to as a common key set) Item # 301, and a plaintext common key and UUID # as specific information.
  • the common key set Item # 302 of 2 is stored.
  • the common key that constitutes the common key set Item # 300 + i is the common key used to encrypt the main image i. Further, the UUID # i constituting the common key set Item # 300 + i is a uuid as specific information for identifying the external data associated with the main image i (encrypted encrypted image Item # i). The specific information containing encryption key Item # 200 + i is a common key set Item # 300 + i encrypted with a private key.
  • the plaintext common key and the UUID # i common key set Item # 300 + i are the specific information containing encryption keys Item # 200 + that encrypt the common key set Item # 300 + i. Like i, it is stored in association with the encrypted image Item # i.
  • the item ID # 1 of the encrypted image Item # 1 and the item ID # 301 of the common key set Item # 301 are associated with each other as a reference source and a reference destination, respectively.
  • the cdsc box that stores the association information is stored in the iref box.
  • the cdsc box that stores the association information that associates the item ID # 2 of the encrypted image Item # 2 and the item ID # 302 of the common key set Item # 302 as a reference source and a reference destination, respectively, is iref. It is stored in the box.
  • the (plaintext) common key set Item # 300 + i stored in the mdat box can be deleted according to the user's operation. For example, when the viewing of the main image i obtained by decrypting the encrypted image Item # i is restricted to a specific user, the file control unit 43 responds to the user's operation and stores the common key set Item # 300 in the mdat box. Delete + i. As a result, the encrypted image Item # i cannot be decrypted unless the private key corresponding to the encrypted image Item # i can be obtained. Furthermore, the external data associated with the encrypted image Item # i (corresponding to the main image i) can be accessed unless the private key corresponding to the encrypted image Item # i can be obtained. become unable.
  • the encrypted image Item # i is decrypted. And you cannot access the external data associated with the encrypted image Item # i.
  • the file control unit 43 is stored in the fifth encrypted HEIF file as in the third encrypted HEIF file (FIG. 34).
  • the specific information containing encryption key Item # 200 + i associated with the encrypted image Item # i is decrypted into the common key and UUID # i with the corresponding private key, and encrypted with the common key obtained by the decryption.
  • the image Item # i can be decrypted into the original main image i. Furthermore, depending on the UUID # i obtained by decrypting the specific information containing encryption key Item # 200 + i, the external data associated with the encrypted image Item # i (here, RAW file ARW # 1 or WAV file WAV #). You can access 2).
  • the file control unit 43 is associated with the encrypted image Item # i stored in the fifth encrypted HEIF file.
  • the encrypted image Item # i can be decrypted to the original main image i with the common key that constitutes the key set Item # 300 + i.
  • the file control unit 43 sets the encrypted image according to the UUID # i constituting the common key set Item # 300 + i associated with the encrypted image Item # i stored in the fifth encrypted HEIF file. You can access the external data associated with Item # i.
  • the fifth encrypted HEIF file if the (plaintext) common key set Item # 300 + i is stored in the mdat box, it does not matter whether the private key corresponding to the encrypted image Item # i is obtained. Instead, any user can view the main image i and access the external data associated with the main image i.
  • the user leaves the common key set associated with the main image in the mdat box for the main image that does not need to be restricted for viewing. Therefore, viewing by any user can be permitted. Further, the external data associated with such a main image can be allowed access by any user.
  • the user can restrict viewing by any user by deleting the common key set associated with the main image from the mdat box. Furthermore, access by any user to external data associated with such a main image can be restricted.
  • the infe box of the common key set Item # 300 + i (infe box of item ID # 300 + i) is the same as the infe box of the specific information containing encryption key Item # 200 + i.
  • the item type (ItemType) of the common key set Item # 300 + i is set to ECKI representing the encryption key.
  • FIG. 37 is a diagram showing an example of the sixth encrypted HEIF file.
  • the sixth encrypted HEIF file is configured in the same manner as the fifth encrypted HEIF file (FIG. 36).
  • the external data associated with the main image i is common used for encrypting the main image i. It is encrypted with a key.
  • the RAW file ARW # 1 is encrypted with the common key used to encrypt the main image 1 associated with the RAW file ARW # 1
  • the WAV file WAV # 2 is the WAV file WAV # 1. It is encrypted with the common key used to encrypt the main image 2 associated with 2.
  • the file control unit 43 is a common key that constitutes a common key set Item # 300 + i associated with the encrypted image Item # i stored in the sixth encrypted HEIF file, and sets the encrypted image Item # i. It can be decrypted to the original main image i. Further, the file control unit 43 sets the encrypted image according to the UUID # i constituting the common key set Item # 300 + i associated with the encrypted image Item # i stored in the sixth encrypted HEIF file. Accessing the encrypted external data associated with Item # i and decrypting the encrypted external data to the original external data with the common key that makes up the common key set Item # 300 + i. Can be done.
  • the (plaintext) common key set Item # 300 + i is stored in the mdat box, it is related to the acquisition of the private key corresponding to the encrypted image Item # i. Instead, any user can view the main image i and access and view the external data associated with the main image i.
  • the user restricts viewing by any user by deleting the common key set Item # 300 + i associated with the main image i from the mdat box. be able to. Further, it is possible to restrict access, viewing, and the like by any user with respect to the external data associated with such a main image i. Further, it is possible to prevent falsification of the uuid as specific information of the external data associated with the main image i.
  • the file control unit 43 uses the private key, the common key, and the UUID for the specific information containing encryption key Item # 200 + i associated with the encrypted image Item # i.
  • the encrypted image Item # i can be decrypted to the original main image i by decrypting to #i and using the common key obtained by the decryption. Therefore, viewing of the main image i can be restricted to a user who can obtain the private key corresponding to the encrypted image Item # i.
  • the specific information containing encryption key Item # 200 + i is decrypted using the private key. Accessing the encrypted external data specified by the obtained UUID # i, that is, the encrypted external data associated with the main image i, and further, the specific information containing encryption key Item # 200+. With the common key obtained by decrypting i, the encrypted external data can be decrypted into the original external data. Therefore, viewing of external data associated with the main image i can be restricted to users who can obtain the private key corresponding to the encrypted image Item # i. Further, it is possible to prevent falsification of the uuid as specific information of the external data associated with the main image i.
  • FIG. 38 is a flowchart illustrating an example of preprocessing performed when the first encrypted HEIF file is handled by the image processing system 100.
  • the preprocessing is performed, for example, immediately after the production of the digital camera 10 or before taking an image with the digital camera 10.
  • step S211 the digital camera 10 of the image processing system 100 transmits the public key request to the external computer 101, and the process proceeds to step S212.
  • step S212 the external computer 101 receives the public key request from the digital camera 10, generates a private key corresponding to the public key in response to the public key request, and the process proceeds to step S213. ..
  • step S213 the external computer 101 transmits the public key to the digital camera 10, and the process proceeds to step S214.
  • step S214 the digital camera 10 stores the public key from the external computer 101 in the media 14 or the like, and the preprocessing ends.
  • the digital camera 10 requests, for example, a number of public keys equal to the number of main images that can be stored in the media 14, depending on the remaining capacity of the media 14 that stores the first encrypted HEIF file. , Can be transmitted to the external computer 101.
  • the external computer 101 generates a number of public keys corresponding to the request for the public key, and stores the public keys in the digital camera 10.
  • the common key used for encrypting the main image is encrypted with a different public key for each main image.
  • FIG. 39 is a flowchart illustrating an example of a generation process for generating the first encrypted HEIF file when the image processing system 100 handles the first encrypted HEIF file.
  • the generation process is started, for example, when the user operates the digital camera 10 so as to capture an image (main image).
  • step S221 the digital camera 10 captures an image in response to, for example, a user operation, and the process proceeds to step S222.
  • step S222 the file control unit 43 of the digital camera 10 generates a common key, and the process proceeds to step S223.
  • step S223 the file control unit 43 generates an encrypted image by encrypting the main image obtained by capturing the image in step S221 with the common key generated in step S222, and the process is performed in step S224. Proceed to.
  • step S224 the file control unit 43 selects one of the public keys stored in the preprocessing, which has not yet been used for encryption of the common key, as the public key of interest. Further, the file control unit 43 generates an encryption encryption key by encrypting the common key used for encrypting the main image with the attention public key, and the process proceeds from step S224 to step S225.
  • step S225 the file control unit 43 generates and generates a first encrypted HEIF file in which the encrypted image generated in step S223 and the encrypted encryption key generated in step S224 are stored in association with each other. Is finished.
  • FIG. 40 is a flowchart illustrating an example of a reproduction process for reproducing the first encrypted HEIF file when the image processing system 100 handles the first encrypted HEIF file.
  • the reproduction process is started, for example, when the user operates the digital camera 10 so as to reproduce the image (main image).
  • step S231 the file control unit 43 of the digital camera 10 selects, for example, the first encrypted HEIF file to be reproduced according to the operation of the user, and from the first encrypted HEIF file. , Select the encrypted image to be played. Further, the file control unit 43 acquires an encryption encryption key (encryption encryption key corresponding to the encrypted image) associated with the encrypted image to be reproduced from the first encrypted HEIF file to be reproduced (encryption encryption key corresponding to the encrypted image). (Read), the process proceeds from step S231 to step S232.
  • an encryption encryption key encryption key associated with the encrypted image to be reproduced from the first encrypted HEIF file to be reproduced
  • step S232 the file control unit 43 attempts to acquire the private key corresponding to the encrypted image to be reproduced, and the process proceeds to step S233.
  • the file control unit 43 requests the external computer 101 for the private key corresponding to the encrypted image to be reproduced.
  • the external computer 101 stores, for example, a user ID and a password in advance in association with a private key corresponding to an encrypted image.
  • the external computer 101 prompts the user of the digital camera 10 to input the user ID and password, waits for the input of the user ID and password, and authenticates.
  • the authentication is successful, for example, when the user ID and password stored in association with the private key corresponding to the encrypted image to be reproduced match the user ID and password entered by the user, the external computer 101 is used.
  • the private key corresponding to the encrypted image to be reproduced is transmitted to the digital camera 10.
  • the external computer 101 transmits to that effect to the digital camera 10.
  • the file control unit 43 transmits the private key corresponding to the encrypted image to be reproduced from the external computer 101, the file control unit 43 acquires the private key.
  • step S233 the file control unit 43 determines whether or not the private key can be acquired as described above.
  • step S233 If it is determined in step S233 that the private key could not be acquired, the process proceeds to step S234.
  • the digital camera 10 performs error processing, displays an error message such as an image decoding failure on the liquid crystal panel 19, and ends the reproduction processing. Therefore, a user who cannot obtain the private key corresponding to the encrypted image to be reproduced cannot view the main image obtained by decrypting the encrypted image to be reproduced.
  • step S233 determines whether the private key could be acquired. If it is determined in step S233 that the private key could be acquired, the process proceeds to step S235.
  • step S235 the file control unit 43 decrypts the encryption encryption key acquired in step S231 into a common key with the private key acquired in step S232, and the process proceeds to step S236.
  • step S236 the file control unit 43 decodes the encrypted image to be reproduced into the main image with the common key decrypted in step S236, displays it on the liquid crystal panel 19, and ends the reproduction process.
  • FIG. 41 is a flowchart illustrating an example of preprocessing performed when the image processing system 100 handles the second encrypted HEIF file.
  • steps S251 to S254 the same processing as that of steps S211 to S214 of the preprocessing of FIG. 38 is performed, respectively.
  • FIG. 42 is a flowchart illustrating an example of a generation process for generating the second encrypted HEIF file when the image processing system 100 handles the second encrypted HEIF file.
  • steps S261 to S264 the same processing as in steps S221 to S224 of the generation process of FIG. 39 is performed, respectively.
  • step S265 the file control unit 43 stores the encrypted image generated in step S263, the common key generated in step S262, and the encrypted encryption key generated in step S264 in association with each other.
  • the second encrypted HEIF file is generated, and the generation process is completed.
  • FIG. 43 shows a main image obtained by decrypting the encrypted image by a user other than a user who can obtain the private key corresponding to the encrypted image when the second encrypted HEIF file is handled by the image processing system 100. It is a flowchart explaining an example of the restriction processing which restricts viewing.
  • step S271 the file control unit 43 selects, for example, a second encrypted HEIF file to be reproduced according to the user's operation.
  • the plaintext common key and the encrypted image associated with the plaintext common key are acquired (read) from the second encrypted HEIF file, and the process proceeds to step S272.
  • step S272 the file control unit 43 decrypts the encrypted image acquired in step S271 into a main image with the common key also acquired in step S271 and displays it on the liquid crystal panel 19, and the process is performed in step S272. Proceed to S273.
  • step S273 the file control unit 43 determines whether or not the user has performed a restriction operation for operating the digital camera 10 so as to restrict viewing of the main image displayed in step S272.
  • step S273 If it is determined in step S273 that the restriction operation has not been performed, the restriction process ends.
  • step S273 If it is determined in step S273 that the restriction operation has been performed, the process proceeds to step S274, and the file control unit 43 uses the plaintext common key acquired in step S271 as the second encrypted HEIF file. Delete from, and the restriction process ends.
  • FIG. 44 is a flowchart illustrating an example of a reproduction process for reproducing the second encrypted HEIF file when the image processing system 100 handles the second encrypted HEIF file.
  • step S281 the file control unit 43 selects, for example, a second encrypted HEIF file to be reproduced according to the operation of the user, and from the second encrypted HEIF file, the file control unit 43 selects the second encrypted HEIF file to be reproduced. Select the encrypted image to be played back. Then, the file control unit 43 determines whether or not the plaintext common key associated with the encrypted image to be reproduced is stored in the second encrypted HEIF file to be reproduced.
  • step S281 If it is determined in step S281 that the plaintext common key is stored, the process proceeds to step S287.
  • step S287 the file control unit 43 decodes the encrypted image to be reproduced into the main image with the plaintext common key associated with the encrypted image, displays it on the liquid crystal panel 19, and ends the reproduction process. To do.
  • step S281 determines whether the plaintext common key is stored, that is, if the plaintext common key is deleted by the restriction process of FIG. 43.
  • steps S282 to S287 the same processing as in steps S231 to S236 of the reproduction processing of FIG. 40 is performed.
  • FIG. 45 is a flowchart illustrating an example of preprocessing performed when the image processing system 100 handles the third encrypted HEIF file.
  • steps S311 to S314 the same processing as that of steps S211 to S214 of the preprocessing of FIG. 38 is performed, respectively.
  • FIG. 46 is a flowchart illustrating an example of a generation process for generating the third encrypted HEIF file when the image processing system 100 handles the third encrypted HEIF file.
  • steps S321 to S323 the same processing as in steps S221 to S223 of the generation process of FIG. 39 is performed, respectively.
  • step S324 the file control unit 43 selects one of the public keys stored in the preprocessing, which has not yet been used for encryption of the common key, as the public key of interest. Further, the file control unit 43 assigns uuid as specific information to external data (for example, RAW data of the main image) associated with the main image. Then, the file control unit 43 generates a specific information inclusion encryption key by encrypting the common key used for encrypting the main image and the uuid of the external data associated with the main image with the public key of interest. , The process proceeds from step S324 to step S325.
  • step S325 the file control unit 43 generates and generates a third encrypted HEIF file in which the encrypted image generated in step S323 and the specific information containing encryption key generated in step S324 are stored in association with each other. The process ends.
  • FIG. 47 is a flowchart illustrating an example of a reproduction process for reproducing the third encrypted HEIF file when the image processing system 100 handles the third encrypted HEIF file.
  • step S331 the file control unit 43 of the digital camera 10 selects, for example, a third encrypted HEIF file to be reproduced according to the operation of the user, and the third encryption thereof. Select the encrypted image to be played from the HEIF file. Further, the file control unit 43 acquires the specific information containing encryption key associated with the encrypted image to be reproduced from the third encrypted HEIF file to be reproduced, and the process proceeds from step S331 to step S332.
  • step S332 the file control unit 43 attempts to acquire the private key corresponding to the encrypted image to be reproduced, as in step S233 of FIG. 40, and the process proceeds to step S333.
  • step S333 the file control unit 43 determines whether or not the private key has been acquired.
  • step S333 If it is determined in step S333 that the private key could not be acquired, the process proceeds to step S334.
  • step S334 the digital camera 10 performs error processing in the same manner as in step S234 of FIG. 40, and the reproduction processing ends.
  • step S333 determines whether the private key could be acquired. If it is determined in step S333 that the private key could be acquired, the process proceeds to step S335.
  • step S335 the file control unit 43 decrypts the specific information inclusion encryption key acquired in step S331 into the uuid and the common key as specific information with the private key acquired in step S332, and the process is step S336. Proceed to.
  • step S336 the file control unit 43 decrypts the encrypted image to be reproduced into the main image with the common key decrypted in step S335 and displays it on the liquid crystal panel 19, and the process proceeds to step S337.
  • step S337 the file control unit 43 acquires the external data specified by the uuid decrypted in step S336, and the reproduction process ends.
  • the external data is reproduced, for example, in response to a user operation or the like.
  • FIG. 48 is a flowchart illustrating an example of preprocessing performed when the image processing system 100 handles the fourth encrypted HEIF file.
  • steps S351 to S354 the same processing as in steps S211 to S214 of the preprocessing of FIG. 38 is performed, respectively.
  • FIG. 49 is a flowchart illustrating an example of a generation process for generating the fourth encrypted HEIF file when the image processing system 100 handles the fourth encrypted HEIF file.
  • steps S361 to S363 the same processing as in steps S321 to S323 of the generation process of FIG. 46 is performed, respectively.
  • step S364 the file control unit 43 encrypts the external data associated with the main image (for example, the RAW data of the main image) with the common key used for encrypting the main image, and the process is performed in step S365. Proceed to.
  • step S365 the file control unit 43 selects one of the public keys stored in the preprocessing, which has not yet been used for encryption of the common key, as the public key of interest. Further, the file control unit 43 assigns a uuid as specific information to the external data (external data encrypted in step S364) associated with the main image. Then, the file control unit 43 generates a specific information inclusion encryption key by encrypting the common key used for encrypting the main image and the uuid of the external data associated with the main image with the public key of interest. , The process proceeds from step S365 to step S366.
  • step S366 the file control unit 43 generates and processes a fourth encrypted HEIF file in which the encrypted image generated in step S363 and the specific information containing encryption key generated in step S365 are stored in association with each other. Goes to step S367.
  • step S367 the file control unit 43 generates a file in which the external data encrypted in step S364 is stored, stores the file in, for example, the media 14, and the generation process ends.
  • FIG. 50 is a flowchart illustrating an example of a reproduction process for reproducing the fourth encrypted HEIF file when the image processing system 100 handles the fourth encrypted HEIF file.
  • step S378 the file control unit 43 decodes the external data acquired in step S377 with the common key decoded in step S375, and the reproduction process ends.
  • step S377 the external data acquired in step S377 is encrypted with the common key. Therefore, in step S378, the encrypted external data is decrypted with the common key.
  • FIG. 51 is a flowchart illustrating an example of preprocessing performed when the fifth or sixth encrypted HEIF file is handled by the image processing system 100.
  • steps S451 to S454 the same processing as that of steps S211 to S214 of the preprocessing of FIG. 38 is performed, respectively.
  • FIG. 52 is a flowchart illustrating an example of a generation process for generating the fifth or sixth encrypted HEIF file when the image processing system 100 handles the fifth or sixth encrypted HEIF file.
  • steps S461 and S462 the same processing as in steps S221 and S222 of the generation process of FIG. 39 is performed, respectively.
  • step S463 the file control unit 43 generates an encrypted image by encrypting the main image obtained by capturing the image in step S461 with the common key generated in step S462, and the process is performed. The process proceeds to step S464.
  • step S463 the file control unit 43 further encrypts the external data associated with the main image with the common key used for encrypting the main image.
  • step S464 the file control unit 43 selects one of the public keys stored in the preprocessing, which has not yet been used for encryption of the common key, as the public key of interest. Further, the file control unit 43 assigns a uuid as specific information to the external data associated with the main image. Then, the file control unit 43 encrypts the common key set of the common key used for encrypting the main image and the uuid of the external data associated with the main image with the public key of interest, thereby performing the specific information inclusion encryption. The key is generated, and the process proceeds from step S464 to step S465.
  • step S465 the file control unit 43 performs the encrypted image generated in step S463, the specific information containing encryption key generated in step S464, and the specific information containing encryption key before being encrypted (plain text).
  • a fifth or sixth encrypted HEIF file stored in association with each of the common key sets is generated, and the generation process is completed.
  • step S465 the file control unit 43 further generates a file in which the external data encrypted in step S463 is stored, and stores it in, for example, the media 14.
  • FIG. 53 shows that when the fifth or sixth encrypted HEIF file is handled by the image processing system 100, the encrypted image is decrypted by a user other than a user who can obtain the private key corresponding to the encrypted image. It is a flowchart explaining the example of the restriction processing which restricts the viewing of a main image.
  • step S471 the file control unit 43 selects, for example, the fifth or sixth encrypted HEIF file to be reproduced according to the operation of the user, and the fifth or sixth encrypted HEIF file is selected.
  • the process proceeds to step S472 by acquiring the (plaintext) common key set and the encrypted image associated with the common key set from the encrypted HEIF file.
  • step S472 the file control unit 43 decodes the encrypted image acquired in step S471 into a main image with the common key constituting the common key set also acquired in step S471, and displays it on the liquid crystal panel 19. Then, the process proceeds to step S473.
  • step S473 the file control unit 43 determines whether or not the user has performed a restriction operation for operating the digital camera 10 so as to restrict viewing of the main image displayed in step S472.
  • step S473 If it is determined in step S473 that the restriction operation has not been performed, the restriction process ends.
  • step S473 If it is determined in step S473 that the restriction operation has been performed, the process proceeds to step S474, and the file control unit 43 encrypts the common key set acquired in step S471 in the fifth or sixth. Delete it from the HEIF file and the restriction process ends.
  • the private key corresponding to the encrypted image can be obtained. It is possible to restrict viewing of the main image obtained by decrypting the encrypted image and access to external data associated with the main image by a person other than the user.
  • FIG. 54 is a flowchart illustrating an example of a reproduction process for reproducing the fifth or sixth encrypted HEIF file when the image processing system 100 handles the fifth or sixth encrypted HEIF file.
  • step S481 the file control unit 43 selects, for example, the fifth or sixth encrypted HEIF file to be reproduced according to the operation of the user, and the fifth or sixth encrypted HEIF file is selected. Select the encrypted image to be played from the encrypted HEIF file. Then, the file control unit 43 determines whether or not the plaintext common key set associated with the encrypted image to be reproduced is stored in the fifth or sixth encrypted HEIF file to be reproduced.
  • step S481 If it is determined in step S481 that the common key set is stored, the process proceeds to step S487.
  • step S487 the file control unit 43 decodes the encrypted image to be reproduced into the main image with the common key constituting the common key set associated with the encrypted image, displays it on the liquid crystal panel 19. The process proceeds to step S488.
  • step S488 the file control unit 43 acquires the external data specified by the uuid that constitutes the common key set associated with the encrypted image to be reproduced, and the reproduction process ends.
  • step S488 the file control unit 43 further uses the encrypted external data specified by the uuid forming the common key set. Is obtained, and then the encrypted external data is decrypted with the common key that constitutes the common key set.
  • step S481 determines whether the common key set is not stored, that is, if the common key set is deleted by the restriction process of FIG. 53. the process proceeds to step S482.
  • steps S482 to S488 the same processing as in steps S331 to S337 of the reproduction processing of FIG. 47 is performed, and the reproduction processing ends.
  • step S488 Since the external data of the sixth HEIF file is encrypted, in step S488, the file control unit 43 is further specified by uuid obtained by decrypting the specific information containing encryption key in step S486. After acquiring the encrypted external data to be performed, the encrypted external data is decrypted with the common key obtained by decrypting the specific information containing encryption key in step S486.
  • FIG. 55 is a block diagram showing a configuration example of a second embodiment of an image processing system to which the present technology is applied.
  • the image processing system 200 includes a digital camera 210 and an external computer 101.
  • the image processing system 200 is common to the image processing system 100 of FIG. 31 in that it has an external computer 101, and differs from the image processing system 100 in that it has a digital camera 210 instead of the digital camera 10.
  • FIG. 56 is a block diagram showing a configuration example of the digital camera 210.
  • the digital camera 210 has an optical system 11 or an interface 21, and the signal processing unit 13 has an optical system / image sensor control unit 41 to a UI control unit 47, and a recognition unit 211.
  • the digital camera 210 is common to the digital camera 10 of FIG. 1 in that it has an optical system 11 to an interface 21 and that the signal processing unit 13 has an optical system / image sensor control unit 41 to a UI control unit 47. To do.
  • the digital camera 210 is different from the digital camera 10 in that the signal processing unit 13 is newly provided with the recognition unit 211.
  • the main image (data) is supplied to the recognition unit 211 from the optical system / image sensor control unit 41.
  • the recognition unit 211 performs image recognition on the main image from the optical system / image sensor control unit 41.
  • the recognition unit 211 recognizes the subject appearing in the main image as a recognition target by image recognition, and supplies the recognition result to the file control unit 43.
  • the recognition unit 211 as a recognition algorithm for recognizing a subject, an arbitrary subject appearing in the main image is regarded as a recognition target, and the subject is, for example, a person, a car, or a trademark. It is also possible to adopt an algorithm for identifying (classifying) the type of the subject, or a recognition algorithm for identifying an individual with a specific type of subject as a recognition target, that is, for example, a recognition algorithm for identifying an individual with respect to a person. It can also be adopted.
  • the digital camera 210 is provided with another sensor 212, and the recognition unit 211 can recognize the subject reflected in the main image by using the sensing result of the other sensor 212 in addition to the main image.
  • the other sensor 212 for example, a GPS (Global Positioning System) sensor, a directional sensor, a depth (distance measuring) sensor, or the like can be adopted.
  • the recognition unit 211 can improve the recognition accuracy of the subject in the main image by identifying the current location from the sensing results of the GPS sensor and the orientation sensor and limiting the recognition target to the subjects that can exist at the current location. ..
  • the recognition unit 211 generates a distance image whose pixel value is the distance to the subject from the sensing result of the depth sensor, and recognizes the subject reflected in the main image by using the distance image in addition to the main image. Therefore, the recognition accuracy at low illuminance can be improved.
  • HEIF high definition enhanced image
  • a plurality of divided images (tiles) obtained by dividing the main image into divided images of the same size are stored as items in the HEIF file.
  • the main image whose item type is grid is reconstructed from a plurality of divided images as items.
  • An item whose item type is grid (here, a main image), that is, a main image divided into a plurality of divided images (and a main image reconstructed from a plurality of divided images) is also referred to as a grid item.
  • the file control unit 43 can perform encryption in units of divided images in which the main image is divided, instead of the entire main image.
  • the file control unit 43 can perform encryption in units of divided images in which a predetermined subject appears in the main image according to the recognition result from the recognition unit 211.
  • the processing of the encrypted HEIF file when encrypting in units of divided images will be described below, but before that, the HEIF file (hereinafter, also referred to as the grid file) in which the main image of the item type grid is stored will be described. explain.
  • FIG. 57 is a diagram showing an example of a grid file.
  • the main image is divided into divided images Item # 1 to Item # 9 having 3 ⁇ 3 horizontal ⁇ vertical, and the divided images Item # 1 to Item # 9 are set as items in the mdat box. It is stored.
  • the items stored in the mdat box are nine items of the divided images Item # 1 to Item # 9, but the number of items in the iinf box and the iloc box is 10.
  • the main image (reconstructed image) as a grid item reconstructed from the divided images Item # 1 to Item # 9 is used as an item. This is to count.
  • the item ID of the main image as a grid item is 10, and for convenience of explanation, such a main image is described as the main image Item # 10.
  • the media data is not stored in the mdat box, but instead the idat box is stored in the meta box.
  • the idat box stores the grid number horizontal, grid number vertical, output horizontal size, and output vertical size.
  • the number of grids horizontally and the number of grids vertically represent the numbers in the horizontal and vertical directions of the divided images # 1 to # 9 constituting the main image # 10 as a grid item, respectively.
  • the output horizontal size and the output vertical size represent the horizontal and vertical sizes of the main image # 10 as a grid item reconstructed from the divided images # 1 to # 9, respectively.
  • the iloc box stores information (offset and size) regarding the storage location of the main image # 10, and this information is the main image # 10 as a grid item. Represents the storage location of the idat box.
  • the grid file of FIG. 57 contains 10 items of the divided images Item # 1 to Item # 9 and the main image Item # 10 reconstructed from the divided images Item # 1 to Item # 9. It has 10 infe boxes, depending on the. As described with reference to FIG. 9, the item ID that identifies the item and the item type are stored (registered) in the infe box, but the main image of the main image Item # 10 as a grid item is the main image. As the item type of Item # 10, the grid representing the grid item is stored.
  • the dimg box is stored in the iref box.
  • the dimg box stores information that associates the grid item with the split images that make up the grid item.
  • the item ID of the divided image is stored as a reference destination
  • the item ID of the main image as a grid item reconstructed from the divided image is stored as a reference source.
  • the item IDs # 1 to # 9 of the divided images Item # 1 to Item # 9 are stored as reference destinations
  • the item ID # 10 of the main image Item # 10 is stored as a reference source.
  • the dimg box stores a reference counter that indicates the number of divided images.
  • the file control unit 43 reconstructs the main image Item # 10 from the item type grid stored in the infe box of the main image Item # 10 from a plurality of divided images. It can be recognized that it is a (grid item). Further, the file control unit 43 reconstructs the item ID # 10 of the main image Item # 10 reconstructed from the divided images and the main image Item # 10 from the reference source and the reference destination stored in the dimg box. Item IDs # 1 to # 9 of the divided images Item # 1 to Item # 9 used for can be specified.
  • the file control unit 43 determines the horizontal direction of the divided images # 1 to # 9 constituting the main image # 10 from the grid number horizontal and grid number vertical, and the output horizontal size and output vertical size stored in the idat box. And the number in the vertical direction, and the horizontal and vertical sizes of # 10 of the main image reconstructed from the divided images # 1 to # 9 can be specified.
  • the file control unit 43 is composed of the divided images Item # 1 to Item # 9 of the item IDs # 1 to # 9 specified from the dimg box, and the divided images of the number in the horizontal direction and the vertical direction specified from the idat box.
  • the main image Item # 10 of the item ID # 10 specified from the dimg box of the size specified from the idat box can be reconstructed.
  • the file control unit 43 uses an encrypted divided image as an encrypted image obtained by encrypting the divided image obtained by dividing the main image with a common key (first encryption key), and the common key thereof.
  • a grid file stored in association with an encryption encryption key encrypted with a public key (second encryption key) can be generated as an encryption grid file.
  • An encrypted grid file is a type of encrypted HEIF file.
  • the file control unit 43 associates the encrypted divided image stored in the encrypted grid file with the encrypted encryption key that encrypts the common key used for obtaining the encrypted divided image. It is possible to use the association between the main image stored in the file and the specific information of the external data. That is, the file control unit 43 sets the encrypted divided image and the encrypted encryption key stored in the encrypted grid file in the same manner as the association between the main image stored in the association type HEIF file and the specific information of the external data. Can be associated.
  • the file control unit 43 decrypts the encryption encryption key of the encrypted grid file into a common key, and can decrypt the encrypted divided image into the original divided image with the common key obtained by the decryption. .. Further, the file control unit 43 can reconstruct the reconstructed image as the main image by arranging the divided images.
  • FIG. 58 is a diagram illustrating an outline of processing of an encrypted grid file performed by the digital camera 210.
  • the recognition unit 211 recognizes the human face in the main image, for example, with the human face as the recognition target, and controls the recognition result in a file. It is supplied to the unit 43.
  • the file control unit 43 determines, for example, a divided image in which the recognition target is recognized (a divided image in which a person's face as a recognition target is captured) among the divided images obtained by dividing the main image according to the recognition result from the recognition unit 211.
  • the common key is used to encrypt the encrypted divided image and store it in the encrypted grid file.
  • the divided image other than the divided image in which the recognition target is recognized can be encrypted into an encrypted divided image with a common key and stored in the encrypted grid file. However, it can be stored in an encrypted grid file without being encrypted (in plain text).
  • the divided images other than the divided images whose recognition target is recognized are stored in the encrypted grid file without being encrypted.
  • the file control unit 43 encrypts the common key used for encrypting the divided image into an encryption encryption key with the public key, and the encryption encryption key is subjected to the corresponding encryption. It is stored in the encrypted grid file in association with the divided image (the divided image encrypted with the public key whose encryption encryption key is decrypted).
  • the file control unit 43 reconstructs the reconstructed image as the main image from the divided image and the encrypted divided image stored in the encrypted grid file.
  • the file control unit 43 uses the private key for the encrypted encryption key associated with the encrypted divided image. , Decrypt to the common key, and decrypt the encrypted divided image to the original divided image with the common key. Further, the file control unit 43 reconstructs the reconstructed image as the main image by arranging the (plain text) divided image stored in the encrypted grid file and the divided image obtained by decrypting the encrypted divided image. To do. Therefore, in this case, it is possible to obtain a subject as a recognition target to be reflected in the original main image, here, a reconstructed image in which a human face is captured.
  • the file control unit 43 is the divided image (in plain text) stored in the encrypted grid file. Then, the encrypted divided image (or an image representing the encrypted divided image, for example, an image of one color without a pattern) is arranged side by side to reconstruct the reconstructed image as the main image. Therefore, in this case, a subject as a recognition target reflected in the original main image, here, a reconstructed image in which a human face is not captured (hidden) can be obtained.
  • the encrypted divided image is encrypted with a different common key for each subject appearing in the corresponding divided image, and the common key used for encrypting the divided image is a different public key for each subject. It can be encrypted.
  • the divided image can be encrypted with a common key that is different for each subject as a recognition target reflected in the divided image.
  • the common key that is different for each subject as the recognition target in the divided image can be encrypted with a different public key (and therefore, the private key is also different) for each subject as the recognition target.
  • the common key used for encrypting the divided image showing the face of person A and the common key used for encrypting the divided image showing the face of person B are encrypted with different public keys KA and KB, respectively. Can be transformed into.
  • the viewing of the face of the person A can be restricted to the user who can obtain the private key corresponding to the public key KA
  • the viewing of the face of the person B can be limited to the user who can obtain the private key corresponding to the public key KA. It can be limited to the users who can.
  • a recognition target by targeting a plurality of types of subjects as recognition targets.
  • a person and a trademark can be identified as recognition targets.
  • the subject to be recognized can be set according to the operation of the user. For example, as described above, whether to identify an individual as a recognition target for a specific type of subject such as a person or to identify a person and a trademark as a recognition target is set according to a user's operation. Can be done.
  • FIG. 59 is a diagram showing an example of an encrypted grid file.
  • the encrypted grid file of FIG. 59 is an encrypted grid file corresponding to the grid file of FIG. 57. That is, the encrypted grid file of FIG. 59 is an encrypted divided image Item # as an encrypted image obtained by encrypting the divided images Item # 1 to Item # 9 stored in the grid file of FIG. 57 in units of the divided images. An encrypted grid file that contains 1 to Item # 9.
  • FIG. 59 the contents of the iloc box and the idat box are the same as those in FIG. 57, although the illustration is omitted.
  • the encrypted grid file of FIG. 59 instead of the (plaintext) divided images Item # 1 to Item # 9, the encrypted divided images Item # 1 to Item # 9 are stored as items in the mdat box. It is different from the grid file of FIG. 57. Further, the encrypted grid file of FIG. 59 is an encrypted encryption key Item # 11 to Item # in which the common key used for encryption for obtaining the encrypted divided images Item # 1 to Item # 9 is encrypted with a public key. 19 differs from the grid file of FIG. 57 in that it is newly stored in the mdat box as an item. Further, the encrypted grid file of FIG. 59 is different from the grid file of FIG. 57 in that the cdsc box in which the association information is stored is newly stored in the iref box.
  • the number of items is increased by the amount of the encrypted encryption keys Item # 11 to Item # 19 as compared with the grid file of FIG. 57. Therefore, in the encrypted grid file of FIG. 59, the number of items in the iinf box is 19, and in this respect, the encrypted grid file of FIG. 59 is the grid file of FIG. 57 in which the number of items is 10. Different from. Further, the encrypted grid file of FIG. 59 is newly provided with an infe box by the amount of the encrypted encryption keys Item # 11 to Item # 19 which are increased as compared with the grid file of FIG. 57. , Different from the grid file of FIG. 57.
  • FIG. 59 for example, different subjects as recognition targets are shown in the divided images 1 to 9 before being encrypted in the encrypted divided images Item # 1 to Item # 9, so that the divided images 1 to 9 are shown.
  • Each is encrypted with different common keys for encrypted divided images Item # 1 to Item # 9.
  • the common keys used for encrypting the divided images 1 to 9 in which the subjects as different recognition targets are captured are different public keys and are encrypted by the encryption encryption keys Item # 11 to Item # 19.
  • the encrypted divided image Item # i and the common used for encryption to obtain the encrypted divided image Item # i By storing the association information that associates the key with the encryption encryption key Item # 10 + i that is encrypted with the public key in the cdsc box, the encryption division image Item # i and the encryption encryption key Item # 10 + i can be separated. Be associated.
  • the private key corresponding to the encrypted split image Item # i (the common key used for encryption to obtain the encrypted split image Item # i).
  • the file control unit 43 uses the encryption encryption key Item # 10 + i associated with the encryption division image Item # i.
  • the encryption divided image Item # i can be decrypted into the original divided image i with the private key, which is decrypted into the common key, and the common key obtained by the decryption. Therefore, for each divided image i in which the main image is divided, viewing of the divided image i (the subject reflected in) can be restricted to a user who can obtain the private key corresponding to the encrypted divided image Item # i. it can.
  • the file control unit 43 When decrypting the encrypted split image Item # i, the file control unit 43 encrypts and splits the item ID of the reference destination of the cdsc box whose reference source is the item ID # i of the encrypted split image Item # i.
  • the encryption encryption key Item # 10 + i corresponding to the image Item # i that is, the item ID of the encryption encryption key Item # 10 + i that encrypts the common key used for encrypting the encrypted image Item # i.
  • FIG. 60 is a flowchart illustrating a first example of preprocessing performed when an encrypted grid file is handled by the image processing system 200.
  • step S511 the digital camera 210 of the image processing system 200 transmits a predetermined number of public key requests to the external computer 101, and the process proceeds to step S512.
  • the recognition unit 211 when the recognition unit 211 is set to identify an individual with a person as a recognition target, face recognition is performed using an image captured for displaying a so-called through image of the digital camera 210. By doing so, the number of people (individuals) to be recognized is specified, and as many public keys as the number of people to be recognized are required.
  • the user is asked to input the information of the person who wants to hide the face, and according to the information, as many public keys as the number of people who want to keep the face secret are required.
  • steps S512 to S514 the same processing as in steps S212 to S214 of FIG. 38 is performed.
  • the digital camera 210 stores as many public keys as necessary, for example, as many public keys as the number of people who want to keep their faces secret.
  • FIG. 61 is a flowchart illustrating a first example of a generation process for generating an encrypted grid file when the image processing system 200 handles the encrypted grid file.
  • step S521 the digital camera 210 captures an image in response to, for example, a user operation, and the process proceeds to step S522.
  • step S522 the recognition unit 211 performs image recognition using the image captured in step S521, and the process proceeds to step S523.
  • step S523 the file control unit 43 controls the coding control unit 42 so as to divide the main image obtained by capturing the image in step S521 according to the recognition target recognized by the image recognition of the recognition unit 211.
  • the coding control unit 42 controls the main image according to the control of the file control unit 43, for example, so that different recognition targets appear on different divided images (so that one or less recognition targets appear on one divided image). Is divided into a plurality of divided images and supplied to the file control unit 43, and the process proceeds from step S523 to step S524.
  • step S524 the file control unit 43 generates a different common key for each recognition target recognized by the image recognition of the recognition unit 211, and the process proceeds to step S525.
  • step S525 the file control unit 43 encrypts the divided image in which the recognition target recognized by the image recognition of the recognition unit 211 is captured among the divided images obtained by dividing the main image with a common key for the recognition target.
  • the encrypted divided image is generated, and the process proceeds to step S526.
  • step S526 the file control unit 43 encrypts the common key for each recognition target recognized by the image recognition of the recognition unit 211 with the public key stored in the first example of the preprocessing, thereby performing the recognition target.
  • Each encryption encryption key is generated, and the process proceeds to step S527.
  • the common key for different recognition targets is encrypted with different public keys.
  • step S527 the file control unit 43 stores the divided image in which the recognition target is not shown among the divided images obtained by dividing the main image, and also generates the encrypted divided image generated in step S525 and the encrypted divided image in step S526. Generates an encrypted grid file that is stored in association with the encrypted encryption key corresponding to the encrypted divided image (the encrypted encryption key that encrypts the common key used to encrypt the encrypted divided image). Then, the generation process ends.
  • the main image is divided into a plurality of divided images of the same size. Therefore, when the main image is divided into divided images in which one or less recognition targets are captured, one recognition target may be captured over a plurality of divided images. When one recognition target appears over a plurality of divided images, the plurality of divided images can be encrypted with the same common key.
  • a common key is generated for each recognition target recognized by image recognition, and the divided image in which the recognition target is captured is encrypted with the common key for the recognition target.
  • the common key can be generated for each divided image in which the recognition target recognized by image recognition is captured, and the divided image in which the recognition target is captured can be encrypted with the common key for the divided image.
  • FIG. 62 is a flowchart illustrating an example of a reproduction process for reproducing the encrypted grid file when the image processing system 200 handles the encrypted grid file.
  • step S531 the file control unit 43 of the digital camera 210 selects, for example, an encrypted grid file to be reproduced according to the operation of the user, and from the encrypted grid file, the main image to be reproduced. Select. Further, the file control unit 43 reconstructs the main image by using the divided image and the encrypted divided image constituting the main image to be reproduced, and displays the main image on the liquid crystal panel 19.
  • step S532 the area of the encrypted divided image is in a state where the subject reflected in the area cannot be seen, and after such a main image is displayed in step S531, the process is performed. , Step S532.
  • step S532 for example, when the user specifies an encrypted divided image on the main image displayed in step S531, the file control unit 43 selects the encrypted divided image specified by the user as the attention encrypted divided image. To do. Further, the file control unit 43 acquires the encryption encryption key (encryption encryption key corresponding to the encryption division image) associated with the attention encryption division image from the encryption grid file to be reproduced, and the processing is performed. The process proceeds from step S532 to step S533.
  • step S533 for example, the file control unit 43 corresponds to the private key corresponding to the attention encrypted divided image (corresponding to the public key used for encryption to obtain the attention encrypted divided image) as in step S232 of FIG. 40. Attempting to acquire the private key), the process proceeds to step S534.
  • step S534 the file control unit 43 determines whether or not the private key corresponding to the attention encrypted divided image could be acquired.
  • step S534 If it is determined in step S534 that the private key could not be acquired, the process proceeds to step S535, the same error processing as in step S234 of FIG. 40 is performed, and the reproduction process ends. Therefore, a user who cannot obtain the private key corresponding to the attention-encrypted divided image cannot view the main image reflected in the divided image obtained by decrypting the attention-encrypted divided image.
  • step S534 determines whether the private key could be acquired. If it is determined in step S534 that the private key could be acquired, the process proceeds to step S536.
  • step S536 the file control unit 43 decrypts the encryption encryption key acquired in step S532 into a common key with the private key acquired in step S533, and the process proceeds to step S537.
  • step S537 the file control unit 43 decrypts the attention encrypted divided image into the divided image with the common key decrypted in step S536, and the process proceeds to step S538.
  • step S538 the file control unit 43 reconstructs the main image by using the divided image obtained by decrypting the attention encrypted divided image instead of the attention encrypted divided image, displays it on the liquid crystal panel 19, and reproduces it. The process ends.
  • FIG. 63 is a flowchart illustrating a second example of preprocessing performed when the encrypted grid file is handled by the image processing system 200.
  • step S611 the digital camera 210 of the image processing system 200 transmits a predetermined number of public key requests to the external computer 101, and the process proceeds to step S612.
  • a method of dividing the main image into divided images of the same size that is, for example, when the number of horizontal and vertical divided images constituting the main image is preset, the division constituting the main image As many public keys as there are images are required.
  • steps S512 to S514 the same processing as in steps S212 to S214 of FIG. 38 is performed.
  • the digital camera 210 acquires and stores the maximum number of public keys that can be required, that is, as many public keys as the number of divided images that make up the main image, as public keys for each of the divided images that make up the main image.
  • FIG. 64 is a flowchart illustrating a second example of the generation process of generating the encrypted grid file when the image processing system 200 handles the encrypted grid file.
  • step S621 the digital camera 210 captures an image in response to, for example, a user operation, and the process proceeds to step S622.
  • step S622 the file control unit 43 controls the coding control unit 42 so as to divide the main image obtained by capturing the image in step S621.
  • the coding control unit 42 divides the main image into a plurality of divided images of the same size according to the control of the file control unit 43, for example, by a preset division method, and supplies the main image to the file control unit 43.
  • the process proceeds from step S622 to step S623.
  • step S623 the recognition unit 211 performs image recognition using the image captured in step S621, and the process proceeds to step S624.
  • step S624 the file control unit 43 generates a common key for each of the divided images in which the recognition target recognized by the image recognition of the recognition unit 211 is captured among the plurality of divided images constituting the main image. The process proceeds to step S625.
  • step S625 the file control unit 43 encrypts the divided image in which the recognition target recognized by the image recognition of the recognition unit 211 is captured by the common key for the divided image among the divided images obtained by dividing the main image.
  • the encrypted divided image is generated, and the process proceeds to step S626.
  • step S626 the file control unit 43 uses the public key for the divided image stored in the second example of the preprocessing as the common key for the divided image in which the recognition target recognized by the image recognition of the recognition unit 211 is captured. By encrypting, an encryption encryption key for each divided image in which the recognition target is captured is generated, and the process proceeds from step S626 to step S627.
  • step S627 the file control unit 43 stores the divided image in which the recognition target is not shown among the divided images obtained by dividing the main image, and also generates the encrypted divided image generated in step S625 and the encrypted divided image in step S626. An encrypted grid file stored in association with the encrypted encryption key corresponding to the encrypted divided image is generated, and the generation process is completed.
  • FIG. 65 is a flowchart illustrating a third example of the generation process of generating the encrypted grid file when the image processing system 200 handles the encrypted grid file.
  • the common key is encrypted with the public key stored in the digital camera 210 in advance by the first and second examples of the preprocessing, respectively.
  • the necessary public key is acquired in the generation process without performing the preprocessing.
  • steps S721 and S722 the same process as in steps S521 and S522 of FIG. 61 is performed, respectively, and the process proceeds to step S723.
  • step S723 the digital camera 210 acquires and stores the public key for the new recognition target among the recognition targets recognized by the image recognition of the recognition unit 211 in step S722, and the process is performed in step S724. move on.
  • the digital camera 210 stores the recognition target recognized by the image recognition of the recognition unit 211, and when a new recognition target is recognized, the digital camera 210 acquires and stores the public key for the new recognition target. Specifically, the digital camera 210 transmits as many public key requests as the number of new recognition targets to the external computer 101.
  • the external computer 101 generates a public key and a corresponding private key for a new recognition target in response to a request for the public key from the digital camera 210, and transmits the public key to the digital camera 210.
  • the digital camera 210 receives and stores the public key for the new recognition target from the external computer 101.
  • step S724 the file control unit 43 controls the coding control unit 42 so as to divide the main image obtained by capturing the image in step S721 according to the recognition target recognized by the image recognition of the recognition unit 211.
  • the coding control unit 42 divides the main image into a plurality of divided images and supplies the main image to the file control unit 43 for processing, for example, as in step S523 of FIG. Goes from step S724 to step S725.
  • step S725 the file control unit 43 generates a common key for each recognition target recognized by the image recognition of the recognition unit 211, and the process proceeds to step S726.
  • step S726 the file control unit 43 encrypts the divided image in which the recognition target recognized by the image recognition of the recognition unit 211 is captured among the divided images obtained by dividing the main image with a common key for the recognition target.
  • the encrypted divided image is generated, and the process proceeds to step S727.
  • step S727 the file control unit 43 encrypts the common key for each recognition target recognized by the image recognition of the recognition unit 211 with the public key for the recognition target, thereby obtaining the encryption encryption key for each recognition target.
  • the generation and processing proceed to step S728.
  • step S728 the file control unit 43 stores the divided image in which the recognition target is not shown among the divided images obtained by dividing the main image, and also generates the encrypted divided image generated in step S726 and the encrypted divided image in step S727. An encrypted grid file stored in association with the encrypted encryption key corresponding to the encrypted divided image is generated, and the generation process is completed.
  • a common key is generated for each recognition target recognized by image recognition, and the divided image in which the recognition target is captured is encrypted with the common key for the recognition target.
  • the common key can be generated for each divided image in which the recognition target recognized by image recognition is captured, and the divided image in which the recognition target is captured can be encrypted with the common key for the divided image.
  • FIG. 66 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disc, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable recording medium 911 as described above, or can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 905. That is, for example, the program transfers from a download site to a computer wirelessly via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 902, and the input / output interface 910 is connected to the CPU 902 via the bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes a program stored in the ROM (Read Only Memory) 903 accordingly. .. Alternatively, the CPU 902 loads the program stored in the hard disk 905 into the RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • the CPU 902 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 902 outputs the processing result from the output unit 906 or transmits it from the communication unit 908, and further records it on the hard disk 905, if necessary, via the input / output interface 910.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a file processing device including a file control unit that generates a file in which the first encryption key is encrypted with the second encryption key and stored in association with the encryption encryption key.
  • the encryption encryption key is a specific information inclusion encryption key in which specific information that identifies external data outside the file associated with the image and the first encryption key are encrypted with the second encryption key.
  • ⁇ 4> The file processing device according to ⁇ 3>, wherein the external data is encrypted with the first encryption key.
  • ⁇ 5> The file processing device according to ⁇ 3> or ⁇ 4>, wherein the specific information in plain text and the first encryption key are further stored in the file.
  • ⁇ 6> The file processing device according to ⁇ 1> or ⁇ 2>, wherein the encrypted image is an encrypted divided image obtained by encrypting the divided image obtained by dividing the image with the first encryption key.
  • ⁇ 7> The encrypted divided image is encrypted with the first encryption key that is different for each subject appearing in the corresponding divided image.
  • the file processing device according to ⁇ 6>, wherein the first encryption key used for encrypting the divided image is encrypted with the second encryption key that differs for each subject.
  • the file processing device according to ⁇ 6> or ⁇ 7>, wherein the image is divided into the divided images according to the subject appearing in the image.
  • the first encryption key is a common key of a common key cryptosystem.
  • the second encryption key is a public key of a public key cryptosystem.
  • the file processing device according to any one of ⁇ 1> to ⁇ 8>, which is a HEIF (High Efficiency Image File Format) file.
  • a file processing device including a file control unit that decrypts the encrypted image into the image with the first encryption key.
  • the file control unit When the first encryption key in plain text is further stored in the file, the encrypted image is decrypted into the image by the first encryption key in plain text. When the first encryption key in plain text is not stored in the file, the encryption encryption key is decrypted into the first encryption key, and the first encryption key obtained by the decryption is used.
  • the file processing device which decrypts an encrypted image into the image.
  • the encryption encryption key is a specific information inclusion encryption key in which specific information that identifies external data outside the file associated with the image and the first encryption key are encrypted with the second encryption key.
  • the file control unit decrypts the specific information containing encryption key into the specific information and the first encryption key, and acquires the external data specified by the specific information obtained by the decryption ⁇ 11>.
  • the file processing device described in. ⁇ 14> The file control unit describes the above-described ⁇ 13>, in which, when the external data is encrypted with the first encryption key, the external data encrypted with the first encryption key is decrypted.
  • the file control unit When the specific information in plain text and the first encryption key are further stored in the file, the external data specified by the specific information in plain text is acquired. When the specific information in plain text and the first encryption key are not stored in the file, the specific information containing encryption key is decrypted into the specific information and the first encryption key, and the decryption is performed.
  • the file processing apparatus according to ⁇ 13> or ⁇ 14>, which acquires the external data specified by the obtained specific information.
  • the encrypted image is an encrypted divided image in which the divided image obtained by dividing the image is encrypted with the first encryption key.
  • the file control unit decrypts the encryption encryption key into the first encryption key, and decrypts the encrypted divided image into the divided image with the first encryption key obtained by the decryption.
  • the file processing apparatus according to 11> or ⁇ 12>. ⁇ 17>
  • the encrypted divided image is encrypted with the first encryption key that is different for each subject appearing in the corresponding divided image.
  • the first encryption key used for encrypting the divided image is encrypted with the second encryption key that is different for each subject.
  • the file control unit decrypts the encryption encryption key obtained by encrypting the first encryption key for the subject of interest, and decrypts the encryption key into the first encryption key, and the first one for the subject of interest obtained by the decryption.
  • the file processing apparatus according to ⁇ 16>, wherein the encrypted divided image in which the subject of interest is captured is decrypted into the divided image using the encryption key of the above.
  • the file processing device according to ⁇ 16> or ⁇ 17>, wherein the image is divided into the divided images according to the subject appearing in the image.
  • the first encryption key is a common key of a common key cryptosystem.
  • the second encryption key is a public key of a public key cryptosystem.
  • the file processing device according to any one of ⁇ 11> to ⁇ 18>, which is a HEIF (High Efficiency Image File Format) file.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本技術は、画像の視聴を制限することができるようにするファイル処理装置及びファイル処理方法に関する。 ファイル制御部は、画像を第１の暗号鍵で暗号化した暗号化画像と、第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したファイルを生成する。また、ファイル制御部は、ファイルの暗号化暗号鍵を、第１の暗号鍵に復号し、その復号により得られる第１の暗号鍵で、暗号化画像を、画像に復号する。本技術は、例えば、画像を撮像するディジタルカメラ等に適用することができる。

Description

ファイル処理装置及びファイル処理方法
　本技術は、ファイル処理装置及びファイル処理方法に関し、特に、例えば、画像の視聴を制限することができるようにするファイル処理装置及びファイル処理方法に関する。
　画像を、効率的に格納するファイルフォーマットとして、HEIF(High Efficiency Image File Format)がある（非特許文献１を参照）。
ISO/IEC 23008-12:2017, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 12: Image File Format
　HEIFファイルや、その他の画像を格納するファイルについては、いわゆる著作権の保護や肖像権の保護等の観点から、ファイルに格納された画像の視聴を制限することができれば便利である。
　本技術は、このような状況に鑑みてなされたものであり、ファイルに格納された画像の視聴を制限することができるようにするものである。
　本技術の第１のファイル処理装置は、画像を第１の暗号鍵で暗号化した暗号化画像と、前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したファイルを生成するファイル制御部を備えるファイル処理装置である。
　本技術の第１のファイル処理方法は、画像を第１の暗号鍵で暗号化した暗号化画像と、前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したファイルを生成することを含むファイル処理方法である。
　本技術の第１のファイル処理装置及びファイル処理方法においては、画像を第１の暗号鍵で暗号化した暗号化画像と、前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したファイルが生成される。
　本技術の第２のファイル処理装置は、画像を第１の暗号鍵で暗号化した暗号化画像と、前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したファイルの前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号するファイル制御部を備えるファイル処理装置である。
　本技術の第２のファイル処理方法は、画像を第１の暗号鍵で暗号化した暗号化画像と、前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したファイルの前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号することを含むファイル処理方法である。
　本技術の第２のファイル処理装置及びファイル処理方法においては、画像を第１の暗号鍵で暗号化した暗号化画像と、前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したファイルの前記暗号化暗号鍵が、前記第１の暗号鍵に復号され、その復号により得られる前記第１の暗号鍵で、前記暗号化画像が、前記画像に復号される。
　なお、第１及び第２のファイル処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、第１及び第２のファイル処理装置は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータを、第１及び第２のファイル処理装置として機能させるプログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。
本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。 ISOベースメディアファイルフォーマットの例を示す図である。 HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。 イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。 iprpボックスの例を示す図である。 イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。 trakボックスの例を示す図である。 主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。 第１の関連付け型コレクションファイルの例を示す図である。 第２の関連付け型コレクションファイルの例を示す図である。 第３の関連付け型コレクションファイルの例を示す図である。 主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。 関連付け型シーケンスファイルの例を示す図である。 関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。 関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。 コレクションファイルを再生する再生処理の例を説明するフローチャートである。 ステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。 ステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。 ステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。 第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。 シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。 関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。 外部データとして、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。 外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。 外部データとして、主画像のWAVファイルを採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。 外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。 本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。 第１の暗号化HEIFファイルの例を示す図である。 第２の暗号化HEIFファイルの例を示す図である。 第３の暗号化HEIFファイルの例を示す図である。 第４の暗号化HEIFファイルの例を示す図である。 第５の暗号化HEIFファイルの例を示す図である。 第６の暗号化HEIFファイルの例を示す図である。 画像処理システム１００で第１の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。 画像処理システム１００で第１の暗号化HEIFファイルが扱われる場合に、その第１の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。 画像処理システム１００で第１の暗号化HEIFファイルが扱われる場合に、その第１の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。 画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。 画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に、その第２の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。 画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に、暗号化画像に対応する秘密鍵を入手することができるユーザ以外による、その暗号化画像を復号した主画像の視聴を制限する制限処理の例を説明するフローチャートである。 画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に、その第２の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。 画像処理システム１００で第３の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。 画像処理システム１００で第３の暗号化HEIFファイルが扱われる場合に、その第３の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。 画像処理システム１００で第３の暗号化HEIFファイルが扱われる場合に、その第３の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。 画像処理システム１００で第４の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。 画像処理システム１００で第４の暗号化HEIFファイルが扱われる場合に、その第４の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。 画像処理システム１００で第４の暗号化HEIFファイルが扱われる場合に、その第４の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。 画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。 画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に、その第５又は第６の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。 画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に、暗号化画像に対応する秘密鍵を入手することができるユーザ以外による、その暗号化画像を復号した主画像の視聴を制限する制限処理の例を説明するフローチャートである。 画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に、その第５又は第６の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。 本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。 ディジタルカメラ２１０の構成例を示すブロック図である。 gridファイルの例を示す図である。 ディジタルカメラ２１０が行う暗号化gridファイルの処理の概要を説明する図である。 暗号化gridファイルの例を示す図である。 画像処理システム２００で暗号化gridファイルが扱われる場合に行われる前処理の第１の例を説明するフローチャートである。 画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを生成する生成処理の第１の例を説明するフローチャートである。 画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを再生する再生処理の例を説明するフローチャートである。 画像処理システム２００で暗号化gridファイルが扱われる場合に行われる前処理の第２の例を説明するフローチャートである。 画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを生成する生成処理の第２の例を説明するフローチャートである。 画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを生成する生成処理の第３の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したディジタルカメラの一実施の形態＞
　図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
　ディジタルカメラ１０は、光学系１１、イメージセンサ１２、信号処理部１３、メディア１４、インタフェース１５及び１６、ボタン／キー１７、タッチパネル１８、液晶パネル１９、ビューファインダ２０、並びに、インタフェース２１等を有する。
　光学系１１は、被写体からの光を、イメージセンサ１２に集光する。
　イメージセンサ１２は、光学系１１からの光を受光し、光電変換する撮像を行うことで、電気信号としての画像のデータを生成し、信号処理部１３に供給する。
　信号処理部１３は、光学系／イメージセンサ制御部４１、符号化制御部４２、ファイル制御部４３、メディア制御部４４、操作制御部４５、表示制御部４６、及び、UI制御部４７を有する。
　光学系／イメージセンサ制御部４１は、光学系１１及びイメージセンサ１２を制御し、その制御に従って行われる撮像により得られる画像（のデータ）を、符号化制御部４２に供給する。
　符号化制御部４２は、光学系／イメージセンサ制御部４１からの画像を表示制御部４６に供給するとともに、必要に応じて符号化し、ファイル制御部４３に供給する。また、符号化制御部４２は、ファイル制御部４３から供給される画像を必要に応じて復号し、表示制御部４６に供給する。
　ファイル制御部４３は、符号化制御部４２から供給される画像を格納したファイルを生成し、メディア制御部４４に供給する。また、ファイル制御部４３は、メディア制御部４４から供給されるファイルの再生、すなわち、ファイルに格納された画像等のデータの読み出し等を行う。例えば、ファイルから読み出された画像は、ファイル制御部４３から符号化制御部４２に供給される。
　メディア制御部４４は、メディア１４、並びに、インタフェース１５及び１６との間でのファイルのやりとりを制御する。例えば、メディア制御部４４は、ファイル制御部４３からのファイルを、メディア１４に記録させ、又は、インタフェース１５及び１６から送信させる。また、メディア制御部４４は、メディア１４からファイルを読み出し、又は、インタフェース１５及び１６にファイルを受信させ、ファイル制御部４３に供給する。
　操作制御部４５は、ユーザによるボタン／キー１７やタッチパネル１８の操作に応じて、その操作に対応する操作信号を、必要なブロックに供給する。
　表示制御部４６は、符号化制御部４２から供給される画像等を、液晶パネル１９や、ビューファインダ２０、インタフェース２１に供給して表示させる表示制御等を行う。
　UI制御部４７は、UI(User Interface)制御をつかさどる。
　メディア１４は、例えば、SDカード等の記憶媒体である。インタフェース１５は、例えば、WiFi（登録商標）やイーサネット（登録商標）等のLAN(Local Area Network)のインタフェースである。インタフェース１６は、例えば、USB(Universal Serial Bus)のインタフェースである。ボタン／キー１７及びタッチパネル１８は、ディジタルカメラ１０に指令その他の情報を入力するときに、ユーザによって操作される。タッチパネル１８は、液晶パネル１９と一体的に構成することができる。液晶パネル１９及びビューファインダ２０は、表示制御部４６から供給される画像等を表示する。インタフェース２１は、HDMI（登録商標）(High-Definition Multimedia Interface)やDP(Display Port)等の少なくとも画像を伝送するインタフェースである。
　以上のように構成されるディジタルカメラ１０では、光学系／イメージセンサ制御部４１は、イメージセンサ１２の撮像により得られるRAWデータの画像（以下、RAW画像ともいう）から、例えば、そのRAW画像と同一の解像度（画素数）のYUVの画像を、HEIFファイルの主画像(master image)として生成し、符号化制御部４２に供給する。
　符号化制御部４２は、YUVの主画像から、液晶パネル１９や外部のディスプレイでの表示の用途用に、主画像に基づく第１の他の画像としての、例えば、主画像よりも解像度が低いYUVの画像（以下、スクリーンネイル画像ともいう）を生成するとともに、インデクス表示（一覧表示）の用途用に、主画像に基づく第２の他の画像としての、例えば、スクリーンネイル画像よりも解像度が低いYUVの画像（以下、サムネイル画像ともいう）を生成する。符号化制御部４２は、例えば、スクリーンネイル画像を、表示制御部４６を介して、液晶パネル１９に供給し、いわゆるスルー画として表示させる。サムネイル画像としては、例えば、長辺が320ピクセル以下のサイズの画像を採用することができる。主画像と、主画像に基づく第１の他の画像としてのスクリーンネイル画像、又は、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズ（ピクセル数）の比率は、例えば、200倍以下にすることができる。主画像に基づく第１の他の画像としてのスクリーンネイル画像と、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズの比率も、同様に、200倍以下とすることができる。スクリーンネイル画像としては、例えば、解像度が4K以上の画像を採用することができる。また、スクリーンネイル画像としては、例えば、ユーザの選択に応じて、4K（QFHD）又はFHDの画像を採用することができる。さらに、主画像とスクリーンネイル画像としては、同一の解像度の画像を採用することができる。主画像とスクリーンネイル画像として、同一の解像度の画像を採用する場合、HEIFファイルには、主画像とスクリーンネイル画像との両方を格納することもできるし、スクリーンネイル画像を格納せずに、主画像を格納することができる。HEIFファイルに、スクリーンネイル画像を格納せずに、主画像を格納する場合には、主画像をリサイズして、スクリーンネイル画像として用いることができる。
　また、符号化制御部４２は、RAW画像に対応する主画像、スクリーンネイル画像、及び、サムネイル画像（同一のRAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）を、必要に応じて符号化し、RAW画像とともに、ファイル制御部４３に供給する。
　ファイル制御部４３は、RAW画像が格納されたRAWファイルを生成するとともに、対応する主画像、スクリーンネイル画像、及び、サムネイル画像（同一のRAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）が格納されたHEIFファイル、又は、JPEGファイル等を生成し、メディア制御部４４に供給する。HEIFファイルとは、HEIF(High Efficiency Image File Format)に準拠したファイルであり、JPEGファイルとは、JPEG(Joint Photographic Experts Group)に準拠したファイルである。
　メディア制御部４４は、ファイル制御部４３からのRAWファイルと、HEIFファイル又はJPEGファイルとを、メディア１４に記録し、あるいは、インタフェース１５又は１６から送信させる。
　ファイル制御部４３において、HEIFファイル、及び、JPEGファイルのうちのいずれを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルには、後述するように、イメージアイテム形式とイメージシーケンス形式とがあるが、イメージアイテム形式とイメージシーケンス形式とのいずれを採用するかは、例えば、ユーザの操作に応じて選択することができる。さらに、ファイル制御部４３では、ユーザの操作に応じて、HEIFファイルとJPEGファイルとの間の相互変換を行うことができる。
　さらに、ファイル制御部４３では、HEIFファイルの生成にあたって、HEIFファイル外の外部データ（HEIFファイルに格納されていないデータ）と関連付けるHEIFファイル内の内部データ（HEIFファイルに格納されたデータ）と、その外部データを特定する特定情報とを関連付けて、HEIFファイルに格納することができる。内部データと、その内部データと関連付ける外部データの特定情報とが関連付けられて格納されたHEIFファイルを、関連付け型HEIFファイルともいう。関連付け型HEIFファイルには、例えば、内部データと特定情報とを関連付ける関連付け情報を格納すること等によって、内部データと特定情報とを関連付けて格納することができる。
　＜JPEGファイル＞
　図２は、JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。
　JPEGファイルは、例えば、Exifのメタデータ、サムネイル画像、XMP(Extensible Metadata Platform)（登録商標）のメタデータ、主画像及び簡易表示用画像の格納場所（位置）等を表すMPF、主画像、並びに、簡易表示用画像が格納されて構成される。簡易表示用画像としては、例えば、スクリーンネイル画像を採用することができる。
　＜ISOベースメディアファイルフォーマット＞
　図３は、ISOベースメディアファイルフォーマットの例を示す図である。
　HEIF(ISO/IEC 23008-12)は、ISOベースメディアファイルフォーマット(ISO/IEC 14496-12)に準拠したファイルフォーマットであり、したがって、HEIFファイルは、ISOベースメディアファイルフォーマットに準拠する。
　ISOベースメディアファイルフォーマットは、データを格納するコンテナとしてのボックス(box)と呼ばれる単位で構成され、ボックス構造と呼ばれる構造を有する。
　ボックスは、タイプ(box type)、及び、実データ(data)等を有する。タイプは、ボックス内の実データの種類を表す。実データとしては、画像（静止画、動画）や、オーディオ、字幕（サブタイトル）等の再生可能なメディアデータ、属性名（フィールド名）とその属性名（で表される変数）の属性値（フィールド値）、その他の各種のデータを採用することができる。
　さらに、実データとしては、ボックスを採用することができる。すなわち、ボックスは、実データとして、ボックスを持つことができ、これにより、階層構造にすることができる。
　ISOベースメディアファイルフォーマットに準拠したベースメディアファイルは、ftypボックス、moovボックス(MovieBox)、metaボックス(MetaBox)、及び、mdatボックス(MediaDataBox)等を有することができる。ftypボックスには、ファイルフォーマットを識別する識別情報が格納される。moovボックスは、trakボックス等を格納することができる。metaボックスは、iinfボックス、iprpボックス、irefボックス、ilocボックス等を格納することができる。mdatボックスは、メディアデータ（AVデータ）、その他任意のデータを格納することができる。
　HEIFは、以上のようなISOベースメディアファイルフォーマットに準拠する。
　＜HEIFファイル＞
　図４は、HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。
　HEIFファイルには、大きく分けて、イメージアイテム形式と、イメージシーケンス形式とがある。さらに、イメージアイテム形式には、後述するアイテムを１つだけ有するシングルイメージ形式と、アイテムを複数有するイメージコレクション形式とがある。
　イメージアイテム形式のHEIFファイルは、ftypボックス、metaボックス、及び、mdatボックスを有する。
　イメージシーケンス形式のHEIFファイルは、ftypボックス、moovボックス、及び、mdatボックスを有する。
　なお、HEIFファイルは、metaボックス及びmoovボックスのうちの一方だけでなく、両方を有することもできる。
　ftypボックスには、ファイルフォーマットを識別する識別情報、例えば、ファイルがイメージアイテム形式又はイメージシーケンス形式のHEIFファイルであること等が格納される。
　metaボックス及びmoovボックスには、mdatボックスに格納されるメディアデータの再生や管理等に必要な、例えば、メディアデータの格納場所等のメタデータが格納される。
　mdatボックスには、メディアデータ（AVデータ）等が格納される。
　ディジタルカメラ１０において、イメージアイテム形式とイメージシーケンス形式とのHEIFファイルのうちのいずれのHEIFファイルを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルのmdatボックスに、画像を符号化して格納する場合には、イメージアイテム形式については、イントラ符号化のみが許され、イメージシーケンス形式については、イントラ符号化及びインター符号化が許される。したがって、例えば、HEIFファイルに格納されたデータへの高速アクセスを優先する場合には、イメージアイテム形式のHEIFファイルの生成を選択し、HEIFファイルのサイズ（データ量）を小さくすることを優先する場合には、イメージシーケンス形式のHEIFファイルの生成を選択することができる。
　図５は、イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。
　イメージアイテム形式のHEIFファイルでは、ftypボックスに、イメージアイテム形式のHEIFファイルであることを表す情報、例えば、mif1等が（属性値として）格納される。
　metaボックスには、iinfボックス、irefボックス、iprpボックス、及び、ilocボックスが格納される。
　iinfボックスには、mdatボックスに格納されたメディアデータ（AVデータ）であるアイテムの数（を表す属性名と属性値）等が格納される。アイテムとは、イメージアイテム形式のHEIFファイルのmdatボックスに格納される１つのデータであり、例えば、１枚（画面）の画像が、アイテムである。本明細書では、静止画及び動画にかかわらず、画像の１枚を、フレームともいう。１フレームは、１アイテムである。
　irefボックスには、アイテムどうしの関連を表す情報が格納される。例えば、mdatボックスには、対応する主画像、スクリーンネイル画像、及び、サムネイル画像のそれぞれをアイテムとして格納することができる。mdatボックスに、主画像としてのアイテムI1、スクリーンネイル画像としてのアイテムI2、及び、サムネイル画像としてのアイテムI3が格納される場合、irefボックスには、アイテムI2がアイテムI1としての主画像のスクリーンネイル画像であることを表す情報や、アイテムI3がアイテムI1としての主画像のサムネイル画像であることを表す情報が格納される。
　iprpボックスには、アイテムのプロパティに関する情報が格納される。
　ilocボックスには、mdatボックスに格納されたアイテムの格納場所に関する情報が格納される。
　イメージアイテム形式の（HEIFファイルの）mdatボックスには、アイテムとしての、例えば、画像のフレームが格納される。mdatボックスには、１個以上のアイテムを格納することができる。また、mdatボックスには、アイテムとしてのフレームを符号化して格納することができる。但し、イメージアイテム形式のmdatボックスに格納するアイテムとしてのフレームの符号化は、イントラ符号化に制限される。アイテムとしてのフレームを符号化する符号化方式（コーデック）としては、例えば、HEVC等を採用することができる。
　図６は、図５のiprpボックスの例を示す図である。
　iprpボックスには、アイテムのプロパティに関するipcoボックス及びipmaボックスが格納される。ipcoボックスには、mdatボックスに格納されたアイテムのプロパティ、例えば、アイテムとしての画像のコーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクス（ポインタ）が格納される
　図７は、イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。
　イメージシーケンス形式のHEIFファイルでは、ftypボックスに、イメージシーケンス形式のHEIFファイルであることを表す情報、例えば、msf1等が格納される。
　moovボックスには、trakボックスが格納される。trakボックスには、mdatボックスに格納されるトラックに関する情報が格納される。
　トラックは、画像や音声等の１つの独立した、タイムラインに従って再生されるメディアデータで構成される。例えば、トラックは、エレメンタリストリームとなる１フレーム以上の画像で構成される。mdatボックスに格納されるトラックについては、複数のトラック、例えば、同時に記録された画像及び音声それぞれのトラックを、同時に再生することができる。
　トラックのメディアデータは、サンプルと呼ばれる単位で構成される。サンプルとは、HEIFファイル内のメディアデータにアクセスする場合の、最小の単位（アクセス単位）である。したがって、サンプルより細かい単位で、HEIFファイル内のメディアデータにアクセスすることはできない。
　画像のメディアデータについては、例えば、１フレーム等が、１サンプルとなる。また、音声のメディアデータについては、例えば、その音声のメディアデータの規格で定められた１オーディオフレーム等が、１サンプルとなる。
　イメージシーケンス形式の（HEIFファイルの）mdatボックスにおいて、トラックのメディアデータは、チャンク(chunk)と呼ばれる単位で配置される。チャンクは、論理的に連続したアドレスに配置される１以上のサンプルの集合である。
　mdatボックスに、メディアデータとしての複数のトラックが格納される場合、その複数のトラックは、チャンク単位で、インターリーブして配置される。
　以上のように、イメージシーケンス形式のmdatボックスには、画像や音声等のメディアデータで構成される１以上のトラックが格納される。
　mdatボックスには、トラックを構成する画像のフレームを符号化して格納することができる。イメージシーケンス形式のmdatボックスに格納するトラックを構成するフレームの符号化には、GOP(Group of Picture)として、long GOPを採用するとともに、イントラ符号化及びインター符号化のいずれをも採用することができる。トラックを構成するフレームを符号化するコーデックとしては、例えば、HEVC等を採用することができる。
　図８は、trakボックスの例を示す図である。
　trakボックスには、tkhdボックス及びmdiaボックスを格納することができる。tkhdボックスには、trakボックスが管理するトラックの作成日時等の、トラックのヘッダ情報が格納される。mdiaボックスには、minfボックス等が格納される。minfボックスには、stblボックスが格納される。stblボックスには、トラックのサンプル、ひいては、チャンクにアクセスするための情報が格納されるstsdボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。stsdボックスには、トラックのコーデックに関するコーデック情報が格納される。stscボックスには、チャンクサイズ（1チャンクのサンプル数）が格納される。stszボックスには、サンプルサイズが格納される。stcoボックスには、チャンクオフセット、すなわち、mdatボックスに格納されたトラックの各チャンクの配置位置のオフセットが格納される。
　ここで、イメージアイテム形式のHEIFファイルを、コレクションファイルともいい、イメージシーケンス形式のHEIFファイルを、シーケンスファイルともいう。さらに、イメージアイテム形式の関連付け型HEIFファイルを、関連付け型コレクションファイルともいい、イメージシーケンス形式の関連付け型HEIFファイルを、関連付け型シーケンスファイルともいう。
　ディジタルカメラ１０では、主画像、さらには、必要なスクリーンネイル画像、及び、サムネイル画像のうちの一方又は両方が格納されたHEIFファイル（関連付け型HEIFファイルを含む）を生成することができる。
　＜コレクションファイル＞
　図９は、主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。
　ここで、通常のコレクションファイルとは、コレクションファイル内の内部データと、外部データの特定情報とが関連付けられていないコレクションファイルを意味する。
　いま、コレクションファイルのmdatボックスには、フレーム（アイテム）がHEVCで符号化されて格納されることとする。
　ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージアイテム形式であることと、コーデックがHEVCであることとを表すheicが格納される。
　iinfボックスには、mdatボックスに格納されたアイテムの数（アイテム数）が格納される。図９では、アイテムID#1で特定される主画像（以下、主画像Item#1のようにも記載する）、主画像Item#2、アイテムID#101で特定されるサムネイル画像（以下、サムネイル画像Item#101のようにも記載する）、サムネイル画像Item#102の合計で４個のアイテム（フレーム）が、mdatボックスに格納されている。したがって、アイテム数は４である。なお、サムネイル画像Item#101は、主画像Item#1のサムネイル画像であり、サムネイル画像Item#102は、主画像Item#2のサムネイル画像である。
　iinfボックスには、さらに、例えば、mdatボックスに格納されたアイテムごとに、infeボックスが格納される。infeボックスには、アイテムを特定するアイテムIDと、アイテムタイプとが登録される。図９では、主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びItem#102それぞれのinfeボックスが存在する。
　irefボックスには、mdatボックスに格納されたアイテムどうしを関連付ける情報として、例えば、thmbボックスが格納される。thmbボックスは、主画像とその主画像のサムネイル画像とを関連付ける情報としての参照元と参照先とが対応付けられて格納される。thmbボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のサムネイル画像のアイテムIDを表す。したがって、参照元に対応付けられている参照先によれば、参照元が表すアイテムIDで特定される主画像のサムネイル画像のアイテムIDを認識することができる。また、参照先に対応付けられている参照元によれば、参照先が表すアイテムIDで特定されるサムネイル画像の主画像のアイテムIDを認識することができる。
　iprpボックスには、図６で説明したように、ipcoボックス及びipmaボックスが格納される。ipcoボックスには、図６で説明したように、mdatボックスに格納されたアイテムとしてのフレームのプロパティ、例えば、コーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、図６で説明したように、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクスが格納される。
　ilocボックスには、図６で説明したようにmdatボックスにおけるアイテムの格納場所に関する情報が格納される。図９では、ilocボックスには、アイテム数が４であることが格納されている。さらに、ilocボックスには、mdatボックスに格納された主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びItem#102それぞれの格納場所へのオフセット及びサイズがアイテムIDと対応付けられて格納されている。
　以下、図９の通常のコレクションファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型コレクションファイルについて説明する。
　図１０は、第１の関連付け型コレクションファイルの例を示す図である。
　ここで、以下では、HEIFファイル内の内部データとしての主画像と関連付ける外部データとして、例えば、その主画像のRAW画像（が格納されたRAWファイル）を採用することとする。
　第１の関連付け型コレクションファイルには、内部データとしての主画像と、外部データとしてのRAW画像が格納されたRAWファイル（に格納されたRAW画像）の特定情報とを関連付ける関連付け情報を格納することで、主画像とRAW画像が格納されたRAWファイルの特定情報とが関連付けられて格納される。さらに、第１の関連付け型コレクションファイルでは、関連付け情報が、metaボックスに格納される。
　外部データとしてのRAW画像が格納されたRAWファイルの特定情報としては、RAWファイルのファイル名や、RAWファイルに対して発行されたuuid(Universally Unique Identifier)、URL(Uniform Resource Locator)、その他、RAWファイル（に格納されたRAW画像）を特定することができる任意の情報を採用することができる。
　第１の関連付け型コレクションファイルについては、metaボックスに格納される新たなボックスとして、関連付け情報が格納される関連付け情報格納ボックスが定義され、metaボックスに格納される。第１の関連付け型コレクションファイルの関連付け情報格納ボックスには、例えば、主画像を特定するアイテムIDと、その主画像に関連付ける（RAW画像が格納された）RAWファイル（に格納されたRAW画像）を特定する特定情報としてのuuidとが対応付けられた関連付け情報が格納される。さらに、関連付け情報格納ボックスには、RAWファイル（に格納されたRAW画像）と関連付けられる主画像の数（主画像数）が格納される。関連付け情報格納ボックスに格納される主画像数は、RAWファイルと関連付けられる主画像の数であるので、mdatボックスに格納されている主画像の数以下の値になる。
　図１０では、主画像Item#1のRAWファイルのuuid（主画像Item#1と関連付けられたRAW画像のuuid）が、UUID#1になっており、主画像Item#2のRAWファイルのuuidが、UUID#2になっている。いま、uuidがUUID#iのRAWファイルを、RAWファイルUUID#iと記述することとすると、図１０では、主画像Item#1のアイテムID#1とRAWファイルUUID#1のuuidとが対応付けられ、かつ、主画像Item#2のアイテムID#2とRAWファイルUUID#2のuuidとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。
　図１１は、第２の関連付け型コレクションファイルの例を示す図である。
　第２の関連付け型コレクションファイルには、第１の関連付けコレクションファイルと同様に、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第２の関連付け型コレクションファイルでは、関連付け情報が、mdatボックスに格納される。
　第２の関連付け型コレクションファイルについては、例えば、第１の関連付けコレクションファイルの場合と同様の関連付け情報が、アイテムとして、mdatボックスに格納される。図１１では、関連付け情報が、アイテムID#201のアイテムとして、mdatボックスに格納されている。
　以上のように、第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報が、mdatボックスに格納されることに応じて、metaボックスに格納される情報が、図９の通常のコレクションファイルの場合と異なる。第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報のメタデータが、metaボックスに格納される。
　具体的には、第２の関連付け型コレクションファイルでは、iinfボックス及びilocボックスに格納されるアイテム数が、図９の場合の４から、その４に、アイテムItem#201の１を加えた５になる。さらに、iinfボックスに、アイテムItem#201に対するinfeボックスが追加されるとともに、ilocボックスに、アイテムItem#201の格納場所へのオフセット及びサイズが追加される。アイテムItem#201に対するinfeボックスには、アイテムItem#201のアイテムID#201と、アイテムItem#201が関連付け情報であることを表すアイテムタイプIDIF(identifying data info)とが格納される。IDIFは、アイテムが関連付け情報であることを表す、新たに定義された属性値（フィールド値）である。
　図１２は、第３の関連付け型コレクションファイルの例を示す図である。
　第３の関連付け型コレクションファイルでは、外部データとしてのRAWファイルの特定情報を、特定情報ごとに、アイテムとして、mdatボックスに格納するとともに、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を、metaボックスに格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第３の関連付け型コレクションファイルでは、関連付け情報は、アイテムとしての主画像のアイテムIDと、アイテムとしての（RAWファイルの）特定情報のアイテムIDとを対応付けた情報であり、metaボックス内のirefボックスに格納されるcdscボックスに格納される。
　cdscボックスには、主画像とその主画像のRAWファイルの特定情報それぞれとしてのアイテムどうしとを関連付ける情報としての参照元と参照先とを対応付けて格納することができる。cdscボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のRAWファイルのアイテムとしての特定情報のアイテムIDを表す。
　図１２では、主画像Item#1のRAWファイルの特定情報としてのuuidであるUUID#1が、アイテムItem#201として、mdatボックスに格納され、主画像Item#2のRAWファイルの特定情報としてのuuidであるUUID#2が、アイテムItem#202として、mdatボックスに格納されている。さらに、主画像Item#1のアイテムID#1と、特定情報UUID#1のアイテムID#201とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納され、主画像Item#2のアイテムID#2と、特定情報UUID#2のアイテムID#202とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。
　＜シーケンスファイル＞
　図１３は、主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。
　ここで、通常のシーケンスとは、シーケンスファイル内の内部データと、外部データの特定情報とが関連付けられていないシーケンスファイルを意味する。
　いま、シーケンスファイルのmdatボックスには、フレームがHEVCで符号化されて格納されることとする。
　ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージシーケンス形式であることと、コーデックがHEVCであることとを表すhevcが格納される。
　moovボックスには、図７で説明したように、mdatボックスに格納されるトラックそれぞれを管理するtrakボックスが格納される。図１３では、トラックID#1で特定される主画像のトラック（以下、トラック#1のようにも記載する）、及び、トラック#1の主画像のサムネイル画像のトラック#2が、mdatボックスに格納されている。したがって、moovボックスには、トラック#1を管理するtrakボックスと、トラック#2を管理するtrakボックスとが格納される。トラック#2の（先頭から）n番目のサムネイル画像（のフレーム）は、トラック#1のn番目の主画像のサムネイル画像である。
　シーケンスファイルは、例えば、ディジタルカメラ１０で連写が行われた場合に、その連写で得られる複数フレームの主画像及びサムネイル画像を、それぞれ、1トラックとして記録する場合等に有用である。
　主画像のトラック#1を管理するtrakボックスのtkhdボックスには、トラック#1を特定するトラックID#1、トラック#1を構成する主画像の画サイズ、主画像が撮像されたときのディジタルカメラ１０の向きを表す回転情報、及び、トラック#1の作成日時が格納される。サムネイル画像のトラック#2を管理するtrakボックスのtkhdボックスには、トラック#2を特定するトラックID#2、及び、トラック#2の作成日時が格納される。
　trakボックスには、図７で説明したtkhdボックス及びmdiaボックスの他に、trefボックスを格納することができる。trefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラックと関連する他のトラックを特定するトラックID、及び、トラックの内容を表す情報等が格納される。図１３では、トラック#2を管理するtrakボックスの中に、trefボックスが設けられている。そして、そのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#2を構成するデータがサムネイル画像であること（トラック#2がサムネイル画像のトラックであること）(type=thmb)を表す情報が格納されている。
　trakボックスのmdiaボックスには、図８で説明したminfボックスの他、hdlrボックスを格納することができる。hdlrボックスには、そのhdlrボックスが格納されたtrakボックスが管理するトラックを構成するデータの種別を表す情報が格納される。主画像のトラック#1を管理するtrakボックスに（格納されるmdiaボックスに）格納されるhdlrボックスには、トラック#1を構成するデータがピクチャ（フレーム）であることを表す情報(pict)が格納され、サムネイル画像のトラック#2を管理するtrakボックスに格納されるhdlrボックスには、トラック#2を構成するデータがピクチャであることを表す情報が格納される。
　minfボックスについては、図８で説明した通りである。
　以下、図１３の通常のシーケンスファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型シーケンスファイルについて説明する。
　図１４は、関連付け型シーケンスファイルの例を示す図である。
　関連付け型シーケンスファイルでは、外部データとしてのRAWファイルの特定情報としてのuuidの（エレメンタリ）ストリーム(Meta ES)のトラック#3が、mdatボックスに追加されるとともに、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。
　ここで、トラック#1は、タイムライン上に並ぶ主画像の１フレーム以上の時系列であり、トラック#3は、タイムライン上に並ぶ、主画像の各フレームのRAWファイルのuuidの時系列である。
　トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目の主画像のフレームのRAWファイルの特定情報である。また、mdatボックスに格納された複数のトラック（のデータ）は、１つのタイムライン上の時刻情報に従って同期して再生することができる。したがって、主画像のトラック#1と、トラック#1を構成する主画像の各フレームのRAWファイルのuuid（のストリーム）のトラック#3とを、mdatボックスに格納することで、トラック#1のn番目の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、関連付けられて格納される。この場合、トラック#1の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、タイムライン上の時刻情報により関連付けられるということができる。
　なお、トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目のフレームのRAWファイルの特定情報であり、トラック#1を構成する主画像（のフレーム）と、トラック#3を構成するuuidとは、トラックに配置される順番によって関連付けられると捉えることもできる。
　関連付け型シーケンスファイルでは、RAWファイルのuuidのトラック#3が、mdatボックスに追加されることに応じて、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。
　RAWファイルのuuidのトラック#3を管理するtrakボックスには、tkhdボックス、trefボックス、及び、mdiaボックス等が格納される。
　トラック#3を管理するtrakボックスのtkhdボックスには、トラック#3を特定するトラックID#3、及び、トラック#3の作成日時が格納される。
　トラック#3を管理するtrakボックスのtrefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラック#3と関連する他のトラックを特定するトラックID、及び、トラック#3の内容を表す情報等が格納される。トラック#3を構成するuuidは、トラック#1を構成する主画像のRAWファイルの特定情報であり、トラック#3は、トラック#1と関連しているので、図１４のトラック#3を管理するtrakボックスのtrefボックスには、トラック#3と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#3がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)を表す情報が格納される。
　トラック#3を管理するtrakボックスのmdiaボックスには、hdlrボックス及びminfボックスが格納される。トラック#3を管理するtrakボックスにおいて、hdlrボックスには、トラック#3を構成するデータが（主画像の）メタデータであることを表す情報が格納され、minfボックスには、トラック#3についてのstscボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。
　＜HEIFファイルの生成及び再生＞
　図１５は、関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。
　生成処理では、ステップＳ１１において、ファイル制御部４３は、主画像のフレームのRAWファイル（RAW画像）の特定情報としてのuuidを生成し、処理は、ステップＳ１２に進む。
　ステップＳ１２では、ファイル制御部４３は、ステップＳ１１で生成したuuidを、主画像のフレームのRAWファイル（RAW画像）に割り当て、処理は、ステップＳ１３に進む。
　ステップＳ１３では、ファイル制御部４３は、HEIFファイルに主画像のフレームと、そのフレームのRAWファイルのuuidとを関連付けて格納した関連付け型HEIFファイルを生成し、生成処理を終了する。
　図１６は、関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。
　再生処理では、ステップＳ２１において、ファイル制御部４３は、例えば、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームの個々を識別するハンドルのハンドルリストを生成し、処理は、ステップＳ２２に進む。
　ここで、主画像のフレームのハンドルは、そのフレームが格納されたHEIFファイルのファイル名を含む。コレクションファイルに格納された主画像のフレーム（アイテム）のハンドルは、さらに、そのフレームのアイテムIDを含む。シーケンスファイルに格納された主画像のフレームのハンドルは、さらに、そのフレームの時刻情報を含む。主画像のフレームのハンドルによれば、そのハンドルに対するフレームを、一意に識別（特定）することができる。
　なお、シーケンスファイルに格納された主画像のフレームのハンドルには、フレームの時刻情報に代えて、フレームを含むトラックのトラックIDと、そのトラックにおけるフレームの順番（何番目のフレームであるか）とを含めることができる。
　シーケンスファイルに格納される、主画像のフレームで構成されるトラックが、１つであっても複数であっても、各フレームの時刻情報はユニークである。したがって、フレームの時刻情報によれば、シーケンスファイルに複数のトラックが格納されていても、その複数のトラックそれぞれを構成するフレームから、ハンドルに含まれる時刻情報のフレームを、一意に特定することができる。そのため、主画像のフレームのハンドルに、そのフレームの時刻情報を含める場合には、そのフレームが存在するトラックのトラックIDがなくても、時刻情報に対するフレームを、一意に特定することができる。
　ハンドルリストは、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームすべてを対象に生成することもできるし、特定の作成日時のフレーム等の、特定の条件で絞り込んだフレームのみを対象に生成することもできる。
　ファイル制御部４３において、ハンドルリストの生成後、HEIFファイルへのアクセスは、必要に応じて、ハンドルリストを参照して行われる。
　ステップＳ２２では、例えば、ユーザが、サムネイル画像の表示を行うように、ディジタルカメラ１０を操作すること等を待って、UI制御部４７は、サムネイル画像の表示を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのサムネイル画像の表示の要求に応じて、ハンドルリストのハンドルにより識別される主画像のフレームのサムネイル画像（のフレーム）を、HEIFファイルから読み出す。そして、ファイル制御部４３は、HEIFファイルから読み出されたサムネイル画像の一覧を、例えば、液晶パネル１９（図１）に表示させ、処理は、ステップＳ２２からステップＳ２３に進む。
　ステップＳ２３では、例えば、ユーザが、サムネイル画像の一覧から、所望のサムネイル（のフレーム）を選択すること等を待って、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からの主画像の要求に応じて、その主画像を、HEIFファイルから読み出す。ファイル制御部４３は、HEIFファイルから読み出された主画像を、必要に応じて、液晶パネル１９に表示させることができる。
　又は、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像のRAWファイルのuuidを、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのuuidの要求に応じて、そのuuidを、関連付け型HEIFファイルから読み出す。ファイル制御部４３は、必要に応じて、関連付け型HEIFファイルから読み出されたuuidにより特定されるRAWファイルにアクセスすることができる。
　図１７は、コレクションファイルを再生する再生処理の例を説明するフローチャートである。
　ステップＳ３１において、ファイル制御部４３は、再生対象の画像（アイテム）である再生対象画像のアイテムID（以下、再生対象アイテムIDともいう）の取得を行い、処理は、ステップＳ３２に進む。
　再生対象アイテムIDの取得では、例えば、ハンドルリストの任意のハンドルにより識別される主画像や、その主画像のサムネイル画像、サムネイル画像の一覧からユーザが選択したサムネイル画像（以下、選択サムネイル画像ともいう）、選択サムネイル画像の主画像等を、再生対象画像として、その再生対象画像のアイテムID（再生対象アイテムID）が取得される。
　ステップＳ３２では、ファイル制御部４３は、ステップＳ３１で取得された再生対象アイテムIDに応じて、再生対象画像の読み出しを行う。
　再生対象画像の読み出しでは、再生対象アイテムIDにより特定される再生対象画像が、コレクションファイルから読み出される。
　図１８は、図１７のステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。
　ステップＳ４１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のilocボックスから、再生対象アイテムIDを検索し、処理は、ステップＳ４２に進む。
　ステップＳ４２では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ４１で検索された再生対象アイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ４３に進む。
　ステップＳ４３では、ファイル制御部４３は、再生対象アイテムIDに対応付けられているオフセット及びサイズに応じて、コレクションファイルのmdatボックスに格納された再生対象画像を読み出し、処理は終了する。
　図１９は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。
　すなわち、図１９は、サムネイル画像を再生対象画像として、その再生対象画像であるサムネイル画像のアイテムIDの取得の例を示している。
　なお、図１９では、ファイル制御部４３は、例えば、ハンドルから、再生対象画像としてサムネイル画像の主画像のアイテムIDを認識していることとする。
　ステップＳ５１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照元が主画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ５２に進む。
　ステップＳ５２では、ファイル制御部４３は、ステップＳ５１で検索された、参照元が主画像のアイテムIDに一致するthmbボックス内の参照先を、再生対象画像としてのサムネイル画像のアイテムIDとして読み出し、処理は終了する。
　図２０は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。
　すなわち、図２０は、主画像を再生対象画像として、その再生対象画像である主画像のアイテムIDの取得の例を示している。
　なお、図２０では、例えば、ユーザが、サムネイル画像の一覧からサムネイル画像（選択サムネイル画像）を選択し、ファイル制御部４３は、その選択サムネイル画像のアイテムIDを認識していることとする。
　ステップＳ６１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ６２に進む。
　ステップＳ６２では、ファイル制御部４３は、ステップＳ６１で検索された、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックス内の参照元を、再生対象画像としての主画像のアイテムIDとして読み出し、処理は終了する。
　図２１は、図１０の第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２１では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。
　ステップＳ７１において、ファイル制御部４３は、第１の関連付け型コレクションファイル（図１０）の関連付け情報格納ボックスの関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ７２に進む。
　ステップＳ７２では、ファイル制御部４３は、関連付け情報において、ステップＳ７１で検索された所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。
　ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　図２２は、図１１の第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２２では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。
　ステップＳ８１において、ファイル制御部４３は、第２の関連付け型コレクションファイル（図１１）のiinfボックス内のinfeボックスから、アイテムが関連付け情報であることを表すアイテムタイプIDIFのinfeボックスを検索し、処理は、ステップＳ８２に進む。
　ステップＳ８２では、ファイル制御部４３は、ステップＳ８１で検索された、アイテムタイプIDIFのinfeボックスから、アイテムとしての関連付け情報のアイテムIDを読み出し、処理は、ステップＳ８３に進む。
　ステップＳ８３では、ファイル制御部４３は、第２の関連付け型コレクションファイルのilocボックスから、ステップＳ８２で読み出された、関連付け情報のアイテムIDを検索し、処理は、ステップＳ８４に進む。
　ステップＳ８４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ８３で検索された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ８５に進む。
　ステップＳ８５では、ファイル制御部４３は、ステップＳ８４で読み出された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第２の関連付け型コレクションファイルのmdatボックスに格納されたアイテムとしての関連付け情報を読み出し、処理は、ステップＳ８６に進む。
　ステップＳ８６では、ファイル制御部４３は、ステップＳ８５で読み出された関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ８７に進む。
　ステップＳ８７では、ファイル制御部４３は、関連付け情報において、ステップＳ８６で検索された、所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。
　ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　図２３は、図１２の第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２３では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。
　ステップＳ９１において、ファイル制御部４３は、第３の関連付け型コレクションファイル（図１２）のirefボックス内のcdscボックスから、参照元が所定の主画像のアイテムIDに一致するcdscボックスを検索し、処理は、ステップＳ９２に進む。
　ステップＳ９２では、ファイル制御部４３は、ステップＳ９１で検索された、参照元が所定の主画像のアイテムIDに一致するcdscボックス内の参照先を、アイテムとしての、所定の主画像のRAWファイルの特定情報のアイテムIDとして読み出し、処理は、ステップＳ９３に進む。
　ステップＳ９３では、ファイル制御部４３は、第３の関連付け型コレクションファイルのilocボックスから、ステップＳ９２で読み出された、アイテムとしての特定情報のアイテムIDを検索し、処理は、ステップＳ９４に進む。
　ステップＳ９４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ９３で検索された、特定情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ９５に進む。
　ステップＳ９５では、ファイル制御部４３は、ステップＳ９４で読み出された、特定情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第３の関連付け型コレクションファイルのmdatボックスに格納された、所定の主画像のRAWファイルの特定情報としてのuuidを読み出し、処理は終了する。
　ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　図２４は、コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。
　コレクションファイルから主画像のアイテムIDのリストを取得する処理は、例えば、ハンドルリストを生成する場合等に行われる。
　ステップＳ１０１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のiinfボックス内のすべてのinfeボックスから、アイテムIDを読み出し、主画像のアイテムIDのリスト（以下、主画像リストともいう）に登録して、処理は、ステップＳ１０２に進む。
　ステップＳ１０２では、ファイル制御部４３は、コレクションファイルのirefボックス内のすべてのボックスから、参照先になっているアイテムIDを読み出し、主画像リストから除外して、処理は終了する。
　以上の処理後、主画像リストに登録されているアイテムIDが、主画像のアイテムIDとなる。
　図２５は、シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。
　なお、図２５では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。
　ステップＳ１１１において、ファイル制御部４３は、シーケンスファイル（図１３及び図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータがサムネイル画像であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがthmbになっているtrakボックスを、所定の時刻情報に対する主画像のサムネイル画像のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１１２に進む。
　ステップＳ１１２では、ファイル制御部４３は、ステップＳ１１１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、所定の時刻情報に対する主画像のサムネイル画像のトラックのトラックIDとして読み出し、処理は、ステップＳ１１３に進む。
　ステップＳ１１３では、ファイル制御部４３は、ステップＳ１１２で読み出されたトラックIDのトラックを再生し、そのトラックから、所定の時刻情報（又は順番）に対するサムネイル画像（のフレーム）を、所定の時刻情報に対する主画像のサムネイル画像として取得して、処理は終了する。
　なお、シーケンスファイルに格納された画像のトラックを再生する処理は、MP4ファイルの動画再生の処理と同様である。
　図２６は、関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。
　なお、図２６では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。
　ステップＳ１２１において、ファイル制御部４３は、関連付け型シーケンスファイル（図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータが特定情報であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがcdscになっているtrakボックスを、特定情報のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１２２に進む。
　ステップＳ１２２では、ファイル制御部４３は、ステップＳ１２１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、特定情報のトラックのトラックIDとして読み出し、処理は、ステップＳ１２３に進む。
　ステップＳ１２３では、ファイル制御部４３は、ステップＳ１２２で読み出されたトラックIDのトラックから、所定の主画像の時刻情報（又は順番）に対する特定情報としてのuuidを、所定の主画像のRAWファイルのuuidとして取得して、処理は終了する。
　ファイル制御部４３は、以上のように取得されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。
　以上のように、ファイル制御部４３では、HEIFに準拠したHEIFファイルに、HEIFファイル内の主画像と、その主画像と関連付ける、HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルの生成及び再生を行うので、HEIFファイル内に格納される主画像と、HEIFファイル外の外部データとを関連付けることができる。
　また、特定情報として、uuidを用いる場合には、外部データのファイル名が変更されても、uuidにより、HEIFファイル内の主画像と、ファイル名の変更後の外部データとの関連付けを維持することができる。
　＜外部データに割り当てられた特定情報の格納＞
　図２７は、外部データ（が格納されたファイル）として、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。
　なお、図２７では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。
　RAWファイルは、メタデータとしてのExifの付属情報を格納する領域の一部の領域として、マーカノート(MakerNote)と呼ばれる領域を有する。
　ファイル制御部４３は、RAWファイル（RAW画像）に割り当てられたuuidを、そのRAWファイルの、例えば、マーカノートに格納することができる。
　図２７では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#i（RAW画像）には、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのRAWファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるRAWファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。
　図２８は、外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。
　ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２７で説明した関連付け型コレクションファイルを生成する場合と同様に、RAWファイルに割り当てられたuuidを、そのRAWファイルのマーカノートに格納することができる。
　図２８では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、RAWファイル#iのUUID#iが、RAWファイル#i（RAW画像）に対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。
　以上のように、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのRAWファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。
　以上においては、外部データとして、主画像のRAWファイル（RAW画像）を採用したが、外部データとしては、その他のデータを採用することができる。外部データとしては、例えば、主画像の撮像とともに録音した音声（音）等を採用することができる。音声を格納するファイルとしては、例えば、WAVフォーマットのWAVファイルや、MP4フォーマットのMP4ファイル等を採用することができる。以下では、音声を格納したファイルとして、例えば、WAVファイルを採用することとする。
　図２９は、外部データ（が格納されたファイル）として、主画像のWAVファイルを採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。
　なお、図２９では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。
　WAVファイルは、メタデータを記述する領域の一部の領域として、Listチャンクと呼ばれる領域を有する。
　ファイル制御部４３は、WAVファイル（音声）に割り当てられたuuidを、そのWAVファイルの、例えば、Listチャンクに格納することができる。
　図２９では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#i（音声）には、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのWAVファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるWAVファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。
　図３０は、外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。
　ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２９で説明した関連付け型コレクションファイルを生成する場合と同様に、WAVファイルに割り当てられたuuidを、そのWAVファイルのListチャンクに格納することができる。
　図３０では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、WAVファイル#iのUUID#iが、WAVファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。
　以上のように、WAVファイル#iのUUID#iが、WAVファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのWAVファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。
　なお、本技術は、HEIFファイルの他、HEIFファイル以外のボックス構造を有する、例えば、ISOベースメディアファイルや、MP4ファイル、Miafファイル等に適用することができる。
　また、本技術は、その他、例えば、ボックス構造を有しない、画像（主画像）と、その画像の解像度を低下させた他の画像とを格納するファイル等に適用することができる。
　さらに、本技術は、外部データを、HEIFファイル内の主画像に関連付ける場合の他、HEIFファイル内のスクリーンネイル画像やサムネイル画像に関連付ける場合に適用することができる。
　また、本技術は、その他、例えば、外部データを、HEIFファイル内の主画像等の画像以外の内部データに関連付ける場合に適用することができる。
　＜本技術を適用した画像処理システムの第１実施の形態＞
　図３１は、本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
　図３１において、画像処理システム１００は、図１のディジタルカメラ１０と、例えば、クラウドコンピュータ等の外部計算機１０１とで構成される。ディジタルカメラ１０と外部計算機１０１とは、インターネット等のネットワークを介して通信を行うことができる。
　ここで、ディジタルカメラ１０で撮像された画像の、いわゆる著作権の保護や、その画像に写る人の肖像権の保護等のために、画像の視聴を制限したいことがある。
　そこで、画像処理システム１００では、ディジタルカメラ１０において、関連付け型HEIFファイルを利用した暗号化HEIFファイルを生成することで、ディジタルカメラ１０で撮像された画像の視聴を制限することができる。
　なお、以下では、説明を簡単にするため、HEIFファイルに格納される主画像を対象に、視聴を制限することとする。但し、本技術では、HEIFファイルに格納される主画像以外の任意のメディアデータの視聴を制限することができる。また、本技術では、HEIFファイル以外のISOベースメディアファイル（に準拠したファイル）、さらには、ISOベースメディアファイル以外の任意のファイルに適用することができる。
　ディジタルカメラ１０（図１）では、ファイル制御部４３は、HEIFファイルに格納される主画像を第１の暗号鍵で暗号化した暗号化画像と、第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵とを関連付けて格納したHEIFファイルを、暗号化HEIFファイルとして生成することができる。
　ファイル制御部４３は、暗号化HEIFファイルに格納される暗号化画像と、その暗号化画像を得る暗号化に用いた第１の暗号鍵を暗号化した暗号化暗号鍵との関連付けに、関連付け型HEIFファイルに格納される主画像と外部データの特定情報との関連付けを利用することができる。すなわち、ファイル制御部４３は、関連付け型HEIFファイルに格納される主画像と外部データの特定情報との関連付けと同様にして、暗号化HEIFファイルに格納される暗号化画像と暗号化暗号鍵との関連付けを行うことができる。
　また、ファイル制御部４３は、暗号化HEIFファイルの暗号化暗号鍵を、第１の暗号鍵に復号し、その復号により得られる第１の暗号鍵で、暗号化画像を、元の主画像に復号することができる。
　第１の暗号鍵及び第２の暗号鍵は、ディジタルカメラ１０から外部計算機１０１に要求することができる。外部計算機１０１は、ディジタルカメラ１０から第１の暗号鍵及び第２の暗号鍵の要求があると、第１の暗号鍵及び第２の暗号鍵を生成し、ディジタルカメラ１０に提供（送信）をする。なお、第１の暗号鍵及び第２の暗号鍵は、ディジタルカメラ１０で生成することができる。また、第１の暗号鍵及び第２の暗号鍵の一方を、ディジタルカメラ１０で生成し、他方を、外部計算機１０１で生成することができる。
　第１の暗号鍵及び第２の暗号鍵としては、任意の暗号方式の暗号鍵を採用することができる。また、第１の暗号鍵及び第２の暗号鍵としては、同一の暗号方式の暗号鍵を採用することもできるし、異なる暗号方式の暗号鍵を採用することもできる。
　本実施の形態では、例えば、第１の暗号鍵として、共通鍵暗号方式の共通鍵を採用することとし、第２の暗号鍵として、公開鍵暗号方式の公開鍵を採用することとする。
　共通鍵の生成の処理の負荷は、公開鍵暗号方式の公開鍵及び秘密鍵の生成の処理の負荷に比較して軽いため、ディジタルカメラ１０において、容易に行うことができる。そして、共通鍵によれば、公開鍵及び秘密鍵に比較して、データ量が比較的大きい画像の暗号化及び復号を、短時間で行うことができる。
　また、第２の暗号鍵として、公開鍵暗号方式の公開鍵を採用することにより、その公開鍵で暗号化される共通鍵の秘匿性を向上させることができる。
　本実施の形態では、共通鍵の生成をディジタルカメラ１０で行い、公開鍵及び秘密鍵の生成と管理とを、外部計算機１０１で行うこととする。
　以上のように、ディジタルカメラ１０において、HEIFファイルに格納される主画像を第１の暗号鍵としての共通鍵で暗号化した暗号化画像と、その共通鍵を第２の暗号鍵としての公開鍵で暗号化した暗号化暗号鍵とを関連付けて格納したHEIFファイルを、暗号化HEIFファイルとして生成することにより、暗号化暗号鍵を得る暗号化に用いた公開鍵に対応する秘密鍵（又は暗号化暗号鍵に暗号化される前の共通鍵）を入手（取得）することができるユーザだけが主画像を視聴することができるように、主画像の視聴を制限することができる。
　以下、関連付け型HEIFファイルのうちの、例えば、図１２の第３の関連付け型コレクションファイル（の関連付け）を利用した暗号化HEIFファイルについて説明する。但し、暗号化HEIFファイルとしては、第３の関連付け型コレクションファイル以外の関連付け型HEIFファイル（第１の関連付け型コレクションファイル、第２の関連付け型コレクションファイル、又は、関連付け型シーケンスファイル）を利用したHEIFファイルを生成することができる。
　なお、以下の暗号化HEIFファイルの説明では、既に説明したHEIFファイル（関連付け型HEIFファイルを含む）と共通する部分については、適宜、説明を省略する。
　＜暗号化HEIFファイル＞
　図３２は、第１の暗号化HEIFファイルの例を示す図である。
　図３２では、mdatボックスに、アイテムItem#1, Item#2, Item#201, Item#202が格納されている。アイテムItem#1は、主画像１を共通鍵で（共通鍵暗号方式により）暗号化した暗号化画像であり、アイテムItem#2は、主画像２を共通鍵で暗号化した暗号化画像である。異なる主画像の暗号化には、異なる共通鍵を用いることができる。例えば、アイテムItem#1としての暗号化画像（以下、暗号化画像Item#1のようにも記載する）を得る暗号化に用いられる共通鍵と、暗号化画像Item#2を得る暗号化に用いられる共通鍵とは、異なる共通鍵である。なお、異なる主画像の暗号化には、必要に応じて、同一の共通鍵を用いることができる。
　アイテムItem#201は、主画像１の暗号化に用いられた共通鍵を公開鍵で（公開鍵暗号方式により）暗号化した暗号化暗号鍵であり、アイテムItem#202は、主画像２の暗号化に用いられた共通鍵を公開鍵で暗号化した暗号化暗号鍵である。異なる公開鍵の暗号化には、異なる（秘密鍵に対応する）公開鍵を用いることができる。例えば、アイテムItem#201としての暗号化暗号鍵（以下、暗号化暗号鍵Item#201のようにも記載する）を得る暗号化に用いられる公開鍵と、暗号化暗号鍵Item#202を得る暗号化に用いられる公開鍵とは、異なる公開鍵である。なお、異なる共通鍵の暗号化には、必要に応じて、同一の公開鍵を用いることができる。
　図３２において、白抜きの錠前のマークは、共通鍵で暗号化されていることを表し、斜線を付した錠前のマークは、公開鍵で暗号化されていることを表す。後述する図でも同様である。
　第１の暗号化HEIFファイルでは、例えば、mdatボックスに格納された主画像と特定情報とを関連付ける関連付け情報をmetaボックスに格納することで、主画像と特定情報とを関連付ける第３の関連付け型コレクションファイル（図１２）と同様に、mdatボックスに格納された暗号化画像Item#iと、その暗号化画像Item#iを得る暗号化に用いられた共通鍵を公開鍵で暗号化した暗号化暗号鍵Item#200+iとを関連付ける関連付け情報をmetaボックスに格納することで、暗号化画像Item#iと暗号化暗号鍵Item#200+iとが関連付けられる。
　暗号化画像Item#iと暗号化暗号鍵Item#200+iとを関連付ける関連付け情報は、第３の関連付けコレクションファイルと同様に、暗号化画像Item#iのアイテムID#iと、暗号化暗号鍵Item#200+iのアイテムIDとを対応付けた情報であり、metaボックス内のirefボックスに格納されるcdscボックスに格納される。
　図３２では、暗号化画像Item#1のアイテムID#1と、その暗号化画像Item#1を得る暗号化に用いられた共通鍵を公開鍵で暗号化した暗号化暗号鍵Item#201のアイテムID#201とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納され、暗号化画像Item#2のアイテムID#2と、その暗号化画像Item#2を得る暗号化に用いられた共通鍵を公開鍵で暗号化した暗号化暗号鍵Item#202のアイテムID#202とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。
　第１の暗号化HEIFファイルに格納された暗号化画像Item#iについては、その暗号化画像Item#iに対応する秘密鍵、すなわち、暗号化画像Item#iを得る暗号化に用いられた共通鍵の暗号化に用いられた公開鍵に対応する秘密鍵を入手することができる場合、ファイル制御部４３は、暗号化画像Item#iに関連付けられた暗号化暗号鍵Item#200+iを、秘密鍵で、共通鍵に復号し、その復号により得られる共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。したがって、主画像ｉの視聴を、暗号化画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。
　第１の暗号化HEIFファイルにおいて、暗号化暗号鍵Item#200+iのinfeボックスでは、暗号化暗号鍵Item#200+iのアイテムタイプ(Item Type)が、暗号鍵（ここでは、共通鍵）を表す、例えば、ECKI(Encryption key for Item)に設定される。暗号鍵を表すアイテムタイムの属性値は、ECKIに限定されるものではない。ファイル制御部４３は、暗号化画像Item#iを復号する場合、参照元が暗号化画像Item#iのアイテムID#iになっているcdscボックスの参照先のアイテムIDを、暗号化画像Item#iに対応する暗号化暗号鍵Item#200+i、すなわち、暗号化画像Item#iの暗号化に用いられた共通鍵を暗号化した暗号化暗号鍵Item#200+iのアイテムID#200+iとして特定し、そのアイテムID#200+iに応じて、mdatボックスから、アイテムID#200+iの暗号化暗号鍵Item#200+iを取得して（読み出して）復号する。cdscボックスの参照先のアイテムIDによって特定されるアイテムが、暗号化暗号鍵であるかどうかは、そのアイテムIDによって特定されるアイテムのinfeボックスに設定されたアイテムタイプから認識（判定）することができる。
　図３３は、第２の暗号化HEIFファイルの例を示す図である。
　図３３では、図３２と同様に、mdatボックスに、暗号化画像Item#1及びItem#2、並びに、暗号化暗号鍵Item#201及びItem#202が格納されている。さらに、図３３では、mdatボックスに、平文の共通鍵Item#301及びItem#302が格納されている。暗号化暗号鍵Item#200+iは、アイテムとしての平文の共通鍵Item#300+iを、秘密鍵で暗号化したものである。ここで、平文とは、暗号化されていない状態のデータを意味する。
　第２の暗号化HEIFファイルでは、平文の共通鍵Item#300+iは、その共通鍵Item#300+iに対応する暗号化暗号鍵Item#200+i、すなわち、共通鍵Item#300+iを暗号化することにより得られる暗号化暗号鍵Item#200+iと同様に、暗号化画像Item#i（に対応する主画像ｉ）と関連付けられて格納される。
　図３３では、図３２に示したcdscボックスに加え、暗号化画像Item#1のアイテムID#1と、その暗号化画像Item#1に対応する平文の共通鍵Item#301（暗号化画像Item#1を得る暗号化に用いられた共通鍵Item#301）のアイテムID#301とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。さらに、暗号化画像Item#2のアイテムID#2と、その暗号化画像Item#2に対応する平文の共通鍵Item#302のアイテムID#３02とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。
　第２の暗号化HEIFファイルにおいて、mdatボックスに格納された平文の共通鍵Item#300+iは、ユーザの操作に応じて削除することができる。例えば、暗号化画像Item#iを復号した主画像ｉの視聴を特定のユーザ（暗号化画像Item#iに対応する秘密鍵を入手することができるユーザ）に制限する場合、ファイル制御部４３は、ユーザの操作に応じて、mdatボックスに格納された平文の共通鍵Item#300+iを削除する。これにより、暗号化画像Item#iは、その暗号化画像Item#iに対応する秘密鍵を入手することができない限り復号することができなくなる。
　すなわち、mdatボックスに平文の共通鍵Item#300+iが格納されていない場合には、暗号化画像Item#iに対応する秘密鍵を入手することができなければ、暗号化画像Item#iを復号することはできない。暗号化画像Item#iに対応する秘密鍵を入手することができる場合、第１の暗号化HEIFファイルと同様に、ファイル制御部４３は、第２の暗号化HEIFファイルに格納された暗号化画像Item#iに関連付けられた暗号化暗号鍵Item#200+iを、対応する秘密鍵で、共通鍵に復号し、その復号により得られる共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。
　一方、mdatボックスに平文の共通鍵Item#300+iが格納されている場合には、ファイル制御部４３は、第２の暗号化HEIFファイルに格納された暗号化画像Item#iに関連付けられた平文の共通鍵Item#300+iで、暗号化画像Item#iを、元の主画像ｉに復号することができる。
　したがって、第２の暗号化HEIFファイルでは、mdatボックスに平文の共通鍵Item#300+iが格納されている場合には、暗号化画像Item#iに対応する秘密鍵の入手に関わらず、暗号化画像Item#iを、主画像ｉに復号することができ、任意のユーザが、主画像ｉを視聴することができる。
　以上から、第２の暗号化HEIFファイルによれば、ユーザは、視聴の制限を行う必要がない主画像については、その主画像（を暗号化した暗号化画像）に関連付けられた平文の共通鍵を、mdatボックスに残したままにすることで、任意のユーザによる視聴を許可することができる。また、ユーザは、視聴の制限を行いたい主画像については、その主画像に関連付けられた平文の共通鍵を、mdatボックスから削除することで、任意のユーザによる視聴を制限することができる。
　なお、第２の暗号化HEIFファイルにおいて、平文の共通鍵Item#300+iのinfeボックスでは、暗号化暗号鍵Item#200+iのinfeボックスと同様に、平文の共通鍵Item#300+iのアイテムタイプ(Item Type)が、暗号鍵を表すECKIに設定される。
　図３４は、第３の暗号化HEIFファイルの例を示す図である。
　図３４では、図３２と同様に、mdatボックスに、暗号化画像Item#1及びItem#2、並びに、暗号化暗号鍵Item#201及びItem#202が格納されている。
　但し、第３の暗号化HEIFファイルでは、暗号化暗号鍵Item#200+iは、主画像ｉと関連付ける外部データを特定する特定情報としてのuuidと、主画像ｉの暗号化に用いられた共通鍵とを、秘密鍵で暗号化した特定情報包含暗号鍵になっており、以下、特定情報包含暗号鍵Item#200+iのようにも記載する。
　図３４の第３の暗号化HEIFファイルでは、主画像１を共通鍵で暗号化した暗号化画像Item#1と、主画像１と関連付けるRAWファイルARW#1（に格納されたRAWデータ）に割り当てられたUUID#1、及び、主画像１の暗号化に用いられた共通鍵を、秘密鍵で暗号化した特定情報包含暗号鍵Item#201とが、irefボックスのcdscボックスに格納された関連付け情報により関連付けられ、mdatボックスに格納されている。さらに、主画像２を共通鍵で暗号化した暗号化画像Item#2と、主画像２と関連付けるWAVファイルWAV#2に割り当てられたUUID#2、及び、主画像２の暗号化に用いられた共通鍵を、秘密鍵で暗号化した特定情報包含暗号鍵Item#202とが、irefボックスのcdscボックスに格納された関連付け情報により関連付けられ、mdatボックスに格納されている。
　第３の暗号化HEIFファイルについては、第１の暗号化HEIFファイルと同様に、第３の暗号化HEIFファイルに格納された暗号化画像Item#iに対応する秘密鍵を入手することができる場合、ファイル制御部４３は、暗号化画像Item#iに関連付けられた特定情報包含暗号鍵Item#200+iを、秘密鍵で、共通鍵及びUUID#iに復号し、その復号により得られる共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。したがって、主画像ｉの視聴を、暗号化画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。
　さらに、第３の暗号化HEIFファイルについては、暗号化画像Item#iに対応する秘密鍵を入手することができる場合には、その秘密鍵を用いた特定情報包含暗号鍵Item#200+iの復号により得られるUUID#iによって特定される外部データ、すなわち、主画像ｉと関連付けられた外部データにアクセスすることができる。したがって、主画像ｉに関連付けられた外部データへのアクセスを、暗号化画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。さらに、主画像ｉに関連付けられる外部データの特定情報としてのuuidの改竄を防止することができる。
　図３５は、第４の暗号化HEIFファイルの例を示す図である。
　図３５では、第４の暗号化HEIFファイルは、第３の暗号化HEIFファイル（図３４）と同様に構成される。
　但し、第４の暗号化HEIFファイルについては、主画像ｉに関連付けられた外部データが、その主画像ｉの暗号化に用いられた共通鍵で暗号化される。図３５では、RAWファイルARW#１（に格納されたRAWデータ）が、そのRAWファイルARW#１に関連付けられた主画像１の暗号化に用いられた共通鍵で暗号化されている。さらに、WAVファイルWAV#2（に格納された音声）が、そのWAVファイルWAV#2に関連付けられた主画像２の暗号化に用いられた共通鍵で暗号化されている。
　第４の暗号化HEIFファイルについては、第３の暗号化HEIFファイルと同様に、第４の暗号化HEIFファイルに格納された暗号化画像Item#iに対応する秘密鍵を入手することができる場合、ファイル制御部４３は、暗号化画像Item#iに関連付けられた特定情報包含暗号鍵Item#200+iを、秘密鍵で、共通鍵及びUUID#iに復号し、その復号により得られる共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。したがって、主画像ｉの視聴を、暗号化画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。
　さらに、第４の暗号化HEIFファイルについては、暗号化画像Item#iに対応する秘密鍵を入手することができる場合には、その秘密鍵を用いた特定情報包含暗号鍵Item#200+iの復号により得られるUUID#iによって特定される、暗号化された外部データ、すなわち、主画像ｉと関連付けられた、暗号化された外部データにアクセスすること、さらには、特定情報包含暗号鍵Item#200+iの復号により得られる共通鍵で、暗号化された外部データを、元の外部データに復号することができる。したがって、主画像ｉに関連付けられた外部データの視聴等を、暗号化画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。さらに、主画像ｉに関連付けられる外部データの特定情報としてのuuidの改竄を防止することができる。
　図３６は、第５の暗号化HEIFファイルの例を示す図である。
　図３６では、図３４と同様に、mdatボックスに、暗号化画像Item#1及びItem#2、並びに、特定情報包含暗号鍵Item#201及びItem#202が格納されている。さらに、図３６では、mdatボックスに、平文の共通鍵及び特定情報としてのUUID#１のセット（以下、共通鍵セットともいう）Item#301、並びに、平文の共通鍵及び特定情報としてのUUID#２の共通鍵セットItem#302が格納されている。
　共通鍵セットItem#300+iを構成する共通鍵は、主画像ｉの暗号化に用いられた共通鍵である。また、共通鍵セットItem#300+iを構成するUUID#iは、主画像ｉ（を暗号化した暗号化画像Item#i）に関連付けられた外部データを特定する特定情報としてのuuidである。特定情報包含暗号鍵Item#200+iは、共通鍵セットItem#300+iを、秘密鍵で暗号化したものである。
　第５の暗号化HEIFファイルでは、平文の共通鍵及びUUID#iの共通鍵セットItem#300+iは、その共通鍵セットItem#300+iを暗号化した特定情報包含暗号鍵Item#200+iと同様に、暗号化画像Item#iと関連付けられて格納される。
　図３６では、図３４に示したcdscボックスに加え、暗号化画像Item#1のアイテムID#1と、共通鍵セットItem#301のアイテムID#301とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。さらに、暗号化画像Item#2のアイテムID#2と、共通鍵セットItem#302のアイテムID#３02とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。
　第５の暗号化HEIFファイルにおいて、mdatボックスに格納された（平文の）共通鍵セットItem#300+iは、ユーザの操作に応じて削除することができる。例えば、暗号化画像Item#iを復号した主画像ｉの視聴を特定のユーザに制限する場合、ファイル制御部４３は、ユーザの操作に応じて、mdatボックスに格納された共通鍵セットItem#300+iを削除する。これにより、暗号化画像Item#iは、その暗号化画像Item#iに対応する秘密鍵を入手することができない限り復号することができなくなる。さらに、暗号化画像Item#i（に対応する主画像ｉ）に関連付けられた外部データに対しては、その暗号化画像Item#iに対応する秘密鍵を入手することができない限りアクセスすることができなくなる。
　すなわち、mdatボックスに共通鍵セットItem#300+iが格納されていない場合には、暗号化画像Item#iに対応する秘密鍵を入手することができなければ、暗号化画像Item#iを復号すること、及び、暗号化画像Item#iに関連付けられた外部データにアクセスすることはできない。暗号化画像Item#iに対応する秘密鍵を入手することができる場合、第３の暗号化HEIFファイル（図３４）と同様に、ファイル制御部４３は、第５の暗号化HEIFファイルに格納された暗号化画像Item#iに関連付けられた特定情報包含暗号鍵Item#200+iを、対応する秘密鍵で、共通鍵及びUUID#iに復号し、その復号により得られる共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。さらに、特定情報包含暗号鍵Item#200+iの復号により得られるUUID#iに応じて、暗号化画像Item#iに関連付けられた外部データ（ここでは、RAWファイルARW#1又はWAVファイルWAV#2）にアクセスすることができる。
　一方、mdatボックスに共通鍵セットItem#300+iが格納されている場合には、ファイル制御部４３は、第５の暗号化HEIFファイルに格納された暗号化画像Item#iに関連付けられた共通鍵セットItem#300+iを構成する共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。さらに、ファイル制御部４３は、第５の暗号化HEIFファイルに格納された暗号化画像Item#iに関連付けられた共通鍵セットItem#300+iを構成するUUID#iに応じて、暗号化画像Item#iに関連付けられた外部データにアクセスすることができる。
　したがって、第５の暗号化HEIFファイルでは、mdatボックスに（平文の）共通鍵セットItem#300+iが格納されている場合には、暗号化画像Item#iに対応する秘密鍵の入手に関わらず、任意のユーザが、主画像ｉを視聴すること、及び、主画像ｉに関連付けられた外部データにアクセスすることができる。
　以上から、第５の暗号化HEIFファイルによれば、ユーザは、視聴の制限を行う必要がない主画像については、その主画像に関連付けられた共通鍵セットを、mdatボックスに残したままにすることで、任意のユーザによる視聴を許可することができる。さらに、そのような主画像に関連付けられた外部データについて、任意のユーザによるアクセスを許可することができる。
　また、ユーザは、視聴の制限を行いたい主画像については、その主画像に関連付けられた共通鍵セットを、mdatボックスから削除することで、任意のユーザによる視聴を制限することができる。さらに、そのような主画像に関連付けられた外部データについて、任意のユーザによるアクセスを制限することができる。
　なお、第５の暗号化HEIFファイルにおいて、共通鍵セットItem#300+iのinfeボックス（アイテムID#300+iのinfeボックス）では、特定情報包含暗号鍵Item#200+iのinfeボックスと同様に、共通鍵セットItem#300+iのアイテムタイプ(Item Type)が、暗号鍵を表すECKIに設定される。
　図３７は、第６の暗号化HEIFファイルの例を示す図である。
　図３７では、第６の暗号化HEIFファイルは、第５の暗号化HEIFファイル（図３６）と同様に構成される。
　但し、第６の暗号化HEIFファイルについては、第４の暗号化HEIFファイル（図３５）と同様に、主画像ｉに関連付けられた外部データが、その主画像ｉの暗号化に用いられた共通鍵で暗号化される。図３７では、RAWファイルARW#１が、そのRAWファイルARW#１に関連付けられた主画像１の暗号化に用いられた共通鍵で暗号化され、WAVファイルWAV#2が、そのWAVファイルWAV#2に関連付けられた主画像２の暗号化に用いられた共通鍵で暗号化されている。
　第６の暗号化HEIFファイルについては、第５の暗号化HEIFファイルと同様に、mdatボックスに共通鍵セットItem#300+iが削除されずに、格納されたままになっている場合には、ファイル制御部４３は、第６の暗号化HEIFファイルに格納された暗号化画像Item#iに関連付けられた共通鍵セットItem#300+iを構成する共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。さらに、ファイル制御部４３は、第６の暗号化HEIFファイルに格納された暗号化画像Item#iに関連付けられた共通鍵セットItem#300+iを構成するUUID#iに応じて、暗号化画像Item#iに関連付けられた、暗号化された外部データにアクセスし、その暗号化された外部データを、共通鍵セットItem#300+iを構成する共通鍵で、元の外部データに復号することができる。
　したがって、第６の暗号化HEIFファイルでは、mdatボックスに（平文の）共通鍵セットItem#300+iが格納されている場合には、暗号化画像Item#iに対応する秘密鍵の入手に関わらず、任意のユーザが、主画像ｉを視聴すること、及び、主画像ｉに関連付けられた外部データにアクセスして視聴等をすることができる。
　一方、ユーザは、視聴の制限を行いたい主画像ｉについて、その主画像ｉに関連付けられた共通鍵セットItem#300+iを、mdatボックスから削除することで、任意のユーザによる視聴を制限することができる。さらに、そのような主画像ｉに関連付けられた外部データについて、任意のユーザによるアクセス及び視聴等を制限することができる。また、主画像ｉに関連付けられる外部データの特定情報としてのuuidの改竄を防止することができる。
　また、第６の暗号化HEIFファイルについては、主画像ｉに関連付けられた共通鍵セットItem#300+iがmdatボックスから削除された場合でも、その主画像ｉを暗号化した暗号化画像Item#iに対応する秘密鍵を入手することができるときには、ファイル制御部４３は、暗号化画像Item#iに関連付けられた特定情報包含暗号鍵Item#200+iを、秘密鍵で、共通鍵及びUUID#iに復号し、その復号により得られる共通鍵で、暗号化画像Item#iを、元の主画像ｉに復号することができる。したがって、主画像ｉの視聴を、暗号化画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。
　さらに、第６の暗号化HEIFファイルについては、暗号化画像Item#iに対応する秘密鍵を入手することができるときには、その秘密鍵を用いた特定情報包含暗号鍵Item#200+iの復号により得られるUUID#iによって特定される、暗号化された外部データ、すなわち、主画像ｉと関連付けられた、暗号化された外部データにアクセスすること、さらには、特定情報包含暗号鍵Item#200+iの復号により得られる共通鍵で、暗号化された外部データを、元の外部データに復号することができる。したがって、主画像ｉに関連付けられた外部データの視聴等を、暗号化画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。さらに、主画像ｉに関連付けられる外部データの特定情報としてのuuidの改竄を防止することができる。
　図３８は、画像処理システム１００で第１の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。
　前処理は、例えば、ディジタルカメラ１０の製造直後や、ディジタルカメラ１０で撮像を行う前等に行われる。
　前処理では、ステップＳ２１１において、画像処理システム１００のディジタルカメラ１０は、公開鍵の要求を、外部計算機１０１に送信し、処理は、ステップＳ２１２に進む。
　ステップＳ２１２では、外部計算機１０１は、ディジタルカメラ１０からの公開鍵の要求を受信し、その公開鍵の要求に応じて、公開鍵と対応する秘密鍵を生成して、処理は、ステップＳ２１３に進む。
　ステップＳ２１３では、外部計算機１０１は、公開鍵を、ディジタルカメラ１０に送信し、処理は、ステップＳ２１４に進む。
　ステップＳ２１４では、ディジタルカメラ１０は、外部計算機１０１からの公開鍵を、メディア１４等に記憶し、前処理は終了する。
　なお、ディジタルカメラ１０では、第１の暗号化HEIFファイルを記憶するメディア１４の残容量等に応じて、例えば、メディア１４に記憶することができる主画像の数に等しい数の公開鍵の要求を、外部計算機１０１に送信することができる。この場合、外部計算機１０１では、公開鍵の要求に応じた数の公開鍵が生成され、ディジタルカメラ１０に記憶される。ディジタルカメラ１０では、主画像ごとに異なる公開鍵で、その主画像の暗号化に用いられた共通鍵が暗号化される。
　図３９は、画像処理システム１００で第１の暗号化HEIFファイルが扱われる場合に、その第１の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。
　生成処理は、例えば、画像（主画像）の撮像を行うように、ユーザがディジタルカメラ１０を操作した場合等に開始される。
　生成処理では、ステップＳ２２１において、ディジタルカメラ１０は、例えば、ユーザの操作に応じて、画像を撮像し、処理は、ステップＳ２２２に進む。
　ステップＳ２２２では、ディジタルカメラ１０のファイル制御部４３は、共通鍵を生成し、処理は、ステップＳ２２３に進む。
　ステップＳ２２３では、ファイル制御部４３は、ステップＳ２２１の画像の撮像により得られる主画像を、ステップＳ２２２で生成された共通鍵で暗号化することにより、暗号化画像を生成し、処理は、ステップＳ２２４に進む。
　ステップＳ２２４では、ファイル制御部４３は、前処理で記憶された公開鍵のうちの、まだ、共通鍵の暗号化に用いられていない公開鍵の１つを、注目公開鍵として選択する。さらに、ファイル制御部４３は、主画像の暗号化に用いられた共通鍵を、注目公開鍵で暗号化することにより、暗号化暗号鍵を生成し、処理は、ステップＳ２２４からステップＳ２２５に進む。
　ステップＳ２２５では、ファイル制御部４３は、ステップＳ２２３で生成された暗号化画像と、ステップＳ２２４で生成された暗号化暗号鍵とを関連付けて格納した第１の暗号化HEIFファイルを生成し、生成処理は終了する。
　図４０は、画像処理システム１００で第１の暗号化HEIFファイルが扱われる場合に、その第１の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。
　再生処理は、例えば、画像（主画像）の再生を行うように、ユーザがディジタルカメラ１０を操作した場合等に開始される。
　再生処理では、ステップＳ２３１において、ディジタルカメラ１０のファイル制御部４３は、例えば、ユーザの操作に応じて、再生対象の第１の暗号化HEIFファイルを選択し、その第１の暗号化HEIFファイルから、再生対象の暗号化画像を選択する。さらに、ファイル制御部４３は、再生対象の第１の暗号化HEIFファイルから、再生対象の暗号化画像に関連付けられた暗号化暗号鍵（暗号化画像に対応する暗号化暗号鍵）を取得し（読み出し）、処理は、ステップＳ２３１からステップＳ２３２に進む。
　ステップＳ２３２では、ファイル制御部４３は、再生対象の暗号化画像に対応する秘密鍵の取得を試みて、処理は、ステップＳ２３３に進む。
　例えば、ファイル制御部４３は、再生対象の暗号化画像に対応する秘密鍵を、外部計算機１０１に要求する。外部計算機１０１は、例えば、暗号化画像に対応する秘密鍵に対応付けてユーザID及びパスワードをあらかじめ記憶している。外部計算機１０１は、ユーザID及びパスワードの入力を、ディジタルカメラ１０のユーザに促し、ユーザID及びパスワードの入力を待って、認証を行う。外部計算機１０１は、認証が成功した場合、例えば、再生対象の暗号化画像に対応する秘密鍵と対応付けられて記憶されたユーザID及びパスワードがユーザが入力したユーザID及びパスワードと一致した場合、再生対象の暗号化画像に対応する秘密鍵を、ディジタルカメラ１０に送信する。
　一方、外部計算機１０１は、認証が失敗した場合、その旨を、ディジタルカメラ１０に送信する。
　ディジタルカメラ１０では、ファイル制御部４３が、外部計算機１０１から再生対象の暗号化画像に対応する秘密鍵が送信されてきた場合、その秘密鍵を取得する。
　ステップＳ２３３では、ファイル制御部４３が、以上のようにして、秘密鍵を取得することができたかどうかを判定する。
　ステップＳ２３３において、秘密鍵を取得することができなかったと判定された場合、処理は、ステップＳ２３４に進む。ステップＳ２３４では、ディジタルカメラ１０は、エラー処理を行い、例えば、液晶パネル１９に、画像の復号に失敗した旨等のエラーメッセージを表示し、再生処理は終了する。したがって、再生対象の暗号化画像に対応する秘密鍵を入手することができないユーザは、再生対象の暗号化画像を復号した主画像を視聴することができない。
　一方、ステップＳ２３３において、秘密鍵を取得することができたと判定された場合、処理は、ステップＳ２３５に進む。
　ステップＳ２３５では、ファイル制御部４３は、ステップＳ２３１で取得された暗号化暗号鍵を、ステップＳ２３２で取得された秘密鍵で、共通鍵に復号し、処理は、ステップＳ２３６に進む。
　ステップＳ２３６では、ファイル制御部４３は、再生対象の暗号化画像を、ステップＳ２３６で復号された共通鍵で、主画像に復号し、液晶パネル１９に表示させて、再生処理は終了する。
　図４１は、画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。
　図４１の前処理では、ステップＳ２５１ないしＳ２５４において、図３８の前処理のステップＳ２１１ないしＳ２１４とそれぞれ同様の処理が行われる。
　図４２は、画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に、その第２の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。
　図４２の生成処理では、ステップＳ２６１ないしＳ２６４において、図３９の生成処理のステップＳ２２１ないしＳ２２４とそれぞれ同様の処理が行われる。
　そして、ステップＳ２６５において、ファイル制御部４３は、ステップＳ２６３で生成された暗号化画像と、ステップＳ２６２で生成された共通鍵、及び、ステップＳ２６４で生成された暗号化暗号鍵それぞれとを関連付けて格納した第２の暗号化HEIFファイルを生成し、生成処理は終了する。
　図４３は、画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に、暗号化画像に対応する秘密鍵を入手することができるユーザ以外による、その暗号化画像を復号した主画像の視聴を制限する制限処理の例を説明するフローチャートである。
　例えば、制限処理を行うように、ユーザがディジタルカメラ１０を操作すると、ステップＳ２７１において、ファイル制御部４３は、例えば、ユーザの操作に応じて、再生対象の第２の暗号化HEIFファイルを選択し、その第２の暗号化HEIFファイルから、平文の共通鍵と、その平文の共通鍵が関連付けられている暗号化画像を取得して（読み出して）、処理は、ステップＳ２７２に進む。
　ステップＳ２７２では、ファイル制御部４３は、ステップＳ２７１で取得された暗号化画像を、同じくステップＳ２７１で取得された共通鍵で、主画像に復号し、液晶パネル１９に表示させて、処理は、ステップＳ２７３に進む。
　ステップＳ２７３では、ファイル制御部４３は、ユーザが、ステップＳ２７２で表示された主画像の視聴を制限するように、ディジタルカメラ１０を操作する制限操作を行ったかどうかを判定する。
　ステップＳ２７３において、制限操作が行われていないと判定された場合、制限処理は終了する。
　また、ステップＳ２７３において、制限操作が行われたと判定された場合、処理は、ステップＳ２７４に進み、ファイル制御部４３は、ステップＳ２７１で取得された平文の共通鍵を、第２の暗号化HEIFファイルから削除し、制限処理は終了する。
　以上のように、第２の暗号化HEIFファイルから、暗号化画像に関連付けられた平文の共通鍵が削除されることで、その暗号化画像に対応する秘密鍵を入手することができるユーザ以外による、その暗号化画像を復号した主画像の視聴を制限することができる。
　図４４は、画像処理システム１００で第２の暗号化HEIFファイルが扱われる場合に、その第２の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。
　図４４の再生処理では、ステップＳ２８１において、ファイル制御部４３は、例えば、ユーザの操作に応じて、再生対象の第２の暗号化HEIFファイルを選択し、その第２の暗号化HEIFファイルから、再生対象の暗号化画像を選択する。そして、ファイル制御部４３は、再生対象の第２の暗号化HEIFファイルに、再生対象の暗号化画像に関連付けられた平文の共通鍵が格納されているかどうかを判定する。
　ステップＳ２８１において、平文の共通鍵が格納されていると判定された場合、処理は、ステップＳ２８７に進む。
　ステップＳ２８７では、ファイル制御部４３は、再生対象の暗号化画像を、その暗号化画像に関連付けられた平文の共通鍵で、主画像に復号し、液晶パネル１９に表示させて、再生処理は終了する。
　一方、ステップＳ２８１において、平文の共通鍵が格納されていないと判定された場合、すなわち、平文の共通鍵が、図４３の制限処理で削除された場合、処理は、ステップＳ２８２に進む。
　ステップＳ２８２ないしステップＳ２８７では、図４０の再生処理のステップＳ２３１ないしＳ２３６とそれぞれ同様の処理が行われる。
　図４５は、画像処理システム１００で第３の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。
　図４５の前処理では、ステップＳ３１１ないしＳ３１４において、図３８の前処理のステップＳ２１１ないしＳ２１４とそれぞれ同様の処理が行われる。
　図４６は、画像処理システム１００で第３の暗号化HEIFファイルが扱われる場合に、その第３の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。
　図４６の生成処理では、ステップＳ３２１ないしＳ３２３において、図３９の生成処理のステップＳ２２１ないしＳ２２３とそれぞれ同様の処理が行われる。
　そして、ステップＳ３２４では、ファイル制御部４３は、前処理で記憶された公開鍵のうちの、まだ、共通鍵の暗号化に用いられていない公開鍵の１つを、注目公開鍵として選択する。また、ファイル制御部４３は、主画像に関連付ける外部データ（例えば、主画像のRAWデータ等）に、特定情報としてのuuidを割り当てる。そして、ファイル制御部４３は、主画像の暗号化に用いられた共通鍵と、主画像に関連付ける外部データのuuidとを、注目公開鍵で暗号化することにより、特定情報包含暗号鍵を生成し、処理は、ステップＳ３２４からステップＳ３２５に進む。
　ステップＳ３２５では、ファイル制御部４３は、ステップＳ３２３で生成された暗号化画像と、ステップＳ３２４で生成された特定情報包含暗号鍵とを関連付けて格納した第３の暗号化HEIFファイルを生成し、生成処理は終了する。
　図４７は、画像処理システム１００で第３の暗号化HEIFファイルが扱われる場合に、その第３の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。
　図４７の再生処理では、ステップＳ３３１において、ディジタルカメラ１０のファイル制御部４３は、例えば、ユーザの操作に応じて、再生対象の第３の暗号化HEIFファイルを選択し、その第３の暗号化HEIFファイルから、再生対象の暗号化画像を選択する。さらに、ファイル制御部４３は、再生対象の第３の暗号化HEIFファイルから、再生対象の暗号化画像に関連付けられた特定情報包含暗号鍵を取得し、処理は、ステップＳ３３１からステップＳ３３２に進む。
　ステップＳ３３２では、ファイル制御部４３は、例えば、図４０のステップＳ２３３と同様に、再生対象の暗号化画像に対応する秘密鍵の取得を試みて、処理は、ステップＳ３３３に進む。
　ステップＳ３３３では、ファイル制御部４３が、秘密鍵を取得することができたかどうかを判定する。
　ステップＳ３３３において、秘密鍵を取得することができなかったと判定された場合、処理は、ステップＳ３３４に進む。ステップＳ３３４では、ディジタルカメラ１０は、図４０のステップＳ２３４と同様に、エラー処理を行い、再生処理は終了する。
　一方、ステップＳ３３３において、秘密鍵を取得することができたと判定された場合、処理は、ステップＳ３３５に進む。
　ステップＳ３３５では、ファイル制御部４３は、ステップＳ３３１で取得された特定情報包含暗号鍵を、ステップＳ３３２で取得された秘密鍵で、特定情報としてのuuid及び共通鍵に復号し、処理は、ステップＳ３３６に進む。
　ステップＳ３３６では、ファイル制御部４３は、再生対象の暗号化画像を、ステップＳ３３５で復号された共通鍵で、主画像に復号し、液晶パネル１９に表示させ、処理は、ステップＳ３３７に進む。
　ステップＳ３３７では、ファイル制御部４３は、ステップＳ３３６で復号されたuuidによって特定される外部データを取得し、再生処理は終了する。外部データは、例えば、ユーザの操作等に応じて再生等される。
　図４８は、画像処理システム１００で第４の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。
　図４８の前処理では、ステップＳ３５１ないしＳ３５４において、図３８の前処理のステップＳ２１１ないしＳ２１４とそれぞれ同様の処理が行われる。
　図４９は、画像処理システム１００で第４の暗号化HEIFファイルが扱われる場合に、その第４の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。
　図４９の生成処理では、ステップＳ３６１ないしＳ３６３において、図４６の生成処理のステップＳ３２１ないしＳ３２３とそれぞれ同様の処理が行われる。
　そして、ステップＳ３６４では、ファイル制御部４３は、主画像に関連付ける外部データ（例えば、主画像のRAWデータ等）を、その主画像の暗号化に用いた共通鍵で暗号化し、処理は、ステップＳ３６５に進む。
　ステップＳ３６５では、ファイル制御部４３は、前処理で記憶された公開鍵のうちの、まだ、共通鍵の暗号化に用いられていない公開鍵の１つを、注目公開鍵として選択する。また、ファイル制御部４３は、主画像に関連付ける外部データ（ステップＳ３６４で暗号化された外部データ）に、特定情報としてのuuidを割り当ている。そして、ファイル制御部４３は、主画像の暗号化に用いられた共通鍵と、主画像に関連付ける外部データのuuidとを、注目公開鍵で暗号化することにより、特定情報包含暗号鍵を生成し、処理は、ステップＳ３６５からステップＳ３６６に進む。
　ステップＳ３６６では、ファイル制御部４３は、ステップＳ３６３で生成された暗号化画像と、ステップＳ３６５で生成された特定情報包含暗号鍵とを関連付けて格納した第４の暗号化HEIFファイルを生成し、処理は、ステップＳ３６７に進む。
　ステップＳ３６７では、ファイル制御部４３は、ステップＳ３６４で暗号化された外部データを格納したファイルを生成し、例えば、メディア１４に記憶させて、生成処理は終了する。
　図５０は、画像処理システム１００で第４の暗号化HEIFファイルが扱われる場合に、その第４の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。
　図５０の再生処理では、ステップＳ３７１ないしＳ３７７において、図４７のステップＳ３３１ないしＳ３３７とそれぞれ同様の処理が行われる。
　そして、ステップＳ３７８において、ファイル制御部４３は、ステップＳ３７７で取得された外部データを、ステップＳ３７５で復号された共通鍵で復号し、再生処理は終了する。
　すなわち、第４の暗号化HEIFファイルについては、ステップＳ３７７で取得された外部データは、共通鍵で暗号化されているため、ステップＳ３７８では、その暗号化された外部データが、共通鍵で復号される。
　図５１は、画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に行われる前処理の例を説明するフローチャートである。
　図４１の前処理では、ステップＳ４５１ないしＳ４５４において、図３８の前処理のステップＳ２１１ないしＳ２１４とそれぞれ同様の処理が行われる。
　図５２は、画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に、その第５又は第６の暗号化HEIFファイルを生成する生成処理の例を説明するフローチャートである。
　図５２の生成処理では、ステップＳ４６１及びＳ４６２において、図３９の生成処理のステップＳ２２１及びＳ２２２とそれぞれ同様の処理が行われる。
　そして、ステップＳ４６３では、ファイル制御部４３は、ステップＳ４６１の画像の撮像により得られる主画像を、ステップＳ４６２で生成された共通鍵で暗号化することにより、暗号化画像を生成し、処理は、ステップＳ４６４に進む。
　なお、第６のHEIFファイルについては、ステップＳ４６３では、さらに、ファイル制御部４３は、主画像に関連付ける外部データを、その主画像の暗号化に用いた共通鍵で暗号化する。
　ステップＳ４６４では、ファイル制御部４３は、前処理で記憶された公開鍵のうちの、まだ、共通鍵の暗号化に用いられていない公開鍵の１つを、注目公開鍵として選択する。また、ファイル制御部４３は、主画像に関連付ける外部データに、特定情報としてのuuidを割り当ている。そして、ファイル制御部４３は、主画像の暗号化に用いられた共通鍵と、主画像に関連付ける外部データのuuidとの共通鍵セットを、注目公開鍵で暗号化することにより、特定情報包含暗号鍵を生成し、処理は、ステップＳ４６４からステップＳ４６５に進む。
　ステップＳ４６５では、ファイル制御部４３は、ステップＳ４６３で生成された暗号化画像と、ステップＳ４６４で生成された特定情報包含暗号鍵、及び、その特定情報包含暗号鍵に暗号化される前の（平文の）共通鍵セットそれぞれとを関連付けて格納した第５又は第６の暗号化HEIFファイルを生成し、生成処理は終了する。
　なお、第６のHEIFファイルについては、ステップＳ４６５では、さらに、ファイル制御部４３は、ステップＳ４６３で暗号化された外部データを格納したファイルを生成し、例えば、メディア１４に記憶させる。
　図５３は、画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に、暗号化画像に対応する秘密鍵を入手することができるユーザ以外による、その暗号化画像を復号した主画像の視聴を制限する制限処理の例を説明するフローチャートである。
　図５３の制限処理では、ステップＳ４７１において、ファイル制御部４３は、例えば、ユーザの操作に応じて、再生対象の第５又は第６の暗号化HEIFファイルを選択し、その第５又は第６の暗号化HEIFファイルから、（平文の）共通鍵セットと、その共通鍵セットが関連付けられている暗号化画像を取得して、処理は、ステップＳ４７２に進む。
　ステップＳ４７２では、ファイル制御部４３は、ステップＳ４７１で取得された暗号化画像を、同じくステップＳ４７１で取得された共通鍵セットを構成する共通鍵で、主画像に復号し、液晶パネル１９に表示させて、処理は、ステップＳ４７３に進む。
　ステップＳ４７３では、ファイル制御部４３は、ユーザが、ステップＳ４７２で表示された主画像の視聴を制限するように、ディジタルカメラ１０を操作する制限操作を行ったかどうかを判定する。
　ステップＳ４７３において、制限操作が行われていないと判定された場合、制限処理は終了する。
　また、ステップＳ４７３において、制限操作が行われたと判定された場合、処理は、ステップＳ４７４に進み、ファイル制御部４３は、ステップＳ４７１で取得された共通鍵セットを、第５又は第６の暗号化HEIFファイルから削除し、制限処理は終了する。
　以上のように、第５又は第６の暗号化HEIFファイルから、暗号化画像に関連付けられた平文の共通鍵が削除されることで、その暗号化画像に対応する秘密鍵を入手することができるユーザ以外による、その暗号化画像を復号した主画像の視聴、及び、その主画像に関連付けられた外部データへのアクセスを制限することができる。
　図５４は、画像処理システム１００で第５又は第６の暗号化HEIFファイルが扱われる場合に、その第５又は第６の暗号化HEIFファイルを再生する再生処理の例を説明するフローチャートである。
　図５４の再生処理では、ステップＳ４８１において、ファイル制御部４３は、例えば、ユーザの操作に応じて、再生対象の第５又は第６の暗号化HEIFファイルを選択し、その第５又は第６の暗号化HEIFファイルから、再生対象の暗号化画像を選択する。そして、ファイル制御部４３は、再生対象の第５又は第６の暗号化HEIFファイルに、再生対象の暗号化画像に関連付けられた平文の共通鍵セットが格納されているかどうかを判定する。
　ステップＳ４８１において、共通鍵セットが格納されていると判定された場合、処理は、ステップＳ４８７に進む。
　ステップＳ４８７では、ファイル制御部４３は、再生対象の暗号化画像を、その暗号化画像に関連付けられた共通鍵セットを構成する共通鍵で、主画像に復号し、液晶パネル１９に表示させて、処理は、ステップＳ４８８に進む。
　ステップＳ４８８では、ファイル制御部４３は、再生対象の暗号化画像に関連付けられた共通鍵セットを構成するuuidによって特定される外部データを取得し、再生処理は終了する。
　なお、第６のHEIFファイルについては、外部データは暗号化されているため、ステップＳ４８８では、さらに、ファイル制御部４３は、共通鍵セットを構成するuuidによって特定される、暗号化された外部データを取得した後、その暗号化された外部データを、共通鍵セットを構成する共通鍵で復号する。
　一方、ステップＳ４８１において、共通鍵セットが格納されていないと判定された場合、すなわち、共通鍵セットが、図５３の制限処理で削除された場合、処理は、ステップＳ４８２に進む。
　ステップＳ４８２ないしステップＳ４８８では、図４７の再生処理のステップＳ３３１ないしＳ３３７とそれぞれ同様の処理が行われ、再生処理は終了する。
　なお、第６のHEIFファイルについては、外部データは暗号化されているため、ステップＳ４８８では、さらに、ファイル制御部４３は、ステップＳ４８６で特定情報包含暗号鍵を復号することにより得られるuuidによって特定される、暗号化された外部データを取得した後、その暗号化された外部データを、ステップＳ４８６で特定情報包含暗号鍵を復号することにより得られる共通鍵で復号する。
　＜本技術を適用した画像処理システムの第２実施の形態＞
　図５５は、本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。
　なお、図中、図３１の画像処理システム１００と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図５５において、画像処理システム２００は、ディジタルカメラ２１０と外部計算機１０１とで構成される。
　したがって、画像処理システム２００は、外部計算機１０１を有する点で、図３１の画像処理システム１００と共通し、ディジタルカメラ１０に代えて、ディジタルカメラ２１０を有する点で、画像処理システム１００と相違する。
　図５６は、ディジタルカメラ２１０の構成例を示すブロック図である。
　なお、図中、図１のディジタルカメラ１０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　ディジタルカメラ２１０は、光学系１１ないしインタフェース２１を有し、信号処理部１３は、光学系／イメージセンサ制御部４１ないしUI制御部４７、及び、認識部２１１を有する。
　したがって、ディジタルカメラ２１０は、光学系１１ないしインタフェース２１を有する点、及び、信号処理部１３が光学系／イメージセンサ制御部４１ないしUI制御部４７を有する点で、図１のディジタルカメラ１０と共通する。
　但し、ディジタルカメラ２１０は、信号処理部１３に認識部２１１が新たに設けられている点で、ディジタルカメラ１０と相違する。
　認識部２１１には、光学系／イメージセンサ制御部４１から主画像（のデータ）が供給される。
　認識部２１１は、光学系／イメージセンサ制御部４１からの主画像を対象に画像認識を行う。認識部２１１は、画像認識により、主画像に写る被写体を認識対象として認識し、その認識結果を、ファイル制御部４３に供給する。
　認識部２１１において、被写体を認識する認識アルゴリズムとしては、主画像に写る任意の被写体を認識対象として、その被写体が、例えば、人である、自動車である、商標であるといったように、認識対象としての被写体の種類を識別（分類）するアルゴリズムを採用することもできるし、特定の種類の被写体を認識対象として、個体を識別する認識アルゴリズム、すなわち、例えば、人について、個人を識別する認識アルゴリズムを採用することもできる。
　また、ディジタルカメラ２１０には、他のセンサ２１２を設け、認識部２１１では、主画像の他、他のセンサ２１２のセンシング結果をも用いて、主画像に写る被写体を認識することができる。他のセンサ２１２としては、例えば、GPS(Global Positioning System)センサや、方位センサ、深度（測距）センサ等を採用することができる。認識部２１１では、GPSセンサや方位センサのセンシング結果から、現在地を特定し、その現在地に存在し得る被写体に認識対象を制限することで、主画像に写る被写体の認識精度を向上させることができる。また、認識部２１１では、深度センサのセンシング結果から、被写体までの距離を画素値とする距離画像を生成し、主画像の他、距離画像をも用いて、主画像に写る被写体を認識することで、低照度時の認識精度を向上させることができる。
　ここで、HEIFのアイテムタイプとして、gridがある。アイテムタイプがgridの主画像については、主画像を同一サイズの分割画像に分割して得られる複数の分割画像(tile)それぞれがアイテムとして、HEIFファイルに格納される。アイテムタイプがgridの主画像は、アイテムとしての複数の分割画像から再構成される。アイテムタイプがgridのアイテム（ここでは、主画像）、すなわち、複数の分割画像に分割される主画像（及び複数の分割画像から再構成される主画像）を、グリッドアイテムともいう。
　ディジタルカメラ２１０において、ファイル制御部４３は、主画像全体ではなく、主画像を分割した分割画像の単位で暗号化を行うことができる。例えば、ファイル制御部４３は、認識部２１１からの認識結果に応じて、主画像において、所定の被写体が映る分割画像の単位で暗号化を行うことができる。
　以下、分割画像の単位で暗号化を行う場合の暗号化HEIFファイルの処理について説明するが、その前に、アイテムタイプがgridの主画像が格納されたHEIFファイル（以下、gridファイルともいう）について説明する。
　＜gridファイル＞
　図５７は、gridファイルの例を示す図である。
　図５７のgridファイルでは、主画像が、横×縦が３×３個の分割画像Item#1ないしItem#9に分割され、その分割画像Item#1ないしItem#9がアイテムとして、mdatボックスに格納されている。
　図５７において、mdatボックスに格納されたアイテムは、分割画像Item#1ないしItem#9の９個のアイテムであるが、iinfボックス及びilocボックス内のアイテム数は１０になっている。これは、分割画像Item#1ないしItem#9の９個のアイテムの他に、その分割画像Item#1ないしItem#9から再構成されるグリッドアイテムとしての主画像（再構成画像）をアイテムとしてカウントするためである。図５７では、グリッドアイテムとしての主画像のアイテムIDは10になっており、説明の便宜上、かかる主画像を、主画像Item#10と記載する。
　グリッドアイテムとしての主画像#10については、メディアデータがmdatボックスに格納されず、代わりに、metaボックスに、idatボックスが格納される。idatボックスには、grid数横、grid数縦、出力横サイズ、及び、出力縦サイズが格納される。grid数横及びgrid数縦は、グリッドアイテムとしての主画像#10を構成する分割画像#1ないし#9の横方向及び縦方向の数をそれぞれ表す。出力横サイズ、及び、出力縦サイズは、分割画像#1ないし#9から再構成されるグリッドアイテムとしての主画像#10の横方向及び縦方向のサイズをそれぞれ表す。
　さらに、グリッドアイテムとしての主画像#10については、ilocボックスに、その主画像#10の格納場所に関する情報（オフセット及びサイズ）が格納されるが、この情報は、グリッドアイテムとしての主画像#10のidatボックスの格納場所を表す。
　図５７のgridファイルは、分割画像Item#1ないしItem#9と、その分割画像Item#1ないしItem#9から再構成される主画像Item#10との１０個のアイテムが格納されていることに応じて、１０個のinfeボックスを有する。図９で説明したように、infeボックスには、アイテムを特定するアイテムIDと、アイテムタイプとが格納（登録）されるが、グリッドアイテムとしての主画像Item#10のinfeボックスには、主画像Item#10のアイテムタイプとして、グリッドアイテムを表すgridが格納される。
　gridファイルでは、irefボックスに、dimgボックスが格納される。dimgボックスには、グリッドアイテムと、そのグリッドアイテムを構成する分割画像とを関連付ける情報が格納される。例えば、dimgボックスには、分割画像のアイテムIDが参照先として格納されるとともに、その分割画像から再構成されるグリッドアイテムとしての主画像のアイテムIDが参照元として格納される。図５７では、分割画像Item#1ないしItem#9のアイテムID#1ないし#9が参照先として格納され、主画像Item#10のアイテムID#10が参照元として格納されている。その他、dimgボックスには、分割画像の数を表す参照カウンタが格納される。
　以上のようなgridファイルについては、ファイル制御部４３は、主画像Item#10のinfeボックスに格納されたアイテムタイプgridから、主画像Item#10が複数の分割画像から再構成される再構成画像（グリッドアイテム）であることを認識することができる。さらに、ファイル制御部４３は、dimgボックスに格納された参照元と参照先とから、分割画像から再構成される主画像Item#10のアイテムID#10と、その主画像Item#10の再構成に用いられる分割画像Item#1ないしItem#9のアイテムID#1ないし#9とを特定することができる。また、ファイル制御部４３は、idatボックスに格納されたgrid数横及びgrid数縦、並びに、出力横サイズ及び出力縦サイズから、主画像#10を構成する分割画像#1ないし#9の横方向及び縦方向の数、並びに、その分割画像#1ないし#9から再構成される主画像の#10の横方向及び縦方向のサイズを特定することができる。
　ファイル制御部４３は、dimgボックスから特定されたアイテムID#1ないし#9の分割画像Item#1ないしItem#9から、idatボックスから特定された横方向及び縦方向の数の分割画像で構成される、idatボックスから特定されたサイズの、dimgボックスから特定されたアイテムID#10の主画像Item#10を再構成することができる。
　ディジタルカメラ２１０（図５６）では、ファイル制御部４３は、主画像を分割した分割画像を共通鍵（第１の暗号鍵）で暗号化した暗号化画像としての暗号化分割画像と、その共通鍵を公開鍵（第２の暗号鍵）で暗号化した暗号化暗号鍵とを関連付けて格納したgridファイルを、暗号化gridファイルとして生成することができる。暗号化gridファイルは、暗号化HEIFファイルの一種である。
　ファイル制御部４３は、暗号化gridファイルに格納される暗号化分割画像と、その暗号化分割画像を得る暗号化に用いた共通鍵を暗号化した暗号化暗号鍵との関連付けに、関連付け型HEIFファイルに格納される主画像と外部データの特定情報との関連付けを利用することができる。すなわち、ファイル制御部４３は、関連付け型HEIFファイルに格納される主画像と外部データの特定情報との関連付けと同様にして、暗号化gridファイルに格納される暗号化分割画像と暗号化暗号鍵との関連付けを行うことができる。
　また、ファイル制御部４３は、暗号化gridファイルの暗号化暗号鍵を、共通鍵に復号し、その復号により得られる共通鍵で、暗号化分割画像を、元の分割画像に復号することができる。さらに、ファイル制御部４３は、分割画像を並べることで、主画像としての再構成画像を再構成することができる。
　＜暗号化gridファイルの処理＞
　図５８は、ディジタルカメラ２１０が行う暗号化gridファイルの処理の概要を説明する図である。
　暗号化gridファイルの生成時には、ディジタルカメラ２１０（図５６）において、認識部２１１が、例えば、人の顔を認識対象として、主画像に写る人の顔を認識し、その認識結果を、ファイル制御部４３に供給する。
　ファイル制御部４３は、認識部２１１からの認識結果に応じて、例えば、主画像を分割した分割画像のうちの、認識対象が認識された分割画像（認識対象としての人の顔が写る分割画像）については、共通鍵で、暗号化分割画像に暗号化して、暗号化gridファイルに格納する。認識対象が認識された分割画像以外の分割画像については、認識対象が認識された分割画像と同様に、共通鍵で、暗号化分割画像に暗号化して、暗号化gridファイルに格納することもできるし、暗号化せずに（平文のまま）、暗号化gridファイルに格納することもできる。ここでは、認識対象が認識された分割画像以外の分割画像については、暗号化せずに、暗号化gridファイルに格納することとする。
　ファイル制御部４３は、暗号化HEIFファイルの場合と同様に、分割画像の暗号化に用いた共通鍵を、公開鍵で暗号化暗号鍵に暗号化し、その暗号化暗号鍵を、対応する暗号化分割画像（その暗号化暗号鍵を復号した公開鍵で暗号化された分割画像）に関連付けて、暗号化gridファイルに格納する。
　暗号化gridファイルの再生時には、ディジタルカメラ２１０において、ファイル制御部４３は、暗号化gridファイルに格納された分割画像及び暗号化分割画像から、主画像としての再構成画像を再構成する。
　公開鍵に対応する秘密鍵を入手することができる場合、主画像としての再構成画像の再構成では、ファイル制御部４３は、暗号化分割画像に関連付けられた暗号化暗号鍵を、秘密鍵で、共通鍵に復号し、その共通鍵で、暗号化分割画像を、元の分割画像に復号する。さらに、ファイル制御部４３は、暗号化gridファイルに格納された（平文の）分割画像、及び、暗号化分割画像の復号により得られた分割画像を並べて、主画像としての再構成画像を再構成する。したがって、この場合、元の主画像に写る認識対象としての被写体、ここでは、人の顔が写る再構成画像を得ることができる。
　一方、公開鍵に対応する秘密鍵を入手することができない場合、主画像としての再構成画像の再構成では、ファイル制御部４３は、暗号化gridファイルに格納された（平文の）分割画像、及び、暗号化分割画像（又は、暗号化分割画像を表す、例えば、無模様一色の画像等）を並べて、主画像としての再構成画像を再構成する。したがって、この場合、元の主画像に写る認識対象としての被写体、ここでは、人の顔が写っていない（秘匿された）再構成画像が得られる。
　以上から、暗号化gridファイルによれば、認識対象としての被写体の視聴を、公開鍵に対応する秘密鍵を入手することができるユーザに制限することができる。
　なお、ディジタルカメラ２１０では、暗号化分割画像が、対応する分割画像に写る被写体ごとに異なる共通鍵で暗号化され、分割画像の暗号化に用いられた共通鍵が、被写体ごとに異なる公開鍵で暗号化されるようにすることができる。
　すなわち、ディジタルカメラ２１０では、分割画像については、分割画像に写る認識対象としての被写体ごとに異なる共通鍵で暗号化することができる。さらに、分割画像に写る認識対象としての被写体ごとに異なる共通鍵については、その認識対象としての被写体ごとに異なる公開鍵（したがって、秘密鍵も異なる）で暗号化することができる。
　例えば、人の顔を認識対象として、図５８に示すように、主画像に写る人Ａの顔、及び、人Ｂの顔が認識された場合には、人Ａの顔が写る分割画像と、人Ｂの顔が写る分割画像とは、異なる共通鍵で暗号化することができる。さらに、人Ａの顔が写る分割画像の暗号化に用いられた共通鍵と、人Ｂの顔が写る分割画像の暗号化に用いられた共通鍵とは、異なる公開鍵ＫＡとＫＢでそれぞれ暗号化することができる。
　この場合、公開鍵ＫＡに対応する秘密鍵を入手することができる場合には、人Ａの顔が写る再構成画像が再構成され、公開鍵ＫＢに対応する秘密鍵を入手することができる場合には、人Ｂの顔が写る再構成画像が再構成される。したがって、人Ａの顔の視聴を、公開鍵ＫＡに対応する秘密鍵を入手することができるユーザに制限することができ、人Ｂの顔の視聴を、公開鍵ＫＢに対応する秘密鍵を入手することができるユーザに制限することができる。
　以上のように、被写体ごとに、その被写体を視聴することができるユーザを制限することができる。
　また、ここでは、人という特定の１種類の被写体を認識対象として、個体を識別することとしたが、複数種類の被写体を認識対象として、認識対象としての被写体の種類を識別することができる。例えば、人と商標とを認識対象として識別することができる。この場合、認識対象としての被写体の種類ごと、すなわち、人と商標とのそれぞれについて、異なる共通鍵及び公開鍵を用いて暗号化を行うことができる。
　さらに、認識部２１１において、認識対象とする被写体は、ユーザの操作に応じて設定することができる。例えば、上述のように、人という特定の１種類の被写体を認識対象として、個体を識別するか、又は、人と商標とを認識対象として識別するかは、ユーザの操作に応じて設定することができる。
　＜暗号化gridファイル＞
　図５９は、暗号化gridファイルの例を示す図である。
　図５９の暗号化gridファイルは、図５７のgridファイルに対応する暗号化gridファイルである。すなわち、図５９の暗号化gridファイルは、図５７のgridファイルに格納された分割画像Item#1ないしItem#9を、分割画像の単位で暗号化した暗号化画像としての暗号化分割画像Item#1ないしItem#9が格納された暗号化gridファイルである。
　なお、図５９では、ilocボックスの内容、及び、idatボックスについては、図示を省略してあるが、図５７と同様になっている。
　図５９の暗号化gridファイルは、（平文の）分割画像Item#１ないしItem#9に代えて、暗号化分割画像Item#１ないしItem#9が、アイテムとして、mdatボックスに格納されている点で、図５７のgridファイルと異なる。また、図５９の暗号化gridファイルは、暗号化分割画像Item#１ないしItem#9を得る暗号化に用いられた共通鍵が公開鍵で暗号化された暗号化暗号鍵Item#11ないしItem#19が、アイテムとして、mdatボックスに新たに格納されている点で、図５７のgridファイルと異なる。さらに、図５９の暗号化gridファイルは、irefボックスに、関連付け情報が格納されたcdscボックスが新たに格納されている点で、図５７のgridファイルと異なる。
　なお、図５９の暗号化gridファイルでは、図５７のgridファイルに比較して、暗号化暗号鍵Item#11ないしItem#19の分だけアイテムが増加している。そのため、図５９の暗号化gridファイルでは、iinfボックス内のアイテム数が１９になっており、かかる点で、図５９の暗号化gridファイルは、アイテム数が１０になっている図５７のgridファイルと異なる。さらに、図５９の暗号化gridファイルは、図５７のgridファイルに比較して増加している暗号化暗号鍵Item#11ないしItem#19の分だけ、infeボックスが新たに設けられている点で、図５７のgridファイルと異なる。
　図５９では、例えば、暗号化分割画像Item#１ないしItem#9に暗号化される前の分割画像１ないし９それぞれに異なる認識対象としての被写体が写っており、そのため、分割画像１ないし９は、それぞれ異なる共通鍵で、暗号化分割画像Item#１ないしItem#9に暗号化されている。さらに、異なる認識対象としての被写体が写る分割画像１ないし９の暗号化に用いられた共通鍵は、それぞれ異なる公開鍵で、暗号化暗号鍵Item#11ないしItem#19に暗号化されている。
　暗号化gridファイルでは、例えば、（第１ないし第６の）暗号化HEIFファイルと同様に、暗号化分割画像Item#iと、その暗号化分割画像Item#iを得る暗号化に用いられた共通鍵を公開鍵で暗号化した暗号化暗号鍵Item#10+iとを関連付ける関連付け情報をcdscボックスに格納することで、暗号化分割画像Item#iと暗号化暗号鍵Item#10+iとが関連付けられる。
　暗号化gridファイルに格納された暗号化分割画像Item#iについては、その暗号化分割画像Item#iに対応する秘密鍵（暗号化分割画像Item#iを得る暗号化に用いられた共通鍵の暗号化に用いられた公開鍵に対応する秘密鍵）を入手することができる場合、ファイル制御部４３は、暗号化分割画像Item#iに関連付けられた暗号化暗号鍵Item#10+iを、秘密鍵で、共通鍵に復号し、その復号により得られる共通鍵で、暗号化分割画像Item#iを、元の分割画像ｉに復号することができる。したがって、主画像を分割した各分割画像ｉについては、分割画像ｉ（に写る被写体）の視聴を、暗号化分割画像Item#iに対応する秘密鍵を入手することができるユーザに制限することができる。
　ファイル制御部４３は、暗号化分割画像Item#iを復号する場合、参照元が暗号化分割画像Item#iのアイテムID#iになっているcdscボックスの参照先のアイテムIDを、暗号化分割画像Item#iに対応する暗号化暗号鍵Item#10+i、すなわち、暗号化画像Item#iの暗号化に用いられた共通鍵を暗号化した暗号化暗号鍵Item#10+iのアイテムID#10+iとして特定し、そのアイテムID#10+iに応じて、mdatボックスから、暗号化暗号鍵Item#10+iを取得して復号する。
　なお、図５９の暗号化gridファイルでは、主画像を構成する９個の分割画像１ないし９のすべてが、暗号化分割画像Item#1ないしItem#9に暗号化されているが、主画像を構成する分割画像１ないし９は、すべてが暗号化される必要はない。すなわち、主画像を構成する分割画像１ないし９については、認識対象としての被写体が写る分割画像だけを暗号化することができる。
　図６０は、画像処理システム２００で暗号化gridファイルが扱われる場合に行われる前処理の第１の例を説明するフローチャートである。
　前処理の第１の例では、ステップＳ５１１において、画像処理システム２００のディジタルカメラ２１０は、所定の数の公開鍵の要求を、外部計算機１０１に送信し、処理は、ステップＳ５１２に進む。
　例えば、認識部２１１において、人を認識対象として、個体を識別することが設定されている場合には、ディジタルカメラ２１０のいわゆるスルー画の表示のために撮像された画像を用いて顔認識が行われることにより、認識対象としての人（個体）の数が特定され、その認識対象としての人の数だけの公開鍵が要求される。
　また、例えば、ディジタルカメラ２１０では、顔を秘匿したい人の情報を、ユーザに入力してもらい、その情報に応じて、顔を秘匿したい人の数だけの公開鍵が要求される。
　ステップＳ５１２ないしＳ５１４では、図３８のステップＳ２１２ないしＳ２１４とそれぞれ同様の処理が行われる。これにより、ディジタルカメラ２１０では、必要な数、例えば、顔を秘匿したい人の数だけの公開鍵が記憶される。
　図６１は、画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを生成する生成処理の第１の例を説明するフローチャートである。
　生成処理の第１の例では、ステップＳ５２１において、ディジタルカメラ２１０は、例えば、ユーザの操作に応じて、画像を撮像し、処理は、ステップＳ５２２に進む。
　ステップＳ５２２では、認識部２１１は、ステップＳ５２１で撮像された画像を用いて画像認識を行い、処理は、ステップＳ５２３に進む。
　ステップＳ５２３では、ファイル制御部４３は、認識部２１１の画像認識で認識された認識対象に応じて、ステップＳ５２１の画像の撮像により得られる主画像を分割するように、符号化制御部４２を制御する。符号化制御部４２は、ファイル制御部４３の制御に応じて、例えば、異なる認識対象が異なる分割画像に写るように（１個の分割画像に１以下の認識対象が写るように）、主画像を、複数の分割画像に分割し、ファイル制御部４３に供給して、処理は、ステップＳ５２３からステップＳ５２４に進む。
　ステップＳ５２４では、ファイル制御部４３は、認識部２１１の画像認識で認識された認識対象それぞれに対して、異なる共通鍵を生成し、処理は、ステップＳ５２５に進む。
　ステップＳ５２５では、ファイル制御部４３は、主画像を分割した分割画像のうちの、認識部２１１の画像認識で認識された認識対象が写る分割画像を、その認識対象に対する共通鍵で暗号化することにより、暗号化分割画像を生成し、処理は、ステップＳ５２６に進む。
　ステップＳ５２６では、ファイル制御部４３は、認識部２１１の画像認識で認識された認識対象それぞれに対する共通鍵を、前処理の第１の例で記憶された公開鍵で暗号化することにより、認識対象ごとの暗号化暗号鍵を生成し、処理は、ステップＳ５２７に進む。なお、異なる認識対象に対する共通鍵は、異なる公開鍵で暗号化される。
　ステップＳ５２７では、ファイル制御部４３は、主画像を分割した分割画像のうちの、認識対象が写っていない分割画像を格納するとともに、ステップＳ５２５で生成された暗号化分割画像と、ステップＳ５２６で生成された、その暗号化分割画像に対応する暗号化暗号鍵（暗号化分割画像の暗号化に用いられた共通鍵を暗号化した暗号化暗号鍵）とを関連付けて格納した暗号化gridファイルを生成し、生成処理は終了する。
　なお、HEIFでは、主画像が同一サイズの複数の分割画像に分割される。このため、主画像が、１以下の認識対象が写る分割画像に分割される場合には、１つの認識対象が、複数の分割画像に亘って写ることがある。１つの認識対象が、複数の分割画像に亘って写る場合、その複数の分割画像は、同一の共通鍵で暗号化することができる。
　また、ここでは、画像認識で認識された認識対象ごとに、共通鍵を生成し、認識対象が写る分割画像を、その認識対象に対する共通鍵で暗号化することとした。但し、共通鍵は、その他、例えば、画像認識で認識された認識対象が写る分割画像ごとに生成し、認識対象が写る分割画像を、その分割画像に対する共通鍵で暗号化することができる。
　図６２は、画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを再生する再生処理の例を説明するフローチャートである。
　再生処理では、ステップＳ５３１において、ディジタルカメラ２１０のファイル制御部４３は、例えば、ユーザの操作に応じて、再生対象の暗号化gridファイルを選択し、その暗号化gridファイルから、再生対象の主画像を選択する。さらに、ファイル制御部４３は、再生対象の主画像を構成する分割画像及び暗号化分割画像を用いて、主画像を再構成し、液晶パネル１９に表示させる。
　ステップＳ５３１で再構成される主画像では、暗号化分割画像の領域は、その領域に写る被写体が見えない状態になっており、ステップＳ５３１において、そのような主画像が表示された後、処理は、ステップＳ５３２に進む。
　ステップＳ５３２では、例えば、ユーザが、ステップＳ５３１で表示された主画像上の暗号化分割画像を指定すると、ファイル制御部４３は、ユーザが指定した暗号化分割画像を、注目暗号化分割画像に選択する。さらに、ファイル制御部４３は、再生対象の暗号化gridファイルから、注目暗号化分割画像に関連付けられた暗号化暗号鍵（暗号化分割画像に対応する暗号化暗号鍵）を取得し、処理は、ステップＳ５３２からステップＳ５３３に進む。
　ステップＳ５３３では、ファイル制御部４３は、例えば、図４０のステップＳ２３２と同様に、注目暗号化分割画像に対応する秘密鍵（注目暗号化分割画像を得る暗号化に用いられた公開鍵に対応する秘密鍵）の取得を試みて、処理は、ステップＳ５３４に進む。
　ステップＳ５３４では、ファイル制御部４３が、注目暗号化分割画像に対応する秘密鍵を取得することができたかどうかを判定する。
　ステップＳ５３４において、秘密鍵を取得することができなかったと判定された場合、処理は、ステップＳ５３５に進み、図４０のステップＳ２３４と同様のエラー処理が行われ、再生処理は終了する。したがって、注目暗号化分割画像に対応する秘密鍵を入手することができないユーザは、注目暗号化分割画像を復号した分割画像に写る主画像を視聴することができない。
　一方、ステップＳ５３４において、秘密鍵を取得することができたと判定された場合、処理は、ステップＳ５３６に進む。
　ステップＳ５３６では、ファイル制御部４３は、ステップＳ５３２で取得された暗号化暗号鍵を、ステップＳ５３３で取得された秘密鍵で、共通鍵に復号し、処理は、ステップＳ５３７に進む。
　ステップＳ５３７では、ファイル制御部４３は、注目暗号化分割画像を、ステップＳ５３６で復号された共通鍵で、分割画像に復号し、処理は、ステップＳ５３８に進む。
　ステップＳ５３８では、ファイル制御部４３は、注目暗号化分割画像に代えて、その注目暗号化分割画像を復号した分割画像を用いて、主画像を再構成し、液晶パネル１９に表示させて、再生処理は終了する。
　図６３は、画像処理システム２００で暗号化gridファイルが扱われる場合に行われる前処理の第２の例を説明するフローチャートである。
　前処理の第２の例では、ステップＳ６１１において、画像処理システム２００のディジタルカメラ２１０は、所定の数の公開鍵の要求を、外部計算機１０１に送信し、処理は、ステップＳ６１２に進む。
　例えば、主画像を同一サイズの分割画像に分割する分割の仕方、すなわち、例えば、主画像を構成する分割画像の横及び縦の数があらかじめ設定されている場合には、主画像を構成する分割画像の数だけの公開鍵が要求される。
　ステップＳ５１２ないしＳ５１４では、図３８のステップＳ２１２ないしＳ２１４とそれぞれ同様の処理が行われる。これにより、ディジタルカメラ２１０では、必要となり得る最大数、すなわち、主画像を構成する分割画像の数だけの公開鍵が、主画像を構成する分割画像それぞれに対する公開鍵として取得されて記憶される。
　図６４は、画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを生成する生成処理の第２の例を説明するフローチャートである。
　生成処理の第２の例では、ステップＳ６２１において、ディジタルカメラ２１０は、例えば、ユーザの操作に応じて、画像を撮像し、処理は、ステップＳ６２２に進む。
　ステップＳ６２２では、ファイル制御部４３は、ステップＳ６２１の画像の撮像により得られる主画像を分割するように、符号化制御部４２を制御する。符号化制御部４２は、ファイル制御部４３の制御に応じて、例えば、主画像を、あらかじめ設定された分割の仕方で、同一サイズの複数の分割画像に分割し、ファイル制御部４３に供給して、処理は、ステップＳ６２２からステップＳ６２３に進む。
　ステップＳ６２３では、認識部２１１は、ステップＳ６２１で撮像された画像を用いて画像認識を行い、処理は、ステップＳ６２４に進む。
　ステップＳ６２４では、ファイル制御部４３は、主画像を構成する複数の分割画像のうちの、認識部２１１の画像認識で認識された認識対象が写る分割画像それぞれに対して、共通鍵を生成し、処理は、ステップＳ６２５に進む。
　ステップＳ６２５では、ファイル制御部４３は、主画像を分割した分割画像のうちの、認識部２１１の画像認識で認識された認識対象が写る分割画像を、その分割画像に対する共通鍵で暗号化することにより、暗号化分割画像を生成し、処理は、ステップＳ６２６に進む。
　ステップＳ６２６では、ファイル制御部４３は、認識部２１１の画像認識で認識された認識対象が写る分割画像に対する共通鍵を、前処理の第２の例で記憶された、その分割画像に対する公開鍵で暗号化することにより、認識対象が写る分割画像ごとの暗号化暗号鍵を生成し、処理は、ステップＳ６２６からステップＳ６２７に進む。
　ステップＳ６２７では、ファイル制御部４３は、主画像を分割した分割画像のうちの、認識対象が写っていない分割画像を格納するとともに、ステップＳ６２５で生成された暗号化分割画像と、ステップＳ６２６で生成された、その暗号化分割画像に対応する暗号化暗号鍵とを関連付けて格納した暗号化gridファイルを生成し、生成処理は終了する。
　生成処理の第２の例で生成された暗号化gridファイルを再生する再生処理は、例えば、図６２と同様であるため、説明を省略する。
　図６５は、画像処理システム２００で暗号化gridファイルが扱われる場合に、その暗号化gridファイルを生成する生成処理の第３の例を説明するフローチャートである。
　生成処理の第１及び第２の例では、それぞれ、前処理の第１及び第２の例によってディジタルカメラ２１０にあらかじめ記憶された公開鍵で、共通鍵を暗号化することとしたが、生成処理の第３の例では、前処理を行わずに、生成処理において、必要な公開鍵が取得される。
　生成処理の第３の例では、ステップＳ７２１及びＳ７２２において、図６１のステップＳ５２１及びＳ５２２と同様の処理がそれぞれ行われ、処理は、ステップＳ７２３に進む。
　ステップＳ７２３では、ディジタルカメラ２１０は、ステップＳ７２２で認識部２１１の画像認識で認識された認識対象のうちの新たな認識対象に対して、公開鍵を取得して記憶し、処理は、ステップＳ７２４に進む。
　すなわち、ディジタルカメラ２１０は、認識部２１１の画像認識で認識された認識対象を記憶しており、新たな認識対象が認識されると、その新たな認識対象に対する公開鍵を取得して記憶する。具体的には、ディジタルカメラ２１０は、新たな認識対象の数だけの公開鍵の要求を、外部計算機１０１に送信する。外部計算機１０１は、ディジタルカメラ２１０からの公開鍵の要求に応じて、新たな認識対象に対して、公開鍵と対応する秘密鍵とを生成し、公開鍵を、ディジタルカメラ２１０に送信する。ディジタルカメラ２１０は、外部計算機１０１からの新たな認識対象に対する公開鍵を受信して記憶する。
　ステップＳ７２４では、ファイル制御部４３は、認識部２１１の画像認識で認識された認識対象に応じて、ステップＳ７２１の画像の撮像により得られる主画像を分割するように、符号化制御部４２を制御する。符号化制御部４２は、ファイル制御部４３の制御に応じて、例えば、図６１のステップＳ５２３と同様に、主画像を、複数の分割画像に分割し、ファイル制御部４３に供給して、処理は、ステップＳ７２４からステップＳ７２５に進む。
　ステップＳ７２５では、ファイル制御部４３は、認識部２１１の画像認識で認識された認識対象それぞれに対して、共通鍵を生成し、処理は、ステップＳ７２６に進む。
　ステップＳ７２６では、ファイル制御部４３は、主画像を分割した分割画像のうちの、認識部２１１の画像認識で認識された認識対象が写る分割画像を、その認識対象に対する共通鍵で暗号化することにより、暗号化分割画像を生成し、処理は、ステップＳ７２７に進む。
　ステップＳ７２７では、ファイル制御部４３は、認識部２１１の画像認識で認識された認識対象それぞれに対する共通鍵を、その認識対象に対する公開鍵で暗号化することにより、認識対象ごとの暗号化暗号鍵を生成し、処理は、ステップＳ７２８に進む。
　ステップＳ７２８では、ファイル制御部４３は、主画像を分割した分割画像のうちの、認識対象が写っていない分割画像を格納するとともに、ステップＳ７２６で生成された暗号化分割画像と、ステップＳ７２７で生成された、その暗号化分割画像に対応する暗号化暗号鍵とを関連付けて格納した暗号化gridファイルを生成し、生成処理は終了する。
　なお、ここでは、画像認識で認識された認識対象ごとに、共通鍵を生成し、認識対象が写る分割画像を、その認識対象に対する共通鍵で暗号化することとした。但し、共通鍵は、その他、例えば、画像認識で認識された認識対象が写る分割画像ごとに生成し、認識対象が写る分割画像を、その分割画像に対する共通鍵で暗号化することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述したファイル制御部４３その他の信号処理部１３（図１）を構成する各ブロックの一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、コンピュータ等にインストールされる。
　図６６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　画像を第１の暗号鍵で暗号化した暗号化画像と、
　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
　を関連付けて格納したファイルを生成するファイル制御部を備える
　ファイル処理装置。
　＜２＞
　前記ファイルに、平文の前記第１の暗号鍵がさらに格納された
　＜１＞に記載のファイル処理装置。
　＜３＞
　前記暗号化暗号鍵は、前記画像と関連付ける前記ファイル外の外部データを特定する特定情報と、前記第１の暗号鍵とを、前記第２の暗号鍵で暗号化した特定情報包含暗号鍵である
　＜１＞に記載のファイル処理装置。
　＜４＞
　前記外部データが、前記第１の暗号鍵で暗号化された
　＜３＞に記載のファイル処理装置。
　＜５＞
　前記ファイルに、平文の前記特定情報と前記第１の暗号鍵とがさらに格納された
　＜３＞又は＜４＞に記載のファイル処理装置。
　＜６＞
　前記暗号化画像は、前記画像を分割した分割画像を前記第１の暗号鍵で暗号化した暗号化分割画像である
　＜１＞又は＜２＞に記載のファイル処理装置。
　＜７＞
　前記暗号化分割画像が、対応する前記分割画像に写る被写体ごとに異なる前記第１の暗号鍵で暗号化され、
　前記分割画像の暗号化に用いられた前記第１の暗号鍵が、前記被写体ごとに異なる前記第２の暗号鍵で暗号化された
　＜６＞に記載のファイル処理装置。
　＜８＞
　前記画像が、前記画像に写る被写体に応じて、前記分割画像に分割された
　＜６＞又は＜７＞に記載のファイル処理装置。
　＜９＞
　前記第１の暗号鍵は、共通鍵暗号方式の共通鍵であり、
　前記第２の暗号鍵は、公開鍵暗号方式の公開鍵であり、
　前記ファイルは、HEIF(High Efficiency Image File Format)ファイルである
　＜１＞ないし＜８＞のいずれかに記載のファイル処理装置。
　＜１０＞
　画像を第１の暗号鍵で暗号化した暗号化画像と、
　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
　を関連付けて格納したファイルを生成する
　ことを含むファイル処理方法。
　＜１１＞
　画像を第１の暗号鍵で暗号化した暗号化画像と、
　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
　を関連付けて格納したファイルの前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号するファイル制御部を備える
　ファイル処理装置。
　＜１２＞
　前記ファイル制御部は、
　前記ファイルに、平文の前記第１の暗号鍵がさらに格納されている場合、前記平文の前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号し、
　前記ファイルに、平文の前記第１の暗号鍵が格納されていない場合、前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号する
　＜１１＞に記載のファイル処理装置。
　＜１３＞
　前記暗号化暗号鍵は、前記画像と関連付ける前記ファイル外の外部データを特定する特定情報と、前記第１の暗号鍵とを、前記第２の暗号鍵で暗号化した特定情報包含暗号鍵であり、
　前記ファイル制御部は、前記特定情報包含暗号鍵を、前記特定情報と前記第１の暗号鍵とに復号し、その復号により得られる前記特定情報によって特定される前記外部データを取得する
　＜１１＞に記載のファイル処理装置。
　＜１４＞
　前記ファイル制御部は、前記外部データが、前記第１の暗号鍵で暗号化されている場合、前記第１の暗号鍵で、暗号化されている前記外部データを復号する
　＜１３＞に記載のファイル処理装置。
　＜１５＞
　前記ファイル制御部は、
　前記ファイルに、平文の前記特定情報と前記第１の暗号鍵とがさらに格納されている場合、前記平文の前記特定情報によって特定される前記外部データを取得し、
　前記ファイルに、平文の前記特定情報と前記第１の暗号鍵とが格納されていない場合、前記特定情報包含暗号鍵を、前記特定情報と前記第１の暗号鍵とに復号し、その復号により得られる前記特定情報によって特定される前記外部データを取得する
　＜１３＞又は＜１４＞に記載のファイル処理装置。
　＜１６＞
　前記暗号化画像は、前記画像を分割した分割画像を前記第１の暗号鍵で暗号化した暗号化分割画像であり、
　前記ファイル制御部は、前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化分割画像を、前記分割画像に復号する
　＜１１＞又は＜１２＞に記載のファイル処理装置。
　＜１７＞
　前記暗号化分割画像が、対応する前記分割画像に写る被写体ごとに異なる前記第１の暗号鍵で暗号化され、
　前記分割画像の暗号化に用いられた前記第１の暗号鍵が、前記被写体ごとに異なる前記第２の暗号鍵で暗号化されており、
　前記ファイル制御部は、注目する注目被写体に対する前記第１の暗号鍵を暗号化した前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記注目被写体に対する前記第１の暗号鍵で、前記注目被写体が写る前記暗号化分割画像を、前記分割画像に復号する
　＜１６＞に記載のファイル処理装置。
　＜１８＞
　前記画像が、前記画像に写る被写体に応じて、前記分割画像に分割された
　＜１６＞又は＜１７＞に記載のファイル処理装置。
　＜１９＞
　前記第１の暗号鍵は、共通鍵暗号方式の共通鍵であり、
　前記第２の暗号鍵は、公開鍵暗号方式の公開鍵であり、
　前記ファイルは、HEIF(High Efficiency Image File Format)ファイルである
　＜１１＞ないし＜１８＞のいずれかに記載のファイル処理装置。
　＜２０＞
　画像を第１の暗号鍵で暗号化した暗号化画像と、
　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
　を関連付けて格納したファイルの前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号する
　ことを含むファイル処理方法。
　１０　ディジタルカメラ，　１１　光学系，　１３　信号処理部，　１４　メディア，　１５，１６　インタフェース，　１７　ボタン／キー，　１８　タッチパネル，　１９　液晶パネル，　２０　ビューファインダ，　２１　インタフェース，　４１　光学系／イメージセンサ制御部，　４２　符号化制御部，　４３　ファイル制御部，　４４　メディア制御部，　４５　操作制御部，　４６　表示制御部，　４７　UI制御部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (20)

  1. 　画像を第１の暗号鍵で暗号化した暗号化画像と、
    　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
    　を関連付けて格納したファイルを生成するファイル制御部を備える
    　ファイル処理装置。
  2. 　前記ファイルに、平文の前記第１の暗号鍵がさらに格納された
    　請求項１に記載のファイル処理装置。
  3. 　前記暗号化暗号鍵は、前記画像と関連付ける前記ファイル外の外部データを特定する特定情報と、前記第１の暗号鍵とを、前記第２の暗号鍵で暗号化した特定情報包含暗号鍵である
    　請求項１に記載のファイル処理装置。
  4. 　前記外部データが、前記第１の暗号鍵で暗号化された
    　請求項３に記載のファイル処理装置。
  5. 　前記ファイルに、平文の前記特定情報と前記第１の暗号鍵とがさらに格納された
    　請求項３に記載のファイル処理装置。
  6. 　前記暗号化画像は、前記画像を分割した分割画像を前記第１の暗号鍵で暗号化した暗号化分割画像である
    　請求項１に記載のファイル処理装置。
  7. 　前記暗号化分割画像が、対応する前記分割画像に写る被写体ごとに異なる前記第１の暗号鍵で暗号化され、
    　前記分割画像の暗号化に用いられた前記第１の暗号鍵が、前記被写体ごとに異なる前記第２の暗号鍵で暗号化された
    　請求項６に記載のファイル処理装置。
  8. 　前記画像が、前記画像に写る被写体に応じて、前記分割画像に分割された
    　請求項６に記載のファイル処理装置。
  9. 　前記第１の暗号鍵は、共通鍵暗号方式の共通鍵であり、
    　前記第２の暗号鍵は、公開鍵暗号方式の公開鍵であり、
    　前記ファイルは、HEIF(High Efficiency Image File Format)ファイルである
    　請求項１に記載のファイル処理装置。
  10. 　画像を第１の暗号鍵で暗号化した暗号化画像と、
    　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
    　を関連付けて格納したファイルを生成する
    　ことを含むファイル処理方法。
  11. 　画像を第１の暗号鍵で暗号化した暗号化画像と、
    　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
    　を関連付けて格納したファイルの前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号するファイル制御部を備える
    　ファイル処理装置。
  12. 　前記ファイル制御部は、
    　前記ファイルに、平文の前記第１の暗号鍵がさらに格納されている場合、前記平文の前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号し、
    　前記ファイルに、平文の前記第１の暗号鍵が格納されていない場合、前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号する
    　請求項１１に記載のファイル処理装置。
  13. 　前記暗号化暗号鍵は、前記画像と関連付ける前記ファイル外の外部データを特定する特定情報と、前記第１の暗号鍵とを、前記第２の暗号鍵で暗号化した特定情報包含暗号鍵であり、
    　前記ファイル制御部は、前記特定情報包含暗号鍵を、前記特定情報と前記第１の暗号鍵とに復号し、その復号により得られる前記特定情報によって特定される前記外部データを取得する
    　請求項１１に記載のファイル処理装置。
  14. 　前記ファイル制御部は、前記外部データが、前記第１の暗号鍵で暗号化されている場合、前記第１の暗号鍵で、暗号化されている前記外部データを復号する
    　請求項１３に記載のファイル処理装置。
  15. 　前記ファイル制御部は、
    　前記ファイルに、平文の前記特定情報と前記第１の暗号鍵とがさらに格納されている場合、前記平文の前記特定情報によって特定される前記外部データを取得し、
    　前記ファイルに、平文の前記特定情報と前記第１の暗号鍵とが格納されていない場合、前記特定情報包含暗号鍵を、前記特定情報と前記第１の暗号鍵とに復号し、その復号により得られる前記特定情報によって特定される前記外部データを取得する
    　請求項１３に記載のファイル処理装置。
  16. 　前記暗号化画像は、前記画像を分割した分割画像を前記第１の暗号鍵で暗号化した暗号化分割画像であり、
    　前記ファイル制御部は、前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化分割画像を、前記分割画像に復号する
    　請求項１１に記載のファイル処理装置。
  17. 　前記暗号化分割画像が、対応する前記分割画像に写る被写体ごとに異なる前記第１の暗号鍵で暗号化され、
    　前記分割画像の暗号化に用いられた前記第１の暗号鍵が、前記被写体ごとに異なる前記第２の暗号鍵で暗号化されており、
    　前記ファイル制御部は、注目する注目被写体に対する前記第１の暗号鍵を暗号化した前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記注目被写体に対する前記第１の暗号鍵で、前記注目被写体が写る前記暗号化分割画像を、前記分割画像に復号する
    　請求項１６に記載のファイル処理装置。
  18. 　前記画像が、前記画像に写る被写体に応じて、前記分割画像に分割された
    　請求項１６に記載のファイル処理装置。
  19. 　前記第１の暗号鍵は、共通鍵暗号方式の共通鍵であり、
    　前記第２の暗号鍵は、公開鍵暗号方式の公開鍵であり、
    　前記ファイルは、HEIF(High Efficiency Image File Format)ファイルである
    　請求項１１に記載のファイル処理装置。
  20. 　画像を第１の暗号鍵で暗号化した暗号化画像と、
    　前記第１の暗号鍵を第２の暗号鍵で暗号化した暗号化暗号鍵と
    　を関連付けて格納したファイルの前記暗号化暗号鍵を、前記第１の暗号鍵に復号し、その復号により得られる前記第１の暗号鍵で、前記暗号化画像を、前記画像に復号する
    　ことを含むファイル処理方法。
PCT/JP2020/041495 2019-11-21 2020-11-06 ファイル処理装置及びファイル処理方法 WO2021100491A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/773,958 US20230006818A1 (en) 2019-11-21 2020-11-06 File processing device and file processing method
JP2021558287A JPWO2021100491A1 (ja) 2019-11-21 2020-11-06
CN202080079060.0A CN114731276A (zh) 2019-11-21 2020-11-06 文件处理设备及文件处理方法
EP20890468.0A EP4050841A4 (en) 2019-11-21 2020-11-06 FILE PROCESSING DEVICE AND FILE PROCESSING METHOD
KR1020227016320A KR20220103109A (ko) 2019-11-21 2020-11-06 파일 처리 장치 및 파일 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019210539 2019-11-21
JP2019-210539 2019-11-21

Publications (1)

Publication Number Publication Date
WO2021100491A1 true WO2021100491A1 (ja) 2021-05-27

Family

ID=75981205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041495 WO2021100491A1 (ja) 2019-11-21 2020-11-06 ファイル処理装置及びファイル処理方法

Country Status (6)

Country Link
US (1) US20230006818A1 (ja)
EP (1) EP4050841A4 (ja)
JP (1) JPWO2021100491A1 (ja)
KR (1) KR20220103109A (ja)
CN (1) CN114731276A (ja)
WO (1) WO2021100491A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11849249B2 (en) * 2019-03-28 2023-12-19 Sony Group Corporation File generation device, file generation method, file reproduction device, file reproduction method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118606A (ja) * 2006-10-12 2008-05-22 Excellead Technology:Kk コンテンツ配信装置、コンテンツ配信システム
JP2014131124A (ja) * 2012-12-28 2014-07-10 Kyocera Document Solutions Inc 画像形成装置及び画像形成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4442583B2 (ja) * 2006-04-24 2010-03-31 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法及び画像処理用プログラム
JP5018880B2 (ja) * 2007-05-30 2012-09-05 富士通株式会社 画像暗号化装置、画像復号装置、方法、及びプログラム
US20150035999A1 (en) * 2013-08-05 2015-02-05 Nvidia Corporation Method for sharing digital photos securely

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118606A (ja) * 2006-10-12 2008-05-22 Excellead Technology:Kk コンテンツ配信装置、コンテンツ配信システム
JP2014131124A (ja) * 2012-12-28 2014-07-10 Kyocera Document Solutions Inc 画像形成装置及び画像形成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"High efficiency coding and media delivery in heterogeneous environments", ISO/IEC 23008-12: 2017, INFORMATION TECHNOLOGY
HAYASE, ATSUSHI ET AL.: "Windows 10 haste: Can be used with almost standard functions", 1 October 2018, EIWA PUBLISHING CO., LTD., JP, ISBN: 978-4-86545-625-7, article HAYASE, ATSUSHI ET AL. (ED.): "Supports iPhone HEIF images and HEVC videos with adding extensions", pages: 77, XP009529289 *

Also Published As

Publication number Publication date
JPWO2021100491A1 (ja) 2021-05-27
KR20220103109A (ko) 2022-07-21
EP4050841A1 (en) 2022-08-31
CN114731276A (zh) 2022-07-08
EP4050841A4 (en) 2022-12-14
US20230006818A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
JP2009506475A (ja) 統合マルチメディアファイルフォーマット構造と、統合マルチメディアファイルフォーマット構造に基づくマルチメディアサービスシステム及び方法
JP6004283B2 (ja) マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路
JP2011142586A (ja) 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
WO2017195881A1 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
WO2021020142A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
CN107851425A (zh) 信息处理设备、信息处理方法和程序
WO2021100491A1 (ja) ファイル処理装置及びファイル処理方法
WO2020196006A1 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム
US11792281B2 (en) Method and apparatus for determining supplementary parameters of electronic content
JPWO2020137854A1 (ja) 情報処理装置および情報処理方法
WO2020255757A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
JP7468530B2 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
JP7218105B2 (ja) ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
US20230104640A1 (en) File processing device, file processing method, and program
US10678842B2 (en) Geostory method and apparatus
WO2021182090A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
WO2021117481A1 (ja) データ処理装置、データ処理方法、及び、プログラム
WO2021177044A1 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890468

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021558287

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020890468

Country of ref document: EP

Effective date: 20220524

NENP Non-entry into the national phase

Ref country code: DE