WO2020066607A1 - 画像データ格納装置、画像データ格納方法、及び、プログラム - Google Patents

画像データ格納装置、画像データ格納方法、及び、プログラム Download PDF

Info

Publication number
WO2020066607A1
WO2020066607A1 PCT/JP2019/035629 JP2019035629W WO2020066607A1 WO 2020066607 A1 WO2020066607 A1 WO 2020066607A1 JP 2019035629 W JP2019035629 W JP 2019035629W WO 2020066607 A1 WO2020066607 A1 WO 2020066607A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
metadata
images
image file
storage device
Prior art date
Application number
PCT/JP2019/035629
Other languages
English (en)
French (fr)
Inventor
昌敬 深田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2020066607A1 publication Critical patent/WO2020066607A1/ja
Priority to US17/210,272 priority Critical patent/US20210209152A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to a method for storing image data.
  • MPEG Motion Pictures Experts Group
  • HEIF High Efficiency ⁇ Image ⁇ File ⁇ Format
  • ISO base media file format ISO ⁇ Base ⁇ Media ⁇ File ⁇ Format
  • HEIF is being standardized under the name "Image ⁇ File ⁇ Format" in ISO / IEC 23008-12.
  • the HEIF also defines a normative structure including metadata, a method for associating metadata with an image, and a configuration of metadata in a specific format.
  • Patent Document 1 describes that a derived image is stored in an HEIF-compliant image file.
  • image generation apparatuses such as cameras and smartphones have various functions in recent years.
  • various information such as information at the time of shooting and metadata of shot image data are provided.
  • Information can be generated. For example, position information at which the image data was photographed, information identifying what the subject or scene is in the image data, and various information accompanying the image data such as a photographing mode at the time of photographing are generated together with the image data. .
  • Information on these image data can be stored as metadata in the HEIF file.
  • an image file for example, an HEIF file
  • an HEIF file corresponding to a predetermined image format
  • the apparatus that processes the HEIF file cannot confirm that the metadata of each image is common unless the metadata of each image and its configuration information are checked in order. Therefore, when a plurality of images in the HEIF file all correspond to common metadata, or when two or more of the plurality of images correspond to common metadata, batch processing is performed on each image. The processing load when performing was large.
  • An object of the present invention is to enable, when two or more images among a plurality of images stored in an image file corresponding to a predetermined file format correspond to common metadata, to efficiently perform processing on the image file. It is to be.
  • the image data storage device of the present invention has, for example, the following configuration. That is, an image data storage device that stores a plurality of images in an image file in accordance with an image file format, wherein: an acquisition unit that acquires the plurality of images; and 2 of the plurality of images acquired by the acquisition unit. Specifying means for specifying metadata common to the above images, and storing the plurality of images obtained by the obtaining means in an image file according to the image file format, and metadata specified by the specifying means And storage means for storing, as common metadata, an image file in accordance with the image file format, and an output means for outputting an image file in which the plurality of images and the metadata are stored by the storage means.
  • the processing relating to the image file is efficiently performed. be able to.
  • FIG. 1 is a diagram illustrating a configuration of an image data storage device according to an embodiment.
  • FIG. 4 is a view showing a processing flow of the image data storage device according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of a file format according to the embodiment.
  • FIG. 4 is a diagram showing an example of EXIF data according to the embodiment.
  • FIG. 1 is a diagram illustrating a configuration of an image data storage device according to an embodiment.
  • FIG. 4 is a view showing a processing flow of the image data storage device according to the embodiment.
  • FIG. 4 is an exemplary view showing an example of a common item property box structure in a file format according to the embodiment.
  • FIG. 4 is an exemplary view showing an example of a common item property group Box structure in an image file format according to the embodiment.
  • FIG. 4 is an exemplary view showing an example of a common item property box structure in an image file format according to the embodiment.
  • FIG. 4 is an exemplary view showing an example of a common item property group Box structure in an image file format according to the embodiment.
  • FIG. 4 is an exemplary view showing an example of an item property box structure in an image file format according to the embodiment.
  • FIG. 5 is an exemplary view showing an example of an item property association box structure in an image file format according to the embodiment.
  • FIG. 4 is an exemplary view showing an example of an item property association group Box structure in an image file format according to the embodiment.
  • FIG. 4 is an exemplary view showing an example of an item reference box in an image file format according to the embodiment.
  • FIG. 5 is a diagram showing an example of an item information box in an image file format according to the embodiment.
  • FIG. 1 shows the configuration of the image data storage device 101 of the present embodiment.
  • the image data storage device 101 in FIG. 1 is a device having a photographing function, such as a camera, a smartphone, and a tablet PC.
  • the image data storage device 101 of the present embodiment functions as a file generation device that generates an image file conforming to the image file format.
  • the image data storage device 101 has a system bus 102, and has a nonvolatile memory 103, a ROM 104, a RAM 105, a control unit 106, an imaging unit 107, and an operation unit 108.
  • the image data storage device 101 further includes a file output unit 109, a metadata processing unit 110, an encoding unit 111, a display unit 112, an image recognition unit 113, and a LAN control unit, each of which is connected to the system bus 102. It has a hardware configuration.
  • the system bus 102 transmits data between connected blocks.
  • image is mainly used, but this is not intended to be limited to a still image.
  • the program executed by the control unit 106 includes an OS (Operating System), a driver, an application, and the like.
  • the control unit 106 performs overall control of the image data storage device 101, changes the display on the display unit 112, instructs the imaging unit 107 to perform photographing, Processing such as giving a connection instruction to the control unit 114 is performed.
  • the imaging unit 107 has an image sensor such as a CMOS sensor, and inputs an image signal according to an instruction from the control unit 106.
  • the input image signal is encoded by the encoding unit 111 into digital data.
  • the encoding unit 111 decodes the image file stored in the nonvolatile memory 103.
  • the image data storage device 101 decodes an image file in response to a user operation related to a reproduction process, and causes the display unit 112 to display the decoded image data.
  • the metadata processing unit 110 acquires the data encoded by the encoding unit 111, and generates an image file compliant with a predetermined file format (for example, HEIF).
  • a predetermined file format for example, HEIF
  • the metadata processing unit 110 is not limited to the HEIF, and can also generate a file conforming to another moving image file format specified in MPEG or a format such as JPEG.
  • the metadata processing unit 110 is not limited to the encoding unit 111, and can also acquire encoded data from another device and generate an image file.
  • the file output unit 109 outputs the image file generated by the metadata processing unit 110.
  • the output destination is not particularly limited.
  • the output destination may be output to a display device that displays an image based on an image file or a printing device that prints an image based on an image file.
  • the image data may be output to a storage device that stores the image file or a storage medium (the nonvolatile memory 103) that stores the image file.
  • the nonvolatile memory 103 is an SD card, a compact flash (registered trademark), a flash memory, or the like.
  • the image recognition unit 113 executes recognition processing of a person, an object, a scene, or the like from an image signal input from the imaging unit 107 or an image file stored in the nonvolatile memory 103, and controls a result (scene information or subject information). Send to section 106.
  • the control unit 106 sends an instruction to the display unit 112 based on the result of the recognition processing, and gives an instruction to the imaging unit 107 to automatically release the shutter. Further, the control unit 106 performs processing such as notifying the metadata processing unit 110 of metadata to be stored in the image file. In the present embodiment, the description will be made assuming that the metadata and the property information have substantially the same meaning.
  • each functional block is configured by a separate circuit, but the processing (operation) of at least one functional block may be realized by executing a program by a CPU or the like.
  • the RAM 105 is a main storage unit of the image data storage device 101, and is mainly used as a temporary storage area for data when executing processing of each functional block.
  • the ROM 104 is a nonvolatile storage unit that stores a software program executed by each functional block. The program stored in the ROM 104 is transferred to the RAM 105, and is read and executed by each functional block.
  • the LAN control unit 114 is a communication interface connected to the LAN, and executes communication control of a wired LAN or a wireless LAN. For example, when the image data storage device 101 is connected to another device via a wired LAN, the LAN control unit 114 includes a PHY of transmission media and a MAC (transmission media control) hardware circuit.
  • the LAN control unit 114 corresponds to an Ethernet (registered trademark) NIC (Network Interface Card).
  • the LAN control unit 114 includes a controller that executes wireless LAN control such as IEEE802.11a / b / g / n / ac, an RF circuit, and an antenna. including.
  • This processing flow is started by a user operation. As described above, this processing flow may be executed by each circuit shown in FIG. 1 or may be executed by the CPU.
  • step S201 the image signal acquired by the imaging unit 107 is encoded by the encoding unit 111, and the encoded image signal is input to the metadata processing unit 110.
  • the image data storage device 101 can acquire image signals corresponding to a plurality of images. For example, when the imaging unit 107 performs burst shooting (continuous shooting), a plurality of continuously shot images are obtained.
  • each tile image is acquired as a plurality of images.
  • methods for dividing an image into tiles and coding include a method using tile coding specified in HEVC, a method for individually coding each divided area, and other methods. do not do.
  • the image data storage device 101 can also acquire one or more images from other devices in addition to the imaging unit 107.
  • the metadata processing unit 110 analyzes the metadata of the encoded image signal.
  • the metadata processing unit 110 acquires metadata corresponding to the image acquired in S201. For example, a case will be described where the metadata processing unit 110 acquires an image file conforming to ISOBMFF (ISO base media file format) as an encoded image signal. In this case, the metadata processing unit 110 acquires the property information stored in the item property box (iprp) in the image file and the property information referred to by the item in the image property association box.
  • ISOBMFF ISO base media file format
  • the metadata processing unit 110 acquires Exif data.
  • the metadata is not limited to Exif data, but may be XMP (Extensible Metadata Platform), MPEG-7 metadata, or the like. Further, for example, a part of the Exif data may be acquired in S203.
  • the image information recognized by the image recognition unit 113 is used as metadata is also conceivable.
  • the image recognizing unit 113 recognizes what kind of scene the image is, whether a specific subject is included in the image, and reports the result (scene recognition result or subject information) as metadata. You may make it acquire as.
  • metadata based on the result of the recognition processing can also be a target of the common metadata.
  • the metadata processing unit 110 determines whether or not one or more images already exist in the HEIF file, and if there is, proceeds to S205; otherwise, proceeds to S207.
  • step S205 the metadata processing unit 110 determines whether the metadata already stored in the HEIF file matches the metadata corresponding to the currently acquired image. If they match, the process proceeds to S206, and the metadata processing unit 110 associates the common metadata already stored in the HEIF file with the item ID (image identification information) of the currently acquired image.
  • the metadata processing stores the item ID of the currently acquired image and the metadata of the currently acquired image in association with the new HEIF file.
  • the metadata processing unit 110 stores the generated HEIF file in association with the item ID of the currently acquired image and the metadata of the currently acquired image.
  • whether to set all the metadata as a target of the common metadata or only a part thereof may be determined by an arbitrary setting. For example, only Exif data may be the target of the common metadata, only the metadata in the image property association box may be the target of the common metadata, or only the shooting date and time information is the common metadata. May be targeted.
  • the metadata processing unit 110 determines whether there is an unprocessed image. When there is no unprocessed image, the process proceeds to S209, and when there is an unprocessed image, the process proceeds to S201. Note that the determination in S208 can be made based on setting of shooting conditions (for example, the number of burst shots), setting of the number of images by the user, and other predetermined conditions.
  • the metadata processing unit 110 deletes metadata that is not common to two or more images from the storage area of the common metadata.
  • metadata that is not common to two or more images is deleted.
  • deletion may be determined using a threshold value other than two.
  • metadata corresponding to only a single image may be stored in the common metadata storage area.
  • Such a configuration is effective, for example, in a case where only one image is stored in the HEIF file, or in a use case where it is desired to quickly retrieve an image item in which specific metadata is recorded. That is, the information stored in the storage area of the common metadata can be used as an index of an image associated with the specific metadata.
  • the metadata processing unit 110 stores the common metadata in the HEIF file.
  • the timing of storing the common metadata in the HEIF file may be S206 or S207.
  • the metadata processing unit 110 deletes the metadata from the HEIF file. For example, when item property associations are grouped, the item property association for each item is unnecessary and is deleted.
  • a general and simple HEIF file is composed of a management data part 302 and a media data part 303.
  • the management data section 302 stores file management data including information on encoding of media data and information on a storage method in the HEIF file.
  • the media data section 303 stores data (media data) obtained by encoding content data (moving images, still images, and audio), metadata referring to external standards, and the like.
  • an encoded image, Exif data, and the like are stored in a box called MediaDataBox.
  • Reference numerals 316, 317, and 318 denote storage areas for respective images, and reference numerals 319, 320, and 321 denote storage areas for metadata defined by external standards such as Exif data.
  • the management data section 302 has a box structure, and each box is identified by a type identifier.
  • Box 304 is a FileTypeBox identified by the identifier ftyp. FileTypeBox is used to identify the type of file, and the file format is identified by a four-character identifier called brand.
  • the HEIF file is represented using a four-character identifier for identifying a brand such as mif1 or msf1.
  • Box 305 is called MetaBox and is identified by the identifier meta. Various boxes are further stored in the box 305.
  • the box 305 includes a box for storing untimed metadata such as an image (image item) and a metadata item related to the image (image item).
  • Box 306 is called the HandlerReferenceBox and is identified by the identifier hdrlr.
  • the structure and format of the content included in the MetaBox 305 are identified by the handler type in the HandlerReferenceBox.
  • a four-character identification code of pict is applied to the type of this handler.
  • Box 307 is called an ItemLocationBox and is identified by the identifier iloc.
  • information indicating the ID (identification information of each image) of each item and the storage location (location) are described.
  • the metadata processing unit 110 can know where the data of the item defined by the management data unit 302 exists by referring to this information.
  • Box 308 is called an ItemInformationBox and is identified by the identifier iinf.
  • an ItemInformationEntry is defined for each item, and information such as an item ID, an item type, and an item name is stored in this entry.
  • Box 309 is called an ItemReferenceBox and is identified by the identifier iref.
  • the ItemReferenceBox 309 associates items having a reference relationship, and stores information such as what type of reference the item is. When one item is configured by referring to a plurality of items, the item IDs to be referred to are described in order. For example, if the thumbnail image of item 1 is item 2, thmb indicating the thumbnail image is stored as the reference type, from_item_id stores the item ID indicating item 1, and to_item_id stores the item ID indicating item 2 .
  • one image is divided into a plurality of tiles and stored in the HEIF file
  • information indicating their relation is stored.
  • the entire image is item 1 and the plurality of tile images are item 2, item 3, item 4, and item 5.
  • information indicating that item 1 is an image formed by item 2, item 3, item 4, and item 5 is stored.
  • dig indicating a derived image is stored as a reference type, and an ID indicating item 1 is stored in from_item_id.
  • to_item_id stores all item IDs indicating item 2, item 3, item 4, and item 5. By doing so, information for reconstructing a plurality of image items divided into tiles as one image is represented.
  • ⁇ ItemReferenceBox ⁇ can also describe a reference relationship between metadata defined by an external standard such as Exif data and an image item.
  • cdsc is used as a reference type, and an item ID indicating Exif data is stored in from_item_id, and an item ID indicating an image item is stored in to_item_id.
  • Box 310 is called an ItemPropertyBox and is identified by an iprp identifier.
  • the box 310 stores property information applied to each item and a box indicating a method of configuring the property.
  • Box 311 is called ImagePropertyContainerBox and is identified by the identifier ipco.
  • a box for describing each property is stored in the box 311.
  • the box 311 has various boxes.
  • a box indicating an image size For example, a box indicating color information, a box indicating pixel information, a box storing HEVC parameters, and the like are stored as necessary. These file formats are common to the box structure defined in ISO / IEC23008-12.
  • the box 312 is called an ItemPropertyAssociationGroupBox and is identified by an ipag identifier.
  • Box 312 is defined by the structure shown in FIG.
  • a box 312 is a box for grouping the association of the ItemProperty for each item defined by the entry of the ItemPropertyAssociationBox defined in ISO / IEC23008-12.
  • ItemPropertyAssociationGroupBox items to which a common item property is applied can be grouped.
  • the grouped items can be identified by item_association_group_id.
  • the box 313 is called an ItemPropertyAssociatioBox and is identified by an ipma identifier. Box 313 is defined by the structure shown in FIG. When describing the configuration of the item property for each item, the group bit is set to 0, and the index of the property applied to the item is described in order.
  • part of the property information described for each item is described as a property group.
  • the box structure shown in FIG. 10 is defined in the ItemPropertyBox, but may be defined in the GroupListBox defined in ISO / IEC23008-12. As a result, the data amount when describing in the file format can be reduced.
  • box structure by defining the above-described box structure, it is possible to reduce the amount of data described in the image file.
  • another box structure may be used as long as metadata (properties) applied to two or more items (image items) are grouped and defined.
  • a data structure treated as an entry in a box may be defined and stored as another box.
  • Box 314 is called CommonItemPropertyBox and is identified by a cipr identifier.
  • Box 314 is defined by the structure shown in FIG. Box 314 is a box for indicating an item property that is commonly applied to all items.
  • properties (metadata) commonly applied to all items are easily extracted. That is, if the common metadata is stored using the CommonItemPropertyBox, it is possible to extract the common metadata without searching for all the entries of the ItemPropertyAssociationBox. Thereby, the search efficiency at the time of file access is improved.
  • @Box 315 is called CommonItemPropertyGroupBox and is identified by the identifier cipg.
  • Box 315 is defined by the structure shown in FIG. Box 315 is a box that allows identifying items to which common properties (metadata) have been applied. In other words, box 315 is a box that describes a list of items to which the common property applies.
  • the metadata processing unit 110 can specify an item to which a specific property is applied without confirming all entries of the ItemPropertyAssociationBox.
  • the efficiency of reading an image file, picking up only an item to which a specific property is applied, and performing the processing is improved, and the search efficiency at the time of file access is improved.
  • batch editing becomes easy when editing a file or the like.
  • the item property indicated by the property_index is a property indicating an image size
  • the metadata processing unit 110 can easily specify a plurality of images to which the common property is applied.
  • ItemPropertyBox 310 for storing a box representing a common property has the structure shown in FIG.
  • the box 310 specifically stores the ItemPropertyAssociationBox in the ItemPropertyBox identified by the identifier iprp. Further, an ItemPropertyContainerBox, an ItemPropertyAssociationGroupBox, a CommonItemPropertyBox and a CommonItemPropertyGroupBox are stored.
  • FIG. 14 is a description example of the ItemInformationBox 308 in FIG.
  • FIG. 15 is a description example of the ItemReferenceBox 309 in FIG.
  • Reference numerals 401, 402, 403, 404, and 405 shown in FIG. 4 are Exif data blocks.
  • the ItemInformationBox shown in FIG. 15 includes nine entries, and item_IDs 1, 2, 3, and 4 are image items. Also, item_ID 5 corresponds to 401, 6 corresponds to 402, 7 corresponds to 403, 8 corresponds to 404, and 9 corresponds to 405, respectively.
  • An ItemReferenceBox shown in FIG. 14 indicates a reference relationship of each item. It can be seen from FIGS. 14 and 15 that item_ID5 is an Exif data block relating to the image of item_ID1.
  • item_ID6 is an Exif data block for the image of item_ID2
  • item_ID7 is an Exif data block for the image of item_ID3.
  • Item_ID8 is an Exif data block related to the image of item_ID4.
  • item_ID9 refers to item_ID5, 6, 7, and 8. This description indicates that item_ID9 is an Exif data block obtained by extracting a common part from the Exif data blocks of item_ID5, 6, 7, and 8.
  • the Exif data block 401 shown in FIG. 4 has an Exif tag of an image width 410, an image height 411, an X resolution 412, a Y resolution 413, a maker 414, a model 415, a shooting date and time 416, an ISO sensitivity 417, and GPS information 418.
  • These tags are generated at the time of imaging. In addition, tags may be added, changed, or deleted by separate editing processing or the like.
  • the Exif data block 405 is a block that stores common data of the Exif data blocks 401, 402, 403, and 404.
  • the value 320 pixels is stored in the image width tag 450 in the Exif data block 405.
  • the value 240 pixels is stored in the image height tag 451 in the Exif data block 405.
  • 96 dpi indicated by the X resolutions 412, 422, 432, and 442 are stored in the area 452.
  • 96 dpi indicated by the Y resolutions 413, 423, 433, and 443 is stored in the area 453.
  • Company A indicated by manufacturer names 414, 424, 434, and 444 is stored in area 454.
  • 11 indicated by model names 415, 425, 435, and 445 is stored in the area 455.
  • the shooting date and time differ depending on the image.
  • 416 and 426 are on June 13, 2018, 436 is on June 14, 2018, and 446 is on June 15, 2018. Therefore, the shooting date and time are not stored in the Exif data block 405 obtained by extracting the common data of each Exif data block.
  • only the metadata common to all the image items is stored in the Exif data block 405.
  • the ISO sensitivities 417, 427, 437, and 447 are not stored in the Exif data block 405 because their values are different.
  • time information is omitted from the date and time.
  • the GPS information (position information) indicated by 418, 428, 438, and 448 is stored in the Exif data block 405 if the values do not completely match but fall within a predetermined range. Is done. This is because the GPS information 418, 428, 438, and 448 match as information indicating a specific location even if they do not completely match. In other words, the GPS information 418, 428, 438, and 448 all indicate the location of Company A, and the locations derived by the geocode or the like are all Company A, and coincide with each other.
  • the metadata processing unit 110 of this embodiment handles a plurality of pieces of GPS information within a specific range as common metadata.
  • some types of metadata for example, GPS information
  • which range is shared by the user may be specified separately by the user, or may be appropriately determined according to the setting of a specific system.
  • all the GPS information on the premises of Company A is treated as common metadata, and the GPS information stored in the GPS information 458 is a representative point of Company A represented by a geocode or the like. Is represented. For example, when treating GPS information in Tokyo as common GPS information, the position information of a representative point in Tokyo is stored in the GPS information 458.
  • the HEIF file of the present embodiment does not store information indicating at what granularity the GPS information is handled, it may be stored in the file.
  • FIG. 4 shows an example in which data common to all Exif data blocks of each image is stored in a common Exif data block.
  • an Exif data block common to two or more Exif data blocks may be stored in a common Exif data block.
  • an Exif data block to be referred to may be defined in the ItemReferenceBox shown in FIG.
  • the shooting date and time indicated by 416 and 426 are also included in the extraction target because they become common Exif data.
  • the metadata processing unit 110 extracts all the data common to the Exif data blocks corresponding to the respective images.
  • the metadata processing unit 110 may extract the common data only for specific Exif data. You may do it. For example, a determination may be made as to whether only the shooting date and time are common. Further, for example, the commonality of the shooting date and time may be determined only for images whose shooting date and time fall within a specific range. As described above, the commonality may be determined only for a specific type of metadata, and it should be noted that there are various variations in how to determine the specific type.
  • the image data storage device 101 of the present embodiment converts common metadata from metadata (property information) associated with each of a plurality of images stored in an image file (HEIF file) conforming to the image file format. Extract. Then, the image data storage device 101 stores the extracted metadata as common metadata in the metadata area. Further, the image data storage device 101 may store, in the HEIF file, information indicating whether the metadata is common metadata common to all images or common metadata to a part of a plurality of images. . If the common metadata is common to some of the images, the item ID (image identification information) of the some of the images is stored.
  • the image data storage device 101 also extracts common metadata from metadata for each image from metadata (for example, Exif data) based on an external standard and holds the extracted metadata as common metadata.
  • metadata for example, Exif data
  • the processing load when handling a plurality of images stored in the HEIF file can be reduced.
  • the processing load can be reduced when a specific process is performed only on one or more images associated with specific metadata among a plurality of images stored in the HEIF file.
  • a process of searching for a specific image from a plurality of images stored in the HEIF file can be performed with low load.
  • the size of the image file can be reduced.
  • FIG. 5 shows the configuration of the image data storage device 501 of the present embodiment.
  • the image data storage device 501 in FIG. 5 is a device having a file editing function, such as a server device that performs processing using a Web service such as a tablet PC, a desktop PC, or a cloud.
  • the image data storage device 501 has a system bus 502, and has a LAN control unit 503, a user interface 504, a display unit 505, and an image recognition unit 506. Further, it has a storage unit 507, a temporary storage unit 508, and a CPU 509, each of which has a hardware configuration connected to the system bus 502.
  • the system bus 502 transmits data between connected blocks.
  • the programs executed by the CPU 509 include an OS (Operating System), drivers, and applications.
  • the CPU 509 performs overall control of the image data storage device 501, and performs processing such as changing the display on the display unit 505 and instructing connection to the LAN control unit 503 based on an instruction input by the user from the user interface 504. Do.
  • the program executed by the CPU 509 is stored in the storage unit 507 or received through the LAN control unit 503, and executes encoding or decoding processing of the input video or input image.
  • the CPU 509 When a reproduction process of a video file or an image file is performed by a user operation, the CPU 509 performs decoding, and the decoded data is reproduced as a video or an image on the display unit 505.
  • the programs executed by the CPU 509 include programs related to data processing in a format conforming to a predetermined file format standard relating to video or images.
  • the data processing may include a format process for storing the metadata in the image file, an analysis process of the metadata stored in the image file, and an editing process of the image file.
  • the CPU 509 When handling an HEIF file, the CPU 509 performs processing in a format conforming to the HEIF.
  • the data processing is not limited to the HEIF, but may be a video file format defined by MPEG or the like or a still image format such as JPEG.
  • the storage unit 507 can be realized by a hard disk, an SD card, a compact flash, a flash memory, or the like.
  • the image recognition unit 506 recognizes a person, an object, a scene, or the like from the image or video input from the CPU 509, and sends the result to the CPU 509.
  • the temporary storage unit 508 is a main storage unit of the image data storage device 501, and is mainly used as a temporary storage area for data when executing processing of each functional block.
  • the storage unit 507 is a nonvolatile storage unit that stores a software program executed by each functional block. The program stored in the storage unit 507 is transferred to the temporary storage unit 508, and is read and executed by each functional block.
  • the LAN control unit 503 is a communication interface connected to the LAN, and executes communication control of a wired LAN or a wireless LAN.
  • each functional block is configured by a separate circuit, but one or more functional blocks may be executed by the CPU 509. Further, the function shown in FIG. 5 may be divided and executed by a plurality of devices.
  • This processing flow is typically started in response to an input of an editing instruction from a user.
  • step S601 the CPU 509 determines the value, range, type, and the like of the metadata to be extracted from among the metadata associated with each of the plurality of images stored in the image file (HEIF file) conforming to the image file format. To determine. This determination may be made based on a user designation from the user interface, or may be made based on a predetermined system setting or the like. Also, a plurality of decisions may be made.
  • the CPU 509 acquires the metadata of each of the plurality of images stored in the HEIF file.
  • the CPU 509 is not limited to one HEIF file, and may process a plurality of HEIF files.
  • the processing target is not limited to the HEIF file, but may be a JPEG file or the like.
  • the CPU 509 may acquire only the metadata recorded in the HEIF file, or may perform the editing process performed by the image data storage device 501 or the metadata newly generated by the process of the image recognition unit 506 as the acquisition target. It is good.
  • step S603 the CPU 509 determines whether the value of the metadata acquired in step S602 matches the value or range of the metadata determined in step S601. If they match, the process proceeds to S604, and if they do not match, the process proceeds to S605.
  • step S604 the CPU 509 stores an item ID for identifying a matching image in the common metadata storage area. If a plurality of image files are to be processed, an item ID that can be distinguished from other image items is stored in one newly generated HEIF file.
  • step S605 the CPU 509 determines whether the processing has been completed for all the images for which metadata is to be acquired. If it has been completed, the process proceeds to S606, and if it has not been completed, the process proceeds to S602 and the process is repeated.
  • step S606 the CPU 509 deletes metadata that is not common to other images. That is, the CPU 509 does not store metadata applied only to a single image as common metadata.
  • step S607 the CPU 509 stores the common metadata in the HEIF file. At this time, based on the common metadata and its image ID, the common metadata is stored in the HEIF file according to the format shown in FIGS.
  • metadata corresponding to only a single image is not stored as common metadata, but metadata that is common only to a number of images smaller than a predetermined threshold is not stored as common metadata. You may do it.
  • metadata corresponding to only a single image may be stored in an area for storing common metadata.
  • Such a configuration is effective, for example, in a case where only one image is stored in the HEIF file, or in a use case where it is desired to quickly retrieve an image item in which specific metadata is recorded. That is, the information stored in the storage area of the common metadata can be used as an index of an image associated with the specific metadata.
  • the image data storage device 501 extracts common metadata from a generated image file, and newly generates an HEIF file storing the common metadata.
  • an image file storing common metadata can be generated from an image file not recorded as common metadata.
  • the image data storage device 501 according to the present embodiment extracts common metadata from a plurality of images (including videos) stored in a plurality of image files (including video files), and stores an image in which common metadata is stored. Create a new file.
  • information indicating whether the metadata is common metadata common to all image groups or common metadata to a part of the image group may be stored.
  • the common metadata is partially common
  • the item ID of the image corresponding to the common metadata is further stored.
  • the image data storage device 101 also extracts common metadata from metadata for each image from metadata (for example, Exif data) based on an external standard and holds the extracted metadata as common metadata.
  • metadata for example, Exif data
  • the processing load can be reduced when a specific process is performed only on one or more images associated with specific metadata among a plurality of images stored in the HEIF file.
  • a process of searching for a specific image from a plurality of images stored in the HEIF file can be performed with low load.
  • the size of the image file can be reduced.
  • the present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program.
  • This processing can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

画像データ格納装置１０１は、複数の画像を取得し（Ｓ２０１）、複数の画像のうち２以上の画像において共通するメタデータを特定し（Ｓ２０５）、複数の画像をイメージファイルフォーマットに従った画像ファイルに格納すると共に、共通するメタデータを当該画像ファイルに格納する（Ｓ２１０）。

Description

画像データ格納装置、画像データ格納方法、及び、プログラム
　本発明は、画像データの格納方法に関する。
　ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅｓ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）では、単一の静止画像、複数の静止画像、又は、画像シーケンス（静止画像のバースト等）を１つのファイルに格納するための標準を開発している。本標準は、ＨＥＩＦ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）と呼ばれ、画像と画像シーケンスの交換、編集、及び表示を可能とする。またＨＥＩＦは、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ：ＩＳＯ　Ｂａｓｅ　Ｍｅｄｉａ　Ｆｉｌｅ　Ｆｏｒｍａｔ）で定められるツールを基に拡張された格納フォーマットである。ＨＥＩＦは、ＩＳＯ／ＩＥＣ２３００８－１２において「Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ」という名称で標準化が進行している。またＨＥＩＦは、メタデータを含む規範的な構造を定めており、メタデータと画像を関連付けする方法、特定の形式のメタデータの構成について定めている。特許文献１には、ＨＥＩＦに準拠した画像ファイルに派生画像を格納することが記載されている。
　一方、カメラやスマートフォン等の画像生成装置は近年様々な機能を有しており、撮影日時や、画像サイズ、画像品質だけでなく、撮影時の情報や、撮影した画像データのメタデータなど様々な情報を生成可能となっている。例えば画像データを撮影した位置情報や、画像データの被写体やシーンが何であるかといったことを識別する情報、また、撮影時の撮像モード等画像データに付随する多様な情報が画像データとともに生成される。これら画像データに関する情報はメタデータとしてＨＥＩＦファイルに格納できる。
米国特許出願公開第２０１６／３７１２６５号明細書
　所定の画像フォーマットに応じた画像ファイル（例えばＨＥＩＦファイル）内に格納される複数の画像のうち２以上の画像が共通のメタデータに対応する場合において、その処理を効率的に行うことが困難であった。
　つまり、ＨＥＩＦファイルに格納される２以上の画像に同じメタデータが適用される場合であってもそのメタデータは画像毎に格納されていた。そのため、ＨＥＩＦファイルを処理する装置は、各画像のメタデータやその構成情報を順に確認しなければ各画像のメタデータが共通であることを確認できなかった。したがって、ＨＥＩＦファイル内の複数の画像がすべて共通なメタデータに対応する場合や、複数の画像のうちの２以上が共通のメタデータに対応している場合に、各画像に対して一括処理を行うときの処理負荷が大きかった。
　また、例えば１つの画像をタイルに分割し、各タイル画像を派生画像として格納する場合、Ｅｘｉｆデータ等のメタデータを派生画像ごとに定義すると、ファイル生成負荷やファイルサイズの観点から効率が悪かった。なおＥｘｉｆはＥｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔの略である。つまり、各タイル画像のメタデータ（例えば画像サイズ、カラー情報、及び符号化情報等）は共通であることが多いにもかかわらず、従来は、複数の（派生）画像ごとにメタデータが定義されていたため、効率的でなかった。
　本発明の目的は、所定のファイルフォーマットに応じた画像ファイルに格納される複数の画像のうち２以上の画像が共通のメタデータに対応する場合において、その画像ファイルに関する処理を効率的に行えるようにすることである。
　上記の課題を解決するため、本発明の画像データ格納装置は、例えば以下の構成を有する。すなわち、複数の画像をイメージファイルフォーマットに従った画像ファイルに格納する画像データ格納装置であって、前記複数の画像を取得する取得手段と、前記取得手段により取得された前記複数の画像のうち２以上の画像において共通するメタデータを特定する特定手段と、前記取得手段により取得された前記複数の画像を前記イメージファイルフォーマットに従った画像ファイルに格納すると共に、前記特定手段により特定されたメタデータを共通メタデータとして前記イメージファイルフォーマットに従った画像ファイルに格納する格納手段と、前記格納手段により前記複数の画像と前記メタデータが格納された画像ファイルを出力する出力手段と、を有する。
　本発明によれば、所定のファイルフォーマットに応じた画像ファイル内に格納される複数の画像のうち２以上の画像が共通のメタデータに対応する場合において、その画像ファイルに関する処理を効率的に行うことができる。
実施形態に係る画像データ格納装置の構成を示した図。 実施形態に係る画像データ格納装置の処理フローを示した図。 実施形態に係るファイルフォーマットの一例を示した図。 実施形態に係るＥＸＩＦデータの一例を示した図。 実施形態に係る画像データ格納装置の構成を示した図。 実施形態に係る画像データ格納装置の処理フローを示した図。 実施形態に係るファイルフォーマット内の共通アイテムプロパティＢｏｘ構造の一例を示した図。 実施形態に係るイメージファイルフォーマット内の共通アイテムプロパティグループＢｏｘ構造の一例を示した図。 実施形態に係るイメージファイルフォーマット内の共通アイテムプロパティＢｏｘ構造の一例を示した図。 実施形態に係るイメージファイルフォーマット内の共通アイテムプロパティグループＢｏｘ構造の一例を示した図。 実施形態に係るイメージファイルフォーマット内のアイテムプロパティＢｏｘ構造の一例を示した図。 実施形態に係るイメージファイルフォーマット内のアイテムプロパティアソシエーションＢｏｘ構造の一例を示した図。 実施形態に係るイメージファイルフォーマット内のアイテムプロパティアソシエーショングループＢｏｘ構造の一例を示した図。 実施形態に係るイメージファイルフォーマット内のアイテムリファレンスＢｏｘの一例を示した図。 実施形態に係るイメージファイルフォーマット内のアイテムインフォメーションＢｏｘの一例を示した図。
　＜第１実施形態＞
　本発明の第１実施形態について、図面を参照して説明する。なお、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。
　図１は、本実施形態の画像データ格納装置１０１の構成を示す。図１の画像データ格納装置１０１は、カメラやスマートフォン、タブレットＰＣ等の撮影機能を有した装置である。なお、本実施形態の画像データ格納装置１０１は、イメージファイルフォーマットに準拠した画像ファイルを生成するファイル生成装置として機能する。画像データ格納装置１０１はシステムバス１０２を有し、不揮発メモリ１０３、ＲＯＭ１０４、ＲＡＭ１０５、制御部１０６、撮像部１０７、操作部１０８を有する。画像データ格納装置１０１は、さらに、ファイル出力部１０９、メタデータ処理部１１０、符号化部１１１、表示部１１２、画像認識部１１３、ＬＡＮ制御部を有し、それぞれがシステムバス１０２に接続されるハードウェア構成となっている。システムバス１０２は接続する各ブロック間でデータを伝達する。なお、本実施形態では、主に「画像」という言葉を用いるが、これは静止画に限定することを意図しない。
　制御部１０６が実行するプログラムにはＯＳ（オペレーティングシステム）やドライバ、アプリケーション等が含まれる。制御部１０６は画像データ格納装置１０１の全体制御を行い、ユーザが操作部１０８より入力した指示を基に、表示部１１２の表示を変更したり、撮像部１０７へ撮影の指示を行ったり、ＬＡＮ制御部１１４への接続指示を行ったりといった処理を行う。撮像部１０７はＣＭＯＳセンサー等の画像センサーを有し、制御部１０６からの指示により画像信号を入力する。入力された画像信号は符号化部１１１によってデジタルデータに符号化される。また符号化部１１１は不揮発メモリ１０３に格納された画像ファイルを復号化する。画像データ格納装置１０１は、典型的には、再生処理に関するユーザ操作に応じて、画像ファイルの復号化を行い、復号化された画像データを表示部１１２に表示させる。
　メタデータ処理部１１０は、符号化部１１１によって符号化されたデータを取得し、所定のファイルフォーマット（例えばＨＥＩＦ）に準拠した画像ファイルを生成する。なお、メタデータ処理部１１０は、ＨＥＩＦに限らず、例えば、ＭＰＥＧにおいて規定される他の動画ファイルフォーマットやＪＰＥＧ等のフォーマットに準拠したファイルを生成することもできる。また、メタデータ処理部１１０は、符号化部１１１に限らず、他の装置から符号化データを取得し、画像ファイルを生成することもできる。
　ファイル出力部１０９はメタデータ処理部１１０により生成された画像ファイルを出力する。出力先は特に限定しないが、例えば、画像ファイルに基づいて画像を表示する表示装置、又は、画像ファイルに基づく画像を印刷する印刷装置などに出力されるようにしても良い。また、画像ファイルを格納するストレージ装置、又は、画像ファイルを格納するストレージメディア（不揮発メモリ１０３）に出力されるようにしても良い。不揮発メモリ１０３はＳＤカード、コンパクトフラッシュ（登録商標）、又はフラッシュメモリ等である。画像認識部１１３は撮像部１０７から入力された画像信号や、不揮発メモリ１０３に格納された画像ファイルから人物や物体、シーン等の認識処理を実行し、その結果（シーン情報や被写体情報）を制御部１０６へ送る。制御部１０６は認識処理の結果を基に表示部１１２へ指示を送ったり、撮像部１０７へ自動でシャッターを切ったりなどの指示を行う。また制御部１０６は、メタデータ処理部１１０に対し、画像ファイルに格納するメタデータを通知する等の処理を行う。なお、本実施形態においてメタデータとプロパティ情報はほぼ同じ意味であるものとして説明する。
　なお、本実施形態では各機能ブロックを別回路による構成としたが、少なくとも１つの機能ブロックの処理（動作）がＣＰＵ等によるプログラムの実行により実現されるようにしてもよい。
　ＲＡＭ１０５は、画像データ格納装置１０１の主記憶部であって、主に、各機能ブロックの処理実行時にデータの一時記憶領域として使用される。ＲＯＭ１０４は、各機能ブロックが実行するソフトウェアプログラムが格納される不揮発性の記憶部である。ＲＯＭ１０４に格納されるプログラムは、ＲＡＭ１０５に転送され、各機能ブロックによって読み出されて実行される。ＬＡＮ制御部１１４は、ＬＡＮに接続する通信インターフェースであり、有線ＬＡＮもしくは無線ＬＡＮの通信制御を実行する。例えば、画像データ格納装置１０１が有線ＬＡＮによって他の装置と接続する場合、ＬＡＮ制御部１１４は伝送メディアのＰＨＹ及びＭＡＣ（伝送メディア制御）ハードウェア回路を含む。この場合、ＬＡＮ制御部１１４はＥｔｈｅｒｎｅｔ（登録商標）のＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）に相当する。また、画像データ格納装置１０１が無線ＬＡＮにより他の装置と接続する場合、ＬＡＮ制御部１１４は、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ等の無線ＬＡＮ制御を実行するコントローラ、ＲＦ回路、アンテナを含む。
　次に、イメージファイルフォーマット（ＨＥＩＦ）に準拠した画像ファイルの生成処理フローについて、図２を参照して説明する。本処理フローはユーザ操作により開始される。上述の通り、本処理フローは図１に示す各回路が実行しても良いし、ＣＰＵが実行しても良い。
　Ｓ２０１において、撮像部１０７により取得された画像信号は符号化部１１１によって符号化され、符号化済みの画像信号がメタデータ処理部１１０へ入力される。なお画像データ格納装置１０１は複数の画像に対応する画像信号を取得できる。例えば、撮像部１０７がバースト撮影（連続撮影）をした場合は、連続的に撮影された複数の画像が取得される。また、撮像部１０７による撮影画像が符号化部１１１によってタイルに分割されて符号化された場合は、各タイル画像が複数の画像として取得される。なお、画像をタイルに分割して符号化する方法には、ＨＥＶＣにおいて規定されているタイル符号化を用いる方法、各分割領域を個別に符号化する方法、その他の方法があり、その方法は限定しない。また、画像データ格納装置１０１は、撮像部１０７のみならず、他の装置から１又は複数の画像を取得することもできる。
　Ｓ２０２において、メタデータ処理部１１０は、符号化済みの画像信号のメタデータを解析する。次にＳ２０３において、メタデータ処理部１１０は、Ｓ２０１において取得された画像に対応するメタデータを取得する。例えば、メタデータ処理部１１０が、符号化済み画像信号として、ＩＳＯＢＭＦＦ（ＩＳＯベースメディアファイルフォーマット）に準拠する画像ファイルを取得した場合について説明する。この場合、メタデータ処理部１１０は、当該画像ファイル内のアイテムプロパティボックス（ｉｐｒｐ）に格納されるプロパティ情報や、イメージプロパティアソシエーションボックスにおいてアイテムが参照するプロパティ情報を取得する。
　また、メタデータ処理部１１０は、例えば、符号化済み画像信号として、Ｅｘｉｆデータを含む画像ファイルを取得した場合、Ｅｘｉｆデータを取得する。なおＥｘｉｆデータに限らず、ＸＭＰ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍｅｔａｄａｔａ　Ｐｌａｔｆｏｒｍ）及びＭＰＥＧ－７のメタデータ等でも良い。また、例えばＥｘｉｆデータの一部がＳ２０３において取得されるようにしても良い。
　また、画像認識部１１３によって認識された画像情報をメタデータとするケースも考えられる。例えば、画像認識部１１３は、画像のシーンがどのようなシーンであるか、特定の被写体が画像に含まれているかといったことを認識し、その結果（シーンの認識結果や被写体情報）をメタデータとして取得するようにしても良い。そして、認識処理の結果に基づくメタデータも共通メタデータの対象となりうる。
　Ｓ２０４において、メタデータ処理部１１０は、すでにＨＥＩＦファイルに１以上の画像が存在するか判定し、存在する場合はＳ２０５へ進み、存在しない場合はＳ２０７へ進む。Ｓ２０５において、メタデータ処理部１１０は、すでにＨＥＩＦファイルに格納されているメタデータと、今回取得した画像に対応するメタデータが一致しているか判定する。一致している場合はＳ２０６へ進み、メタデータ処理部１１０は、すでにＨＥＩＦファイルに格納済みの共通メタデータに今回取得した画像のアイテムＩＤ（画像の識別情報）を対応付ける。一方、メタデータ処理部１１０は、Ｓ２０４からＳ２０７に進んだ場合は、新規のＨＥＩＦファイルに、今回取得した画像のアイテムＩＤ、及び、今回取得した画像のメタデータを対応付けて格納する。また、メタデータ処理部１１０は、Ｓ２０５からＳ２０７に進んだ場合は、生成済みのＨＥＩＦファイルに、今回取得した画像のアイテムＩＤ及び今回取得した画像のメタデータを対応付けて格納する。
　なお、メタデータをすべて共通メタデータの対象とするか、一部のみとするかは任意の設定によって決定されるようにしても良い。例えば、Ｅｘｉｆデータのみが共通メタデータの対象となっても良いし、イメージプロパティアソシエーションボックス内のメタデータのみが共通メタデータの対象となっても良いし、撮影日時の情報のみが共通メタデータの対象となっても良い。
　Ｓ２０８において、メタデータ処理部１１０は、未処理画像の有無を判定する。未処理画像が存在しない場合はＳ２０９へ進み、未処理画像が存在する場合はＳ２０１へ進む。なお、Ｓ２０８の判定は、撮影条件の設定（例えばバースト撮影の枚数）や、ユーザによる画像数の設定や、その他の予め決定された条件などに基づいて行われ得る。
　Ｓ２０９において、メタデータ処理部１１０は、２以上の画像において共通ではないメタデータを、共通メタデータの格納領域から削除する。なお、本実施形態では２以上の画像において共通でないメタデータを削除することとしたが、２以外の閾値などによって削除の判定をするようにしても良い。
　また、場合によっては、単一の画像にのみ対応するメタデータが、共通メタデータの格納領域に格納されるようにしても良い。このような構成は、例えば、ＨＥＩＦファイルに画像が１つしか格納されない場合や、特定のメタデータが記録されている画像アイテムをすばやく取り出したいといったユースケースにおいて有効である。つまり、共通メタデータの格納領域に格納される情報は、特定のメタデータが対応付けられている画像のインデックスとして利用できる。
　次にＳ２１０においてメタデータ処理部１１０は、共通メタデータをＨＥＩＦファイルに格納する。なお、共通メタデータをＨＥＩＦファイルに格納するタイミングは、Ｓ２０６またはＳ２０７であっても良い。
　なお、ＨＥＩＦファイルに共通メタデータを格納することで、各画像のメタデータが不要となる場合、メタデータ処理部１１０はそのメタデータをＨＥＩＦファイルから削除する。例えばアイテムプロパティアソシエーションをグループ化した場合は、それぞれのアイテム毎のアイテムプロパティアソシエーションは不要となるため削除される。
　次に画像データ格納装置１０１によって生成されるＨＥＩＦファイルのフォーマットの構成例を、図３を参照して説明する。３０１はＨＥＩＦファイル全体を示す。一般的でシンプルな形式のＨＥＩＦファイルは３０２に示す管理データ部と、３０３に示すメディアデータ部で構成される。管理データ部３０２はメディアデータの符号化に関する情報や、ＨＥＩＦファイルへの格納方法に関する情報などを含んだファイル管理データが格納される。メディアデータ部３０３はコンテンツデータ（動画像、静止画像及び音声）を符号化したデータ（メディアデータ）や外部規格を参照するメタデータ等が格納される。メディアデータ部３０３内には、ＭｅｄｉａＤａｔａＢｏｘというボックス内に符号化された画像やＥｘｉｆデータ等が格納される。３１６、３１７、３１８は各画像の格納領域を示しており、３１９、３２０、３２１はＥｘｉｆデータ等の外部規格で定義されたメタデータの格納領域を示している。管理データ部３０２はボックス構造となっており、各ボックスはｔｙｐｅ識別子によって識別される。ボックス３０４は識別子ｆｔｙｐにより識別されるＦｉｌｅＴｙｐｅＢｏｘである。ＦｉｌｅＴｙｐｅＢｏｘはファイルの種類を識別するために用いられ、ファイル形式はｂｒａｎｄと呼ばれる４文字の識別子によって識別される。ＨＥＩＦファイルはｍｉｆ１やｍｓｆ１等のｂｒａｎｄを識別する４文字の識別子を用いて表される。ボックス３０５はＭｅｔａＢｏｘと呼ばれ、識別子ｍｅｔａにより識別される。ボックス３０５内にはさらに様々なボックスが格納される。例えば、画像（画像アイテム）や画像（画像アイテム）に関連したメタデータアイテム等のアンタイムドなメタデータを格納するボックスがボックス３０５には含まれる。ボックス３０６はＨａｎｄｌｅｒＲｅｆｅｒｅｎｃｅＢｏｘと呼ばれ、識別子ｈｄｌｒにより識別される。ＨａｎｄｌｅｒＲｅｆｅｒｅｎｃｅＢｏｘ内のハンドラタイプによって、ＭｅｔａＢｏｘ３０５に含まれるコンテンツの構造やフォーマットが識別される。ＨＥＩＦファイルにおいては本ハンドラのタイプにｐｉｃｔという４文字の識別コードが適用される。ボックス３０７はＩｔｅｍＬｏｃａｔｉｏｎＢｏｘと呼ばれ、識別子ｉｌｏｃにより識別される。ＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ３０７には各アイテムのＩＤ（各画像の識別情報）や格納場所（ロケーション）を示す情報が記述される。メタデータ処理部１１０は、この情報を参照することで、管理データ部３０２で定義されたアイテムのデータがどこに存在するかを知ることができる。ボックス３０８はＩｔｅｍＩｎｆｏｍａｔｉｏｎＢｏｘと呼ばれ、識別子ｉｉｎｆにより識別される。ボックス３０８内にはアイテム毎にＩｔｅｍＩｎｆｏｒｍａｔｉｏｎＥｎｔｒｙが定義され、このエントリー内にアイテムＩＤやアイテム種別、アイテム名称等の情報が格納される。ボックス３０９はＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘと呼ばれ、識別子ｉｒｅｆにより識別される。ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ３０９は、参照関係のあるアイテムの関連付けを行い、どのような参照タイプであるかといった情報が格納される。１つのアイテムが複数のアイテムを参照して構成される場合は、参照するアイテムＩＤが順に記述される。例えば、アイテム１のサムネイル画像がアイテム２である場合、参照タイプとしてサムネイル画像を示すｔｈｍｂが格納され、ｆｒｏｍ＿ｉｔｅｍ＿ｉｄにはアイテム１を示すアイテムＩＤが、ｔｏ＿ｉｔｅｍ＿ｉｄにはアイテム２を示すアイテムＩＤが格納される。
　また、１枚の画像を複数のタイルに分割してＨＥＩＦファイルに格納する場合には、それらの関連を示す情報が格納される。例えば、全体画像をアイテム１とし、複数のタイル画像をアイテム２、アイテム３、アイテム４、及びアイテム５とする。この場合、アイテム１は、アイテム２、アイテム３、アイテム４、及びアイテム５によって形成される画像であることがわかる情報が格納される。具体的には、参照タイプとして派生画像を示すｄｉｍｇが格納され、ｆｒｏｍ＿ｉｔｅｍ＿ｉｄにはアイテム１を示すＩＤが格納される。さらにｔｏ＿ｉｔｅｍ＿ｉｄにはアイテム２、アイテム３、アイテム４、及びアイテム５を示すアイテムＩＤがすべて格納される。このようにすることでタイルに分割した複数の画像アイテムを１つの画像として再構成するための情報が表される。
　また、ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘは、Ｅｘｉｆデータ等の外部規格で定義されたメタデータと画像アイテムとの参照関係を記述することもできる。この場合、参照タイプとしてｃｄｓｃが用いられ、ｆｒｏｍ＿ｉｔｅｍ＿ｉｄにＥｘｉｆデータを示すアイテムＩＤが、ｔｏ＿ｉｔｅｍ＿ｉｄに画像アイテムを示すアイテムＩＤがそれぞれ格納される。ボックス３１０はＩｔｅｍＰｒｏｐｅｒｔｙＢｏｘと呼ばれ、ｉｐｒｐ識別子により識別される。ボックス３１０には各アイテムに適用するプロパティ情報や、そのプロパティの構成方法について示すボックスが格納される。ボックス３１１はＩｍａｇｅＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘと呼ばれ、識別子ｉｐｃｏにより識別される。ボックス３１１内には各プロパティを記述するためのボックスが格納される。ボックス３１１は様々なボックスを有しており、例えば画像のサイズを示すボックスや、カラー情報を示すボックス、ピクセル情報を示すボックス、ＨＥＶＣパラメータを格納するボックス等が必要に応じて格納される。これらファイルフォーマットはＩＳＯ／ＩＥＣ２３００８－１２で規定されているボックス構造と共通である。
　ボックス３１２はＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＧｒｏｕｐＢｏｘと呼ばれ、ｉｐａｇ識別子により識別される。ボックス３１２は図７で示す構造で定義される。ボックス３１２はＩＳＯ／ＩＥＣ２３００８－１２において規定されているＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＢｏｘのエントリーで定義するアイテム毎のＩｔｅｍＰｒｏｐｅｒｔｙの関連付けをグループ化するためのボックスである。本ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＧｒｏｕｐＢｏｘを用いることで、共通のアイテムプロパティが適用されるアイテムをグループ化できる。グループ化されたアイテム群はｉｔｅｍ＿ａｓｓｏｃｉａｔｉｏｎ＿ｇｒｏｕｐ＿ｉｄによって識別可能である。
　ボックス３１３はＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏＢｏｘと呼ばれ、ｉｐｍａ識別子により識別される。ボックス３１３は図８で示す構造で定義される。アイテム毎にアイテムプロパティの構成を記述する場合はｇｒｏｕｐビットを０に設定して、そのアイテムに適用されるプロパティのインデックスが順に記述される。
　一方で、ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＧｒｏｕｐＢｏｘを用いてグループ化されたアイテムについては、ｇｒｏｕｐビットを１に設定することで、アイテムグループに対するプロパティ構成が記述されることがわかるようにする。そしてｉｔｅｍ＿ａｓｓｏｃｉａｔｉｏｎ＿ｇｒｏｕｐ＿ＩＤにより識別されるグループに対して適用するプロパティ構成が順に記述される。こうすることで、アイテム毎にアイテム構成をすべて記述していた従来の構造から、共通のプロパティを適用するアイテムについてはグループ化して記述できるようになる。これにより、ファイルフォーマットに記述されるデータ量を削減できる。なお本実施形態では図７に示すボックスを新しく定義した。しかし、ＩＳＯ／ＩＥＣ２３００８－１２において規定されているＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘを利用して、それに合わせて図８のボックスを拡張することによって、同様にグループ化して記述をする方法を採用しても良い。
　本実施形態で示した図７のボックス構造では使用するビット数を削減できるような構造としたため、より効率的な適用が可能となる。一方で既存のＥｎｔｉｔｙＴｏＧｒｏｕｐＢｏｘを利用しても、アイテムのグループ化を定義するという目的を達成することは可能である。この場合は新たにｇｒｏｕｐｉｎｇ＿ｔｙｐｅを定義することとなる。本実施形態ではアイテムプロパティに関するグループ化であるためＩｔｅｍＰｒｏｐｅｒｔｙＢｏｘ内にアイテムのグルーピングを定義する構成とした。以上、本実施形態では上記方法でアイテム構成を効率的に記述する方法を示したが、変形例として、図９及び図１０で示すボックス構造を採用しても良い。これはアイテムをグループ化するのではなく、適用するアイテムプロパティをグループ化して記述する方法である。つまり、この方法では、アイテム毎に記載するプロパティ情報の一部がプロパティグループとして記述される。また本実施形態では図１０に示すボックス構造をＩｔｅｍＰｒｏｐｅｒｔｙＢｏｘ内に定義したが、ＩＳＯ／ＩＥＣ２３００８－１２において規定されるＧｒｏｕｐＬｉｓｔＢｏｘ内に定義されるようにしても良い。これにより、ファイルフォーマットに記述する際のデータ量を削減できる。
　本実施形態では以上のボックス構造を定義することにより、画像ファイルに記述されるデータ量を削減することを可能とした。しかしながら、２以上のアイテム（画像アイテム）に適用されるメタデータ（プロパティ）をグループ化して定義する方法であれば別のボックス構造を用いてもよい。また、ボックス内のエントリーとして扱ったデータ構造を別のボックスとして定義して格納してもよい。ボックス３１４はＣｏｍｍｏｎＩｔｅｍＰｒｏｐｅｒｔｙＢｏｘと呼ばれ、ｃｉｐｒ識別子により識別される。ボックス３１４は図１１で示す構造により定義される。ボックス３１４はすべてのアイテムに共通で適用されるアイテムプロパティを示すためのボックスである。ボックス３１４を用いることによって、すべてのアイテムに共通で適用されるプロパティ（メタデータ）が容易に抽出される。すなわち、ＣｏｍｍｏｎＩｔｅｍＰｒｏｐｅｒｔｙＢｏｘを利用して共通メタデータを格納すれば、ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＢｏｘのエントリーをすべて検索せずに共通メタデータを抽出することが可能となる。これにより、ファイルアクセス時の検索効率が向上する。
　なお、本実施形態ではすべてのアイテムに共通で適用されるプロパティを示すボックスを定義することで、検索効率を向上する例を説明した。しかし、この例に限らず、ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ内に定義される各アイテムプロパティのボックス内にそのようなすべてのアイテムに適用することが識別可能な情報を格納しても良い。
　ボックス３１５はＣｏｍｍｏｎＩｔｅｍＰｒｏｐｅｒｔｙＧｒｏｕｐＢｏｘと呼ばれ、識別子ｃｉｐｇにより識別される。ボックス３１５は図１２で示す構造により定義される。ボックス３１５は共通のプロパティ（メタデータ）が適用されているアイテムを識別することを可能とするボックスである。言い換えると、ボックス３１５は、共通のプロパティが適用されるアイテムのリストを記述するボックスである。メタデータ処理部１１０は、ボックス３１５を用いることで、特定のプロパティが適用されているアイテムを、ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＢｏｘのエントリーをすべて確認せずとも特定できる。また、ボックス３１５によれば、画像ファイルを読み込んで、特定のプロパティが適用されているアイテムのみをピックアップして処理を行う場合の効率が向上し、ファイルアクセス時の検索効率が向上する。また、ボックス３１５によれば、ファイルを編集する場合等において、一括操作が容易になる。例えばｐｒｏｐｅｒｔｙ＿ｉｎｄｅｘに示すアイテムプロパティが画像サイズを示すプロパティであった場合、同じサイズの画像アイテムをグループ化して記述することが可能となる。その他にもＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ内に定義された画像プロパティが適用される複数の画像アイテムをボックス３１５によって表すことで、メタデータ処理部１１０は、共通のプロパティが適用される複数の画像を容易に特定できる。
　共通プロパティを表すボックスを格納するためＩｔｅｍＰｒｏｐｅｒｔｙＢｏｘ３１０は図１３に示す構造を有する。ボックス３１０は、具体的には、識別子ｉｐｒｐにより識別されるＩｔｅｍＰｒｏｐｅｒｔｉｅｓＢｏｘ内にＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＢｏｘを格納する。さらにＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘと、ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎＧｒｏｕｐＢｏｘとＣｏｍｍｏｎＩｔｅｍＰｒｏｐｅｒｔｙＢｏｘとＣｏｍｍｏｎＩｔｅｍＰｒｏｐｅｒｔｙＧｒｏｕｐＢｏｘを格納する。
　次にメディアデータ部３０３に格納する各ボックス３１９、３２０、及び３２１が示す外部定義メタデータ（例えばＥｘｉｆデータ）を共通メタデータとして格納する方法について図１４、図１５及び図４を用いて説明する。
　図１４は図３のＩｔｅｍＩｎｆｏｒｍａｔｉｏｎＢｏｘ３０８の記述例である。また図１５は図３のＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ３０９の記述例である。図４に示す４０１、４０２、４０３、４０４、４０５はＥｘｉｆデータブロックである。図１５に示すＩｔｅｍＩｎｆｏｍａｔｉｏｎＢｏｘは９つのエントリーで構成されており、ｉｔｅｍ＿ＩＤ１、２、３、４は画像アイテムである。またｉｔｅｍ＿ＩＤが５のものが４０１に、６のものが４０２、７のものが４０３、８のものが４０４、９のものが４０５にそれぞれ対応する。図１４に示すＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘは各アイテムの参照関係を示している。図１４及び図１５よりｉｔｅｍ＿ＩＤ５はｉｔｅｍ＿ＩＤ１の画像に関するＥｘｉｆデータブロックであることが読み取れる。また同様にしてｉｔｅｍ＿ＩＤ６はｉｔｅｍ＿ＩＤ２の画像に関するＥｘｉｆデータブロックであり、ｉｔｅｍ＿ＩＤ７はｉｔｅｍ＿ＩＤ３の画像に関するＥｘｉｆデータブロックである。またｉｔｅｍ＿ＩＤ８はｉｔｅｍ＿ＩＤ４の画像に関するＥｘｉｆデータブロックである。またｉｔｅｍ＿ＩＤ９はｉｔｅｍ＿ＩＤ５、６、７、８を参照している。この記述により、ｉｔｅｍ＿ＩＤ９はｉｔｅｍ＿ＩＤ５、６、７、８のＥｘｉｆデータブロックから共通部分を抽出したＥｘｉｆデータブロックであることを示している。
　図４に示すＥｘｉｆデータブロック４０１は画像幅４１０、画像高４１１、Ｘ解像度４１２、Ｙ解像度４１３、メーカ４１４、モデル４１５、撮影日時４１６、ＩＳＯ感度４１７、ＧＰＳ情報４１８のＥｘｉｆタグを有する。Ｅｘｉｆデータブロック４０２、４０３、及び４０４も同様である。これらタグは撮像時に生成される。また別途編集処理等によってタグを追加、変更、削除が行われることもある。Ｅｘｉｆデータブロック４０５はＥｘｉｆデータブロック４０１、４０２、４０３、及び４０４の共通データを格納するブロックである。画像幅４１０、４２０、４３０、及び４４０により示される値はすべて３２０ｐｉｘｅｌで共通のため、Ｅｘｉｆデータブロック４０５内の画像幅タグ４５０に値３２０ｐｉｘｅｌが格納される。同様に画像高４１１、４２１、４３１、及び４４１に示される値はすべて２４０ｐｉｘｅｌで共通のため、Ｅｘｉｆデータブロック４０５内の画像高タグ４５１に値２４０ｐｉｘｅｌが格納される。またＸ解像度４１２、４２２、４３２、及び４４２により示される９６ｄｐｉが領域４５２に格納される。またＹ解像度４１３、４２３、４３３、及び４４３により示される９６ｄｐｉが領域４５３に格納される。またメーカ名４１４、４２４、４３４、及び４４４により示されるＡ社が領域４５４に格納される。またモデル名４１５、４２５、４３５、及び４４５により示される１１が領域４５５に格納される。
　一方、撮影日時は画像によって異なっている。図４の例においては、４１６と４２６は２０１８年６月１３日、４３６は２０１８年６月１４日であり、４４６は２０１８年６月１５日である。そのため、撮影日時については各Ｅｘｉｆデータブロックの共通データを抽出したＥｘｉｆデータブロック４０５に格納されない。このように、図４の例においては、すべての画像アイテムに共通するメタデータのみがＥｘｉｆデータブロック４０５に格納される。また４１７、４２７、４３７、４４７により示されるＩＳＯ感度についてもそれぞれ値が異なっているためＥｘｉｆデータブロック４０５には格納されない。なお、図４においては日時のうち、時刻の情報を省略している。
　ただし、図４の例において、４１８、４２８、４３８、４４８により示されるＧＰＳ情報（位置情報）は、完全に値が一致していなくても所定範囲内に収まっていればＥｘｉｆデータブロック４０５に格納される。これは、ＧＰＳ情報４１８、４２８、４３８、及び４４８は完全に一致しないまでも特定の場所を示す情報としては一致しているためである。つまり、ＧＰＳ情報４１８、４２８、４３８、及び４４８はすべてＡ社の場所を示しており、ジオコード等で導き出される場所はすべてＡ社となり一致する。
　そのため、本実施形態のメタデータ処理部１１０は、特定の範囲内が収まっている複数のＧＰＳ情報は、共通メタデータとして扱う。このように、いくつかのタイプのメタデータ（例えばＧＰＳ情報）については、値が完全に一致していなくても共通メタデータを格納するための領域に格納させることができる。なお、どの範囲をもって共通とするかについては、ユーザが別途指定しても良いし、特定のシステムの設定等に応じて適宜決められる。図４の例においてはＡ社の敷地内のＧＰＳ情報はすべて共通のメタデータであるものとして扱われており、ＧＰＳ情報４５８に格納されるＧＰＳ情報はジオコードなどで表されるＡ社の代表地点を表している。例えば、東京都内のＧＰＳ情報を共通のＧＰＳ情報として扱う場合は、東京都の代表地点の位置情報がＧＰＳ情報４５８に格納されることになる。本実施形態のＨＥＩＦファイルはどの粒度でＧＰＳ情報を扱うかを示す情報を格納していないが、ファイル内に格納するようにしてもよい。
　また、図４は各画像のＥｘｉｆデータブロックすべてに共通するデータを共通のＥｘｉｆデータブロックに格納する例を示している。しかしながら、２以上のＥｘｉｆデータブロックに共通するＥｘｉｆデータブロックを共通のＥｘｉｆデータブロックに格納するようにしても良い。その場合、図１４に示すＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘにおいて、参照するＥｘｉｆデータブロックを定義するようにすればよい。例えばｉｔｅｍ＿ｉｄ５と６のみの共通Ｅｘｉｆデータブロックを抽出する場合、ｔｏ＿ｉｔｅｍ＿ＩＤに５と６を格納する。そのようにした場合、４１６、４２６により示される撮影日時についても共通のＥｘｉｆデータとなるため抽出対象に含まれる。また共通のＥｘｉｆデータブロックとして抽出するＥｘｉｆデータブロックは複数あってもよく、ｉｔｅｍ＿ＩＤ５と６に共通するものと、ｉｔｅｍ＿ＩＤ５、６、７、及び８に共通するものというように抽出する元データが重複してもよい。
　また、本実施形態のメタデータ処理部１１０は、各画像に対応するＥｘｉｆデータブロックにおいて共通しているデータをすべて抽出したが、ある特定のＥｘｉｆデータについてのみ、共通しているデータを抽出するようにしても良い。例えば撮影日時のみを共通しているか否かの判定対象としても良い。また、例えば、撮影日時が特定の範囲に収まる画像についてのみ、撮影日時の共通性を判定するようにしても良い。このように、特定の種類のメタデータについてのみ共通性を判断するようにしてもよく、特定の種類の決めかたにも種々のバリエーションが存在することに留意されたい。
　以上、本実施形態の画像データ格納装置１０１は、イメージファイルフォーマットに準拠した画像ファイル（ＨＥＩＦファイル）に格納する複数の画像のそれぞれに対応付けられたメタデータ（プロパティ情報）から共通するメタデータを抽出する。そして、画像データ格納装置１０１は、抽出されたメタデータを共通メタデータとしてメタデータ領域に格納する。また、画像データ格納装置１０１は、すべての画像に共通する共通メタデータなのか、複数の画像のうちの一部に共通する共通メタデータなのかを示す情報をＨＥＩＦファイル中に格納しても良い。一部の画像に共通する共通メタデータである場合は、当該一部の画像のアイテムＩＤ（画像の識別情報）を格納する。また、画像データ格納装置１０１は、外部規格に基づくメタデータ（例えばＥｘｉｆデータ）についても、画像毎のメタデータから共通のメタデータを抽出し、それを共通メタデータとして保持する。これにより、ＨＥＩＦファイルに格納された複数の画像を扱う際の処理負荷が低減できる。例えば、ＨＥＩＦファイルに格納された複数の画像のうち、特定のメタデータに対応付けられた１以上の画像に対してだけ特定の処理を行う場合において処理負荷を低減できる。また、ＨＥＩＦファイルに格納された複数の画像の中から特定の画像を検索する処理が低負荷で行えるようになる。また、画像ごとのメタデータを共通化して格納することにより、画像ファイルのサイズを低減できる。
　＜第２実施形態＞
　第１実施形態では、画像生成時に共通のメタデータを抽出して画像ファイル内に格納する例を中心に説明した。以下に示す第２実施形態では、画像ファイルに格納済みの画像やメタデータから共通するメタデータを抽出する例を詳細に説明する。
　本実施形態の画像データ格納装置５０１の構成を図５に示す。図５の画像データ格納装置５０１は、タブレットＰＣやデスクトップＰＣ、クラウド等のＷｅｂサービスで処理を行うサーバ装置等のファイル編集機能を有した装置である。画像データ格納装置５０１はシステムバス５０２を有し、ＬＡＮ制御部５０３、ユーザインタフェース５０４、表示部５０５、画像認識部５０６を有する。さらに、記憶部５０７、一時記憶部５０８、ＣＰＵ５０９を有し、それぞれがシステムバス５０２に接続されるハードウェア構成となっている。システムバス５０２は接続する各ブロック間でデータを伝達する。
　ＣＰＵ５０９が実行するプログラムにはＯＳ（オペレーティングシステム）やドライバ、アプリケーションが含まれる。ＣＰＵ５０９は画像データ格納装置５０１の全体制御を行い、ユーザがユーザインタフェース５０４より入力した指示を基に、表示部５０５の表示を変更したり、ＬＡＮ制御部５０３への接続指示を行ったりといった処理を行う。
　ＣＰＵ５０９が実行するプログラムは記憶部５０７に蓄積されているか、ＬＡＮ制御部５０３経由で受信するなどして、入力映像又は入力画像の符号化又は復号化処理を実行する。
　ユーザ操作によって映像ファイルまたは画像ファイルの再生処理を行う場合、ＣＰＵ５０９が復号化を実行し、復号化されたデータは表示部５０５で映像または画像として再生される。またＣＰＵ５０９が実行するプログラムは、映像または画像に関連する所定のファイルフォーマット規格に準じた形式のデータ処理に関するプログラムを含む。データ処理とは、メタデータを画像ファイルに格納するためのフォーマット処理、画像ファイルに格納されたメタデータの解析処理、及び、画像ファイルの編集処理が含まれ得る。ＨＥＩＦファイルを扱う場合、ＣＰＵ５０９は、ＨＥＩＦに準拠した形式の処理を行う。ただしＨＥＩＦに限らず、ＭＰＥＧ等で規定される映像ファイル形式やＪＰＥＧ等の静止画形式のデータ処理であっても良い。記憶部５０７はハードディスクやＳＤカードやコンパクトフラッシュ、及びフラッシュメモリ等により実現しうる。
　画像認識部５０６はＣＰＵ５０９から入力された画像や映像から人物や物体、シーン等を認識し、ＣＰＵ５０９へその結果を送る。一時記憶部５０８は、画像データ格納装置５０１の主記憶部であって、主に、各機能ブロックの処理実行時にデータの一時記憶領域として使用される。記憶部５０７は、各機能ブロックが実行するソフトウェアプログラムが格納される不揮発性の記憶部である。記憶部５０７に格納されるプログラムは、一時記憶部５０８に転送され、各機能ブロックによって読み出されて実行される。ＬＡＮ制御部５０３は、ＬＡＮに接続する通信インターフェースであり、有線ＬＡＮもしくは無線ＬＡＮの通信制御を実行する。なお、本実施形態では各機能ブロックを別回路による構成としたが、１又は複数の機能ブロックがＣＰＵ５０９により実行されるようにしても良い。また、図５に示す機能が複数の装置により分割して実行されるようにしても良い。
　次にイメージファイルフォーマットに準拠した画像ファイル（ＨＥＩＦファイル）の編集処理のフローについて、図６を参照して説明する。本処理フローは、典型的には、ユーザからの編集指示の入力に応じて開始される。
　Ｓ６０１において、ＣＰＵ５０９は、イメージファイルフォーマットに準拠した画像ファイル（ＨＥＩＦファイル）に格納された複数の画像のそれぞれに対応付けられたメタデータのうち、抽出対象とするメタデータの値、範囲、種別等を決定する。この決定は、ユーザインタフェースからのユーザ指定に基づいて行われるようにしても良いし、あらかじめ決められたシステム設定などに基づいて行われるようにしても良い。また複数の決定が行われるようにしても良い。
　Ｓ６０２において、ＣＰＵ５０９は、ＨＥＩＦファイルに格納された複数の画像のそれぞれのメタデータを取得する。ＣＰＵ５０９は、１つのＨＥＩＦファイルに限らず、複数のＨＥＩＦファイルを処理対象としても良い。また、ＨＥＩＦファイルに限らず、ＪＰＥＧファイルなども処理対象としても良い。また、ＣＰＵ５０９は、ＨＥＩＦファイルに記録済みのメタデータのみを取得対象としてもよいし、画像データ格納装置５０１が行う編集処理や、画像認識部５０６の処理によって新規に生成されたメタデータを取得対象としても良い。
　次にＳ６０３において、ＣＰＵ５０９は、Ｓ６０２において取得されたメタデータの値とＳ６０１で決定したメタデータの値または範囲に一致するか判定する。一致する場合はＳ６０４へ進み、一致しない場合Ｓ６０５へ進む。
　Ｓ６０４において、ＣＰＵ５０９は、一致した画像を識別するためのアイテムＩＤを共通メタデータの格納領域に格納する。複数の画像ファイルを処理対象としている場合には、新規に生成される１つのＨＥＩＦファイルに他の画像アイテムと識別可能なアイテムＩＤを格納する。
　Ｓ６０５において、ＣＰＵ５０９は、メタデータの取得対象となるすべての画像について処理が完了したか判定する。完了した場合はＳ６０６に進み、完了していない場合はＳ６０２に進み、処理を繰り返す。
　Ｓ６０６において、ＣＰＵ５０９は、他の画像と共通しないメタデータを削除する。つまり、ＣＰＵ５０９は、単一の画像にのみ適用されるメタデータは共通メタデータとして格納しない。次にＳ６０７において、ＣＰＵ５０９は、共通メタデータをＨＥＩＦファイルに格納する。このとき、共通メタデータとその画像ＩＤを基に、図７から図１５に示したフォーマットに従って、ＨＥＩＦファイル内に共通メタデータを格納する。本実施形態では単一の画像のみに対応するメタデータは共通メタデータとして格納しないこととしたが、所定の閾値よりも少ない数の画像のみに共通しているメタデータは共通メタデータとして格納しないようにしても良い。また、場合によっては、単一の画像にのみ対応するメタデータが、共通メタデータを格納するための領域に格納されるようにしても良い。このような構成は、例えば、ＨＥＩＦファイルに画像が１つしか格納されない場合や、特定のメタデータが記録されている画像アイテムをすばやく取り出したいといったユースケースにおいて有効である。つまり、共通メタデータの格納領域に格納される情報は、特定のメタデータが対応付けられている画像のインデックスとして利用できる。
　以上、本実施形態の画像データ格納装置５０１は、生成済みの画像ファイルから共通メタデータを抽出し、当該共通メタデータが格納されたＨＥＩＦファイルを新規に生成する。これにより共通メタデータとして記録していない画像ファイルから共通のメタデータを格納した画像ファイルを生成できる。また本実施形態の画像データ格納装置５０１は、複数の画像ファイル（ビデオファイルも含む）に格納される複数の画像（ビデオも含む）から共通のメタデータを抽出し、共通メタデータを格納した画像ファイルを新規に生成する。
　これにより、複数の装置で生成された画像ファイルや、異なる条件下で生成された画像ファイルから編集処理によって１つのＨＥＩＦファイルを生成することが可能となる。その際、第１実施形態で説明したように、すべての画像群に共通する共通メタデータなのか、画像群のうちの一部に共通する共通メタデータなのかを示す情報を格納しても良い。一部に共通する共通メタデータである場合は、当該共通メタデータに対応する画像のアイテムＩＤがさらに格納される。また、画像データ格納装置１０１は、外部規格に基づくメタデータ（例えばＥｘｉｆデータ）についても、画像毎のメタデータから共通のメタデータを抽出し、それを共通メタデータとして保持する。これにより、ＨＥＩＦファイルに格納された複数の画像を扱う際の処理負荷が低減できる。例えば、ＨＥＩＦファイルに格納された複数の画像のうち、特定のメタデータに対応付けられた１以上の画像に対してだけ特定の処理を行う場合において処理負荷を低減できる。また、ＨＥＩＦファイルに格納された複数の画像の中から特定の画像を検索する処理が低負荷で行えるようになる。また、画像ごとのメタデータを共通化して格納することにより、画像ファイルのサイズを低減できる。
　（その他の実施形態）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１８年９月２７日提出の日本国特許出願特願２０１８－１８２０８６を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (14)

  1. 　複数の画像をイメージファイルフォーマットに従った画像ファイルに格納する画像データ格納装置であって、
    　前記複数の画像を取得する取得手段と、
    　前記取得手段により取得された前記複数の画像のうち２以上の画像において共通するメタデータを特定する特定手段と、
    　前記取得手段により取得された前記複数の画像を前記イメージファイルフォーマットに従った画像ファイルに格納すると共に、前記特定手段により特定されたメタデータを共通メタデータとして前記イメージファイルフォーマットに従った画像ファイルに格納する格納手段と、
    　前記格納手段により前記複数の画像と前記メタデータが格納された画像ファイルを出力する出力手段と、を有することを特徴とする画像データ格納装置。
  2. 　前記出力手段は、前記画像ファイルに基づいて画像を表示する表示装置、前記画像ファイルに基づく画像を印刷する印刷装置、前記画像ファイルを格納するストレージ装置、及び、前記画像ファイルを格納するストレージメディアのうち、少なくとも何れか１つに前記画像ファイルを出力することを特徴とする請求項１に記載の画像データ格納装置。
  3. 　前記イメージファイルフォーマットは、ＩＳＯ／ＩＥＣ２３００８－１２において規定されるフォーマットであることを特徴とする請求項１又は２に記載の画像データ格納装置。
  4. 　前記取得手段は、前記複数の画像として、ＩＳＯベースメディアファイルフォーマットに準拠する複数の画像ファイルを取得し、
    　前記特定手段は、前記ＩＳＯベースメディアファイルフォーマットに準拠する前記複数の画像ファイルから、アイテムプロパティボックスに格納されるプロパティ情報を抽出し、当該抽出の結果に基づいて前記共通のメタデータを特定することを特徴とする請求項１乃至３のうち、何れか１項に記載の画像データ格納装置。
  5. 　前記取得手段は、前記複数の画像として、Ｅｘｉｆデータを含む複数の画像ファイルを取得し、
    　前記特定手段は、前記複数の画像ファイルからＥｘｉｆデータを抽出し、当該抽出の結果に基づいて前記共通のメタデータを特定することを特徴とする請求項１乃至３のうち、何れか１項に記載の画像データ格納装置。
  6. 　前記特定手段は、第１画像に対応するＥｘｉｆデータが示す第１の値と、第２画像に対応するＥｘｉｆデータが示す第２の値が所定範囲内に収まる場合、前記第１及び第２の値を共通のメタデータとして特定することを特徴とする請求項５に記載の画像データ格納装置。
  7. 　前記第１及び第２の値はＧＰＳ情報で示される位置情報であることを特徴とする請求項６に記載の画像データ格納装置。
  8. 　前記取得手段により取得された前記複数の画像に対して認識処理を行う認識手段を有し、
    　前記メタデータは、前記認識手段による認識処理の結果に基づいて生成されるデータであることを特徴とする請求項１乃至７のうち、何れか１項に記載の画像データ格納装置。
  9. 　前記認識処理の結果に基づいて生成されるメタデータは、画像に対するシーンの認識処理によって得られるシーン情報と、画像に対する被写体の認識処理によって得られる被写体情報とのうち、少なくとも何れか一方であることを特徴とする請求項８に記載の画像データ格納装置。
  10. 　前記格納手段は、前記特定手段により特定されたメタデータと共に、当該メタデータに対応付けられる前記２以上の画像の識別情報とが格納された前記画像ファイルを生成することを特徴とする請求項１乃至９のうち、何れか１項に記載の画像データ格納装置。
  11. 　前記格納手段は、前記特定手段により特定されたメタデータをグループ化し、前記メタデータと前記グループの識別情報と前記メタデータのグループに対応する画像の識別情報とを格納した前記画像ファイルを生成することを特徴とする請求項１乃至９のうち、何れか１項に記載の画像データ格納装置。
  12. 　前記格納手段は、前記特定手段により特定されたメタデータに対応する前記２以上の画像をグループ化し、前記メタデータと前記グループの識別情報と前記グループに属する前記２以上の画像の識別情報とを格納した前記画像ファイルを生成することを特徴とする請求項１乃至９のうち、何れか１項に記載の画像データ格納装置。
  13. 　複数の画像をイメージファイルフォーマットに従った画像ファイルに格納する画像データ格納方法であって、
    　前記複数の画像を取得する取得ステップと、
    　前記取得ステップにより取得された前記複数の画像のうち２以上の画像において共通するメタデータを特定する特定ステップと、
    　前記取得ステップにより取得された前記複数の画像を前記イメージファイルフォーマットに従った画像ファイルに格納すると共に、前記特定ステップにより特定されたメタデータを共通メタデータとして前記イメージファイルフォーマットに従った画像ファイルに格納する格納ステップと、
    　前記格納ステップにより前記複数の画像と前記メタデータが格納された画像ファイルを出力する出力ステップと、を有することを特徴とする画像データ格納方法。
  14. 　コンピュータを請求項１乃至１２のうち、何れか１項に記載の画像データ格納装置の各手段として動作させるためのプログラム。
PCT/JP2019/035629 2018-09-27 2019-09-11 画像データ格納装置、画像データ格納方法、及び、プログラム WO2020066607A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/210,272 US20210209152A1 (en) 2018-09-27 2021-03-23 Image data storage device, image data storage method, and a non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-182086 2018-09-27
JP2018182086A JP7267703B2 (ja) 2018-09-27 2018-09-27 画像データ格納装置、画像データ格納方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/210,272 Continuation US20210209152A1 (en) 2018-09-27 2021-03-23 Image data storage device, image data storage method, and a non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020066607A1 true WO2020066607A1 (ja) 2020-04-02

Family

ID=69951975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035629 WO2020066607A1 (ja) 2018-09-27 2019-09-11 画像データ格納装置、画像データ格納方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20210209152A1 (ja)
JP (1) JP7267703B2 (ja)
WO (1) WO2020066607A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792021A (zh) * 2021-09-27 2021-12-14 北京臻观数智科技有限公司 一种降低图片存储空间的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049332A (ja) * 2005-08-09 2007-02-22 Sony Corp 記録再生装置および記録再生方法、並びに、記録装置および記録方法
JP2010004479A (ja) * 2008-06-23 2010-01-07 Canon Inc 画像再生装置および制御方法およびプログラム
JP2018522469A (ja) * 2015-06-16 2018-08-09 キヤノン株式会社 画像データカプセル化

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5268787B2 (ja) * 2009-06-04 2013-08-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8447769B1 (en) * 2009-10-02 2013-05-21 Adobe Systems Incorporated System and method for real-time image collection and sharing
US10631069B2 (en) * 2016-02-16 2020-04-21 Nokia Technologies Oy Media encapsulating and decapsulating

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049332A (ja) * 2005-08-09 2007-02-22 Sony Corp 記録再生装置および記録再生方法、並びに、記録装置および記録方法
JP2010004479A (ja) * 2008-06-23 2010-01-07 Canon Inc 画像再生装置および制御方法およびプログラム
JP2018522469A (ja) * 2015-06-16 2018-08-09 キヤノン株式会社 画像データカプセル化

Also Published As

Publication number Publication date
US20210209152A1 (en) 2021-07-08
JP2020052785A (ja) 2020-04-02
JP7267703B2 (ja) 2023-05-02

Similar Documents

Publication Publication Date Title
JP7303625B2 (ja) 画像ファイル生成装置、画像ファイル生成方法、及びプログラム
US20070180265A1 (en) Film management method
KR101508372B1 (ko) 콘텐츠 관리 장치, 콘텐츠 관리 방법, 네트워크 시스템 및 프로그램이 기록된 컴퓨터 판독가능 기록 매체
KR101718891B1 (ko) 영상 검색 방법 및 장치
US10817470B2 (en) Cloud file transmission method, terminal, and cloud server
US20150036020A1 (en) Method for sharing original photos along with final processed image
WO2020066607A1 (ja) 画像データ格納装置、画像データ格納方法、及び、プログラム
US11157546B2 (en) Information processing apparatus, control method, and storage medium
JP5849177B2 (ja) 画像情報処理システム
JP6417752B2 (ja) ネットワークカメラシステム、情報処理方法、プログラム
JP2006195807A (ja) 映像検索システム、映像検索方法及びプログラム
JP6524865B2 (ja) コンテンツ管理装置、コンテンツ管理方法、及びコンテンツ管理プログラム
JP2006079567A (ja) 情報管理プログラム、情報管理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報管理装置
KR101990689B1 (ko) 클라우드 서버의 이미지 데이터 제공 방법
JP5909734B2 (ja) 画像表示方法
JP2022063739A (ja) 画像処理装置、画像処理方法
JP4947046B2 (ja) コンテンツ管理装置、コンテンツ管理方法、および、当該方法をコンピュータに実行させるためのプログラム、並びに、ネットワークシステム
JP2010093342A (ja) 映像サーバ装置、映像クライアント装置、映像送受信システム及び情報処理方法
JP2022109138A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023112456A (ja) 情報処理装置、情報処理方法およびプログラム
JP2021119446A (ja) 情報処理装置、情報処理方法及びプログラム
JP2014203347A (ja) 文書検索システム、文書検索装置、文書検索方法及びプログラム
JP2022079898A (ja) 撮影装置、画像の生産方法、およびプログラム
CN117560539A (zh) 私有媒体数据传输方法、装置、设备和可读存储介质
JP2017028541A (ja) 受信装置、送信装置及び送受信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19866840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19866840

Country of ref document: EP

Kind code of ref document: A1