WO2022158106A1 - 画像処置装置及び方法、及び撮像装置 - Google Patents

画像処置装置及び方法、及び撮像装置 Download PDF

Info

Publication number
WO2022158106A1
WO2022158106A1 PCT/JP2021/042884 JP2021042884W WO2022158106A1 WO 2022158106 A1 WO2022158106 A1 WO 2022158106A1 JP 2021042884 W JP2021042884 W JP 2021042884W WO 2022158106 A1 WO2022158106 A1 WO 2022158106A1
Authority
WO
WIPO (PCT)
Prior art keywords
inference
image
image file
processing
result
Prior art date
Application number
PCT/JP2021/042884
Other languages
English (en)
French (fr)
Inventor
聡 青山
昇 大森
佑樹 筑比地
雄太 薄井
洋平 藤谷
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2022158106A1 publication Critical patent/WO2022158106A1/ja
Priority to US18/354,805 priority Critical patent/US20230360368A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to an image processing apparatus and method for processing an image captured by a digital camera or the like, and an imaging apparatus.
  • AI artificial intelligence
  • digital still cameras and the like have been equipped with a function for detecting human faces from captured images.
  • Techniques for accurate detection and recognition are disclosed.
  • the input image as the detection target and the detected results have become important information that can be used in various ways in subsequent workflows.
  • various information estimated from images using AI technology is very important input data in various fields such as automation of robots and automatic driving of automobiles.
  • the present invention has been made in view of the above problems, and it is an object of the present invention to appropriately manage the results of estimating a subject in an image.
  • the image processing apparatus of the present invention comprises detection means for detecting a subject from an image; inference means for performing inference processing on the detected subject using an inference model; generating means for generating an image file by combining the image data of the image, the subject information, the inference result of the inference processing, and the inference model information; Record the model in a private area of the image file.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera according to an embodiment of the invention
  • FIG. 4 is a flowchart showing photographing processing of the digital camera according to the embodiment
  • 4 is a flowchart showing reproduction processing of the digital camera according to the embodiment
  • 4 is a flowchart showing reproduction processing of the digital camera according to the embodiment
  • 4 is a flowchart showing re-inference processing of the digital camera according to the embodiment
  • FIG. 3 is a diagram showing an overview of the recorded contents of an image file recorded by the digital camera according to the embodiment
  • FIG. 4 is a flowchart showing photographing processing of the digital camera according to the embodiment
  • 4 is a flowchart showing reproduction processing of the digital camera according to the embodiment
  • 4 is a flowchart showing reproduction processing of the digital camera according to the embodiment
  • 4 is a flowchart showing re-inference processing of the digital camera according to the embodiment
  • FIG. 3 is a diagram showing an overview of the recorded contents of an image file recorded by the digital camera according
  • FIG. 3 is a diagram showing an overview of the recorded contents of an image file recorded by the digital camera according to the embodiment;
  • FIG. 3 is a diagram showing an overview of the recorded contents of an image file recorded by the digital camera according to the embodiment;
  • FIG. 3 is a diagram showing an overview of the recorded contents of an image file recorded by the digital camera according to the embodiment;
  • 4 is a flowchart showing transmission processing of the digital camera according to the embodiment;
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during transmission processing of the digital camera according to the present embodiment;
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during transmission processing of the digital camera according to the present embodiment;
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during transmission processing of the digital camera according to the present embodiment;
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during transmission processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during transmission processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during transmission processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during transmission processing of the digital camera according to the present embodiment
  • 4 is a flowchart showing editing processing of the digital camera according to the embodiment
  • 4 is a flowchart showing editing processing of the digital camera according to the embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during editing processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during editing processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during editing processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during editing processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during editing processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during editing processing of the digital camera according to the present embodiment
  • FIG. 4 is a diagram showing an overview of the recorded contents of an image file during editing processing of the digital camera according to the present embodiment
  • a digital camera is exemplified as an image output device that uses an inference model to classify subjects, but it goes without saying that the image output device of the present invention is not limited to a digital camera.
  • the image output device of the present invention may be any device as long as it reads an image recorded in a recording device and displays it on a display device.
  • it may be a smartphone, a tablet PC, or the like. .
  • FIG. 1 is a block diagram showing a configuration example of a digital camera 100 according to an embodiment of the invention.
  • the barrier 10 is a protective member that prevents dirt and damage to the imaging unit by covering the imaging unit including the imaging lens 11 of the digital camera 100 , and its operation is controlled by the barrier control unit 43 .
  • the photographing lens 11 forms an optical image on the imaging surface of the imaging device 13 .
  • the shutter 12 has an aperture function.
  • the imaging element 13 is composed of, for example, a CCD, CMOS sensor, or the like, and converts an optical image formed on the imaging surface by the photographing lens 11 via the shutter 12 into an electrical signal.
  • the A/D converter 15 converts the analog image signal output from the imaging element 13 into a digital image signal.
  • the digital image signal converted by the A/D converter 15 is written in the memory 25 as so-called RAW image data.
  • development parameters corresponding to each piece of RAW image data are generated based on information at the time of photographing, and written to the memory 25 .
  • the development parameters are composed of various parameters used in image processing for recording the JPEG method, such as exposure settings, white balance, color space, and contrast.
  • the timing generator 14 is controlled by the memory control section 22 and the system control section 50A, and supplies clock signals and control signals to the imaging element 13, A/D converter 15, and D/A converter 21.
  • the image processing unit 20 performs various image processing such as predetermined pixel interpolation processing, color conversion processing, correction processing, and resizing processing on data from the A/D converter 15 or data from the memory control unit 22 .
  • the image processing unit 20 also performs predetermined image processing and arithmetic processing using image data obtained by imaging, and provides the obtained arithmetic results to the system control unit 50A.
  • the system control unit 50A controls the exposure control unit 40 and the focus control unit 41 based on the provided calculation results to perform AF (autofocus) processing, AE (automatic exposure) processing, and EF (flash pre-emission) processing. Realize
  • the image processing unit 20 also performs predetermined arithmetic processing using image data obtained by imaging, and also performs AWB (auto white balance) processing based on the obtained arithmetic results. Furthermore, the image processing unit 20 reads the image data stored in the memory 25 and performs compression processing or decompression processing such as JPEG format, MPEG-4 AVC or HEVC (High Efficiency Video Coding), and lossless compression for uncompressed RAW data. I do. Then, the image processing unit 20 writes the processed image data to the memory 25 .
  • compression processing or decompression processing such as JPEG format, MPEG-4 AVC or HEVC (High Efficiency Video Coding)
  • the image processing unit 20 performs predetermined arithmetic processing using image data obtained by imaging, and edits various image data. Specifically, trimming processing that adjusts the display range and size of the image by hiding unnecessary parts around the image data, and enlargement and reduction of the image data and screen display elements to increase or decrease the size. Can be resized to change. Furthermore, it is possible to apply image processing such as color conversion to data that has undergone compression processing or decompression processing such as reversible compression of uncompressed RAW data, convert it to JPEG format, and perform RAW development to create image data. can. In addition, it is possible to perform moving image extraction processing for extracting specified frames in a moving image format such as MPEG-4, converting them into JPEG format, and saving them.
  • image processing such as color conversion to data that has undergone compression processing or decompression processing such as reversible compression of uncompressed RAW data, convert it to JPEG format, and perform RAW development to create image data.
  • moving image extraction processing for extracting specified frames in a
  • the image processing unit 20 also performs processing for superimposing OSD (On-Screen Display) such as menus and arbitrary characters to be displayed on the display unit 23 together with the image data for display. Further, the image processing unit 20 detects a subject existing in the image data by using input image data and distance information from the subject obtained from the image sensor 13 or the like at the time of shooting, and detects the subject area. Subject detection processing is performed to detect the As the information that can be detected, it is possible to obtain detection information such as a region such as a position and size within an image, an inclination, and certainty.
  • OSD On-Screen Display
  • the memory control unit 22 controls the A/D converter 15, the timing generator 14, the image processing unit 20, the image display memory 24, the D/A converter 21, and the memory 25.
  • the RAW image data generated by the A/D converter 15 is written into the image display memory 24 or memory 25 via the image processing section 20 and memory control section 22 or directly via the memory control section 22 .
  • the image data for display written in the image display memory 24 is displayed on the display section 23 constituted by a TFT LCD or the like via the D/A converter 21 .
  • the memory 25 has a storage capacity sufficient to store a predetermined number of still images and moving images for a predetermined time, and stores captured still images and moving images.
  • the memory 25 can also be used as a work area for the system control section 50A.
  • the exposure control unit 40 controls the shutter 12 having a diaphragm function.
  • the exposure control unit 40 also has a flash dimming function by interlocking with the flash 44 .
  • the focus control unit 41 performs focus adjustment by driving a focus lens (not shown) included in the photographing lens 11 based on an instruction from the system control unit 50A.
  • the zoom control unit 42 controls zooming by driving a zoom lens (not shown) included in the photographing lens 11 .
  • the flash 44 has an AF auxiliary light projection function and a flash dimming function.
  • the system control unit 50A controls the digital camera 100 as a whole.
  • the nonvolatile memory 51 is an electrically erasable/recordable nonvolatile memory, and for example, an EEPROM or the like is used. Note that the nonvolatile memory 51 stores not only programs but also map information and the like.
  • the shutter switch 61 (SW1) is turned on while the shutter button 60 is being operated, and instructs the start of operations such as AF processing, AE processing, AWB processing, and EF processing.
  • the shutter switch 62 (SW2) is turned ON when the operation of the shutter button 60 is completed, and instructs the start of a series of photographing operations including exposure processing, development processing, and recording processing.
  • a signal read from the image sensor 13 is written to the memory 25 as RAW image data via the A/D converter 15 and memory control section 22 .
  • the RAW image data written in the memory 25 is developed using calculations in the image processing unit 20 and the memory control unit 22, and written as image data in the memory 25.
  • image data is read out from the memory 25 , compressed by the image processing unit 20 , stored in the memory 25 , and then written to the external recording medium 91 via the card controller 90 .
  • the operation unit 63 includes operation members such as various buttons and a touch panel.
  • operation members such as various buttons and a touch panel.
  • it includes a power button, a menu button, a mode switching switch for switching shooting mode/playback mode/other special shooting modes, a cross key, a set button, a macro button, and a multi-screen playback page break button.
  • flash setting button single shooting/continuous shooting/self-timer switching button, menu movement + (plus) button, menu movement - (minus) button, image quality selection button, exposure compensation button, date/time setting button, etc. including.
  • the metadata generation/analysis unit 70 When the image data is recorded on the external recording medium 91, the metadata generation/analysis unit 70 generates various metadata such as Exif (Exchangeable image file format) attached to the image data based on the information at the time of shooting. Generate. Further, when reading the image data recorded in the external recording medium 91, the metadata generation/analysis unit 70 analyzes the metadata attached to the image data.
  • the metadata includes, for example, shooting setting information at the time of shooting, image data information related to image data, feature information of a subject included in the image data, and the like. Further, when recording moving image data, the metadata generation/analysis unit 70 can also generate and add metadata for each frame.
  • the power supply 80 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, a Li battery, an AC adapter, or the like.
  • the power control unit 81 supplies power supplied from the power supply 80 to each unit of the digital camera 100 .
  • a card controller 90 transmits and receives data to and from an external recording medium 91 such as a memory card.
  • the external recording medium 91 is configured by, for example, a memory card, and records images (still images and moving images) captured by the digital camera 100 .
  • the inference engine 73A uses the inference model recorded in the inference model recording unit 72A to infer the image data input via the system control unit 50A.
  • the inference model it is possible to use an inference model that is input from outside such as the external device 101 through the communication unit 71A and recorded in the inference model recording unit 72A, or an inference model obtained by re-learning by the learning unit 74A. can.
  • the inference model retains a management version in the inference model recording unit 72A or the like so that each inference model can be identified when it is updated by external updating or re-learning by the learning unit 74A. It is assumed that The inference engine 73A also has a neural network design 73a.
  • intermediate layers are arranged between the input layer and the output layer.
  • Image data is input to the input layer from the system control unit 50A.
  • As an intermediate layer several layers of neurons are arranged. The number of layers of neurons is appropriately determined in terms of design, and the number of neurons in each layer is also determined appropriately in terms of design.
  • the intermediate layer is weighted based on the inference model recorded in the inference model recording unit 72A. Annotation information corresponding to image data input to the input layer is output to the output layer.
  • an inference model that infers the classification of the subject contained in the image.
  • image data of various subjects and their classification results for example, classification of animals such as dogs and cats, classification of subjects such as people, animals, plants, and buildings
  • an inference model generated by deep learning is used.
  • the one generated by the external device 101 or the like is used.
  • the inference engine 73A can be updated from the external device 101 or the like, it may handle various other inference models.
  • the learning unit 74A re-learns the inference model upon receiving a request from the system control unit 50A or the like.
  • the learning unit 74A has a teacher data recording unit 74a, and the teacher data recording unit 74a records information regarding teacher data for the inference engine 73A.
  • the learning unit 74A can relearn the inference engine 73A using the teacher data recorded in the teacher data recording unit 74a, and update the inference engine 73A using the inference model recording unit 72A.
  • the communication section 71A has a communication circuit for transmission and reception. Specifically, the communication circuit may be wireless communication such as Wi-Fi or Bluetooth (registered trademark), or wired communication such as Ethernet or USB.
  • the communication section 71A can communicate with the communication section 71B of the external device 101 .
  • the communication unit 71A serves as a communication unit that transmits and receives not only image files with annotation information created by the inference engine 73A, but also various information such as inference models and teacher data to and from the system control units 50A and 50B. Function. Also, depending on whether or not the external device 101 is associated with the camera, it is possible to limit the information to be transmitted.
  • the external device 101 has a learning unit 74B, an inference engine 73B, an inference model recording unit 72B, a system control unit 50B, and a communication unit 71B. Alternatively, a device that does not have these configurations may be used.
  • the learning unit 74B creates an inference model upon receiving a request from the outside such as the inference engine 73B and the system control unit 50B.
  • the inference model recording unit 72B records the inference model transmitted from the digital camera 100 and the inference model created by the learning unit 74B.
  • photographing processing of the digital camera 100 is started when a photographing mode is instructed by a mode changeover switch included in the operation unit 63 .
  • the user presses the shutter button 60 to turn ON the shutter switches 61 (SW1) and 62 (SW2) to confirm whether or not a still image shooting is instructed. move on.
  • shooting processing is performed.
  • AF autofocus
  • AE automatic exposure
  • the image signal obtained is stored in the memory 25 .
  • the image data stored in the memory 25 is compressed in JPEG format or MPEG-4 HEVC format by compression processing included in the image processing unit 20 in accordance with the user's settings.
  • subject detection processing is performed by the image processing unit 20 on the image signal stored in the memory 25, and subject detection information included in the image is obtained.
  • the image data created in S202 and the subject detection information acquired in S203 are recorded in the external recording medium 91 as an image file.
  • the image file recorded here is recorded in a format as shown in FIG. 5A.
  • the image file 400 recorded in this embodiment is composed of at least an area for storing metadata conforming to the Exif standard and an image data area for recording compressed image data 406 .
  • the image file 400 is recorded in the JPEG format, for example, if the user instructs recording in the JPEG format, and the Exif data 401 is recorded in the APP1 marker or the like.
  • HEIF High Efficiency Image File Format
  • recording is performed in HEIF file format, and the Exif data 401 is recorded in a Meta data box or the like.
  • the Exif data 401 is recorded in a predetermined area such as the Meta Data Box.
  • the subject detection information acquired in S203 is stored in MakerNote 404 using the metadata generation/analysis unit 70, in which manufacturer-specific metadata included in the Exif data 401 can be written in a format that is not open to the public in principle. Furthermore, subject detection information is recorded in annotation information 403 a recorded at a position indicated by an annotation information offset included in annotation link information storage tag 402 . The subject detection information recorded in the annotation information 403a is used as annotation information as input data to the inference engine 73A in the inference processing described later. In the example shown in FIG. 5A, the annotation information 403a records only the coordinate area of the subject within the screen, but may include other information.
  • inference processing using the inference engine 73A it is confirmed whether inference processing using the inference engine 73A can be performed. For example, if the inference engine 73A is executing processing for another image, or if the shutter switch 62 (SW2) is still ON due to the operation of the shutter button 60, and continuous shooting is instructed, priority should be given to shooting processing. Inference processing cannot be executed in some cases. If the inference process cannot be executed, the process proceeds to S208, and if the inference process can be executed, the process proceeds to S206.
  • inference processing is performed on the image file 400 using the inference engine 73A.
  • an image file 400 is input as an input to the inference engine 73A.
  • a subject area included in the image data is specified from the image data 406 and the annotation information 403a in the image file 400, and as a result of inference using the inference engine 73A for each subject area, the classification result of the subject included in the subject area is obtained. Output.
  • information related to the inference process such as debug information on operations during inference and logs.
  • the subject classification result which is the inference result obtained in S206, and the management version and debug information of the current inference model held in the inference model recording unit 72A, if any, are used as inference model management information in an image file. to record.
  • FIG. 5B shows an image file 420 after recording the inference results and inference model management information in the image file 400 of FIG. 5A.
  • the metadata generation/analysis unit 70 is used to record the inference result in the annotation information 403 b for each position coordinate of the subject, and add the inference model management information 407 a to the MakerNote 404 .
  • the annotation information is a combination of the position coordinates and the inference result
  • the output as the inference result of the inference model can be recorded in the annotation information 403b.
  • the output result may be recorded as it is, or any recording format or format such as text format or binary format may be used.
  • the inference model management information 407a is unique data used by the manufacturer who manages the inference model, it is not disclosed to the general public, and is recorded in the private MakerNote 404 so that it can be safely managed in association with the inference result. can do.
  • the image processing unit 20 performs decompression processing, resizing processing, or the like on the image file read out to the memory 25 according to the recording method, converts it into display image data, and records it in the image display memory 24, Play back on the display unit 23 .
  • the metadata generation/analysis unit 70 is used to confirm whether the inference result has been recorded in the image file currently being reproduced. If it has been recorded, the process proceeds to S304, and if it has not been recorded, the process proceeds to S309. In S304, if there is an instruction from the user to display the inference result recorded in the image file using the operation member included in the operation unit 63, the process proceeds to S305; otherwise, the process proceeds to S309.
  • the metadata generation/analysis unit 70 is used to extract information about the inference result from the annotation information 403b, and the image processing unit 20 is used to superimpose and display the extracted information on the image data being reproduced. For example, together with a frame indicating the coordinate area for each subject described in the annotation information 403b, an inference result obtained by classifying the subject within the coordinate area is displayed together with a character string, thereby enabling the inference result associated with the image data to be displayed. is displayed so that the user can see it.
  • an instruction to correct the inference result is acquired, an image file 430 shown in FIG. 5C is created as teacher data of the inference model, and recorded in the teacher data recording unit 74a.
  • the image file 420 may be recorded on the external recording medium 91 as a separate file.
  • the image file 430 is created based on the image file 420, and the annotation information 403c recorded at the position indicated by the annotation information offset included in the annotation link information storage tag 402 is added to the annotation information 403c using the metadata generation/analysis unit 70. Data for which correction is instructed by the user is recorded as correct data for each coordinate area in the screen of the subject.
  • the annotation information 403 b of the image file 420 is recorded as the old annotation information 409 at the position indicated by the old annotation information offset included in the old annotation link information storage tag 408 .
  • the learning unit 74A is used to relearn the inference engine 73A using the image file 430 created in S307 as teacher data, thereby updating the inference engine 73A.
  • the inference model recording unit 72A also updates the management version of the inference engine 73A.
  • the metadata generation/analysis unit 70 is used to extract the inference model management information recorded in the image file for which inference has been instructed. Then, the management version included in the inference model management information is compared with the old or new management version of the inference engine 73A managed by the inference model recording unit 72A to confirm whether the management version of the inference engine 73A has been updated. If the management version of the inference engine 73A is older than or the same as the management version recorded in the image file, no processing is performed and the process ends. If updated, the process proceeds to S402.
  • the same processing as in S206 is performed.
  • the subject area included in the image data 406 is specified from the image data 406 and the annotation information 403b in the image file 420.
  • FIG. Then, inference is performed using the inference engine 73A for each subject area, and in S403, an inference result is obtained for each subject area.
  • S404 it is determined whether or not the inference result obtained in S403 has an output format different from the inference result of the annotation information 403b recorded in the image file 420.
  • a different output format may be, for example, when the inference engine 73A is updated to enable more detailed classification, and new items such as details are added to the classification result and output. If the output formats are different, the process proceeds to S406.
  • the metadata generation/analysis unit 70 is used to format the image file 440 shown in FIG. 5D and record it on the external recording medium 91.
  • the result of reinference is recorded in the annotation information 403d recorded at the position indicated by the annotation information offset included in the annotation link information storage tag 402 in the original image file 420.
  • the annotation information 403b already recorded in the image file 420 is recorded as old annotation information 409 at the position indicated by the old annotation information offset included in the old annotation link information storage tag 408.
  • both old inference results and new inference results can be recorded in association with the image data, making it possible to easily manage the transition of the inference results for the image data.
  • an inference model that infers the classification of the subject was assumed, but there are various inference models that are not limited to classification as inference models. Even when inference processing is performed using different inference models, the inference results of a plurality of different inference models can be efficiently associated with one image data in one file by using this embodiment. It can also be easily managed.
  • the inference model management information 407a in the MakerNote 404 of the image file 440 is updated to the inference model management information 407b, which is the current information of the inference engine 73A, using the metadata generation/analysis unit 70.
  • transmission processing shown in the flowchart of FIG. 6 is started.
  • Sending instructions may be initiated by selecting one or more image files as targets, or by setting automatic transmission at the time of shooting in advance, and sending when an image file is generated as a trigger. may be started.
  • the case where the image file before transmission is recorded in a format like the image file 440 in FIG. 5D will be described as an example.
  • system information is requested from the external device 101 through the communication unit 71A of the digital camera 100, and the external device 101 transmits the system information from the system control unit 50B to the digital camera 100 through the communication unit 71B.
  • the digital camera 100 acquires the system information of the transmission destination, and advances to step S602.
  • the inference model management information is requested from the external device 101 through the communication unit 71A of the digital camera 100, and the external device 101 transmits the inference model management information from the system control unit 50B to the digital camera 100 through the communication unit 71B.
  • the digital camera 100 acquires the inference model management information of the transmission destination, and advances to step S603.
  • the transmission method is determined.
  • Specific examples of transmission methods include wireless transmission such as Wi-Fi and BlueTooth (registered trademark), wired transmission using Ethernet cables and USB cables, and transmission using removable media such as SD cards.
  • the method set by the user using the operation member included in the operation unit 63 may be used as the transmission method. You may judge from the connection state of If only a single transmission method is available, that transmission method may be determined. After determining the transmission method, the process proceeds to S604.
  • the management version of the destination inference model acquired in S602 is compared with the management version of the inference model of the digital camera 100 itself held in the inference model recording unit 72A. If the management version of the destination and the management version of the transmission destination match, the process proceeds to S606. If the determination cannot be made for the reason, the process proceeds to S607.
  • annotation information other than the matching management version is deleted. For example, if the managed versions other than the latest match, the annotation link information storage tag 402 and the annotation information 403d are deleted from the image file 440 shown in FIG. 5D to generate the image file 700 shown in FIG. 7A.
  • the process proceeds to S610.
  • the annotation information other than the latest management version is deleted.
  • the old annotation link information storage tag 408 and the old annotation information 409 are deleted from the image file 440 shown in FIG. 5D to generate the image file 710 shown in FIG. 7B.
  • annotation information other than the latest management version is deleted in the same manner as in S607. For example, an image file 710 as shown in FIG. 7B is generated from the image file 440 shown in FIG. 5D.
  • the latest inference result is deleted.
  • the inference result included in the annotation information 705 is deleted from the image file 710 shown in FIG. 7B to generate an image file 720 including the annotation information 705b and MakerNote 706 as shown in FIG. 7C.
  • the process proceeds to S610.
  • S610 it is determined whether or not the reliability of the transmission method determined in S603 is sufficiently high, and if it is determined to be sufficiently high, the process proceeds to S612. If it is determined that the reliability of the transmission method is not sufficiently high, the process proceeds to S611. Specifically, it may be determined that reliability is high when the transmission method is wired or the SD card is brought out, and reliability is low when the transmission method is wireless. Alternatively, even in the case of wireless communication, it may be determined that reliability is high in the case of an in-house LAN, and that reliability is low in the case of public wireless communication.
  • the annotation link information storage tag is deleted. For example, if the image file 700 shown in FIG. 7A has been generated in S606, the old annotation link information storage tag 408 is deleted and an image file 730 shown in FIG. 7D is generated. If the image file 710 shown in FIG. 7B has been generated in S607, the annotation link information storage tag 402 is deleted and an image file 740 shown in FIG. 7E is generated. If the image file 720 shown in FIG. 7C has been generated in S609, the annotation link information storage tag 402 is deleted and an image file 740 shown in FIG. 7F is generated.
  • the target image file is transmitted using the transmission method determined in S603, and the process ends.
  • the inference results are deleted for each image file, and then the transmission process is performed. You may make it transmit collectively.
  • Editing processing of the digital camera 100 according to the present embodiment will now be described with reference to FIGS. 8A and 8B.
  • the editing instruction may be given by selecting one or a plurality of image files and instructing the editing content, or by instructing the editing content on the image displayed on the quick review display section at the time of shooting. .
  • the system control unit 50A acquires the image data, the Exif data 401, etc. from the image files stored in the external recording medium 91, issues a display request through the display unit 23, and proceeds to S802.
  • the acquired image data is edited according to the instructed editing content, and the edited image data is saved. For example, when an image file before editing is recorded in a format like the image file 440 in FIG. 5D described above, the acquired image data 406 is edited, and the edited image data 912 is saved.
  • the MakerNote 404 of the image data 406 contains the detected subject information 405, the subject information is converted according to the editing content and recorded. For example, when the size of the image is changed due to editing, the coordinates of each subject in MakerNote 404 are converted according to the image size after editing, the converted coordinate information 911 is recorded, and the image file 910 shown in FIG. 9A is stored. to generate
  • the system control unit 50A determines whether annotation information is stored in the image file of the image data to be edited acquired in S801. If the annotation information is stored, the process proceeds to S804, and if the annotation information is not stored, the process proceeds to S820, the edited image file is recorded, and the editing process ends.
  • inference processing using the inference engine 73A is performed on the image data edited in S802.
  • the image file 910 shown in FIG. 9A is input as an input to the inference engine 73A
  • the subject area included in the image data 912 is identified from the image data 912 in the image file 910 and the annotation information 403d.
  • the classification result of the subject included in the subject area is output.
  • the inference engine 73B of the external device 101 can also be used.
  • information related to inference processing such as debug information on operations during inference and logs is output.
  • the inference result of S804 is recorded as annotation information
  • the existing annotation information is recorded as old annotation information.
  • the result of inferring in S804 is recorded in the annotation information 403e recorded at the position indicated by the annotation information offset included in the annotation link information storage tag 402.
  • the annotation information 403b already recorded in the image file 910 is recorded as old annotation information A 409a at the position indicated by the old annotation information offset included in the old annotation link information A storage tag 408.
  • the old annotation information 409 is recorded as old annotation information B 409 b at the position indicated by the old annotation information offset included in the old annotation link information B storage tag 908 .
  • the current inference model management version and debug information are recorded as the inference model management information 927 of the MakerNote 404 . This generates an image file 920 shown in FIG. 9B.
  • the metadata generation/analysis unit 70 is used for the image data of the image file generated in S805 to delete the annotation information obtained in the inference processing of S804 and retain the other annotation information. This is because, in the case of resizing, pixels after editing become coarser due to size conversion, and therefore the inference result of the original image is more accurate than inference from the edited image.
  • the annotation link information storage tag 402 and the annotation information 403e are deleted.
  • S807 it is determined whether or not the editing process was a trimming process for adjusting the display range and size of the image by cutting unnecessary parts around the image data. If it is trimming processing, the process proceeds to S808, and if it is not trimming processing, the process proceeds to S811.
  • the metadata generation/analysis unit 70 is used for the image data of the image file generated in S805 to delete all old annotation information and retain the latest annotation information. This is because trimming has cut off the subject area indicated by all the old annotation information.
  • the old annotation link information A storage tag 408, the old annotation link information B storage tag 908, the old annotation information A 409a, and the old annotation information B 409b are deleted. This generates an image file 940 as shown in FIG. 9D. After that, the process proceeds to S817.
  • the newer old annotation information is deleted from the image data of the image file generated in S805 by using the metadata generation/analysis unit 70, and the latest annotation information and the old old annotation information are deleted. Hold. This is because the area of the subject indicated by the newer old annotation information was cut by trimming.
  • the old annotation link information A storage tag 408 and the old annotation information A 409a are deleted. This generates an image file 950 as shown in FIG. 9E. After that, the process proceeds to S817.
  • the older annotation information is deleted from the image data of the image file generated in S805 using the metadata generation/analysis unit 70, and the latest annotation information and the newer old annotation information are deleted. Hold. This is because the area of the subject indicated by the older annotation information was cut by trimming.
  • the old annotation link information B storage tag 908 and the old annotation information B 409b are deleted. This generates an image file 960 as shown in FIG. 9F. After that, the process proceeds to S817.
  • S811 it is determined whether or not the editing process was a moving image clipping process of clipping a designated frame of a moving image format such as MPEG-4, converting it to JPEG format, and saving it. If it is moving image cutout processing, the process advances to S818, and if it is not moving image cutout processing, the process advances to S812.
  • the image processing unit 20 performs compression processing such as reversible compression on uncompressed RAW data, or applies image processing such as color conversion to image data that has been subjected to decompression processing, converts it to JPEG format, and converts it into an image. Create data. If it is RAW development processing, the process proceeds to S813, and if it is not RAW development processing, the process proceeds to S818.
  • the annotation information is deleted after performing the inference process. Inference processing may not be performed.
  • resizing processing, trimming processing, moving image clipping processing, and ROW development processing are described as examples of editing processing, but processing other than these may be used. Even in that case, as in steps S814 to S818, it is sufficient to leave the necessary annotation information and delete the unnecessary annotation information.
  • each data may be stored individually instead of being stored in a file format in the memory 25 so that image files as shown in FIGS. 9C to 9F are generated when recording in S817.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device executes the program. It can also be realized by a process of reading and executing. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device executes the program. It can also be realized by a process of reading and executing. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • ASIC application specific integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

画像から、被写体を検出する検出手段と、前記検出された被写体に対して、推論モデルを用いて推論処理を行う推論手段と、前記画像の画像データと、前記被写体の情報と、前記推論処理の推論結果と、前記推論モデルの情報とをまとめて、画像ファイルを生成する生成手段と、を有し、前記生成手段は、前記推論モデルを前記画像ファイルの非公開の領域に記録する。

Description

画像処置装置及び方法、及び撮像装置
　本発明は、デジタルカメラなどで撮像された画像を処理する画像処置装置及び方法、及び撮像装置に関する。
　近年、深層学習などといった人工知能（Artificial Intelligence：ＡＩ）技術が様々な技術分野で活用されつつある。例えば、従来、デジタルスチルカメラなどにおいて、撮影された画像から人の顔を検出する機能が搭載されていたが、特許文献１には、検出対象を人に限らず、犬や猫といった動物などを精度よく検出し、認識する技術が開示されている。
　一方、被写体検出技術が進化し、検出できる情報の重要性が増えるにつれ、検出対象として入力画像と検出された結果は、その後のワークフローで様々に利活用できる重要な情報となっている。例えば、画像からＡＩ技術などを用いて推定される多様な情報は、ロボットの自動化、自動車の自動運転など、様々な分野で非常に重要な入力データとなっている。
特開２０１５－９９５５９号公報
　しかしながら、入力画像から検出できた情報の管理方法については、触れられていない。
　本発明は上記問題点を鑑みてなされたものであり、画像における被写体の推定結果を適切に管理することを目的とする。
　上記目的を達成するために、本発明の画像処理装置は、画像から、被写体を検出する検出手段と、前記検出された被写体に対して、推論モデルを用いて推論処理を行う推論手段と、前記画像の画像データと、前記被写体の情報と、前記推論処理の推論結果と、前記推論モデルの情報とをまとめて、画像ファイルを生成する生成手段と、を有し、前記生成手段は、前記推論モデルを前記画像ファイルの非公開の領域に記録する。
　本発明によれば、画像における被写体の推定結果を適切に管理することができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態におけるデジタルカメラの概略構成を示すブロック図。 本実施形態におけるデジタルカメラの撮影処理を示すフローチャート。 本実施形態におけるデジタルカメラの再生処理を示すフローチャート。 本実施形態におけるデジタルカメラの再生処理を示すフローチャート。 本実施形態におけるデジタルカメラの再推論処理を示すフローチャート。 本実施形態におけるデジタルカメラで記録される画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラで記録される画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラで記録される画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラで記録される画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの送信処理を示すフローチャート。 本実施形態におけるデジタルカメラの送信処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの送信処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの送信処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの送信処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの送信処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの送信処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの編集処理を示すフローチャート。 本実施形態におけるデジタルカメラの編集処理を示すフローチャート。 本実施形態におけるデジタルカメラの編集処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの編集処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの編集処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの編集処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの編集処理時の画像ファイルの記録内容の概要を表す図。 本実施形態におけるデジタルカメラの編集処理時の画像ファイルの記録内容の概要を表す図。
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
　また、以下の説明では、推論モデルを使用し、被写体分類を行う画像出力装置として、デジタルカメラを例示するが、本発明の画像出力装置がデジタルカメラに限られないことは言うまでもない。本発明の画像出力装置は、記録装置に記録されている画像を読み出して表示装置に表示する画像出力装置であればいかなる機器であってもよく、例えば、スマートフォン、タブレットＰＣなどであってもよい。
　図１は、本発明の実施形態にかかるデジタルカメラ１００の構成例を示すブロック図である。
　バリア１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護部材であり、バリア制御部４３により動作が制御される。撮影レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は、絞り機能を備える。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳセンサ等で構成され、シャッター１２を介して撮影レンズ１１により撮像面上に結像された光学像を電気信号に変換する。
　Ａ／Ｄ変換器１５は、撮像素子１３から出力されたアナログの画像信号をデジタルの画像信号に変換する。Ａ／Ｄ変換器１５で変換されたデジタルの画像信号は、所謂ＲＡＷ画像データとして、メモリ２５に書き込まれる。併せて、撮影時の情報を基に各ＲＡＷ画像データに対応する現像パラメータが生成され、メモリ２５に書き込まれる。現像パラメータは、露光設定、ホワイトバランス、色空間、コントラストなど、ＪＰＥＧ方式などを記録するための画像処理で使用する各種パラメータから構成される。
　タイミング発生器１４は、メモリ制御部２２及びシステム制御部５０Ａにより制御され、撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給する。
　画像処理部２０は、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理などの各種画像処理を行う。また、画像処理部２０は、撮像して得られた画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果をシステム制御部５０Ａに提供する。システム制御部５０Ａは、提供された演算結果に基づいて露光制御部４０および焦点制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。
　また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。さらに、画像処理部２０は、メモリ２５に格納された画像データを読み込んでＪＰＥＧ方式やＭＰＥＧ－４　ＡＶＣまたはＨＥＶＣ（High　Efficiency　Video　Coding）、非圧縮のＲＡＷデータに対する可逆圧縮など、圧縮処理或いは伸長処理を行う。そして、画像処理部２０は、処理を終えた画像データをメモリ２５に書き込む。
　また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、各種画像データの編集処理を行う。具体的には、画像データの周囲にある不要な部分を非表示にすることで画像の表示範囲やサイズを調整するトリミング処理、画像データや画面の表示要素などを拡大や縮小して大きさを変更するリサイズ処理を行うことができる。更に、非圧縮のＲＡＷデータに対する可逆圧縮など、圧縮処理或いは伸長処理を行ったデータに対して色変換などの画像処理を加え、ＪＰＥＧ方式に変換して画像データを作成するＲＡＷ現像を行うことができる。また、ＭＰＥＧ－４などの動画フォーマットの指定フレームを切り出してＪＰＥＧ方式に変換して保存する動画切り出し処理を行うことができる。
　また、画像処理部２０は、表示用の画像データと共に、表示部２３に表示するメニューや任意の文字等のＯＳＤ（On-Screen Display）を重畳させる処理等も行う。
　さらに、画像処理部２０では、入力された画像データや撮影時の撮像素子１３などから得られる被写体との距離情報などを利用して、画像データ内に存在する被写体を検出して、その被写体領域を検出する被写体検出処理を行う。検出できる情報として、画像内における位置、大きさといった領域や傾き、確からしさなどの検出情報を得ることができる。
　メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生器１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５により生成されたＲＡＷ画像データは、画像処理部２０、メモリ制御部２２を介して、或いは、直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。
　画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介してＴＦＴ　ＬＣＤなどにより構成される表示部２３に表示される。表示部２３を用いて撮像して得られた画像データを逐次表示すれば、ライブ画像を表示する電子ファインダ機能を実現することが可能である。
　メモリ２５は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備え、撮影した静止画像や動画像を格納する。また、メモリ２５はシステム制御部５０Ａの作業領域としても使用することが可能である。
　露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能も有する。焦点制御部４１は、システム制御部５０Ａからの指示に基づいて撮影レンズ１１に含まれる不図示のフォーカスレンズを駆動することで、焦点調節を行う。ズーム制御部４２は、撮影レンズ１１に含まれる不図示のズームレンズを駆動することで、ズーミングを制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。
　システム制御部５０Ａは、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。なお、不揮発性メモリ５１には、プログラムだけでなく、地図情報等も記録されている。
　シャッタースイッチ６１（ＳＷ１）は、シャッターボタン６０の操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などの動作開始を指示する。シャッタースイッチ６２（ＳＷ２）は、シャッターボタン６０の操作完了でＯＮとなり、露光処理、現像処理、記録処理を含む一連の撮影動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号を、Ａ／Ｄ変換器１５、メモリ制御部２２を介して、ＲＡＷ画像データとしてメモリ２５に書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いて、メモリ２５に書き込まれたＲＡＷ画像データを現像し、画像データとしてメモリ２５に書き込む。記録処理では、メモリ２５から画像データを読み出し、画像処理部２０により圧縮を行い、圧縮した画像データをメモリ２５に格納した後にカードコントローラ９０を介して外部記録媒体９１に書き込む。
　操作部６３は、各種ボタンやタッチパネルなどの操作部材を備える。例えば、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替えスイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、例えば、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなどを含む。
　メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に、撮影時の情報を基に、画像データに添付するＥｘｉｆ(Exchangeable image file format)規格などの様々なメタデータを生成する。また、メタデータ生成・解析部７０は、外部記録媒体９１に記録されている画像データを読み込んだ際に、画像データに付与されているメタデータの解析を行う。メタデータとしては、例えば、撮影時の撮影時設定情報、画像データに関する画像データ情報、画像データに含まれる被写体の特徴情報などが挙げられる。また、動画像データを記録する際には、メタデータ生成・解析部７０は、各フレームについてメタデータを生成し、付与することもできる。
　電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。
　カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００が撮影した画像（静止画、動画）を記録する。
　推論エンジン７３Ａは、推論モデル記録部７２Ａに記録された推論モデルを用いて、システム制御部５０Ａを介して入力された画像データに対して推論を行う。推論モデルには、外部装置１０１などの外部から通信部７１Ａを通じて入力し、推論モデル記録部７２Ａに記録されたものや、学習部７４Ａによって再学習を行って得られた推論モデルを使用することができる。なお、推論モデルは、外部からの更新や学習部７４Ａによって再学習を行って更新された場合に、それぞれの推論モデルが識別できるように、推論モデル記録部７２Ａなどで管理バージョンを保持していることとする。また、推論エンジン７３Ａは、ニューラルネットワーク・デザイン７３ａを有する。
　ニューラルネットワーク・デザイン７３ａは、入力層と出力層の間に中間層（ニューロン）が配置されている。入力層にはシステム制御部５０Ａから画像データが入力される。中間層としては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。中間層は、推論モデル記録部７２Ａに記録された推論モデルに基づいて、重み付けがなされる。出力層には、入力層に入力された画像データに応じたアノテーション情報が出力される。
　本実施形態では、画像に含まれる被写体がどのようなものであるかの分類を推論する推論モデルを想定する。様々な被写体の画像データと、その分類（例えば、犬、猫などの動物の分類や、人、動物、植物、建物など被写体分類など）結果を教師データとして、深層学習により生成された推論モデルを外部装置１０１などで生成したものを利用する。ただし、推論エンジン７３Ａは外部装置１０１などから更新可能なため、その他の様々な推論モデルを扱っても構わない。
　学習部７４Ａは、システム制御部５０Ａ等から依頼を受けて、推論モデルの再学習を行う。学習部７４Ａは、教師データ記録部７４ａを有し、教師データ記録部７４ａは、推論エンジン７３Ａへの教師データに関する情報を記録する。学習部７４Ａは教師データ記録部７４ａに記録されている教師データを用いて、推論エンジン７３Ａを再学習させ、推論モデル記録部７２Ａを用いて、推論エンジン７３Ａを更新することができる。
　通信部７１Ａは、送信および受信を行うための通信回路を有する。通信回路は、具体的にはＷｉ－ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信でも良いし、イーサネットやＵＳＢなどの有線通信でも良い。通信部７１Ａは、外部装置１０１の通信部７１Ｂと通信を行うことができる。通信部７１Ａは、推論エンジン７３Ａにおいて作成されたアノテーション情報が付与された画像ファイルだけでなく、推論モデルや教師データなどの様々な情報をシステム制御部５０Ａ、システム制御部５０Ｂに送受信する通信部として機能する。また、外部装置１０１がカメラと関連しているかどうかにより、送信する情報に制限をかけることができる。
　外部装置１０１は、学習部７４Ｂ、推論エンジン７３Ｂ、推論モデル記録部７２Ｂ、システム制御部５０Ｂ、通信部７１Ｂを有する。または、これらの構成を持たない装置であってもよい。学習部７４Ｂは、推論エンジン７３Ｂ、システム制御部５０Ｂなど、外部からの依頼を受けて推論モデルを作成する。推論モデル記録部７２Ｂは、デジタルカメラ１００から送信された推論モデルや学習部７４Ｂで作成された推論モデルを記録する。
　次に、図２を用いて、本実施形態におけるデジタルカメラ１００の撮影処理について説明する。
　操作部６３に含まれるモード切替スイッチにより撮影モードが指示されると処理が開始される。Ｓ２０１において、ユーザがシャッターボタン６０の押下により、シャッタースイッチ６１（ＳＷ１）及び６２（ＳＷ２）がＯＮとなって静止画撮影が指示されたかを確認し、静止画撮影が指示された場合、Ｓ２０２に進む。
　Ｓ２０２では、撮影処理を行う。撮影処理では、焦点制御部４１や露光制御部４０を用いて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行ったうえで、撮像素子１３からＡ／Ｄ変換器１５を介して出力される画像信号をメモリ２５に保存する。更に、メモリ２５に保存した画像信号に対して、ユーザの設定に合わせて、画像処理部２０に含まれる圧縮処理でＪＰＥＧ形式やＭＰＥＧ－４ ＨＥＶＣ形式で圧縮した画像データを作成する。
　Ｓ２０３において、メモリ２５に保存された画像信号に対して、画像処理部２０により被写体検出処理を行い、画像に含まれる被写体の検出情報を取得する。
　Ｓ２０４において、Ｓ２０２で作成された画像データとＳ２０３で取得した被写体検出情報を画像ファイルとして外部記録媒体９１に記録する。ここで記録される画像ファイルは、図５Ａに示すような形式で記録される。本実施形態で記録される画像ファイル４００は、少なくともＥｘｉｆ規格に従ったメタデータを記憶する領域と、圧縮された画像データ４０６を記録する画像データ領域とから構成されている。画像ファイル４００は、例えば、ユーザからＪＰＥＧ形式での記録が指示されていれば、ＪＰＥＧ形式で記録され、Ｅｘｉｆデータ４０１はＡＰＰ１マーカーなどに記録されている。また、ユーザからＨＥＩＦ（High Efficiency Image File Format）形式での記録が指示された場合、ＨＥＩＦファイル形式で記録され、Ｅｘｉｆデータ４０１は、ＭｅｔａデータＢｏｘなどに記録される。また、ＲＡＷ形式での記録が指示された場合も同様に、Ｅｘｉｆデータ４０１は、ＭｅｔａデータＢｏｘなどの所定の領域に記録される。
　Ｓ２０３で取得した被写体検出情報は、メタデータ生成・解析部７０を用いて、Ｅｘｉｆデータ４０１に含まれる製造メーカー固有のメタデータが原則非公開の形式で記載できるＭａｋｅｒＮｏｔｅ４０４内に記憶される。更に、被写体検出情報は、アノテーションリンク情報格納タグ４０２に含まれるアノテーション情報オフセットで指し示す位置に記録されているアノテーション情報４０３ａに記録される。アノテーション情報４０３ａに記録された被写体検出情報は、後述する推論処理において推論エンジン７３Ａへの入力データとなるアノテーション情報として用いられる。図５Ａに示す例では、アノテーション情報４０３ａには被写体の画面内の座標領域だけが記録されているが、それ以外の情報が含まれていても構わない。
　Ｓ２０５において、推論エンジン７３Ａを用いた推論処理が実施可能か確認する。例えば、推論エンジン７３Ａが他の画像に対する処理を実行中であったり、シャッターボタン６０の操作によりシャッタースイッチ６２（ＳＷ２）が引き続きＯＮであって、連写撮影が指示されて撮影処理を優先すべき場合などは、推論処理を実行できない。推論処理が実行できない場合は、Ｓ２０８に進み、推論処理が実行可能であれば、Ｓ２０６に進む。
　Ｓ２０６において、画像ファイル４００に対して、推論エンジン７３Ａを用いた推論処理を行う。本実施形態では、推論エンジン７３Ａへの入力として、画像ファイル４００を入力する。画像ファイル４００内の画像データ４０６とアノテーション情報４０３ａから画像データ内に含まれる被写体領域を特定し、被写体領域ごとに推論エンジン７３Ａを用いて推論した結果として、被写体領域に含まれる被写体の分類結果を出力する。推論時に、推論結果以外に推論途中の動作上のデバッグ情報、ログなど推論処理に関連する情報を出力しても構わない。
　Ｓ２０７において、Ｓ２０６で取得した推論結果である被写体の分類結果と、推論モデル記録部７２Ａで保持している現在の推論モデルの管理バージョンやデバッグ情報などがあればそれらを推論モデル管理情報として画像ファイルに記録する。図５Ｂは、図５Ａの画像ファイル４００に、推論結果と推論モデル管理情報を記録した後の画像ファイル４２０を示す。画像ファイル４２０では、メタデータ生成・解析部７０を用いて、推論結果をアノテーション情報４０３ｂに被写体の位置座標ごとに記録し、推論モデル管理情報４０７ａをＭａｋｅｒＮｏｔｅ４０４内に追記する。
　本実施形態では、アノテーション情報を、位置座標と推論結果の組み合わせとした例を示しているが、アノテーション情報４０３ｂには推論モデルの推論結果として出力されたものを記録できれば良い。例えば、出力結果をそのまま記録してもいいし、テキスト形式、バイナリ型式などその記録フォーマットや形式は問わない。このように画像データ４０６と推論結果を同一ファイル内に記録することで、以後、画像データ４０６と推論結果を各々管理することなく、効率的に対応づけて容易に管理することができる。また、推論モデル管理情報４０７ａは、推論モデルを管理する製造メーカが利用する特有のデータのため、広く一般に公開せず、非公開のＭａｋｅｒＮｏｔｅ４０４に記録することで、推論結果とともに対応付けて安全に管理することができる。
　Ｓ２０８において、ユーザから操作部６３に含まれるモード切り替えスイッチや電源ボタンで電源ＯＦＦなどにより撮影完了が指示されると、撮影処理を終了する。
　次に、図３Ａ及び図３Ｂを用いて、本実施形態におけるデジタルカメラ１００の再生処理について説明する。
　デジタルカメラ１００では、操作部６３に含まれるモード切替スイッチで再生モードが指示されると、外部記録媒体９１に記録されている画像データを閲覧する再生処理が開始される。再生処理が開始されると、Ｓ３０１において、再生すべき１つの画像ファイルを特定し、カードコントローラ９０を介して外部記録媒体９１からメモリ２５に読み込む。
　Ｓ３０２において、画像処理部２０により、メモリ２５に読み出した画像ファイルに対して、記録方式に応じて伸長処理やリサイズ処理などを行い、表示用画像データに変換して画像表示メモリ２４に記録し、表示部２３で再生する。
　Ｓ３０３において、メタデータ生成・解析部７０を用いて、現在再生中の画像ファイルに推論結果が記録済みか確認する。記録済みであれば、Ｓ３０４に進み、記録済みでなければＳ３０９に進む。
　Ｓ３０４において、ユーザから操作部６３に含まれる操作部材を用いて、画像ファイルに記録済みの推論結果を表示するよう指示があれば、Ｓ３０５に進み、指示が無ければＳ３０９に進む。
　Ｓ３０５において、メタデータ生成・解析部７０を用いて、アノテーション情報４０３ｂから推論結果に関する情報を抽出し、画像処理部２０を用いて抽出した情報を再生中の画像データに重畳し、表示する。例えば、アノテーション情報４０３ｂに記載されている被写体毎の座標領域を示す枠とともに、その座標領域内の被写体を分類した推論結果を文字列で併せて表示することで、画像データに関連づけられた推論結果をユーザが目視できるように表示する。
　Ｓ３０６において、ユーザがＳ３０５において表示された推論結果を参照した結果、誤りに気付くなどして、操作部６３に含まれる操作部材を用いて推論結果の訂正指示があったか確認する。訂正指示があれば、Ｓ３０７に進み、訂正指示が無ければＳ３０９に進む。
　Ｓ３０７では、推論結果の訂正指示を取得し、推論モデルの教師データとして、図５Ｃに示す画像ファイル４３０を作成し、教師データ記録部７４ａに記録する。なお、外部記録媒体９１にも画像ファイル４２０とは別ファイルとして記録しておいても構わない。画像ファイル４３０は、画像ファイル４２０を基にして作成され、メタデータ生成・解析部７０を用いて、アノテーションリンク情報格納タグ４０２に含まれるアノテーション情報オフセットで指し示す位置に記録されているアノテーション情報４０３ｃに被写体の画面内の座標領域ごとにユーザから訂正を指示されたデータを正解データとして記録する。画像ファイル４２０のアノテーション情報４０３ｂは、旧アノテーションリンク情報格納タグ４０８に含まれる旧アノテーション情報オフセットが指し示す位置に、旧アノテーション情報４０９として記録される。
　次に、Ｓ３０８において、学習部７４Ａを用いて、Ｓ３０７で作成された画像ファイル４３０を教師データとして、推論エンジン７３Ａを再学習させ、推論エンジン７３Ａを更新する。更新に伴い、推論モデル記録部７２Ａで推論エンジン７３Ａの管理バージョンなどの更新も併せて行う。
　Ｓ３０９において、ユーザから操作部６３に含まれる操作部材を用いて再生中の画像ファイルへの推論が指示されたか確認を行う。例えば、撮影時に推論処理を行うことができなかった画像ファイルに対する推論処理を行いたい場合や、外部から推論モデルが更新され、記録済みの画像ファイルに対して再度推論処理を行いたい場合など、推論が指示された場合、Ｓ３１０に進む。
　Ｓ３１０において、推論が指示された画像ファイルに推論結果が記録済みか確認し、記録されていなければ、Ｓ３１２、Ｓ３１３において、Ｓ２０６、Ｓ２０７と同様の処理を行って、画像ファイルに推論結果、推論モデル管理情報の記録を行う。すでに推論結果が記録済みの場合は、Ｓ３１１に進み、再推論処理を行う。
　ここで、Ｓ３１１で行われる再推論処理について、図４を用いて説明する。
　再推論処理では、Ｓ４０１において、メタデータ生成・解析部７０を用いて、推論が指示された画像ファイルに記録されている推論モデル管理情報を抽出する。そして、推論モデル管理情報に含まれる管理バージョンと、推論モデル記録部７２Ａで管理している推論エンジン７３Ａの管理バージョンの新旧を比較し、推論エンジン７３Ａの管理バージョンが更新されているか確認する。推論エンジン７３Ａの管理バージョンが、画像ファイルに記録されている管理バージョンより古いか同じであれば、何も処理を行わず、そのまま終了する。更新されていれば、Ｓ４０２に進む。
　Ｓ４０２では、Ｓ２０６と同様の処理を行う。例えば、画像ファイル４２０に対して再推論処理を行う場合、画像ファイル４２０内の画像データ４０６とアノテーション情報４０３ｂから、画像データ４０６内に含まれる被写体領域を特定する。そして、被写体領域ごとに推論エンジン７３Ａを用いて推論を行い、Ｓ４０３において、被写体領域ごとに推論結果を取得する。
　Ｓ４０４において、Ｓ４０３で取得した推論結果が画像ファイル４２０に記録されているアノテーション情報４０３ｂの推論結果と異なる出力形式かどうかを判断する。異なる出力形式となる場合としては、例えば、推論エンジン７３Ａが更新され、より詳細な分類が可能となり、分類結果に新たに細目などの項目が追加して出力されているような場合が考えられる。出力形式が異なる場合、Ｓ４０６に進む。
　一方、同じ出力形式の場合、Ｓ４０５において、推論モデル記録部７２Ａで管理している推論エンジン７３Ａの管理バージョンについて、外部から推論モデルの更新の有無が管理されており、外部からの更新があったことを示しているかどうかを判断する。外部からの更新があった場合にはＳ４０６に進む。
　Ｓ４０６では、メタデータ生成・解析部７０を用いて、図５Ｄに示す画像ファイル４４０のような形式にして、外部記録媒体９１に記録する。画像ファイル４４０には、元の画像ファイル４２０に対して、アノテーションリンク情報格納タグ４０２に含まれるアノテーション情報オフセットで指し示す位置に記録されているアノテーション情報４０３ｄに、再推論した結果を記録する。
　一方、画像ファイル４２０にすでに記録されていたアノテーション情報４０３ｂは、旧アノテーションリンク情報格納タグ４０８に含まれる旧アノテーション情報オフセットが指し示す位置に、旧アノテーション情報４０９として記録される。これにより、古い推論結果と新しい推論結果を共に画像データに関連付けて記録することができ、画像データに対する推論結果の推移を容易に管理することができる。
　また、本実施形態では被写体の分類を推論する推論モデルを想定していたが、推論モデルとしては分類に限らず様々な推論モデルが存在している。異なる推論モデルを用いて推論処理を行う場合にも、本実施形態を利用することで、１つの画像データに対して異なる複数の推論モデルの推論結果を１つのファイル内で効率的に対応付けて容易に管理することもできる。
　Ｓ４０５において、推論モデルが外部から更新されていない場合、Ｓ４０７において、メタデータ生成・解析部７０を用いて、画像ファイル４２０のアノテーション情報４０３ｂの推論結果の部分だけを更新し、Ｓ４０８に進む。
　Ｓ４０８では、画像ファイル４４０のＭａｋｅｒＮｏｔｅ４０４内の推論モデル管理情報４０７ａを、メタデータ生成・解析部７０を用いて、現在の推論エンジン７３Ａの情報である推論モデル管理情報４０７ｂに更新する。
　図３Ｂに戻り、Ｓ３１４において、操作部６３に含まれる操作部材を用いて、他の画像の再生指示がされた場合は、Ｓ３０１に戻って、指示された再生画像について上述した処理を繰り返す。一方、他の画像の再生指示がされなかった場合は、Ｓ３１５において再生処理の終了が指示されたかどうかを判断し、再生処理の終了が指示されなければＳ３０３に戻って上述した処理を繰り返し、再生処理の終了が指示されると再生処理を終了する。
　次に、図６を用いて、本実施形態におけるデジタルカメラ１００の送信処理について説明する。
　操作部６３に含まれる操作部材を用いて送信が指示されると、図６のフローチャートに示す送信処理が開始される。送信の指示は、一つまたは複数の画像ファイルを対象として選択して送信を開始しても良いし、予め撮影時に自動送信する設定を行っておき、画像ファイルが生成されたことをトリガーに送信を開始しても良い。ここでは、送信前の画像ファイルとして、上述した図５Ｄの画像ファイル４４０のような形式で記録されている場合を例にとって説明する。
　Ｓ６０１において、デジタルカメラ１００の通信部７１Ａを通じて外部装置１０１にシステム情報を要求し、外部装置１０１はシステム制御部５０Ｂから通信部７１Ｂを通じてデジタルカメラ１００にシステム情報を送信する。これによりデジタルカメラ１００は送信先のシステム情報を取得し、Ｓ６０２に進む。
　次に、Ｓ６０２において、デジタルカメラ１００の通信部７１Ａを通じて外部装置１０１に推論モデル管理情報を要求し、外部装置１０１はシステム制御部５０Ｂから通信部７１Ｂを通じてデジタルカメラ１００に推論モデル管理情報を送信する。これによりデジタルカメラ１００は送信先の推論モデル管理情報を取得し、Ｓ６０３に進む。
　Ｓ６０３において、送信方法を決定する。送信方法の具体的な例としては、Ｗｉ－ＦｉやＢｌｕｅＴｏｏｔｈ（登録商標）などの無線送信、イーサネットケーブルやＵＳＢケーブルによる有線送信、ＳＤカードなどのリムーバブルメディアによる送信などがある。送信方法の決定方法としては、複数の送信方法を利用可能である場合は、操作部６３に含まれる操作部材によりユーザーが設定したものを送信方法としても良いし、外部装置１０１とデジタルカメラ１００との接続状態から判断しても良い。単独の送信方法のみを利用可能である場合は、その送信方法を決定しても良い。送信方法を決定すると、Ｓ６０４に進む。
　Ｓ６０４において、Ｓ６０１で取得した送信先のシステム情報と、自身のシステム情報とを比較し、同一の場合はＳ６０５に進む。異なる場合や、送信先のシステム情報が取得できなかった場合は、Ｓ６０８に進む。
　Ｓ６０５では、Ｓ６０２で取得した送信先の推論モデルの管理バージョンと、推論モデル記録部７２Ａで保持しているデジタルカメラ１００自身の推論モデルの管理バージョンとを比較する。送信先の管理バージョンと自身の管理バージョンとが一致している場合は、Ｓ６０６に進み、送信先の管理バージョンと自身の管理バージョンが一致していない場合や、送信先の管理バージョンが取得できないなどの理由で判断できない場合は、Ｓ６０７に進む。
　Ｓ６０６では、一致した管理バージョン以外のアノテーション情報を削除する。例えば、最新以外の管理バージョンで一致した場合、図５Ｄに示す画像ファイル４４０から、アノテーションリンク情報格納タグ４０２とアノテーション情報４０３ｄを削除して、図７Ａに示すような画像ファイル７００を生成する。一致した管理バージョン以外のアノテーション情報を削除することで、送信先のシステムで使用するアノテーション情報を残しつつ、使用する可能性の低いアノテーション情報を削除して、データ量削減やデータ効率の向上、拡張性の確保を見込むことができる。その後、Ｓ６１０に進む。
　一方、管理バージョンが一致していない場合、Ｓ６０７において、最新の管理バージョン以外のアノテーション情報を削除する。例えば、図５Ｄに示す画像ファイル４４０から、旧アノテーションリンク情報格納タグ４０８と旧アノテーション情報４０９を削除して、図７Ｂに示すような画像ファイル７１０を生成する。最新の管理バージョン以外のアノテーション情報を削除することで、送信先のシステムで使用するアノテーション情報を残しつつ、使用する可能性の低いアノテーション情報を削除してデータ量削減やデータ効率の向上、拡張性の確保を見込むことができる。その後、Ｓ６１０に進む。
　また、システム情報が一致しない場合、Ｓ６０８において、Ｓ６０７における処理と同様に、最新の管理バージョン以外のアノテーション情報を削除する。例えば、図５Ｄに示す画像ファイル４４０から、図７Ｂに示すような画像ファイル７１０を生成する。最新の管理バージョン以外のアノテーション情報を削除することで、使用する可能性の低いアノテーション情報を削除してデータ量削減やデータ効率の向上、拡張性の確保を見込むことができる。その後、Ｓ６０９に進む。
　Ｓ６０９では、最新の推論結果を削除する。例えば、図７Ｂに示す画像ファイル７１０から、アノテーション情報７０５に含まれる推論結果を削除し、図７Ｃに示すようなアノテーション情報７０５ｂとＭａｋｅｒＮｏｔｅ７０６を含む画像ファイル７２０を生成する。最新の推論結果を削除することで、使用する可能性の低い推論結果を削除してデータ量削減やデータ効率の向上、拡張性の確保を見込むことができる。その後、Ｓ６１０に進む。
　Ｓ６１０において、Ｓ６０３で決定した送信方法の信頼性が十分に高いかどうかを判断し、十分に高いと判断した場合はＳ６１２に進む。信頼性が十分に高い送信方法とはいえないと判断した場合はＳ６１１に進む。具体的には、送信方法が有線やＳＤカード持ち出しの場合は信頼性が高いと判断し、無線の場合は信頼性が低いと判断しても良い。もしくは、無線でも社内ＬＡＮの場合は信頼性が高いと判断し、公衆無線の場合は信頼性が低いと判断しても良い。
　Ｓ６１１では、アノテーションリンク情報格納タグを削除する。例えば、Ｓ６０６で図７Ａに示す画像ファイル７００が生成されている場合は、旧アノテーションリンク情報格納タグ４０８を削除し、図７Ｄに示すような画像ファイル７３０を生成する。また、Ｓ６０７で図７Ｂに示す画像ファイル７１０が生成されている場合は、アノテーションリンク情報格納タグ４０２を削除し、図７Ｅに示すような画像ファイル７４０を生成する。また、Ｓ６０９で図７Ｃに示す画像ファイル７２０が生成されている場合は、アノテーションリンク情報格納タグ４０２を削除し、図７Ｆに示すような画像ファイル７４０を生成する。
　このように、アノテーションリンク情報格納タグを削除することで、万が一送信時に画像ファイルを傍受されても、推論結果には容易にアクセスできないため、ノウハウや資産（コストをかけて作成したデータ）の流出を防ぐことができる。その後、Ｓ６１２に進む。
　Ｓ６１２において、Ｓ６０３で決定された送信方法により、対象の画像ファイルの送信処理を行い、処理を終了する。
　なお上記説明では、画像ファイルごとに推論結果の削除を行い、その後送信処理を行うものとしたが、複数の画像ファイルについてまとめて推論結果の削除処理を行い、その後削除処理した複数の画像ファイルをまとめて送信するようにしても良い。
　次に、図８Ａ及び図８Ｂを用いて、本実施形態におけるデジタルカメラ１００の編集処理について説明する。
　操作部６３に含まれる操作部材を用いて編集が指示されると、図８Ａ及び図８Ｂのフローチャートに示す編集処理が開始される。編集の指示は、一つまたは複数の画像ファイルを対象として選択して編集内容を指示しても良いし、撮影時に表示部にクイックレビュー表示された画像に対して編集内容を指示しても良い。
　Ｓ８０１において、システム制御部５０Ａは、外部記録媒体９１に保存されている画像ファイルから、画像データ、Ｅｘｉｆデータ４０１などを取得し、表示部２３を通じて表示要求を行い、Ｓ８０２に進む。
　Ｓ８０２では、指示された編集内容に従って、取得した画像データに対して編集を行い、編集後の画像データを保存する。例えば、編集前の画像ファイルが、上述した図５Ｄの画像ファイル４４０のような形式で記録されている場合、取得した画像データ４０６に対して編集を行い、編集後の画像データ９１２を保存する。また、画像データ４０６のＭａｋｅｒＮｏｔｅ４０４に検出された被写体の情報４０５がある場合には、編集内容に応じて被写体の情報を変換して記録する。例えば、編集により画像のサイズが変わった場合には、ＭａｋｅｒＮｏｔｅ４０４内の各被写体の座標を編集後の画像サイズに合わせて変換し、変換した座標情報９１１を記録して、図９Ａに示す画像ファイル９１０を生成する。
　次に、Ｓ８０３において、システム制御部５０Ａにより、Ｓ８０１で取得した編集対象の画像データの画像ファイルに、アノテーション情報が格納されているか否かを判定する。アノテーション情報が格納されている場合はＳ８０４へ進み、アノテーション情報が格納されていない場合はＳ８２０へ進み、編集後の画像ファイルを記録して、編集処理を終了する。
　Ｓ８０４では、Ｓ８０２で編集した画像データに対して、推論エンジン７３Ａを用いた推論処理を行う。例えば、推論エンジン７３Ａへの入力として、図９Ａに示す画像ファイル９１０を入力した場合、まず、画像ファイル９１０内の画像データ９１２とアノテーション情報４０３ｄから、画像データ９１２内に含まれる被写体領域を特定する。そして、被写体領域ごとに推論エンジン７３Ａを用いて推論した結果として、被写体領域に含まれる被写体の分類結果を出力する。なお、外部装置１０１の推論エンジン７３Ｂを用いることも可能である。また、推論時に、推論結果以外に推論途中の動作上のデバッグ情報、ログなど推論処理に関連する情報が出力される場合があっても構わない。推論処理を終えると、Ｓ８０５に進む。
　Ｓ８０５では、推論モデル記録部７２Ａで保持している現在の推論モデルの管理バージョンやデバッグ情報などがあれば、推論モデル管理情報から最新のものを取得する。そして、取得した情報をＭａｋｅｒＮｏｔｅに記録すると共に、Ｓ８０４の推論結果をアノテーション情報として記録し、既存のアノテーション情報を旧アノテーション情報として記録する。例えば、図９Ａに示す画像ファイル９１０に対して、アノテーションリンク情報格納タグ４０２に含まれるアノテーション情報オフセットで指し示す位置に記録されているアノテーション情報４０３ｅに、Ｓ８０４で推論した結果を記録する。一方、画像ファイル９１０にすでに記録されていたアノテーション情報４０３ｂは、旧アノテーションリンク情報Ａ格納タグ４０８に含まれる旧アノテーション情報オフセットが指し示す位置に、旧アノテーション情報Ａ４０９ａとして記録される。また、旧アノテーション情報４０９は、旧アノテーションリンク情報Ｂ格納タグ９０８に含まれる旧アノテーション情報オフセットが指し示す位置に、旧アノテーション情報Ｂ４０９ｂとして記録される。更に、現在の推論モデルの管理バージョンやデバッグ情報を、ＭａｋｅｒＮｏｔｅ４０４の推論モデル管理情報９２７として記録する。これにより、図９Ｂに示す画像ファイル９２０を生成する。
　次に、Ｓ８０６において、編集処理が、画像データや画面の表示要素などを拡大や縮小して大きさを変更するリサイズ処理であったかどうかを判定する。リサイズ処理の場合はＳ８１４に進み、リサイズ処理でない場合はＳ８０７へ進む。
　Ｓ８１４では、Ｓ８０５で生成した画像ファイルの画像データに対して、メタデータ生成・解析部７０を用いて、Ｓ８０４の推論処理で得られたアノテーション情報を削除し、それ以外のアノテーション情報を保持する。これは、リサイズ処理の場合、サイズ変換に伴い編集後の画素が粗くなるため、編集後の画像から推論するよりも、元の画像の推論結果の方が精度が高いことに因る。例えば、図９Ｂに示す画像ファイル９２０であった場合、アノテーションリンク情報格納タグ４０２とアノテーション情報４０３ｅを削除する。一方、旧アノテーションリンク情報Ａ格納タグ４０８と、旧アノテーションリンク情報Ｂ格納タグ９０８と、旧アノテーション情報Ａ４０９ａと、旧アノテーション情報Ｂ４０９ｂを保持する。これにより、図９Ｃに示すような画像ファイル９３０を生成する。その後、Ｓ８１７に進む。
　Ｓ８０７において、編集処理が、画像データの周囲にある不要な部分をカットすることで画像の表示範囲やサイズを調整するトリミング処理であったかどうかを判定する。トリミング処理の場合はＳ８０８に進み、トリミング処理でない場合はＳ８１１へ進む。
　Ｓ８０８では、旧アノテーション情報のうち、新しい方の旧アノテーション情報に示される被写体について、その座標情報から、すべての被写体領域がトリミング処理によりカットされた領域にあるかどうかを判断する。すべての被写体領域がカットされた領域にある場合はＳ８０９に進み、そうでない場合はＳ８１０に進む。
　Ｓ８０９では、旧アノテーション情報のうち、古い方の旧アノテーション情報に示される被写体について、その座標情報から、すべての被写体領域がトリミング処理によりカットされた領域にあるかどうかを判断する。すべての被写体領域がカットされた領域にある場合はＳ８１５に進み、そうでない場合はＳ８１６に進む。
　Ｓ８１５では、Ｓ８０５で生成した画像ファイルの画像データに対して、メタデータ生成・解析部７０を用いて、旧アノテーション情報をすべて削除し、最新のアノテーション情報を保持する。これは、トリミングにより、すべての旧アノテーション情報に示される被写体の領域が、カットされたためである。例えば、図９Ｂに示す画像ファイル９２０であった場合、旧アノテーションリンク情報Ａ格納タグ４０８と、旧アノテーションリンク情報Ｂ格納タグ９０８と、旧アノテーション情報Ａ４０９ａと、旧アノテーション情報Ｂ４０９ｂを削除する。これにより、図９Ｄに示すような画像ファイル９４０を生成する。その後、Ｓ８１７に進む。
　Ｓ８１６では、Ｓ８０５で生成した画像ファイルの画像データに対して、メタデータ生成・解析部７０を用いて、新しい方の旧アノテーション情報を削除し、最新のアノテーション情報と、古い方の旧アノテーション情報を保持する。これは、トリミングにより、新しい方の旧アノテーション情報に示される被写体の領域が、カットされたためである。例えば、図９Ｂに示す画像ファイル９２０であった場合、旧アノテーションリンク情報Ａ格納タグ４０８と、旧アノテーション情報Ａ４０９ａを削除する。これにより、図９Ｅに示すような画像ファイル９５０を生成する。その後、Ｓ８１７に進む。
　Ｓ８１０では、画像ファイルの古い方の旧アノテーション情報に示される被写体について、その座標情報から、すべての被写体領域がトリミング処理によりカットされた領域にあるかどうかを判断する。すべての被写体領域がカットされた領域にある場合はＳ８１７に進み、そうでない場合はＳ８１８に進む。
　Ｓ８１７では、Ｓ８０５で生成した画像ファイルの画像データに対して、メタデータ生成・解析部７０を用いて、古い方の旧アノテーション情報を削除し、最新のアノテーション情報と、新しい方の旧アノテーション情報を保持する。これは、トリミングにより、古い方の旧アノテーション情報に示される被写体の領域が、カットされたためである。例えば、図９（ｂ）に示す画像ファイル９２０であった場合、旧アノテーションリンク情報Ｂ格納タグ９０８と、旧アノテーション情報Ｂ４０９ｂを削除する。これにより、図９Ｆに示すような画像ファイル９６０を生成する。その後、Ｓ８１７に進む。
　Ｓ８１１では、編集処理が、ＭＰＥＧ－４などの動画フォーマットの指定フレームを切り出してＪＰＥＧ方式に変換して保存する動画切り出し処理であったかどうかを判定する。動画切り出し処理の場合はＳ８１８に進み、動画切り出し処理でない場合はＳ８１２へ進む。
　Ｓ８１２では、編集処理が、ＲＡＷ現像処理であったかどうかを判定する。ＲＡＷ現像処理では、画像処理部２０により、非圧縮のＲＡＷデータに対する可逆圧縮などの圧縮処理、或いは伸長処理を行った画像データに対して色変換など画像処理を加え、ＪＰＥＧ方式に変換して画像データを作成する。ＲＡＷ現像処理の場合はＳ８１３に進み、ＲＡＷ現像処理でない場合はＳ８１８へ進む。
　Ｓ８１３では、Ｓ８１２でＲＡＷ現像処理を行った際に、画像データの色味が変化したか否かの判定を行う。画像データの色味が変化した場合はＳ８１４に進んで、上述した処理を行う。一方、画像データの色味が変化しなかった場合はＳ８１８に進む。
　Ｓ８１８では、Ｓ８０５で生成した画像ファイルの画像データをすべて保持する。例えば、図９Ｂに示す画像ファイル９２０であった場合、画像ファイル９２０を変更せずにそのまま残す。その後、Ｓ８１７に進む。
　Ｓ８１７において、Ｓ８１４からＳ８１８で生成された画像ファイルを外部記録媒体９１に記録し、編集処理を終了する。
　なお、上述した編集処理では、推論処理を行った後に、アノテーション情報の削除を行っているが、最新アノテーション情報を削除する編集内容（図８Ａ及び図８Ｂの例では、リサイズ処理）の場合は、推論処理を行わないようにしてもよい。
　また、上述した例では、リサイズ処理、トリミング処理、動画切り出し処理、ＲＯＷ現像処理を編集処理の例として挙げて説明したが、これら以外の処理であってもよい。その場合にも、Ｓ８１４～Ｓ８１８のように、必要なアノテーション情報を残して、不要なアノテーション情報を削除すればよい。
　また、図９Ａ～図９Ｆに示す例では、古いアノテーション情報が２つである場合を示しているが、本発明はこれに限られるものでない。その場合、Ｓ８０８～Ｓ８１０の処理をアノテーション情報の数に応じて変更すればよい。
　更に、メモリ２５にはファイル形式で記憶せずに、各データを個別に記憶しておき、Ｓ８１７での記録時に図９Ｃ～図９Ｆのような画像ファイルとなるようにしてもよい。
　また、画像ファイルの編集処理を行い、その後に推論処理を行うよう説明してきたが、複数の画像ファイルについてまとめて編集処理を行い、その後複数画像ファイルについてまとめて推論処理を行うように処理順序を変更しても良い。
　上記のように、編集内容に応じて必要なアノテーション情報を残しつつ、不要なアノテーション情報を削除することで、データ量を削減しながら、アノテーション情報を管理することができる。
＜他の実施形態＞
　なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
　また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０２１年１月２２日提出の日本国特許出願特願２０２１－００８９３８を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
 

Claims (21)

  1. 　画像から、被写体を検出する検出手段と、
    　前記検出された被写体に対して、推論モデルを用いて推論処理を行う推論手段と、
    　前記画像の画像データと、前記被写体の情報と、前記推論処理の推論結果と、前記推論モデルの情報とをまとめて、画像ファイルを生成する生成手段と、を有し、
    　前記生成手段は、前記推論モデルを前記画像ファイルの非公開の領域に記録することを特徴とする画像処理装置。
  2. 　前記推論結果を訂正するための操作手段と、
    　前記推論モデルを更新する学習手段と
    　を更に有し、
    　前記操作手段により前記推論結果が訂正された場合に、前記生成手段は、前記画像ファイルの推論結果を訂正された内容に変更し、前記学習手段は、前記訂正された推論結果を用いて、前記推論モデルを更新することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記推論結果を、対応する被写体に関連付けて表示手段に表示させる制御手段を更に有し、
    　前記操作手段は、前記表示された推論結果を訂正することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記推論手段は、更に、画像ファイルに保持された画像に対して前記推論処理を行うことが可能であって、前記画像ファイルに前記推論モデルの情報が保持されている場合に、前記画像ファイルの推論モデルと、前記推論手段の推論モデルとの新旧を判定し、前記推論手段の推論モデルの方が新しい場合に、前記推論処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  5. 　前記画像ファイルの推論結果の出力形式と、前記推論手段による推論結果の出力形式が異なる場合に、前記推論手段による推論結果を前記画像ファイルに追記することを特徴とする請求項４に記載の画像処理装置。
  6. 　前記推論モデルは、外部から更新可能であって、
    　前記画像ファイルの推論結果の出力形式と、前記推論手段による推論結果の出力形式が同じであって、かつ、前記推論モデルが外部から更新されている場合に、前記推論手段による推論結果を前記画像ファイルに追記することを特徴とする請求項４または５に記載の画像処理装置。
  7. 　前記画像ファイルの推論結果の出力形式と、前記推論手段による推論結果の出力形式が同じであって、かつ、前記推論モデルが外部から更新されていない場合に、前記画像ファイルに記録された推論結果を、前記推論手段による推論結果により更新することを特徴とする請求項６に記載の画像処理装置。
  8. 　前記画像ファイルを送信する通信手段と、
    　前記画像ファイルの送信先の推論手段に関する情報を取得する取得手段と、
    　前記送信先の推論手段に応じて、前記画像ファイルに含まれる前記推論結果の内、少なくとも一部の推論結果を削除する削除手段と、を更に有し、
    　前記通信手段は、前記削除手段により少なくとも一部の推論結果を削除した前記画像ファイルを送信することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 　前記削除手段は、前記推論手段と、前記送信先の推論手段が一致しない推論結果を削除することを特徴とする請求項８に記載の画像処理装置。
  10. 　前記生成手段は、更に、前記推論結果へのリンク情報を更に前記画像ファイルに記録し、
    　前記通信手段の信頼性が予め決められた信頼性よりも低い場合に、前記削除手段は、前記リンク情報を削除することを特徴とする請求項８または９に記載の画像処理装置。
  11. 　前記削除手段は、無線通信により前記画像ファイルを送信する場合に、前記リンク情報を削除することを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記画像ファイルに保持された画像に対して、編集処理を行う画像処理手段を更に有し、
    　前記推論手段は、前記編集処理された画像に対して前記推論処理を行い、
    　前記生成手段は、前記編集処理の内容に応じて、前記編集処理された画像の推論結果および前記画像ファイルに含まれる推論結果の内、少なくとも一部の推論結果を、編集処理後の画像ファイルに保持しないことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
  13. 　前記編集処理された画像の推論結果を編集処理後の画像ファイルとして保持しない編集処理の内容の場合、前記推論手段は、前記編集処理された画像に対して前記推論処理を行わないことを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記生成手段は、前記編集処理がリサイズ処理の場合に、前記編集処理された画像の推論結果を、前記編集処理後の画像ファイルに保持しないことを特徴とする請求項１２または１３に記載の画像処理装置。
  15. 　前記生成手段は、前記編集処理がトリミング処理の場合に、トリミング処理により削除される画像の領域にある被写体の推論結果を、前記編集処理後の画像ファイルに保持しないことを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理装置。
  16. 　前記生成手段は、前記編集処理が動画切り出し処理の場合に、前記編集処理された画像の推論結果および前記画像ファイルに含まれる推論結果を、前記編集処理後の画像ファイルに保持することを特徴とする請求項１２乃至１５のいずれか１項に記載の画像処理装置。
  17. 　前記生成手段は、前記編集処理がＲＡＷ現像処理であって、現像の結果、画像の色味が変化しない場合に、前記編集処理された画像の推論結果および前記画像ファイルに含まれる推論結果を前記編集処理後の画像ファイルに保持し、色味が変化する場合に、画像ファイルに含まれる画像の推論結果を前記編集処理後の画像ファイルに保持しないことを特徴とする請求項１２乃至１６のいずれか１項に記載の画像処理装置。
  18. 　前記画像を撮像する撮像手段と、
    　請求項１乃至１７のいずれか１項に記載の画像処理装置と
    　を有することを特徴とする撮像装置。
  19. 　検出手段が、画像から、被写体を検出する検出工程と、
    　推論手段が、前記検出された被写体に対して、推論モデルを用いて推論処理を行う推論工程と、
    　生成手段が、前記画像の画像データと、前記被写体の情報と、前記推論処理の推論結果と、前記推論モデルの情報とをまとめて、画像ファイルを生成する生成工程と、を有し、
    　前記生成工程では、前記推論モデルを前記画像ファイルの非公開の領域に記録することを特徴とする画像処理方法。
  20. 　コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
  21. 　請求項２０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
PCT/JP2021/042884 2021-01-22 2021-11-24 画像処置装置及び方法、及び撮像装置 WO2022158106A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/354,805 US20230360368A1 (en) 2021-01-22 2023-07-19 Image processing apparatus and method, and image capturing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021008938A JP2022112908A (ja) 2021-01-22 2021-01-22 画像処置装置及び方法、及び撮像装置
JP2021-008938 2021-01-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/354,805 Continuation US20230360368A1 (en) 2021-01-22 2023-07-19 Image processing apparatus and method, and image capturing apparatus

Publications (1)

Publication Number Publication Date
WO2022158106A1 true WO2022158106A1 (ja) 2022-07-28

Family

ID=82548720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042884 WO2022158106A1 (ja) 2021-01-22 2021-11-24 画像処置装置及び方法、及び撮像装置

Country Status (3)

Country Link
US (1) US20230360368A1 (ja)
JP (1) JP2022112908A (ja)
WO (1) WO2022158106A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065291A (ja) * 2007-09-04 2009-03-26 Sony Corp 注目部生成表示システム、注目部生成装置及び注目部生成方法
JP2009225229A (ja) * 2008-03-18 2009-10-01 Nikon Corp 撮像装置、画像ファイル生成方法および画像ファイル作成プログラム
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065291A (ja) * 2007-09-04 2009-03-26 Sony Corp 注目部生成表示システム、注目部生成装置及び注目部生成方法
JP2009225229A (ja) * 2008-03-18 2009-10-01 Nikon Corp 撮像装置、画像ファイル生成方法および画像ファイル作成プログラム
JP2021005846A (ja) * 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路

Also Published As

Publication number Publication date
JP2022112908A (ja) 2022-08-03
US20230360368A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
JP6324063B2 (ja) 画像再生装置及びその制御方法
JP5084640B2 (ja) データ受信装置、データ送信装置、それらの制御方法及びプログラム。
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
JP4809294B2 (ja) 画像記録装置及び画像記録方法
US20020021903A1 (en) Electronic camera and remote-control operation system for external apparatus
JP2006262451A (ja) 画像記録装置及び方法
JP2007221723A (ja) 画像処理装置及びその制御方法
US8565496B2 (en) Image editing apparatus, image editing method, and computer readable medium
JP4671053B2 (ja) 画像記録装置及び画像記録方法
JP2011077654A (ja) 撮像装置、その制御方法、及びプログラム
WO2022158106A1 (ja) 画像処置装置及び方法、及び撮像装置
US20230260299A1 (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
JP2023118057A (ja) 画像処置装置及び画像処理方法、撮像装置、プログラム、記憶媒体
JP2008172653A (ja) 撮像装置、画像管理方法及びプログラム
US20230385245A1 (en) Image processing apparatus capable of efficiently converting image file, control method therefor, and storage medium
US20230196708A1 (en) Image processing apparatus and method for controlling the same, and non-transitory computer-readable storage medium
JP2006287377A (ja) 画像記憶装置、画像記憶方法および画像記憶プログラム
US20230388533A1 (en) Image processing apparatus capable of converting image file such that all annotation information can be used, control method therefor, and storage medium
JP2006287588A (ja) 画像処理装置、画像処理方法、データファイル構造、コンピュータプログラム及び記憶媒体
US20230274402A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20230196508A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2024012965A (ja) 画像処理装置及びその制御方法並びにプログラム
JP2011066806A (ja) 画像処理装置
JP2007213231A (ja) 画像処理装置
JP4809295B2 (ja) 画像記録装置及び画像記録方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921209

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921209

Country of ref document: EP

Kind code of ref document: A1