WO2023127589A1 - 画像識別システム、画像識別方法、画像識別プログラム及び画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体 - Google Patents

画像識別システム、画像識別方法、画像識別プログラム及び画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体 Download PDF

Info

Publication number
WO2023127589A1
WO2023127589A1 PCT/JP2022/046813 JP2022046813W WO2023127589A1 WO 2023127589 A1 WO2023127589 A1 WO 2023127589A1 JP 2022046813 W JP2022046813 W JP 2022046813W WO 2023127589 A1 WO2023127589 A1 WO 2023127589A1
Authority
WO
WIPO (PCT)
Prior art keywords
mask
image
identification
unit
camera
Prior art date
Application number
PCT/JP2022/046813
Other languages
English (en)
French (fr)
Inventor
智 佐藤
一生 登
俊介 安木
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2023127589A1 publication Critical patent/WO2023127589A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/16—Pin-hole cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging

Definitions

  • the present disclosure relates to technology for identifying images in environments where privacy protection is required, particularly at home or indoors.
  • Patent Document 1 by inputting a calculated captured image captured by a light field camera or the like into a classifier, the classifier uses a learned discrimination model and is included in the calculated captured image.
  • An image identification system for identifying objects is disclosed.
  • a calculated captured image is a blurred image that is intentionally created by superimposing multiple images from different viewpoints, or because it is difficult to focus the subject image without using a lens. This is a difficult image. Therefore, it is preferable to use computed captured images for building image identification systems in environments where privacy protection is required, especially at home or indoors.
  • Patent Document 1 does not take any measures against this problem, it is desirable to reduce the psychological burden on the user by implementing effective technical measures.
  • the present disclosure has been made to solve the above problems, and aims to provide a technique that can reduce the user's psychological load while protecting the privacy of the subject.
  • An image identification system includes a mask having a changeable mask pattern in which a plurality of pinholes are formed and an image sensor, and captures a calculated captured image that is an image with blur.
  • a camera an image identification unit that identifies the calculated captured image using an identification model that uses the calculated captured image captured by the first camera as input data and a classification result as output data, and the mask pattern is A mask identification unit that identifies the modified mask pattern after being modified, and an identification model modification unit that modifies the identification model according to the mask pattern identified by the mask identification unit.
  • FIG. 1 is a block diagram showing an example of a configuration of an image identification system according to Embodiment 1 of the present disclosure
  • FIG. 5 is a flow chart showing an example of the procedure of image identification processing of the image identification system according to the first embodiment
  • 1 is a schematic diagram showing an example of a lensless multi-pinhole camera in Embodiment 1.
  • FIG. 6 is a flow chart showing an example of a procedure of main processing of the image identification system when a mask pattern is changed in Embodiment 1.
  • FIG. FIG. 2 is a diagram showing an example of a mask having nine pinholes in the first embodiment
  • FIG. FIG. 2 is a diagram showing an example of a mask having five pinholes in the first embodiment;
  • FIG. 2 is a diagram showing an example of a mask having one pinhole in Embodiment 1;
  • FIG. 10 is a diagram showing an example of a mask having six pinholes in Modification 1 of Embodiment 1;
  • FIG. 10 is a diagram showing an example of a mask having two fan-shaped openings in Modification 1 of Embodiment 1;
  • FIG. 10 is a diagram showing an example of a multi-pinhole mask having six pinholes in which two masks are overlapped in Modification 1 of Embodiment 1;
  • FIG. 10 is a diagram showing an example of a multi-pinhole mask having four pinholes in which two masks are overlapped in Modification 1 of Embodiment 1;
  • FIG. 10 is a diagram showing an example of a multi-pinhole mask having two pinholes in which two masks are overlapped in Modification 1 of Embodiment 1;
  • FIG. 5 is a schematic diagram showing the appearance of a multi-pinhole camera according to Modification 1 of Embodiment 1;
  • FIG. 5 is a schematic diagram showing a cross section of a multi-pinhole camera according to Modification 1 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing a mask before the gripping portion is rotated by 90 degrees in Modification 1 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing a mask when the grip portion is rotated by 90 degrees in Modification 1 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing the appearance of a multi-pinhole camera according to Modification 2 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing a cross section of a multi-pinhole camera according to Modification 2 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing a cross section of the multi-pinhole camera when the fixture is screwed all the way into the first lens barrel in Modification 2 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing a cross section of the multi-pinhole camera when the fixture is screwed only halfway into the first lens barrel in Modification 2 of Embodiment 1;
  • FIG. 12 is a schematic diagram showing a cross section of a multi-pinhole camera according to Modification 3 of Embodiment 1;
  • FIG. 12 is a block diagram showing an example of a configuration of an image identification system according to Modification 4 of Embodiment 1 of the present disclosure
  • FIG. 13 is a flowchart showing an example of a procedure of main processing of the image identification system when a mask pattern is changed in Modification 4 of Embodiment 1
  • FIG. 11 is a schematic diagram showing a cross section of a multi-pinhole camera according to Modification 4 of Embodiment 1
  • FIG. 13 is a schematic diagram showing a cross section of a multi-pinhole camera in Modification 5 of Embodiment 1
  • FIG. 10 is a schematic diagram showing an example of a first mask that constitutes a multi-pinhole mask in Modification 5 of Embodiment 1
  • FIG. 11 is a schematic diagram showing an example of a second mask that constitutes a multi-pinhole mask in Modification 5 of Embodiment 1;
  • FIG. 11 is a schematic diagram showing an example of a third mask that constitutes a multi-pinhole mask in Modification 5 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing an example of a multi-pinhole mask configured by stacking a first mask, a second mask, and a third mask in Modification 5 of Embodiment 1;
  • FIG. 10 is a schematic diagram showing an example of a multi-pinhole mask when an external force is applied to the multi-pinhole mask in modification 5 of the first embodiment;
  • FIG. 11 is a schematic diagram showing an example of a multi-pinhole mask when an external force is further applied to the multi-pinhole mask in modification 5 of the first embodiment
  • FIG. 10 is a schematic diagram for explaining the configuration of a multi-pinhole mask according to Modification 6 of Embodiment 1
  • FIG. 11 is a schematic diagram showing a state of a multi-pinhole mask when four drive units are moved in the same direction in Modification 6 of Embodiment 1
  • FIG. 12 is a schematic diagram showing a state of the multi-pinhole mask when four driving units are moved outward from the center of the multi-pinhole mask in Modification 6 of the first embodiment
  • 5 is a flow chart showing an example of a procedure of main processing of a mask identification unit according to the first embodiment
  • FIG. 4 is a diagram showing an example of a calculated captured image captured by a first camera of a light emitting unit in a lighting state in Embodiment 1;
  • FIG. 4 is a diagram showing an example of a calculated captured image captured by a first camera of a light-emitting unit in an unlit state in Embodiment 1;
  • FIG. 11 is a diagram showing an example of a difference image obtained by subtracting a calculated captured image including a light emitting unit in an off state from a calculated captured image including a light emitting unit in a lit state.
  • 8 is a flow chart showing an example of a procedure of main processing of a mask identification unit when identifying a mask pattern by obtaining LTM from an image captured by the first camera;
  • FIG. 8 is a flow chart showing an example of a procedure of main processing of a mask identification unit when identifying a mask pattern by obtaining LTM from an image captured by the first camera;
  • FIG. 8 is a flow chart showing an example of a procedure of main processing
  • FIG. 4 is a schematic diagram showing an example of multiple PSFs acquired at multiple positions on an image
  • FIG. 9 is a flow chart showing an example of another main processing procedure of the mask identification unit according to the first embodiment
  • FIG. 6 is a flow chart showing an example of the procedure of image quality determination processing by the mask identification unit according to the first embodiment
  • 8 is a flow chart showing another example of the procedure of image quality determination processing by the mask identification unit according to the first embodiment
  • FIG. 10 is a block diagram showing an example of a configuration of an image identification system according to a second embodiment of the present disclosure
  • FIG. 10 is a diagram showing an example of a mask having nine pinholes in the second embodiment
  • FIG. 10 is a diagram showing an example of a mask having five pinholes in the second embodiment
  • FIG. 10 is a diagram showing an example of a mask having one pinhole in the second embodiment
  • FIG. 10 is a diagram showing an example of a multi-pinhole mask in which three masks are overlaid in the second embodiment
  • FIG. 10 is a diagram showing an example of a multi-pinhole mask in which two masks are overlaid in Embodiment 2
  • FIG. 11 is a diagram for explaining a configuration for reading mask ID information written on a mask forming a multi-pinhole mask using a second camera in the second embodiment
  • FIG. 11 is a diagram for explaining a configuration for reading mask ID information written on a mask forming a multi-pinhole mask 301a using a mirror in a modification of the second embodiment
  • FIG. 12 is a block diagram showing an example of a configuration of an image identification system according to Embodiment 3 of the present disclosure
  • FIG. FIG. 13 is a diagram showing an example of a mask having six pinholes in the third embodiment
  • FIG. 12 is a diagram showing an example of a mask having two fan-shaped openings in Embodiment 3
  • FIG. 12 is a diagram showing an example of a multi-pinhole mask in which two masks are superimposed in the third embodiment
  • FIG. 12 is a block diagram showing an example of a configuration of an image identification system according to a fourth embodiment of the present disclosure
  • FIG. FIG. 12 is a block diagram showing an example of a configuration of a learning device according to Embodiment 4 of the present disclosure
  • FIG. FIG. 13 is a flowchart showing an example of a main processing procedure of a learning device according to a fourth embodiment of the present disclosure
  • Deep learning is machine learning that uses a multi-layered neural network, and by using a large amount of learning data, it is possible to achieve more accurate identification performance than conventional methods.
  • Image information is particularly effective in such object identification.
  • Various methods have been proposed to greatly improve the conventional object identification ability by using a camera as an input device and performing deep learning with image information as input.
  • Computational image taken by a light field camera, etc. is a blurred image that is intentionally created by overlapping multiple images from different viewpoints, or because it is difficult to focus the image of the subject without using a lens. It is an image that is difficult for humans to visually recognize. Therefore, it is preferable to use computed captured images for building image identification systems in environments where privacy protection is required, especially at home or indoors.
  • a target area is photographed with a light field camera or the like, and a calculated captured image obtained by the photographing is input to a classifier.
  • the discriminator uses the learned discriminant model to discriminate the object included in the calculated captured image.
  • the discriminator uses the learned discriminant model to discriminate the object included in the calculated captured image.
  • An image identification system includes a mask having a changeable mask pattern in which a plurality of pinholes are formed and an image sensor, and captures a computationally captured image that is an image with blur.
  • a first camera an image identification unit that identifies the calculated captured image using an identification model that uses the calculated captured image captured by the first camera as input data and a identification result as output data; a mask identification unit that identifies the modified mask pattern after the mask pattern is modified; and an identification model modification unit that modifies the identification model according to the mask pattern identified by the mask identification unit.
  • the identification model is changed according to the changed mask pattern. A decrease in accuracy can be prevented. Furthermore, by changing the mask pattern of the mask, it is possible to change the degree of blurring of the calculated captured image captured by the first camera, thereby reducing the psychological burden on the user while protecting the privacy of the subject. can do.
  • the image identification system described in (1) above may further include a mask changing unit that changes the mask pattern of the mask.
  • the accuracy of changing the mask pattern can be improved by mechanically changing the mask pattern of the mask.
  • the first camera is a multi-pinhole camera
  • the mask is a multi-pinhole mask in which a plurality of masks are superimposed
  • the plurality of masks may have mask patterns different from each other, and the mask pattern of the multi-pinhole mask may be changed when at least one of the plurality of masks is removed.
  • the first camera is a multi-pinhole camera
  • the mask is a multi-pinhole mask obtained by stacking a plurality of masks
  • the plurality of masks have mask patterns different from each other, and at least one of the plurality of pinholes formed in one mask of the plurality of masks is formed in another mask of the plurality of masks. It may be shielded by a mask.
  • the first camera is a multi-pinhole camera
  • the mask is a multi-pinhole mask in which a plurality of masks are superimposed
  • the plurality of masks have mask patterns different from each other, and at least one of the plurality of pinholes formed in one mask of the plurality of masks is formed in another mask of the plurality of masks. It may be at the same position as at least one of the plurality of pinholes formed in the mask.
  • pinholes can be reliably formed in a multi-pinhole mask in which a plurality of masks are stacked.
  • the size of the one pinhole included in the one mask is the size of another pinhole included in the other mask located at the same position as the one pinhole. may differ from the size of
  • the mask identification unit extracts a mask related to the mask pattern from the calculated captured image captured by the first camera. Information may be obtained and the mask pattern of the mask may be identified based on the obtained mask information.
  • the changed mask pattern can be identified from the calculated captured image captured by the first camera.
  • the modified mask pattern can be identified using the point spread function.
  • the image identification system according to any one of (1) to (6) above, further comprising a mask identification information obtaining unit for obtaining mask identification information for identifying the mask, The unit may identify the mask pattern of the mask based on the obtained mask identification information.
  • the changed mask pattern can be identified from the mask ID information provided on the mask.
  • the mask includes a first mask and a second mask superimposed on the first mask; a marker position specifying unit that specifies positions of a plurality of markers formed on each of the first mask and the second mask in order to detect a rotation angle of the first mask with respect to the second mask; may detect a rotation angle of the first mask with respect to the second mask based on the identified positions of the plurality of markers, and identify the mask pattern of the mask based on the detected rotation angle.
  • the changed mask pattern can be identified from the rotation angle of the first mask with respect to the second mask, which is detected based on the positions of the markers provided on the mask.
  • the image identification system according to any one of (1) to (10) above, further comprising a storage unit that stores a plurality of mask patterns and a plurality of identification models in association with each other;
  • the changing unit identifies, from among the plurality of identification models stored in the storage unit, an identification model associated with the mask pattern identified by the mask identification unit, and converts the identification model to the identified identification model.
  • the current discriminant model may be changed.
  • the image identification system according to any one of (1) to (10) above, further comprising a second camera that captures an image without blur or an image with less blur than the first camera. Acquiring the photographed first learning image and the correct label assigned to the first learning image, and based on the mask pattern identified by the mask identifying unit and the first learning image generating a blurred second training image, and performing machine learning using the second training image and the correct label to identify the calculated captured image captured by the first camera.
  • a learning unit that creates a discriminant model for the learning unit, and the discriminant model changing unit may change the current discriminant model to the discriminant model created by the learning unit.
  • the present disclosure can be realized not only as an image identification system having the characteristic configuration as described above, but also an image identification method for executing characteristic processing corresponding to the characteristic configuration of the image identification system. It can also be realized as Also, it can be implemented as a computer program that causes a computer to execute characteristic processing included in such an image identification method. Therefore, the following other aspects can also produce the same effects as the image identification system described above.
  • An image identification method is an image identification method in an image identification system, which includes a mask having a changeable mask pattern in which a plurality of pinholes are formed, and an image sensor.
  • a discrimination model is used in which a calculated captured image that is an image with blur captured by one camera is acquired, the calculated captured image captured by the first camera is used as input data, and a recognition result is used as output data. to identify the calculated captured image, identify the modified mask pattern after the mask pattern is modified, and modify the identification model according to the identified mask pattern.
  • An image identification program provides a blurred image captured by a first camera including a mask having a changeable mask pattern with a plurality of pinholes and an image sensor. is obtained, the calculated captured image captured by the first camera is used as input data, the identification result is used as output data to identify the calculated captured image, and the mask After the pattern is modified, a computer is operated to identify the modified mask pattern and modify the identification model in response to the identified mask pattern.
  • a computer-readable non-transitory recording medium records an image identification program, and the image identification program includes a changeable mask in which a plurality of pinholes are formed.
  • FIG. 1 is a block diagram showing an example of the configuration of an image identification system 1 according to Embodiment 1 of the present disclosure.
  • the image identification system 1 of Embodiment 1 includes a first camera 101, a storage unit 102 that stores identification models, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, an output unit 107 and a light emitting unit 108 .
  • the mask identifying unit 105, the identification model changing unit 106, and the image identifying unit 103 include a processor such as a CPU (Central Processing Unit) and a memory such as a semiconductor memory.
  • the storage unit 102 is a HDD (Hard Disk Drive), an SSD (Solid State Drive), a semiconductor memory, or the like.
  • the output unit 107 is a display device, a speaker, or the like.
  • the image identification system 1 includes, for example, an image identification device including a storage unit 102, an image identification unit 103, a mask identification unit 105, and an identification model change unit 106, and includes a first camera 101 and an output unit 107. , and the light emitting unit 108 may be connected to the image identification device. Also, the image identification device may be a server.
  • the image identification system 1 includes, for example, a first camera 101, a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, and an output unit 107. A device may be included, and the light emitting unit 108 may be connected to the image identification device.
  • FIG. 2 is a flowchart showing an example of the image identification processing procedure of the image identification system 1 according to the first embodiment.
  • the flow chart shows the flow of image identification processing by the image identification system 1 .
  • the first camera 101 captures a calculated captured image that is a blurry image (step S101).
  • the subject cannot be recognized even if a person looks at the image itself due to the blurring that is intentionally created. It is an image from which the unit 103 can generate an identifiable image.
  • a first camera 101 includes a mask having a changeable mask pattern in which a plurality of pinholes are formed, and an image sensor.
  • the first camera 101 includes a coded aperture camera equipped with a mask having a mask pattern with a different transmittance for each area, and a mask having a mask pattern with a plurality of pinholes formed on the light receiving surface of the image sensor. Any of the arrayed multi-pinhole cameras. Multi-pinhole cameras have been used in conventional literature (e.g., M.
  • the mask pattern of the mask has a changeable configuration.
  • FIG. 3 is a schematic diagram showing an example of a lensless multi-pinhole camera 301 in the first embodiment.
  • the multi-pinhole camera 301 is an example of the first camera 101.
  • a multi-pinhole camera 301 shown in FIG. 3 has a multi-pinhole mask 301a and an image sensor 301b.
  • the multi-pinhole mask 301a is arranged at a fixed distance from the image sensor 301b.
  • the multi-pinhole mask 301a has a plurality of pinholes 301aa arranged at random or at regular intervals.
  • the multiple pinholes 301aa are also called multi-pinholes.
  • the image sensor 301b acquires an image of the subject through each pinhole 301aa. An image acquired through the pinhole 301aa is also called a pinhole image.
  • the image sensor 301b acquires a superimposed image in which a plurality of pinhole images are slightly shifted and overlapped (multiple image).
  • the positions of the pinholes 301aa affect the position of the subject projected onto the image sensor 301b, and the size of the pinholes 301aa affects the degree of blurring of the pinhole image.
  • the multi-pinhole mask 301a By using the multi-pinhole mask 301a, it is possible to superimpose and acquire a plurality of pinhole images with different positions and degrees of blurring.
  • the multi-pinhole camera 301 can acquire a calculated captured image in which multiple images and blur are intentionally created. Therefore, the captured image is a superimposed image, and the multi-pinhole camera 301 can acquire a blurred image in which the privacy of the subject is protected. Also, by changing the number, position, and size of each pinhole, it is possible to acquire images with different blurring.
  • the image identification unit 103 performs identification processing on the calculated captured image captured by the first camera 101 (step S102).
  • the image identification unit 103 uses the identification model, which is the learning result of the learning device, to determine the person (including the behavior or facial expression of the person) included in the calculated captured image captured by the first camera 101 . ), object category information such as automobiles, bicycles, or traffic lights, and object location information.
  • machine learning such as Deep Learning using a multi-layer neural network can be used.
  • the image identification unit 103 identifies the calculated captured image using an identification model in which the calculated captured image captured by the first camera 101 is input data and the identification result is output data.
  • the output unit 107 outputs the result of identification by the image identification unit 103 (step S103).
  • the output unit 107 has an interface unit, and may present the identification result to the user in the form of an image, text, voice, or the like. Also, the output unit 107 may have a device control unit and change the control method according to the identification result.
  • FIG. 4 is a flowchart showing an example of the main processing procedure of the image identification system 1 when the mask pattern is changed in the first embodiment.
  • the mask identification unit 105 identifies the mask pattern of the mask of the first camera 101 (step S202). Note that the process of step S202 may be performed periodically, for example, every minute. The mask identification unit 105 identifies the changed mask pattern after the mask pattern is changed.
  • the input unit included in the image identification system may accept an input of a mask pattern identification instruction by the user. Then, when the input of the mask pattern identification instruction is accepted, the mask identification unit 105 may identify the changed mask pattern.
  • the image identification system 1 may have an input section instead of the light emitting section 108 .
  • the mask identification unit 105 may determine whether or not the point spread function in the image captured by the first camera 101 has changed. Then, when the point spread function has changed, the mask identification unit 105 may determine that the mask pattern has changed, and identify the changed mask pattern.
  • the identification model change unit 106 changes the identification model according to the mask pattern identified by the mask identification unit 105 (step S203).
  • the identification model changing unit 106 changes the identification model according to the mask pattern identified by the mask identification unit 105.
  • the storage unit 102 stores in advance a plurality of mask patterns and a plurality of identification models associated with each other.
  • Discriminant model changing unit 106 identifies a discriminant model associated with the mask pattern discriminated by mask discriminating unit 105 from a plurality of discriminant models stored in storage unit 102 .
  • the identification model changing unit 106 changes the current identification model used by the image identification unit 103 to the specified identification model, and stores the changed identification model in the storage unit 102 .
  • the storage unit 102 may store in advance a plurality of pieces of mask information and a plurality of identification models in association with each other.
  • Mask information is, for example, a point spread function.
  • the discriminant model changing unit 106 may identify a discriminant model associated with the mask information acquired by the mask discriminating unit 105 from among the plurality of discriminant models stored in the storage unit 102 .
  • the discriminative model changing unit 106 selects the point spread function that is most similar to the point spread function acquired by the mask discriminating unit 105 from among the plurality of discriminative models stored in the storage unit 102. A discriminative model associated with the point spread function may be identified. The discriminative model changing unit 106 determines the correlation (similarity) between the acquired point spread function and a pre-stored point spread function, thereby specifying the point spread function most similar to the acquired point spread function. can be done.
  • the multi-pinhole mask 301a corresponding to the mask of the first camera 101 has a structure in which a plurality of masks are superimposed.
  • the user changes the mask pattern of the multi-pinhole mask 301a by, for example, removing at least one of the multiple masks arranged in an overlapping manner.
  • the first camera 101 is a multi-pinhole camera 301
  • the mask is a multi-pinhole mask 301a in which a plurality of masks are superimposed, and the plurality of masks have mask patterns different from each other. are doing.
  • the mask pattern of multi-pinhole mask 301a is changed.
  • FIG. 5 to 7 are schematic diagrams for explaining an example of a plurality of masks forming a multi-pinhole mask in the first embodiment.
  • FIG. 5 is a diagram showing an example of a mask 400a having nine pinholes in the first embodiment
  • FIG. 6 is an example of a mask 400b having five pinholes in the first embodiment
  • FIG. 7 is a diagram showing an example of a mask 400c having one pinhole in the first embodiment.
  • the sizes of the nine pinholes 401a to 409a shown in FIG. 5 may be the same, or the size of one of the nine pinholes may differ from the size of the other pinholes. This point also applies to the five pinholes 401b to 405b shown in FIG.
  • the sizes of the nine pinholes 401a to 409a shown in FIG. 5 are the same as the size of the five pinholes 401b to 405b shown in FIG. 6 and the size of one pinhole 401c shown in FIG. may be different.
  • the positions of the pinholes 401a, 401b, and 401c are aligned, the positions of the pinholes 402a and 402b are aligned, and the pinholes 403a and 403b are aligned. are aligned, the positions of the pinholes 404a and 404b are aligned, and the positions of the pinholes 405a and 405b are aligned.
  • the positions of the pinholes 402a to 405a of the mask 400a and the positions of the pinholes 402b to 405b of the mask 400b are fixed so as to match the shielding portion of the mask 400c where the pinhole 401c is not formed.
  • the four pinholes 406a to 409a located at positions different from the pinholes 402b to 405b are pinholes in the mask 400b.
  • 401b to pinhole 405b are fixed so as to match the shielding portion where the pinholes 405b are not formed.
  • At least one of the plurality of pinholes formed in one mask out of the plurality of masks matches at least one of the plurality of pinholes formed in the other mask out of the plurality of masks. , at the same position. At least one of the plurality of pinholes formed in one of the plurality of masks is blocked by another mask of the plurality of masks.
  • a multi-pinhole mask 301a in which three masks 400a, 400b, and 400c are stacked as described above has one pinhole formed by pinholes 401a, 401b, and 401c. Therefore, it can be said that the multi-pinhole mask 301a in which the three masks 400a, 400b, and 400c are stacked has a mask pattern in which one pinhole is formed.
  • the thickness of each of the three masks 400a, 400b, and 400c is sufficiently small, a single pinhole is formed in the multi-pinhole mask 301a in which the three masks 400a, 400b, and 400c are stacked. This mask is substantially the same as the mask 400c shown in FIG.
  • the multi-pinhole mask 301a in which the three masks 400a, 400b, and 400c are superimposed, when the mask 400c is removed by the user, the multi-pinhole mask 301a has a configuration in which the two masks 400a and 400b are superimposed. Become.
  • a multi-pinhole mask 301a in which two masks 400a and 400b are stacked has (1) pinholes formed by pinholes 401a and 401b and (2) pinholes formed by pinholes 402a and 402b. , (3) pinholes formed by pinholes 403a and 403b, (4) pinholes formed by pinholes 404a and 404b, and (5) pinholes formed by pinholes 405a and 405b. pinholes are formed. Therefore, it can be said that the multi-pinhole mask 301a in which the two masks 400a and 400b are superimposed has a mask pattern in which five pinholes are formed.
  • the multi-pinhole mask 301a in which the two masks 400a and 400b are superimposed is a mask in which five pinholes are formed. It can be said that it is substantially the same as the mask 400b shown in FIG.
  • the mask pattern of the multi-pinhole mask 301a changes from the mask pattern in which one pinhole is formed to five pinholes.
  • the formed mask pattern is changed.
  • the multi-pinhole mask 301a in which two masks 400a and 400b are superimposed, when the mask 400b is removed by the user, the multi-pinhole mask 301a consists of only the mask 400a.
  • the multi-pinhole mask 301a composed of one mask 400a is a mask with nine pinholes, that is, the mask 400a having the mask pattern with nine pinholes shown in FIG. Become.
  • the mask pattern of the multi-pinhole mask 301a is changed from the mask pattern in which 5 pinholes are formed to 9 pinholes. changed to the mask pattern.
  • the masks 400a, 400b and 400c are fixed with a detachable adhesive like a seal, and the mask 400b and the mask 400c are manually removed by the user. may be peeled off from the mask 400a to change the mask pattern.
  • the user may change the mask pattern by adding masks instead of removing some of the masks.
  • the mask 400a formed with nine pinholes shown in FIG. and pinhole 402b are aligned
  • pinhole 403a and pinhole 403b are aligned
  • pinhole 404a and pinhole 404b are aligned
  • pinhole 405a and pinhole 405b are aligned.
  • Mask 400b may be affixed to mask 400a in a matching manner.
  • the multi-pinhole mask 301a has a structure in which the two masks 400a and 400b are stacked, and it can be said that this multi-pinhole mask 301a has a mask pattern in which five pinholes are formed as described above.
  • the multi-pinhole mask 301a in which the two masks 400a and 400b are superimposed is a mask in which five pinholes are formed. It can be said that it is substantially the same as the mask 400b shown in FIG.
  • the user fixes the mask 400c to the mask 400b so that the positions of the pinholes 401a, 401b, and 401c are aligned.
  • the multi-pinhole mask 301a has a configuration in which three masks 400a, 400b and 400c are superimposed. That is, it can be said that it is substantially the same as the mask 400c shown in FIG.
  • the user may change the mask pattern by replacing one of the multiple masks instead of removing one mask.
  • the mask 400a formed with nine pinholes shown in FIG. 5 installed as the multi-pinhole mask 301a
  • the user changes the mask 400a to the mask 400b shown in FIG.
  • the mask pattern of the mask 301a can be changed from a mask pattern in which nine pinholes are formed to a mask pattern in which five pinholes are formed.
  • the size of one pinhole included in one of the plurality of masks is different from that of the other mask at the same position as the above-described one pinhole among the plurality of masks.
  • the present disclosure is not specifically limited to this.
  • the size of one pinhole included in one mask among the plurality of masks is the size of another pinhole included in another mask at the same position as the one pinhole described above. may differ in size.
  • five pinholes from pinhole 401b to pinhole 405b are formed in mask 400b, and the positions of the five pinholes in mask 400a, that is, the positions from pinhole 401a to pinhole 405a are the pins of mask 400b.
  • the size of at least one of the five pinholes in the mask 400a is at the same position as the pinhole in the mask 400b. It may be formed to be larger than the size of a certain pinhole. As a result, the mask pattern of the multi-pinhole mask in which the masks 400a and 400b are overlapped can be made different from the mask pattern of the multi-pinhole mask composed only of the mask 400a.
  • the user may change the mask pattern by rotating one of the multiple masks instead of removing one of the multiple masks.
  • FIGS. 8 and 9 are schematic diagrams for explaining an example of a plurality of masks forming the multi-pinhole mask 301a in Modification 1 of Embodiment 1.
  • FIG. FIG. 8 is a diagram showing an example of a mask 400d having six pinholes in Modification 1 of Embodiment 1
  • FIG. 4A is a diagram showing an example of a mask 400e having two openings
  • FIG. 10 is a diagram showing an example of a multi-pinhole mask 301a having six pinholes in which two masks 400d and 400e are overlapped in Modification 1 of Embodiment 1
  • FIG. 12 is a diagram showing an example of a multi-pinhole mask 301a having four pinholes in which two masks 400d and 400e are overlapped in Modification 1 of Embodiment 1.
  • FIG. FIG. 10 is a diagram showing an example of a multi-pinhole mask 301a having two pinholes formed by stacking two masks 400d and 400e in Modification 1;
  • the multi-pinhole mask 301a has a configuration in which the mask 400d shown in FIG. 8 and the mask 400e shown in FIG. 9 are superimposed, and the mask 400d is configured to be rotatable.
  • the mask 400e is fixed.
  • a plurality of pinholes 411 to 416 corresponding to the multi-pinholes are formed in the mask 400d.
  • Fan-shaped openings 417 and 418 are formed in the mask 400e.
  • the fan-shaped openings 417 and 418 have a central angle of 90 degrees, and the radii of the openings 417 and 418 substantially match the radius of the circular mask 400e.
  • the openings 417 and 418 are formed to be symmetrical with respect to the central point of the mask 400e.
  • the multi-pinhole mask 301a has a mask pattern in which six pinholes are formed.
  • the two masks 400d and 400e overlap as shown in FIG.
  • the pinholes 412, 143, 414, and 415 of the mask 400d are aligned with the openings 417 and 418 (two fan-shaped regions indicated by white dotted lines) of the mask 400e located on the far side of the paper surface of the mask 400d.
  • the pinholes 411 and 416 of the mask 400d overlap the shielding portions of the mask 400e. Therefore, the multi-pinhole mask 301a shown in FIG. 11 has a mask pattern in which four pinholes are formed. That is, by rotating the mask 400d in the multi-pinhole mask 301a shown in FIG. The mask pattern is changed to a pinhole-formed mask pattern.
  • the multi-pinhole mask 301a has a mask pattern in which two pinholes are formed. That is, by rotating the mask 400d in the multi-pinhole mask 301a shown in FIG. is changed to a mask pattern in which pinholes are formed.
  • the mask 400d may be fixed and the mask 400e may be rotatable. Also, both the mask 400d and the mask 400e may be rotatable.
  • FIG. 13 the configuration of the multi-pinhole camera 301 in which the user can arbitrarily rotate the mask in Modification 1 of Embodiment 1 will be described with reference to FIGS. 13 to 16.
  • FIG. 13 the configuration of the multi-pinhole camera 301 in which the user can arbitrarily rotate the mask in Modification 1 of Embodiment 1 will be described with reference to FIGS. 13 to 16.
  • FIG. 13 is a schematic diagram showing the appearance of multi-pinhole camera 301 in Modification 1 of Embodiment 1
  • FIG. 14 is a cross-sectional view of multi-pinhole camera 301 in Modification 1 of Embodiment 1. It is a schematic diagram showing.
  • FIG. 13 is a side view of the multi-pinhole camera 301.
  • FIG. A multi-pinhole camera 301 shown in FIG. 14 shows a cross section of the multi-pinhole camera 301 shown in FIG.
  • the multi-pinhole camera 301 has a multi-pinhole mask 301a in which a rotatable mask 400d and a non-rotatable mask 400e are superimposed on the housing 501 thereof.
  • a user-operable grip 502 is connected to the rotatable mask 400d. Further, the user can fix or rotate the mask 400 d with respect to the housing 501 by gripping and operating the grip portion 502 .
  • a screw may be provided in the grasping portion 502, the mask 400d may be fixed by tightening the screw, and the mask 400d may be rotatable by loosening the screw.
  • FIG. 15 is a schematic diagram showing a mask 400d before rotating the grip part 502 by 90 degrees in Modification 1 of Embodiment 1.
  • FIG. 16 is a schematic diagram showing the mask 400d when the grip portion 502 is rotated by 90 degrees in Modification 1 of Embodiment 1.
  • FIG. 15 and 16 are diagrams of the multi-pinhole camera 301 viewed from the object side.
  • the mask 400d rotates by 90 degrees.
  • the user can rotate the mask 400d by moving the grip portion 502. FIG.
  • the mask pattern of the multi-pinhole mask 301a can be changed.
  • the plurality of pinholes of the multi-pinhole mask 301a are arranged with respect to a vertical line passing through the rotation axis of the mask 400d, as shown in FIG. They may be arranged so as not to be rotationally symmetrical. By arranging a plurality of pinholes asymmetrically in this manner, various mask patterns can be realized by the user rotating the mask 400d.
  • the configuration of the multi-pinhole camera 301 whose mask can be arbitrarily rotated by the user may be a configuration that does not have the grip portion 502 .
  • Another configuration of the multi-pinhole camera 301 in which the mask can be arbitrarily rotated by the user in Modification 2 of Embodiment 1 will be described with reference to FIGS. 17 to 20.
  • FIG. 17 is a schematic diagram showing the appearance of multi-pinhole camera 301 in Modification 2 of Embodiment 1
  • FIG. 18 is a cross-sectional view of multi-pinhole camera 301 in Modification 2 of Embodiment 1. It is a schematic diagram showing.
  • FIG. 17 is a side view of the multi-pinhole camera 301.
  • FIG. A multi-pinhole camera 301 shown in FIG. 18 shows a cross section of the multi-pinhole camera 301 shown in FIG.
  • the multi-pinhole camera 301 has a multi-pinhole mask 301a composed of a rotatable mask 400d and a non-rotatable mask 400e.
  • a rotatable mask 400 d is fixed to the first lens barrel 511 .
  • the image sensor 301b and the non-rotating mask 400d are installed in a second lens barrel 512 different from the first lens barrel 511 .
  • the first lens barrel 511 and the second lens barrel 512 are in a rotatable state due to the configuration of screws. That is, a second lens barrel 512 is provided outside the first lens barrel 511, and a male screw is provided on the outside of the first lens barrel 511 and a female screw is provided on the inside of the second lens barrel 512, which is a joining portion.
  • a fixture 513 is first attached to the male screw of the first barrel 511, and then the second barrel 512 is attached. Similarly to the second barrel 512, the fixture 513 also has a female thread. With such a configuration, when screwing the first lens barrel 511 into the second lens barrel 512, the depth of screwing changes depending on the screwing position of the fixing member 513 into the first lens barrel 511, thereby enabling rotation. The rotation angle of the mask 400d can be changed.
  • 19 and 20 are schematic diagrams showing that the screwing depth changes depending on the screwing position of the fixture 513 into the first lens barrel 511, and the rotation angle of the rotatable mask 400d changes.
  • FIG. 19 is a schematic diagram showing a cross section of multi-pinhole camera 301 when fixture 513 is screwed all the way into first lens barrel 511 in Modification 2 of Embodiment 1
  • FIG. 10 is a schematic diagram showing a cross section of a multi-pinhole camera 301 in a case where a fixture 513 is screwed only halfway into a first lens barrel 511 in Modification 2 of Embodiment 1;
  • the second lens barrel 512 can be screwed all the way into the first lens barrel 511.
  • the second barrel 512 can only be screwed into the first barrel 511 halfway. Therefore, depending on the screwing position of the fixture 513 into the first lens barrel 511, the screwing depth changes, and the rotation angle of the rotatable mask 400d can be changed.
  • the multi-pinhole mask may be realized by the user making arbitrary holes in the mask.
  • FIG. 21 is a schematic diagram showing a cross section of a multi-pinhole camera 301 according to Modification 3 of Embodiment 1.
  • FIG. 21 the same reference numerals are given to the same components as those in FIGS. 13 to 16, and the description thereof is omitted.
  • a multi-pinhole camera 301 in Modification 3 of Embodiment 1 has an image sensor 301b and a mask 301ab attached in front of the image sensor 301b. The user can make holes at arbitrary locations on the mask 301ab. No pinholes are initially present in mask 301ab.
  • a user can create a multi-pinhole mask with an arbitrary mask pattern by punching holes in arbitrary plural positions in the mask 301ab with a needle or the like.
  • FIG. 22 is a block diagram showing an example of the configuration of an image identification system 1B according to Modification 4 of Embodiment 1 of the present disclosure.
  • the same components as those of the image identification system 1 shown in FIG. 22 are identical components as those of the image identification system 1 shown in FIG. 22.
  • the image identification system 1B includes a first camera 101, a storage unit 102 for storing an identification model, an image identification unit 103, a mask change unit 104, a mask identification unit 105, an identification model change unit 106, and an output unit. 107 and an input unit 109 .
  • the image identification system 1B includes, for example, an image identification device including a storage unit 102, an image identification unit 103, a mask change unit 104, a mask identification unit 105, and an identification model change unit 106, and a first camera 101, the output unit 107, and the input unit 109 may be connected to the image identification device.
  • the image identification device may be a server.
  • the image identification system 1B includes, for example, a first camera 101, a storage unit 102, an image identification unit 103, a mask change unit 104, a mask identification unit 105, an identification model change unit 106, and an output unit 107. , and an input unit 109 .
  • the image identification device included in the image identification system 1B may be configured to be connected to the light emitting unit 108 shown in FIG. More specifically, for example, the mask identifying unit 105 may be connected to the light emitting unit 108 .
  • the multi-pinhole mask 301a is composed of a spatial light modulator 520 whose hole position and size can be arbitrarily changed.
  • the mask changer 104 changes the positions and sizes of the holes of the multi-pinhole mask 301a.
  • Such a multi-pinhole mask 301a can be realized by a liquid crystal on silicon (LCOS) or a spatial light modulator such as a spatial light phase modulator.
  • LCOS liquid crystal on silicon
  • a spatial light modulator such as a spatial light phase modulator.
  • the mask changing unit 104 changes the mask pattern of the mask.
  • the input unit 109 accepts user input for changing the mask pattern of the mask.
  • the user inputs the positions and sizes of the multiple pinholes of the multi-pinhole mask 301a to the input unit 109.
  • FIG. the input unit 109 may accept a user's selection of one mask pattern from among a plurality of mask patterns.
  • a user may select one mask pattern from a plurality of mask patterns.
  • the mask changing unit 104 instructs the first camera 101 to change the mask pattern of the multi-pinhole mask 301a according to the positions and sizes of the pinholes received by the input unit 109.
  • a spatial light modulator 520 of the first camera 101 changes the positions and sizes of a plurality of pinholes according to instructions from the mask changing unit 104 .
  • FIG. 23 is a flow chart showing an example of the procedure of main processing of the image identification system 1B when the mask pattern is changed in the fourth modification of the first embodiment.
  • the mask changing unit 104 changes the mask pattern of the first camera 101 (step S201).
  • the mask changing unit 104 notifies the mask identifying unit 105 of the changed mask pattern, that is, the positions and sizes of the plurality of pinholes.
  • the mask identification unit 105 identifies the mask pattern of the mask of the first camera 101 (step S202).
  • the mask identifying unit 105 identifies the mask pattern of the mask based on the changed mask pattern notified from the mask changing unit 104 .
  • FIG. 24 is a schematic diagram showing a cross section of a multi-pinhole camera 301 according to Modification 4 of Embodiment 1.
  • the multi-pinhole camera 301 uses the spatial light modulator 520 to arbitrarily set the transmittance at each position within the mask.
  • the spatial light modulator 520 is composed of liquid crystal, for example, and can change the transmittance of each pixel.
  • This spatial light modulator 520 functions as the multi-pinhole mask 301a.
  • the transmittance is changed by the spatial light modulator control section (mask changing section 104). Therefore, various mask patterns (multi-pinhole patterns) can be realized by the user selecting an arbitrary pattern from a plurality of transmittance patterns prepared in advance.
  • the mask changing unit 104 may change the mask pattern by applying an external force to the multi-pinhole mask 301a to deform the mask. 25 to 31, the multi-pinhole camera 301 configured to deform the mask by applying an external force in Modification 5 of Embodiment 1 will be described.
  • the configuration of the image identification system in Modification 5 of Embodiment 1 is the same as the configuration of image identification system 1B in Modification 4 of Embodiment 1.
  • FIG. 25 is a schematic diagram showing a cross section of a multi-pinhole camera 301 according to Modification 5 of Embodiment 1.
  • FIG. The multi-pinhole camera 301 according to Modification 5 of Embodiment 1 deforms the mask by applying an external force.
  • the same reference numerals are given to the same components as in FIG. 21, and the description thereof is omitted.
  • FIG. 26 is a schematic diagram showing an example of a first mask 301a1 constituting a multi-pinhole mask 301ac according to Modification 5 of Embodiment 1
  • FIG. FIG. 28 is a schematic diagram showing an example of a second mask 301a2 forming a pinhole mask 301ac
  • FIG. 28 shows an example of a third mask 301a3 forming a multi-pinhole mask 301ac according to Modification 5 of the first embodiment. It is a schematic diagram.
  • FIG. 29 is a schematic diagram showing an example of a multi-pinhole mask 301ac in which a first mask 301a1, a second mask 301a2, and a third mask 301a3 are superimposed in the fifth modification of the first embodiment.
  • FIG. 30 is a schematic diagram showing an example of the multi-pinhole mask 301ac when an external force is applied to the multi-pinhole mask 301ac in Modification 5 of the first embodiment.
  • FIG. 31 is a schematic diagram showing an example of the multi-pinhole mask 301ac when an external force is further applied to the multi-pinhole mask 301ac in Modification 5 of the first embodiment.
  • the multi-pinhole mask 301ac has a configuration in which a first mask 301a1, a second mask 301a2 and a third mask 301a3 are layered.
  • a multi-pinhole camera 301 which is an example of the first camera 101, has a driving unit that independently applies an external force to each of the first mask 301a1, the second mask 301a2, and the third mask 301a3.
  • each mask has a shape in which a fan shape and a ring shape are combined.
  • this configuration is only an example, and the shape is not limited to the fan shape, and the number of the plurality of masks forming the multi-pinhole mask 301ac is not limited to three.
  • Each mask has one or more pinholes. Also, the mask does not have to have pinholes.
  • the first mask 301a1 has two pinholes 301aa1 and 301aa2.
  • the second mask 301a2 has one pinhole 301aa3.
  • the third mask 301a3 has two pinholes 301aa4 and 301aa5.
  • the drive unit creates various mask patterns by moving these three masks by applying an external force.
  • the mask change unit 104 instructs the first camera 101 to change the mask pattern of the multi-pinhole mask 301ac according to the number and positions of the pinholes received by the input unit 109 .
  • the driving unit of the first camera 101 applies an external force to the multiple masks according to instructions from the mask changing unit 104, and changes the number and positions of the multiple pinholes of the multi-pinhole mask 301ac.
  • FIGS. 29, 30 and 31 show three types of multi-pinhole masks 301ac composed of a first mask 301a1, a second mask 301a2 and a third mask 301a3.
  • the multi-pinhole mask 301ac shown in FIGS. 29 and 30 has five pinholes
  • the multi-pinhole mask 301ac shown in FIG. 31 has four pinholes.
  • Such a mask driving unit is realized by an ultrasonic motor or a linear motor widely used for autofocusing.
  • the number or positions of pinholes in the multi-pinhole mask 301ac can be changed by applying an external force.
  • an external force is applied to the multi-pinhole mask 301ac shown in FIG. 29
  • the positions of the pinholes 301aa1, 301aa2, 301aa3 change as shown in FIG.
  • the pinholes 301aa2 are shielded by the third mask 301a3.
  • the number of pinholes in the multi-pinhole mask 301ac is changed to four, as shown in FIG.
  • the mask changing unit 104 may change not only the number or positions of the pinholes of the multi-pinhole mask, but also the sizes of the pinholes.
  • FIG. 32 is a schematic diagram for explaining the configuration of a multi-pinhole mask 301ad according to Modification 6 of Embodiment 1.
  • FIG. The configuration of the multi-pinhole mask 301ad in the multi-pinhole camera 301 is such that the mask is deformed by applying an external force.
  • the multi-pinhole mask 301ad has a plurality of pinholes and is made of an elastic material.
  • the multi-pinhole mask 301ad has, for example, three pinholes.
  • a multi-pinhole camera 301 which is an example of the first camera 101, has a plurality of independently controllable drive units 521-524. Of course, the number of drives need not be four.
  • the mask changing unit 104 can change the positions or sizes of the plurality of pinholes in the multi-pinhole mask 301ad by moving each driving unit.
  • the mask change unit 104 instructs the first camera 101 to change the mask pattern of the multi-pinhole mask 301ad according to the positions and sizes of the pinholes received by the input unit 109 .
  • a driving unit of the first camera 101 applies an external force to the multi-pinhole mask 301ad according to an instruction from the mask changing unit 104 to change the positions and sizes of the multiple pinholes of the multi-pinhole mask 301ad. .
  • FIG. 33 is a schematic diagram showing the state of the multi-pinhole mask 301ad when the four drive units 521 to 524 are moved in the same direction in the sixth modification of the first embodiment.
  • the directions of the arrows shown in the driving portions 521-524 indicate the respective driving directions of the driving portions 521-524.
  • the driving directions of the driving units 521 to 524 are the same. Therefore, the multi-pinhole mask 301ad is translated in the driving direction. As a result, the three pinholes of the multi-pinhole mask 301ad are also translated in the driving direction.
  • the number and positions of the plurality of pinholes of the multi-pinhole mask 301ad may be changed by translating the multi-pinhole mask 301ad in the driving direction.
  • the number of pinholes may increase by moving pinholes outside the imaging range into the imaging range.
  • the number of holes may be reduced.
  • FIG. 34 shows the state of the multi-pinhole mask 301ad when the four drive units 521 to 524 are moved outward from the center of the multi-pinhole mask 301ad in the sixth modification of the first embodiment. It is a schematic diagram showing.
  • Such driving units 521 to 524 are realized by ultrasonic motors or linear motors widely used for autofocus. In this manner, the position or size of the pinholes in the multi-pinhole mask 301ad can be changed by applying an external force.
  • the multi-pinhole camera 301 is a driving unit that inserts at least one of a plurality of masks in front of the image sensor 301b and removes at least one of the plurality of masks from the front of the image sensor 301b.
  • the mask changing unit 104 may control the driving unit according to an instruction from the input unit 109 to change the number of multiple masks forming the multi-pinhole mask.
  • the drive section may move at least one of the masks 400b and 400c.
  • the mask changing unit 104 may control the driving unit to move at least one of the mask 400b and the mask 400c according to the mask pattern to be changed.
  • the mask changing unit 104 changes the mask pattern of the multi-pinhole mask 301a by inserting or removing at least one of the two masks 400b and 400c in front of the image sensor 301b. You may
  • the multi-pinhole camera 301 may include a drive that rotates at least one of the multiple masks.
  • the mask changing unit 104 may control the driving unit according to an instruction from the input unit 109 to rotate at least one of the multiple masks that constitute the multi-pinhole mask.
  • the driving section may rotate the mask 400d.
  • the mask changing unit 104 may control the driving unit to rotate the mask 400d at a rotation angle corresponding to the mask pattern to be changed.
  • the mask changing unit 104 may change the mask pattern of the multi-pinhole mask 301a by rotating the mask 400d out of the two masks 400d and 400e.
  • the mask identification unit 105 acquires the point spread function (PSF) of the multi-pinhole mask 301a from the image captured by the first camera 101, thereby identifying the mask pattern of the mask. I don't mind.
  • PSF is the transfer function of the first camera 101, such as a multi-pinhole camera or a coded aperture camera, and is expressed by Equation (1) below.
  • y k*x (1)
  • y represents the blurred calculated captured image captured by the first camera 101
  • k represents the PSF
  • x represents the unblurred scene captured by the first camera 101.
  • * is a convolution operator.
  • the mask identification unit 105 acquires mask information related to the mask pattern from the calculated captured image captured by the first camera 101, and identifies the mask pattern of the mask based on the acquired mask information.
  • the mask identifying unit 105 acquires a point spread function as mask information from an image including the light emitting unit 108 captured by the first camera 101 .
  • FIG. 35 is a flowchart showing an example of the main processing procedure of the mask identification unit 105 according to the first embodiment.
  • the mask identifying unit 105 instructs the light emitting unit 108 existing in the imaging environment to turn on (step S301).
  • the light emitting unit 108 is a light source that can be regarded as a point light source that exists in the environment, and is, for example, an LED (Light Emitting Diode) mounted on an electrical device or an illumination LED. Alternatively, the light emitting unit 108 may light only a part of a monitor such as an LED monitor.
  • the light emitting unit 108 performs lighting according to the lighting instruction from the mask identifying unit 105 (step S302).
  • the mask identification unit 105 instructs the first camera 101 to take an image (step S303). Thereby, the first camera 101 can capture an image of the lit light emitting unit 108 .
  • the first camera 101 captures a calculated captured image at the time of lighting in accordance with an imaging instruction from the mask identification unit 105 (step S304).
  • a calculated captured image obtained by capturing the illuminated light emitting unit 108 is input from the first camera 101 to the mask identifying unit 105 .
  • the mask identification unit 105 acquires from the first camera 101 a calculated captured image obtained by capturing the lit light emitting unit 108 .
  • the mask identification unit 105 temporarily stores the acquired calculated captured image.
  • the mask identifying unit 105 instructs the light emitting unit 108, which is the light source, to turn off (step S305).
  • the light emitting unit 108 turns off the light in accordance with the turn off instruction from the mask identification unit 105 (step S306).
  • the mask identification unit 105 instructs the first camera 101 to take an image (step S307). Thereby, the first camera 101 can capture an image of the light emitting unit 108 that is turned off.
  • the first camera 101 captures the calculated captured image when the light is turned off according to the imaging instruction from the mask identification unit 105 (step S308).
  • a calculated captured image obtained by capturing the light emitting unit 108 that is turned off is input from the first camera 101 to the mask identifying unit 105 .
  • the mask identifying unit 105 acquires from the first camera 101 a calculated captured image of the light emitting unit 108 that has been turned off.
  • the mask identification unit 105 temporarily stores the acquired calculated captured image.
  • the mask identification unit 105 calculates a difference image between the calculated captured image when the light emitting unit 108 is turned on and the calculated captured image when the light emitting unit 108 is turned off (step S309).
  • the first camera 101 performs imaging synchronized with the light emitting unit 108 which is a light source that can be regarded as a point light source existing in the imaging environment.
  • FIG. 36 is a diagram showing an example of a calculated captured image 701 captured by the first camera 101 of the light emitting unit 108 in the lighting state in the first embodiment.
  • the calculated captured image 701 it can be seen that the luminance value of the pixel corresponding to the light emitting unit 108 is high.
  • the calculated captured image 701 is an image in which a plurality of pinhole images are superimposed, and thus includes three light-emitting points corresponding to one light-emitting unit 108 .
  • FIG. 37 is a diagram showing an example of a calculated captured image 702 captured by the first camera 101 with the light emitting unit 108 in the off state in the first embodiment.
  • the luminance value of the pixel corresponding to the light emitting unit 108 is lower than the luminance value when lit.
  • FIG. 38 is a diagram showing an example of a difference image 703 obtained by subtracting a calculated captured image 702 including the light emitting unit 108 in the off state from a calculated captured image 701 including the light emitting unit 108 in the lit state. Since the differential image 703 is an image obtained by capturing only the light emitting unit 108, which is a point light source, without being affected by subjects other than the light emitting unit 108, the PSF of the multi-pinhole mask 301a when the light emitting unit 108 is turned on cannot be obtained. It can be seen that A difference image 703 represents the PSF of the multi-pinhole mask 301a.
  • the light emitting unit 108 may be the light of the user's smart phone or mobile phone. In this case, the light that is the light emitting unit 108 may be turned on or off by the user operating the smartphone or mobile phone.
  • the mask identification unit 105 does not acquire the point spread function of the multi-pinhole mask 301a from the image captured by the first camera 101, but rather the brightness transfer matrix (Light The mask pattern may be identified by acquiring the Transport Matrix (LTM).
  • the mask identification unit 105 may use a plurality of light emitting units 108 dispersedly arranged in the environment to acquire PSFs at a plurality of positions and use them as LTMs.
  • the mask identification unit 105 identifies the mask pattern by acquiring the LTM of the multi-pinhole mask 301a from the image captured by the first camera 101, the mask identification unit 105 uses the plurality of light emitting units 108 to detect images at a plurality of positions. It is also possible to obtain the PSF and use it as the LTM.
  • FIG. 39 is a flowchart showing an example of the main processing procedure of the mask identification unit 105 when identifying the mask pattern by acquiring the LTM from the image captured by the first camera 101.
  • FIG. 39 is a flowchart showing an example of the main processing procedure of the mask identification unit 105 when identifying the mask pattern by acquiring the LTM from the image captured by the first camera 101.
  • the mask identification unit 105 calculates a plurality of PSFs corresponding to each of the plurality of light emitting units 108 (step S331). As described above, this can be calculated using the difference image between the calculated captured image when the plurality of light emitting units 108 are turned on and the calculated captured image when the plurality of light emitting units 108 is turned off. By doing so, it is possible to obtain PSFs at a plurality of positions on the image.
  • FIG. 40 is a schematic diagram showing an example of multiple PSFs acquired at multiple positions on an image.
  • the PSF is acquired at 6 points on the image.
  • the mask identification unit 105 obtains the LTM by interpolating the plurality of calculated PSFs (step S332).
  • the mask identifying unit 105 performs interpolation processing on the calculated PSFs to calculate PSFs for all pixels of the image, and uses them as LTMs.
  • General image processing such as morphing may be used for such interpolation processing.
  • the image identification system may include one light emitting unit 108 instead of multiple light emitting units 108 .
  • one light emitting unit 108 may be used at a plurality of positions.
  • a light of a smart phone or a mobile phone may be used as the light emitting unit 108, and the user may turn on and off one light emitting unit 108 while changing the location.
  • an LED mounted on a drone, a cleaning robot, or the like may be used as the light emitting unit 108 .
  • the mask identifying unit 105 may determine the state of image quality of the acquired mask information based on the calculated captured image captured by the first camera 101, and switch the processing contents according to the determination result.
  • the mask information is PSF.
  • FIG. 41 is a flowchart showing an example of another main processing procedure of the mask identification unit 105 according to the first embodiment.
  • the mask identifying unit 105 calculates a difference image between the calculated captured image when the light emitting unit 108 is on and the calculated captured image when the light emitting unit 108 is off by the same method as in steps S301 to S309 in FIG. 35 above.
  • the mask identification unit 105 uses the first camera 101 to acquire the difference image as a PSF.
  • the mask identification unit 105 checks the image quality of the calculated difference image and determines whether the image quality of the calculated difference image is sufficient (step S310). Here, if it is determined that the image quality of the difference image is not sufficient, that is, if it is determined that the image quality of the difference image is insufficient (NO in step S310), the process returns to step S301, and the mask identification unit 105 changes the image quality of the light emission unit 108 to turn on.
  • the mask identifying unit 105 instructs the light emitting unit 108 to turn on, instructs the first camera 101 to capture an image of the light emitting unit 108 in the lighted state, instructs the light emitting unit 108 to turn off the light, and causes the first camera 101 to turn off.
  • step S309 the mask identification unit 105 newly calculates a difference image between the calculated captured image when the light emitting unit 108 is turned on and the calculated captured image when the light emitting unit 108 is turned off, and then performs the process of step S310 again.
  • the mask identification unit 105 saves the calculated difference image as a PSF (step S311).
  • Whether the image quality of the PSF is sufficient may be determined using, for example, a differential image.
  • the PSF must not contain anything other than a point light source. Therefore, a difference image between when the light is on and when it is off is used. However, if there is a change in the scene between shooting when the lights are on and shooting when the lights are off, such as when people move a lot or the brightness in the environment changes dramatically, those changes will appear in the difference image. It becomes impossible to obtain an accurate PSF. Therefore, the mask identification unit 105 counts the number of pixels having a luminance value equal to or higher than a certain value in the difference image, and if the counted number of pixels is equal to or higher than the threshold value, it may be determined that the image quality of the difference image is insufficient. Also, when the counted number of pixels is less than the threshold value, the mask identification unit 105 may determine that the image quality of the difference image is sufficient.
  • the mask identification unit 105 may determine whether the image quality of the calculated difference image is equal to or higher than the allowable value.
  • the mask identification unit 105 may count the number of pixels having a luminance of a certain value or more in the difference image, and determine that the image quality of the difference image is below the allowable value when the counted number of pixels is equal to or more than a threshold value. Further, the mask identification unit 105 may determine that the image quality of the difference image is equal to or higher than the allowable value when the counted number of pixels is less than the threshold.
  • the image quality of the difference image may deteriorate.
  • the exposure time of the first camera 101 is too short or if the gain of signal amplification for adjusting the brightness of the image data is too small, the luminance of the light emitting unit 108 is buried in noise, resulting in a difference image. (PSF) image quality may deteriorate.
  • PSF difference image
  • the mask identification unit 105 checks the maximum luminance value of the image when the light emitting unit 108 is turned on, and if the maximum luminance value is equal to or higher than the upper limit value or is equal to or lower than the lower limit value, the difference image (PSF ) may be judged to have insufficient image quality.
  • the mask identification unit 105 judges the image quality of the difference image (PSF) based on whether the maximum luminance value in the image when the light emitting unit 108 is lit is equal to or less than the lower limit value, whether the luminance of the light emitting unit 108 is buried in noise can be judged.
  • the mask identifying unit 105 determines the image quality of the difference image (PSF) based on whether the maximum luminance value in the image when the light emitting unit 108 is lit is equal to or greater than the upper limit value, the luminance of the light emitting unit 108 exceeds the sensing range. can determine whether it is saturated.
  • the mask identification unit 105 determines that the maximum luminance value is within a predetermined range between the upper limit value and the lower limit value. , the settings of the first camera 101 may be changed.
  • the mask identifying unit 105 checks the maximum luminance value of the image when the light emitting unit 108 is turned off. ) may be judged to have insufficient image quality.
  • FIG. 42 is a flowchart showing an example of the procedure of image quality determination processing by the mask identification unit 105 according to the first embodiment. Note that the image quality determination processing shown in FIG. 42 is performed between steps S303 and S305 in FIG.
  • step S304 in FIG. 42 is the same as the process of step S304 in FIG.
  • the mask identifying unit 105 acquires a calculated captured image captured by the first camera 101 when the light emitting unit 108 is turned on (step S321).
  • the mask identification unit 105 determines whether the calculated captured image is saturated by determining whether the maximum luminance value of the obtained calculated captured image is equal to or greater than the upper limit value Th1 (step S322). ). Here, if it is determined that the maximum luminance value is equal to or greater than the upper limit value Th1, that is, if it is determined that the acquired calculated captured image is saturated (YES in step S322), the mask identification unit 105 performs the first The camera 101 is instructed to take an image again with a shorter exposure time (step S323). Then, the process returns to step S304.
  • the mask identification unit 105 determines whether the maximum luminance value of the obtained calculated captured image is equal to or less than the lower limit value Th2. Thus, it is determined whether or not the luminance of the light emitting unit 108 is buried in noise (step S324). Note that the lower limit value Th2 is smaller than the upper limit value Th1.
  • the mask identification unit 105 performs the first The camera 101 is instructed to lengthen the exposure time and perform imaging again (step S325). Then, the process returns to step S304.
  • the mask identification unit 105 determines that the image quality of the acquired calculated captured image is sufficiently high with the current exposure time. In this case, the process proceeds to step S305, and the mask identifying unit 105 instructs the light emitting unit 108 to turn off. Then, the mask identification unit 105 further instructs the first camera 101 to capture an image with the same exposure time as the exposure time in imaging when the light emitting unit 108 is turned on. to get
  • the mask identifying unit 105 also sets the maximum luminance value of the calculated captured image acquired when the light emitting unit 108 is turned off so that it falls within a predetermined range between the upper limit value Th1 and the lower limit value Th2, as described above.
  • the exposure time of one camera 101 may be controlled.
  • the mask identification unit 105 may change settings other than the exposure time of the first camera 101 .
  • the mask identification unit 105 may change the gain of the first camera 101 .
  • FIG. 43 is a flowchart showing another example of the procedure of image quality determination processing by the mask identification unit 105 according to the first embodiment.
  • the same processing as in FIG. 42 is assigned the same number, and description thereof is omitted. Note that the image quality determination process shown in FIG. 43 is performed between steps S303 and S305 in FIG.
  • step S322 If it is determined in step S322 that the maximum luminance value is equal to or greater than the upper limit Th1, that is, if it is determined that the acquired calculated captured image is saturated (YES in step S322), the mask identification unit 105 The camera 101 of No. 1 is instructed to perform imaging again with a smaller gain (step S327). Then, the process returns to step S304.
  • step S324 If it is determined in step S324 that the maximum luminance value is equal to or less than the lower limit Th2, that is, if it is determined that the luminance of the light emitting unit 108 is buried in noise (YES in step S324), the mask identifying unit 105 The first camera 101 is instructed to increase the gain and perform imaging again (step S328). Then, the process returns to step S304.
  • the mask identification unit 105 determines that the image quality of the acquired calculated captured image is sufficiently high with the current gain. In this case, the process proceeds to step S305, and the mask identifying unit 105 instructs the light emitting unit 108 to turn off. Then, the mask identifying unit 105 further instructs the first camera 101 to capture an image with the same gain and exposure time as the gain and exposure time in imaging when the light emitting unit 108 is turned on. to obtain a calculated captured image.
  • the mask identifying unit 105 also sets the maximum luminance value of the calculated captured image acquired when the light emitting unit 108 is turned off so that it falls within a predetermined range between the upper limit value Th1 and the lower limit value Th2, as described above.
  • the gain of one camera 101 may be controlled.
  • the mask identification unit 105 may control the brightness of the light emitting unit 108 instead of the exposure time or gain of the first camera 101 . That is, when the mask identification unit 105 determines that the luminance of the light emitting unit 108 is saturated, the mask identifying unit 105 controls the light emitting unit 108 to lower the luminance. Conversely, when the mask identification unit 105 determines that the luminance of the light emitting unit 108 is buried in noise, it controls the light emitting unit 108 to increase the luminance. As the luminance of the light emitting unit 108 increases, the difference in luminance between the light emitting unit 108 and noise widens.
  • the mask identification unit 105 determines that the image quality of the difference image is insufficient, it selects another light emitting unit existing in the target area and instructs the other light emitting unit to turn on and off. It doesn't matter if you do. This is effective in the case of a light source having directivity, in which the image quality may inevitably deteriorate depending on the positional relationship between the first camera 101 and the light emitting unit 108 .
  • the mask identification unit 105 acquires mask information about the mask pattern from the calculated captured image captured by the first camera 101, and identifies the mask pattern of the mask based on the acquired mask information.
  • the mask identification unit may identify the mask pattern by reading the mask ID information written on the mask. This is realized, for example, by reading the mask ID information embedded around the mask.
  • Mask ID information is, for example, a bar code, a two-dimensional code, color information, or the like.
  • FIG. 44 is a block diagram showing an example of a configuration of an image identification system 1C according to Embodiment 2 of the present disclosure.
  • the same components as those of the image identification system 1 shown in FIG. 44 the same components as those of the image identification system 1 shown in FIG.
  • the image identification system 1C of the second embodiment includes a first camera 101, a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, an output unit 107, an ID information
  • An acquisition unit 111 and a second camera 121 are provided.
  • the mask identification unit 105, the identification model change unit 106, the image identification unit 103, and the ID information acquisition unit 111 include a processor such as a CPU and a memory such as a semiconductor memory.
  • the ID information acquisition unit 111 transmits and receives information to and from the second camera 121 via a wired or wireless network
  • the ID information acquisition unit 111 includes a reception unit.
  • the receiver includes a receiver circuit as hardware.
  • the mask identification unit 105 transmits/receives information to/from the second camera 121 via a wired or wireless network
  • the mask identification unit 105 includes a transmission unit.
  • the transmission unit includes a transmission circuit as hardware.
  • the second camera 121 includes a transmitting circuit and a receiving circuit as hardware.
  • the image identification system 1C includes, for example, an image identification device including a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, and an ID information acquisition unit 111.
  • the camera 101, the output unit 107, and the second camera 121 may be connected to the image identification device.
  • the image identification device may be a server.
  • the image identification system 1C includes, for example, a first camera 101, a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, an output unit 107, and an ID information acquisition unit.
  • 111, and the second camera 121 may be connected to the image identification device.
  • the second camera 121 is a camera different from the first camera 101 and captures an image without blur.
  • the second camera 121 is arranged on the side of the subject imaged by the first camera 101 .
  • a first camera 101 is a multi-pinhole camera 301 .
  • the second camera 121 images the multi-pinhole mask 301a of the multi-pinhole camera 301 from the subject side.
  • the mask identification unit 105 instructs the second camera 121 to take an image.
  • the second camera 121 acquires an image of the multi-pinhole mask 301a from the subject side according to the instruction from the mask identification unit 105.
  • the ID information acquisition unit 111 acquires mask ID information (mask identification information) for identifying the mask from the image captured by the second camera 121 .
  • the mask identification unit 105 identifies the mask pattern of the mask based on the mask ID information acquired by the ID information acquisition unit 111 .
  • the multi-pinhole mask 301a has a configuration in which the three masks 400a, 400b, and 400c described with reference to FIGS. 5 to 7 are layered. Improvements have been made to the three masks 400a, 400b, and 400c.
  • FIG. 45 is a diagram showing an example of a mask 400a having nine pinholes in the second embodiment
  • FIG. 46 is an example of a mask 400b having five pinholes in the second embodiment
  • FIG. 47 is a diagram showing an example of a mask 400c having one pinhole in the second embodiment.
  • the multi-pinhole mask 301a includes a mask 400a formed with nine pinholes shown in FIG. 45, a mask 400b formed with five pinholes shown in FIG. , and a mask 400c having pinholes formed thereon.
  • Mask ID information 601 for identifying the mask 400a is written on the outer periphery of the mask 400a shown in FIG.
  • Mask ID information 602 for identifying the mask 400b is written on the outer periphery of the mask 400b shown in FIG.
  • Mask ID information 603 for identifying the mask 400c is written on the outer periphery of the mask 400c shown in FIG.
  • the annular outer peripheries of the masks 400b and 400c are transparent.
  • the annular outer peripheral portion of the mask 400a is shielded rather than transparent.
  • the circular inner peripheral portions of the masks 400a, 400b, and 400c are shielded and pinholes are formed.
  • the mask ID information 601-603 is represented by, for example, a two-dimensional code.
  • the ID information acquisition unit 111 acquires mask ID information 601 to 603 of each of the masks 400a to 400c by reading the two-dimensional code written on each of the masks 400a to 400c included in the captured image.
  • the two-dimensional code representing the mask ID information 601-603 may be printed on each of the masks 400a-400c, or may be attached with a sticker or the like.
  • the mask identification unit 105 stores mask information corresponding to the mask ID information 601, 602, and 603 in advance.
  • the mask information corresponding to the mask ID information 601 is, for example, information relating to the PSF of the multi-pinhole mask 301a composed only of the mask 400a.
  • the multi-pinhole mask 301a is composed of the mask 400a, the multi-pinhole mask 301a has nine pinholes as described above. Therefore, the mask information corresponding to mask ID information 601 is the PSF of mask 400a having nine pinholes.
  • the mask information corresponding to the mask ID information 602 is, for example, information regarding the PSF of the multi-pinhole mask 301a in which the two masks 400a and 400b are superimposed.
  • the multi-pinhole mask 301a is composed of two masks 400a and 400b, the multi-pinhole mask 301a has five pinholes. Note that if the thicknesses of the masks 400a and 400b are sufficiently small, the mask information corresponding to the mask ID information 602 is the PSF of the mask 400b having five pinholes.
  • the mask information corresponding to the mask ID information 603 is, for example, information regarding the PSF of the multi-pinhole mask 301a in which three masks 400a, 400b, and 400c are superimposed.
  • multi-pinhole mask 301a is composed of three masks 400a, 400b, and 400c
  • multi-pinhole mask 301a has one pinhole.
  • the mask information corresponding to the mask ID information 603 is the PSF of the mask 400c having one pinhole.
  • these masks are fixed with removable adhesive.
  • the user manually peels off each mask to change the mask pattern of the multi-pinhole mask 301a.
  • the mask changing unit 104 may change the mask pattern of the multi-pinhole mask 301a by controlling the driving unit to change each mask.
  • FIG. 48 is a diagram showing an example of a multi-pinhole mask 301a in which three masks 400a to 400c are superimposed in the second embodiment, and FIG. It is a figure which shows an example of the multi-pinhole mask 301a which overlapped 400a and 400b.
  • the mask identification unit 105 acquires these mask ID information 601, 602, and 603 so that the multi-pinhole mask 301a in which the three masks 400a to 400c are superimposed is mounted on the first camera 101. can be identified.
  • the mask identification unit 105 obtains three pieces of mask ID information 601, 602, and 603, it obtains the mask information corresponding to the mask ID information 603 from the memory.
  • the mask information corresponding to the mask ID information 603 is the PSF of the mask with one pinhole.
  • the multi-pinhole mask 301a is composed of the two superimposed masks 400a and 400b. be.
  • the second camera 121 captures an image of the multi-pinhole mask 301a in which the two masks 400a and 400b are overlapped, as shown in FIG. A two-dimensional code representing information 601, 602 is imaged. Therefore, by acquiring these mask ID information 601 and 602, the mask identification unit 105 can determine that the first camera 101 is equipped with the multi-pinhole mask 301a in which the two masks 400a and 400b are superimposed. can be identified. When the mask ID information 601 and 602 are acquired, the mask identification unit 105 acquires the mask information corresponding to the mask ID information 602 from the memory.
  • the mask information corresponding to mask ID information 602 is the PSF of a mask with 5 pinholes.
  • the multi-pinhole mask 301a consists of only the mask 400a.
  • the mask identification unit 105 can identify that the first camera 101 is equipped with the multi-pinhole mask 301a having the mask 400a.
  • the mask identification unit 105 acquires mask information corresponding to the mask ID information 601 from the memory.
  • the mask information corresponding to mask ID information 601 is the PSF of a mask with nine pinholes.
  • the second camera 121 In order for the ID information acquisition unit 111 to acquire such mask ID information, the second camera 121 needs to acquire an image of the multi-pinhole mask 301a from the subject side.
  • FIG. 50 is a diagram for explaining a configuration for reading the mask ID information 600 written on the mask forming the multi-pinhole mask 301a using the second camera 121 in the second embodiment.
  • the same reference numerals are given to the same components as in FIGS. 3 and 21, and the description thereof is omitted.
  • the second camera 121 is a camera different from the first camera 101 and is arranged on the subject side photographed by the multi-pinhole camera 301 corresponding to the first camera 101 .
  • the second camera 121 takes an image without blur, for example.
  • the mask identification unit 105 can acquire an image of the multi-pinhole mask 301a from the subject side by, for example, instructing the second camera 121 to shoot.
  • the captured image includes mask ID information 600 .
  • FIG. 51 is a diagram for explaining a configuration for reading the mask ID information 600 written on the mask forming the multi-pinhole mask 301a using the mirror 122 in the modification of the second embodiment.
  • the same reference numerals are given to the same components as in FIGS. 3 and 21, and the description thereof is omitted.
  • a mirror 122 is arranged instead of the second camera 121 .
  • the image identification system 1C does not have the second camera 121 .
  • the first camera 101 takes an image of the mirror 122 reflecting the multi-pinhole mask 301a having the mask ID information 600 written on its surface.
  • the ID information acquisition unit 111 acquires an image captured by the multi-pinhole camera 301 corresponding to the first camera 101 .
  • the ID information acquisition unit 111 acquires mask ID information from the calculated captured image captured by the multi-pinhole camera 301 .
  • the mirror 122 is arranged on the side of the subject photographed by the multi-pinhole camera 301 corresponding to the first camera 101 .
  • a mirror 122 reflects a multi-pinhole mask 301a on which mask ID information 600 is written.
  • the mask identification unit 105 instructs the multi-pinhole camera 301 to photograph, the light emitted from the mask constituting the multi-pinhole mask 301a is reflected by the mirror 122 and reaches the light receiving surface of the image sensor 301b. Therefore, the mask identification unit 105 can acquire an image of the multi-pinhole mask 301a from the subject side by instructing the multi-pinhole camera 301 to take an image, for example.
  • the ID information acquisition unit 111 needs to acquire mask ID information from this calculated captured image. Therefore, the storage unit 102 may store in advance a mask ID identification model for identifying the mask ID information of the multi-pinhole mask 301a from the calculated captured image captured by the multi-pinhole camera 301, for example.
  • the ID information obtaining unit 111 may identify the mask ID information from the image of the multi-pinhole mask 301a captured by the multi-pinhole camera 301 using the mask ID identification model.
  • the ID information acquisition unit 111 may input the image captured by the multi-pinhole camera 301 to the mask ID identification model, and acquire the mask ID information output as the identification result from the mask ID identification model.
  • a mask ID identification model is created by learning processing by a learning device.
  • the learning device acquires an image of the multi-pinhole mask 301a containing the mask ID information taken by a normal camera and the mask assigned to this image.
  • a mask ID identification model may be created by performing deep learning-based machine learning using annotation information corresponding to ID information as teacher data.
  • the second camera 121 and the mirror 122 are necessary when the ID information acquisition unit 111 reads the mask ID information 600, but the image identification unit 103 identifies the image captured by the first camera 101. not necessary in some cases.
  • the second camera 121 or the mirror 122 is installed on the side of the subject photographed by the multi-pinhole camera 301, and the reading of the mask ID information 600 is completed. It is desirable to configure such that the installed second camera 121 or mirror 122 can be removed later.
  • the mask identification unit 105 when the user changes the mask pattern by rotating one of the plurality of masks instead of removing one of the plurality of masks, the mask identification unit 105 Alternatively, the mask pattern may be identified by recognizing the rotation angle of the mask by reading the marker information written on the mask.
  • the multi-pinhole mask 301a has a configuration in which the two masks 400d and 400e described with reference to FIGS. 8 and 9 are stacked. Improvements have been made to the two masks 400d and 400e.
  • FIG. 52 is a block diagram showing an example of the configuration of an image identification system 1D according to Embodiment 3 of the present disclosure.
  • the same components as those of the image identification system 1C shown in FIG. 52 the same components as those of the image identification system 1C shown in FIG.
  • the image identification system 1D of the third embodiment includes a first camera 101, a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, an output unit 107, a marker position It includes a specifying unit 112 and a second camera 121 .
  • the mask identifying unit 105, the identification model changing unit 106, the image identifying unit 103, and the marker position specifying unit 112 include a processor such as a CPU and a memory such as a semiconductor memory.
  • the marker position specifying unit 112 when the marker position specifying unit 112 transmits and receives information to and from the second camera 121 via a wired or wireless network, the marker position specifying unit 112 includes a receiving unit.
  • the receiver includes a receiver circuit as hardware.
  • the mask identification unit 105 transmits/receives information to/from the second camera 121 via a wired or wireless network, the mask identification unit 105 includes a transmission unit.
  • the transmission unit includes a transmission circuit as hardware.
  • the second camera 121 includes a transmitting circuit and a receiving circuit as hardware.
  • the image identification system 1D includes, for example, an image identification device including a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, and a marker position identification unit 112, and includes a first The camera 101, the output unit 107, and the second camera 121 may be connected to the image identification device. Also, the image identification device may be a server. Further, the image identification system 1D includes, for example, a first camera 101, a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, an output unit 107, a marker position identification unit 112, and the second camera 121 may be connected to the image identification device.
  • the multi-pinhole mask 301a includes a mask 400d and a mask 400e superimposed on the mask 400d.
  • Mask 400d is an example of a first mask
  • mask 400e is an example of a second mask.
  • the marker position specifying unit 112 specifies the positions of a plurality of markers formed on each of the masks 400d and 400e in order to detect the rotation angle of the mask 400d with respect to the mask 400e.
  • the mask identification unit 105 detects the rotation angle of the mask 400d with respect to the mask 400e based on the positions of the markers identified by the marker position identification unit 112, and identifies the mask pattern of the mask based on the detected rotation angle.
  • FIG. 53 to FIG. 55 show the process of recognizing the rotation angle of one mask by reading identification information written on a plurality of masks constituting the multi-pinhole mask 301a and identifying the mask pattern from the recognized rotation angle. to explain.
  • FIG. 53 is a diagram showing an example of a mask 400d having six pinholes in the third embodiment
  • FIG. 54 is a diagram showing a mask 400e having two fan-shaped openings in the third embodiment
  • FIG. 55 is a diagram showing an example
  • FIG. 55 is a diagram showing an example of a multi-pinhole mask 301a in which two masks 400d and 400e are overlapped according to the third embodiment.
  • one marker 611 is written as identification information on the outer periphery of the rotatable mask 400d.
  • two markers 612 and 613 are written as identification information on the outer periphery of the fixed mask 400e.
  • the annular outer peripheral portion of the mask 400d is transparent.
  • the annular outer peripheral portion of the mask 400e is shielded rather than transparent.
  • the circular inner peripheral portion of the mask 400d is shielded and has a plurality of pinholes.
  • the circular inner peripheral portion of the mask 400e is formed with two fan-shaped openings and two fan-shaped shielding portions.
  • the marker 611 is formed at a predetermined position on the outer periphery of the mask 400d.
  • marker 611 is the number "1".
  • the marker 612 is formed at a predetermined position on the outer periphery of the mask 400e, and the marker 613 is formed at a position facing the marker 612 on the outer periphery of the mask 400e.
  • a straight line connecting the markers 612 and 613 passes through the center point of the mask 400e.
  • marker 612 and marker 613 are the number "2".
  • the markers 611, 612, and 613 are not limited to numbers, and may be bar codes, two-dimensional codes, color information, or the like, as long as they are information that can identify each marker.
  • the markers 611, 612, 613 may be printed on the respective masks 400d, 400e, or may be attached with stickers or the like.
  • a multi-pinhole mask 301a shown in FIG. 55 is configured by overlapping a mask 400d shown in FIG. 53 and a mask 400e shown in FIG.
  • the marker position specifying unit 112 specifies the positions of the markers 611, 612, and 613 from the captured image of the multi-pinhole mask 301a. For example, the marker position specifying unit 112 specifies coordinate positions of the markers 611, 612, and 613 within the image.
  • the mask identification unit 105 detects the rotation angle of the mask 400d with respect to the mask 400e based on the positions of the markers 611, 612, and 613 identified by the marker position identification unit 112, and identifies the mask pattern of the mask based on the detected rotation angle. Identify.
  • the mask identification unit 105 stores in advance mask information corresponding to the rotation angle of the mask 400d with respect to the mask 400e.
  • the mask information corresponding to the rotation angle is, for example, information regarding the PSF that changes according to the rotation angle of the mask 400d with respect to the mask 400e.
  • the marker position specifying unit 112 specifies the positions of the markers 611, 612, and 613 from the captured image of the multi-pinhole mask 301a.
  • the mask identification unit 105 calculates a line segment 621 connecting the markers 612 and 613 and a midpoint 614 of the line segment 621 from the position information of the specified markers 611 , 612 and 613 .
  • the mask identification unit 105 determines the angle ⁇ between the calculated line segment 622 connecting the midpoint 614 and the marker 611 and the line segment 621 connecting the marker 612 and the marker 613 as the rotation angle of the mask 400d with respect to the mask 400e. Calculate as an angle.
  • the mask identification unit 105 acquires mask information corresponding to the rotation angle of the mask 400d with respect to the mask 400e from the memory.
  • the mask information corresponding to the rotation angle of the mask 400d with respect to the mask 400e is the PSF corresponding to the mask pattern corresponding to the rotation angle.
  • the identification model change unit 106 changes the identification model according to the mask pattern (mask information) identified by the mask identification unit 105.
  • the image identification unit 103 can identify the calculated captured image using the identification model most suitable for the mask pattern of the multi-pinhole mask 301a, which is the first camera 101. Therefore, even if the mask is changed, , can maintain high identification accuracy.
  • Embodiment 4 In Embodiments 1 to 3, storage unit 102 stores in advance a plurality of mask patterns and a plurality of discrimination models in association with each other, and discrimination model changing unit 106 stores a plurality of mask patterns stored in storage unit 102. An identification model associated with the mask pattern identified by the mask identification unit 105 is selected from the identification models.
  • the image identification system in Embodiment 4 may further include a learning device.
  • the learning device may learn a discriminant model according to the mask pattern discriminated by the mask discriminating unit 105 .
  • FIG. 56 is a block diagram showing an example of the configuration of the image identification system 1A according to the fourth embodiment of the present disclosure
  • FIG. 57 shows an example of the configuration of the learning device 2 according to the fourth embodiment of the present disclosure. It is a block diagram.
  • the same components as those of the image identification system 1 shown in FIG. 56 the same components as those of the image identification system 1 shown in FIG.
  • the image identification system 1A of the fourth embodiment includes a first camera 101, a storage unit 102, an image identification unit 103, a mask identification unit 105A, an identification model change unit 106A, an output unit 107, a light emission unit 108 and the learning device 2 .
  • the mask identifying unit 105A, the identification model changing unit 106A, and the image identifying unit 103 include a processor such as a CPU and a memory such as a semiconductor memory.
  • the image identification system 1A includes, for example, an image identification device including a storage unit 102, an image identification unit 103, a mask identification unit 105A, and an identification model change unit 106A.
  • the light emitting unit 108, and the learning device 2 may be connected to the image identification device.
  • the image identification device and the learning device 2 may be servers.
  • the image identification system 1A includes, for example, a first camera 101, a storage unit 102, an image identification unit 103, a mask identification unit 105, an identification model change unit 106, and an output unit 107.
  • the device may be included, and the light emitting unit 108 and the learning device 2 may be connected to the image identification device.
  • the image identification device may include the learning device 2 .
  • the learning device 2 acquires a first learning image captured by a camera (second camera) that captures an image without blurring or an image with less blurring than the first camera 101, and the first learning image. Get the correct answer label and The learning device 2 generates a blurred second learning image based on the mask pattern identified by the mask identification unit 105A and the first learning image. The learning device 2 creates an identification model for identifying the calculated captured image captured by the first camera 101 by performing machine learning using the second learning image and the correct label.
  • the discriminative model changing unit 106A changes the current discriminative model to the discriminative model created by the learning device 2.
  • the learning device 2 includes a learning database 201 , a mask information acquisition section 202 , a database correction section 203 and a learning section 204 .
  • the learning device 2 uses the mask information identified by the mask identification unit 105 to learn the identification model used for identification by the image identification unit 103 .
  • the PSF may be used as described above.
  • the learning database 201 is a storage unit such as an HDD, SSD, or semiconductor memory.
  • the mask information acquisition unit 202, the database correction unit 203, and the learning unit 204 include processors such as CPUs as hardware. Further, when the mask information acquisition unit 202 transmits and receives information to and from the mask identification unit 105A via a wired or wireless network, the mask information acquisition unit 202 includes a reception unit.
  • the receiver includes a receiver circuit as hardware.
  • the mask identification unit 105A includes a transmission circuit and a processor such as a CPU as hardware.
  • the learning unit 204 when the learning unit 204 transmits and receives information to and from the identification model changing unit 106A via a network, the learning unit 204 includes a transmission unit.
  • the transmission unit includes a transmission circuit as hardware.
  • Identification model changing unit 106A includes a receiving circuit and a processor such as a CPU as hardware.
  • FIG. 58 is a flowchart showing an example of the main processing procedure of the learning device 2 according to the fourth embodiment of the present disclosure.
  • the mask information acquisition unit 202 acquires mask information identified by the mask identification unit 105A from the mask identification unit 105A (step S401).
  • the mask information may be transmitted and received by wire or wirelessly. may be provided by the user.
  • the database correction unit 203 corrects the learning database 201 using the mask information acquired by the mask information acquisition unit 202 (step S402). For example, when the image identification unit 103 identifies the behavior of a person in the environment, the learning database 201 stores images taken with a normal camera without blur and what kind of behavior the person is doing at what position in each image. That is, it holds annotation information (correct label) to be attached to each image. When using a normal camera, it is sufficient to add annotation information to the image captured by that camera. It is difficult to attach annotation information because it is not possible to know what is captured even if the image is captured. Further, even if the learning process is performed using images captured by a normal camera that is significantly different from the first camera 101, the recognition accuracy of the image recognition unit 103 does not increase.
  • the database correcting unit 203 uses the mask information obtained from the mask identifying unit 105A to transform an image captured by a normal camera into an image to be captured by the first camera 101, so that the first camera 101 A learning data set is created in accordance with the mask pattern of , and the learning database 201 is corrected.
  • a discriminant model is created by performing a learning process using the created learning data set. Then, the image identification unit 103 performs identification using the created identification model, thereby improving identification accuracy.
  • the database correcting unit 203 uses the PSF, which is the mask information acquired by the mask information acquiring unit 202, to correct the captured image z obtained by a normal camera prepared in advance in the learning database 201.
  • Image y is calculated based on the following equation (2).
  • k indicates the PSF that is the mask information acquired by the mask information acquisition unit 202
  • * indicates the convolution operator
  • the database correction unit 203 stores the corrected image and the annotation information in the learning database 201.
  • the learning unit 204 uses the modified learning database 201 to perform learning processing (step S403).
  • the learning unit 204 uses the corrected image calculated by the database correction unit 203 and the annotation information held in advance in the learning database 201 to perform learning processing and create a learned discrimination model.
  • the learning unit 204 calculates the corrected image and the annotation information attached to the image taken by the normal camera used to calculate the corrected image. are used as training data to perform machine learning by Deep Learning.
  • a prediction error correction algorithm a Back Propagation method or the like may be used.
  • the learned discriminant model created by the learning unit 204 is output to the discriminative model changing unit 106A.
  • the discriminant model changing unit 106A stores the received learned discriminant model in the storage unit 102.
  • the discriminative model changing unit 106A for example, converts the discriminant model stored in the storage unit 102 into the received learned discriminant model.
  • the replaced and learned discriminant model is stored in the storage unit 102 as a new discriminant model.
  • the identification model changing unit 106A changes the identification model according to the mask pattern identified by the mask identifying unit 105A.
  • the image identification unit 103 reads a new identification model from the storage unit 102 and uses the read new identification model to identify the calculated captured image captured by the first camera 101 .
  • Discriminant model changing unit 106A may include learning device 2 .
  • the corrected image is an image that matches the PSF according to the mask pattern of the mask of the first camera 101 . Therefore, by learning using the corrected image, a new identification model more suitable for the mask pattern of the mask of the first camera 101 is created by the learning process of the learning device 2 . That is, even if the mask pattern of the mask of the first camera 101 is changed, a new identification model more suitable for the changed mask pattern is created by the learning process of the learning device 2 . Therefore, even if the mask pattern of the mask of the first camera 101 is changed, the image identification unit 103 performs identification processing using a newly created identification model, so highly accurate identification processing can be realized.
  • the image identification system 1A of the fourth embodiment can learn an identification model that matches the mask pattern of the mask of the first camera 101 and improve the identification accuracy.
  • the image identification system 1A of the fourth embodiment is particularly effective for sensing in environments where privacy must be considered. This is because the first camera 101 is different from a normal camera in that it is difficult for a person to recognize the subject even when viewing the captured image itself.
  • each component may be implemented by dedicated hardware or by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • LSI Large Scale Integration
  • circuit integration is not limited to LSIs, and may be realized by dedicated circuits or general-purpose processors.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.
  • a processor such as a CPU executing a program.
  • each step shown in the above flowchart is executed is for illustrative purposes in order to specifically describe the present disclosure, and may be an order other than the above as long as the same effect can be obtained. . Also, some of the above steps may be executed concurrently (in parallel) with other steps.
  • the technology according to the present disclosure can reduce the psychological load on the user while protecting the privacy of the subject. is useful as

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

画像識別システムは、複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含み、ボケのある画像である計算撮像画像を撮像する第１のカメラと、第１のカメラによって撮像された計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して計算撮像画像を識別する画像識別部と、マスクパターンが変更された後に、変更されたマスクパターンを識別するマスク識別部と、マスク識別部によって識別されたマスクパターンに応じて、識別モデルを変更する識別モデル変更部とを備える。

Description

画像識別システム、画像識別方法、画像識別プログラム及び画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体
　本開示は、特に家庭内又は屋内など、プライバシー保護が必要となる環境において画像を識別する技術に関する。
　例えば、特許文献１には、ライトフィールドカメラなどによって撮像された計算撮像画像を識別器に入力することにより、識別器が、学習済みの識別モデルを用いて、当該計算撮像画像に含まれている物体を識別する画像識別システムが開示されている。
　計算撮像画像は、視点の異なる複数の画像が重畳され、又は、レンズを使用しないことで被写体像が合焦しにくい等の影響により、意図的に作り出されたボケによって人間による視覚的な認識が困難な画像である。そのため、特に家庭内又は屋内など、プライバシー保護が必要となる環境における画像識別システムの構築のために、計算撮像画像を用いることは好適である。
　一方で、計算撮像画像の撮像パターンが既知である場合、計算撮像画像は、ボケていない画像に復元できるおそれがある。そのため、被写体となるユーザは、撮像された計算撮像画像のプライバシーが保護されているかどうかを確信することができないという課題があった。この課題は、ユーザの心理的負荷と呼ぶ。
　特許文献１では、この課題に対して何ら対策がとられていないため、有効な技術的対策を実現することによってユーザの心理的負荷の低減を図ることが望まれる。
国際公開第２０１９／０５４０９２号
　本開示は、上記の課題を解決するためになされたもので、被写体のプライバシーを保護しつつ、ユーザの心理的負荷を低減させることが可能な技術を提供することを目的とする。
　本開示の一態様に係る画像識別システムは、複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含み、ボケのある画像である計算撮像画像を撮像する第１のカメラと、前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別する画像識別部と、前記マスクパターンが変更された後に、変更された前記マスクパターンを識別するマスク識別部と、前記マスク識別部によって識別された前記マスクパターンに応じて、前記識別モデルを変更する識別モデル変更部と、を備える。
　本開示によれば、被写体のプライバシーを保護しつつ、ユーザの心理的負荷を低減することができる。
本開示の実施の形態１にかかる画像識別システムの構成の一例を示すブロック図である。 本実施の形態１にかかる画像識別システムの画像識別処理の手順の一例を示すフローチャートである。 本実施の形態１において、レンズレスで構成されたマルチピンホールカメラの一例を示す模式図である。 本実施の形態１において、マスクパターンが変更された際の画像識別システムの主要な処理の手順の一例を示すフローチャートである。 本実施の形態１において、９個のピンホールを有するマスクの一例を示す図である。 本実施の形態１において、５個のピンホールを有するマスクの一例を示す図である。 本実施の形態１において、１個のピンホールを有するマスクの一例を示す図である。 本実施の形態１の変形例１において、６個のピンホールを有するマスクの一例を示す図である。 本実施の形態１の変形例１において、扇形の２つの開口部を有するマスクの一例を示す図である。 本実施の形態１の変形例１において、２枚のマスクを重ねた６個のピンホールを有するマルチピンホールマスクの一例を示す図である。 本実施の形態１の変形例１において、２枚のマスクを重ねた４個のピンホールを有するマルチピンホールマスクの一例を示す図である。 本実施の形態１の変形例１において、２枚のマスクを重ねた２個のピンホールを有するマルチピンホールマスクの一例を示す図である。 本実施の形態１の変形例１におけるマルチピンホールカメラの外観を示す模式図である。 本実施の形態１の変形例１におけるマルチピンホールカメラの断面を示す模式図である。 本実施の形態１の変形例１において、把持部を９０度回転させる前のマスクを示す模式図である。 本実施の形態１の変形例１において、把持部を９０度回転させたときのマスクを示す模式図である。 本実施の形態１の変形例２におけるマルチピンホールカメラの外観を示す模式図である。 本実施の形態１の変形例２におけるマルチピンホールカメラの断面を示す模式図である。 本実施の形態１の変形例２において、固定具を第１鏡筒の奥までねじ込んだ場合のマルチピンホールカメラの断面を示す模式図である。 本実施の形態１の変形例２において、固定具を第１鏡筒の途中までしかねじ込まない場合のマルチピンホールカメラの断面を示す模式図である。 本実施の形態１の変形例３におけるマルチピンホールカメラの断面を示す模式図である。 本開示の実施の形態１の変形例４にかかる画像識別システムの構成の一例を示すブロック図である。 本実施の形態１の変形例４において、マスクパターンが変更された際の画像識別システムの主要な処理の手順の一例を示すフローチャートである。 本実施の形態１の変形例４におけるマルチピンホールカメラの断面を示す模式図である。 本実施の形態１の変形例５におけるマルチピンホールカメラの断面を示す模式図である。 本実施の形態１の変形例５におけるマルチピンホールマスクを構成する第１マスクの一例を示す模式図である。 本実施の形態１の変形例５におけるマルチピンホールマスクを構成する第２マスクの一例を示す模式図である。 本実施の形態１の変形例５におけるマルチピンホールマスクを構成する第３マスクの一例を示す模式図である。 本実施の形態１の変形例５において、第１マスク、第２マスク、及び第３マスクを重ねて構成したマルチピンホールマスクの一例を示す模式図である。 本実施の形態１の変形例５において、マルチピンホールマスクに外力を印加した場合のマルチピンホールマスクの一例を示す模式図である。 本実施の形態１の変形例５において、マルチピンホールマスクにさらに外力を印加した場合のマルチピンホールマスクの一例を示す模式図である。 本実施の形態１の変形例６におけるマルチピンホールマスクの構成を説明するための模式図である。 本実施の形態１の変形例６において、４つの駆動部を同じ向きに動かした場合のマルチピンホールマスクの様子を示した模式図である。 本実施の形態１の変形例６において、４つの駆動部をマルチピンホールマスクの中心部から外向きの方向に動かした場合のマルチピンホールマスクの様子を示した模式図である。 本実施の形態１にかかるマスク識別部の主要な処理の手順の一例を示すフローチャートである。 本実施の形態１において、点灯状態の発光部を第１のカメラが撮像した計算撮像画像の一例を示す図である。 本実施の形態１において、消灯状態の発光部を第１のカメラが撮像した計算撮像画像の一例を示す図である。 点灯状態の発光部を含む計算撮像画像から消灯状態の発光部を含む計算撮像画像を減算した差分画像の一例を示す図である。 第１のカメラで撮像した画像からＬＴＭを取得することでマスクパターンを識別する場合のマスク識別部の主要な処理の手順の一例を示すフローチャートである。 画像上の複数の位置で取得された複数のＰＳＦの一例を示す模式図である。 本実施の形態１にかかるマスク識別部の別の主要な処理の手順の一例を示すフローチャートである。 本実施の形態１にかかるマスク識別部による画質判定処理の手順の一例を示すフローチャートである。 本実施の形態１にかかるマスク識別部による画質判定処理の手順の他の例を示すフローチャートである。 本開示の実施の形態２にかかる画像識別システムの構成の一例を示すブロック図である。 本実施の形態２において、９個のピンホールを有するマスクの一例を示す図である。 本実施の形態２において、５個のピンホールを有するマスクの一例を示す図である。 本実施の形態２において、１個のピンホールを有するマスクの一例を示す図である。 本実施の形態２において、３枚のマスクを重ね合わせたマルチピンホールマスクの一例を示す図である。 本実施の形態２において、２枚のマスクを重ね合わせたマルチピンホールマスクの一例を示す図である。 本実施の形態２において、第２のカメラを利用して、マルチピンホールマスクを構成するマスクに記載されたマスクＩＤ情報を読み取る構成を説明するための図である。 本実施の形態２の変形例において、鏡を利用して、マルチピンホールマスク３０１ａを構成するマスクに記載されたマスクＩＤ情報を読み取る構成を説明するための図である。 本開示の実施の形態３にかかる画像識別システムの構成の一例を示すブロック図である。 本実施の形態３において、６個のピンホールを有するマスクの一例を示す図である。 本実施の形態３において、扇形の２つの開口部を有するマスクの一例を示す図である。 本実施の形態３において、２枚のマスクを重ねたマルチピンホールマスクの一例を示す図である。 本開示の実施の形態４にかかる画像識別システムの構成の一例を示すブロック図である。 本開示の実施の形態４にかかる学習装置の構成の一例を示すブロック図である。 本開示の実施の形態４にかかる学習装置の主要な処理の手順の一例を示すフローチャートである。
　（本開示の基礎となった知見）
　家庭内又は屋内などにおいて、環境内人物の行動認識又は機器操作者の人物認識など、さまざまな認識技術は重要である。近年、物体識別のために、ディープラーニングと呼ばれる技術が注目されている。ディープラーニングとは、多層構造のニューラルネットワークを用いた機械学習であり、大量の学習データを利用することで、従来法と比べて、より高精度な識別性能を実現することが可能である。このような物体識別において、画像情報は特に有効である。入力デバイスにカメラを利用し、画像情報を入力としたディープラーニングを行うことによって、従来の物体識別能力を大幅に向上させるさまざまな手法が提案されている。
　しかし、家庭内などにカメラを配置することは、ハッキングなどにより撮影画像が外部に漏れた場合、プライバシーが侵害されるという課題があった。従って、仮に撮影画像が外部に漏れた場合であっても、被写体のプライバシーを保護するための対策が必要である。
　ライトフィールドカメラなどによって撮像される計算撮像画像は、視点の異なる複数の画像が重畳され、又は、レンズを使用しないことで被写体像が合焦しにくい等の影響により、意図的に作り出されたボケによって人間による視覚的な認識が困難な画像である。そのため、特に家庭内又は屋内など、プライバシー保護が必要となる環境における画像識別システムの構築のために、計算撮像画像を用いることは好適である。
　上記特許文献１に開示された画像識別システムでは、ライトフィールドカメラなどによって対象エリアを撮影し、その撮影によって取得された計算撮像画像を識別器に入力する。これにより、識別器が、学習済みの識別モデルを用いて、当該計算撮像画像に含まれている物体を識別する。このように、計算撮像画像を撮像するライトフィールドカメラなどによって対象エリアを撮影することにより、仮に撮影画像が外部に漏れた場合であっても、計算撮像画像は人間による視覚的な認識が困難であるため、被写体のプライバシーを保護することができる。
　プライバシー保護の別の観点としては、画像認識装置によって撮像されるユーザの心理的負荷を低減させることも重要である。ボケ画像を撮像することによって、被写体のプライバシーが保護されていることはアピールできる。しかし、ユーザと無関係な領域（メーカの工場等）で計算撮像情報が設定されている場合、メーカであればボケ画像から通常画像を復元できるのではないかという疑念から、ユーザの心理的負荷が増大する可能性がある。
　以上の課題を解決するために、下記の技術が開示される。
　（１）本開示の一態様に係る画像識別システムは、複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含み、ボケのある画像である計算撮像画像を撮像する第１のカメラと、前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別する画像識別部と、前記マスクパターンが変更された後に、変更された前記マスクパターンを識別するマスク識別部と、前記マスク識別部によって識別された前記マスクパターンに応じて、前記識別モデルを変更する識別モデル変更部と、を備える。
　この構成によれば、複数のピンホールが形成されたマスクのマスクパターンが変更されたとしても、変更されたマスクパターンに応じて識別モデルが変更されるので、識別モデルを用いた画像識別における識別精度の低下を防止することができる。さらに、マスクのマスクパターンが変更されることで、第１のカメラによって撮像される計算撮像画像のボケ度合いを変更することができるので、被写体のプライバシーを保護しつつ、ユーザの心理的負荷を低減することができる。
　（２）上記（１）記載の画像識別システムにおいて、さらに、前記マスクの前記マスクパターンを変更するマスク変更部を備えてもよい。
　この構成によれば、マスクのマスクパターンが機械的に変更されることにより、マスクパターンを変更する精度を高めることができる。
　（３）上記（１）又は（２）に記載の画像識別システムにおいて、前記第１のカメラは、マルチピンホールカメラであり、前記マスクは、複数のマスクを重ねたマルチピンホールマスクであり、前記複数のマスクは、互いに異なるマスクパターンを有し、前記複数のマスクのうちの少なくとも１つが外されると、前記マルチピンホールマスクの前記マスクパターンが変更されてもよい。
　この構成によれば、マルチピンホールマスクを構成する複数のマスクの数を変更することにより、マスクパターンを容易に変更することができる。
　（４）上記（１）又は（２）に記載の画像識別システムにおいて、前記第１のカメラは、マルチピンホールカメラであり、前記マスクは、複数のマスクを重ねたマルチピンホールマスクであり、前記複数のマスクは、互いに異なるマスクパターンを有し、前記複数のマスクのうちの１のマスクに形成された前記複数のピンホールのうちの少なくとも１つは、前記複数のマスクのうちの他のマスクによって遮蔽されてもよい。
　この構成によれば、複数のマスクのうちの１のマスクが外されると、マルチピンホールマスクのピンホールの数が変更されるので、マスクパターンを容易に変更することができる。
　（５）上記（１）又は（２）に記載の画像識別システムにおいて、前記第１のカメラは、マルチピンホールカメラであり、前記マスクは、複数のマスクを重ねたマルチピンホールマスクであり、前記複数のマスクは、互いに異なるマスクパターンを有し、前記複数のマスクのうちの１のマスクに形成された前記複数のピンホールのうちの少なくとも１つは、前記複数のマスクのうちの他のマスクに形成された前記複数のピンホールのうちの少なくとも１つと、同じ位置にあってもよい。
　この構成によれば、複数のマスクを重ねたマルチピンホールマスクにピンホールを確実に形成することができる。
　（６）上記（５）記載の画像識別システムにおいて、前記１のマスクに含まれる１のピンホールのサイズは、前記１のピンホールと同じ位置にある前記他のマスクに含まれる他のピンホールのサイズと異なってもよい。
　この構成によれば、１のマスクまたは他のマスクが外されると、ピンホールのサイズが変更されるので、マスクパターンを容易に変更することができる。
　（７）上記（１）～（６）のいずれか１つに記載の画像識別システムにおいて、前記マスク識別部は、前記第１のカメラによって撮像された前記計算撮像画像から、前記マスクパターンに関するマスク情報を取得し、取得した前記マスク情報に基づいて前記マスクの前記マスクパターンを識別してもよい。
　この構成によれば、第１のカメラによって撮像された計算撮像画像から、変更されたマスクパターンを識別することができる。
　（８）上記（７）記載の画像識別システムにおいて、さらに、発光部を備え、前記マスク識別部は、前記第１のカメラによって撮像された前記発光部を含む画像から点拡がり関数を前記マスク情報として取得してもよい。
　この構成によれば、点拡がり関数を用いて、変更されたマスクパターンを識別することができる。
　（９）上記（１）～（６）のいずれか１つに記載の画像識別システムにおいて、さらに、前記マスクを識別するためのマスク識別情報を取得するマスク識別情報取得部を備え、前記マスク識別部は、取得された前記マスク識別情報に基づいて前記マスクの前記マスクパターンを識別してもよい。
　この構成によれば、マスクに設けたマスクＩＤ情報から、変更されたマスクパターンを識別することができる。
　（１０）上記（１）～（６）のいずれか１つに記載の画像識別システムにおいて、前記マスクは、第１マスクと、前記第１マスクに重ねた第２マスクとを含み、さらに、前記第２マスクに対する前記第１マスクの回転角度を検出するために前記第１マスク及び前記第２マスクのそれぞれに形成された複数のマーカの位置を特定するマーカ位置特定部を備え、前記マスク識別部は、特定された前記複数のマーカの位置に基づいて前記第２マスクに対する前記第１マスクの回転角を検出し、検出した前記回転角に基づいて前記マスクの前記マスクパターンを識別してもよい。
　この構成によれば、マスクに設けたマーカの位置に基づいて検出される、第２マスクに対する第１マスクの回転角から、変更されたマスクパターンを識別することができる。
　（１１）上記（１）～（１０）のいずれか１つに記載の画像識別システムにおいて、さらに、複数のマスクパターンと複数の識別モデルとを対応付けて記憶する記憶部を備え、前記識別モデル変更部は、前記記憶部に記憶されている前記複数の識別モデルの中から、前記マスク識別部によって識別された前記マスクパターンに対応付けられている識別モデルを特定し、特定した前記識別モデルに現在の前記識別モデルを変更してもよい。
　この構成によれば、複数のマスクパターンと複数の識別モデルとが対応付けて記憶部に予め記憶されているので、変更されたマスクパターンに対応付けられている識別モデルを容易に特定することができるとともに、識別モデルを容易に変更することができる。
　（１２）上記（１）～（１０）のいずれか１つに記載の画像識別システムにおいて、さらに、ボケのない画像又は前記第１のカメラよりもボケの小さい画像を撮像する第２のカメラによって撮像された第１の学習画像と、前記第１の学習画像に付与されている正解ラベルとを取得し、前記マスク識別部によって識別された前記マスクパターンと前記第１の学習画像とに基づいて、ボケのある第２の学習画像を生成し、前記第２の学習画像と前記正解ラベルとを用いた機械学習を行うことによって、前記第１のカメラによって撮像された前記計算撮像画像を識別するための識別モデルを作成する学習部を備え、前記識別モデル変更部は、前記学習部によって作成された前記識別モデルに現在の前記識別モデルを変更してもよい。
　この構成によれば、変更されたマスクパターンに応じた識別モデルを新たに作成することができるので、識別モデルを用いた画像識別における識別精度の低下を防止することができる。
　また、本開示は、以上のような特徴的な構成を備える画像識別システムとして実現することができるだけでなく、画像識別システムが備える特徴的な構成に対応する特徴的な処理を実行する画像識別方法などとして実現することもできる。また、このような画像識別方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の画像識別システムと同様の効果を奏することができる。
　（１３）本開示の他の態様に係る画像識別方法は、画像識別システムにおける画像識別方法であって、複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含む第１のカメラによって撮像されたボケのある画像である計算撮像画像を取得し、前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別し、前記マスクパターンが変更された後に、変更された前記マスクパターンを識別し、識別した前記マスクパターンに応じて、前記識別モデルを変更する。
　（１４）本開示の他の態様に係る画像識別プログラムは、複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含む第１のカメラによって撮像されたボケのある画像である計算撮像画像を取得し、前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別し、前記マスクパターンが変更された後に、変更された前記マスクパターンを識別し、識別した前記マスクパターンに応じて、前記識別モデルを変更するようにコンピュータを機能させる。
　（１５）本開示の他の態様に係るコンピュータ読み取り可能な非一時的な記録媒体は、画像識別プログラムを記録しており、前記画像識別プログラムは、複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含む第１のカメラによって撮像されたボケのある画像である計算撮像画像を取得し、前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別し、前記マスクパターンが変更された後に、変更された前記マスクパターンを識別し、識別した前記マスクパターンに応じて、前記識別モデルを変更するようにコンピュータを機能させる。
　以下本開示の実施の形態について、図面を参照しながら説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態１）
　図１は、本開示の実施の形態１にかかる画像識別システム１の構成の一例を示すブロック図である。
　本実施の形態１の画像識別システム１は、第１のカメラ１０１と、識別モデルを記憶する記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７と、発光部１０８とを備える。マスク識別部１０５と、識別モデル変更部１０６と、画像識別部１０３とは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサ及び半導体メモリなどのメモリを含む。記憶部１０２は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、又は半導体メモリなどである。出力部１０７は、表示装置又はスピーカなどである。
　画像識別システム１は、例えば、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６とを備えた画像識別装置を含み、第１のカメラ１０１と、出力部１０７と、発光部１０８とが、画像識別装置に接続される構成であってもよい。また、画像識別装置は、サーバであってもよい。また、画像識別システム１は、例えば、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７とを備えた画像識別装置を含み、発光部１０８が、画像識別装置に接続される構成であってもよい。
　図２は、本実施の形態１にかかる画像識別システム１の画像識別処理の手順の一例を示すフローチャートである。当該フローチャートには、画像識別システム１による画像の識別処理の流れが示されている。
　まず、第１のカメラ１０１は、ボケのない通常の画像を撮像する通常のカメラとは異なり、ボケのある画像である計算撮像画像を撮像する（ステップＳ１０１）。計算撮像画像は、意図的に作り出されたボケによって撮像画像自体を人が見ても被写体を認識できないが、撮像した計算撮像画像に対して画像処理を実施することで、人が認識又は画像識別部１０３が識別できる画像を生成することができる画像である。
　第１のカメラ１０１は、複数のピンホールが形成された変更可能なマスクパターンを有するマスクと、イメージセンサとを含む。また、第１のカメラ１０１は、領域ごとに透過率が異なるマスクパターンを有するマスクを備えた符号化開口カメラ、及び複数のピンホールが形成されたマスクパターンを有するマスクがイメージセンサの受光面に配置されたマルチピンホールカメラのいずれかである。マルチピンホールカメラは、従来文献（例えば、Ｍ．Ｓａｌｍａｎ　Ａｓｉｆ、Ａｌｉ　Ａｙｒｅｍｌｏｕ、Ａｓｈｏｋ　Ｖｅｅｒａｒａｇｈａｖａｎ、Ｒｉｃｈａｒｄ　Ｂａｒａｎｉｕｋ及びＡｓｗｉｎ　Ｓａｎｋａｒａｎａｒａｙａｎａｎ著、「ＦｌａｔＣａｍ：Ｒｅｐｌａｃｉｎｇ　Ｌｅｎｓｅｓ　ｗｉｔｈ　Ｍａｓｋｓ　ａｎｄ　Ｃｏｍｐｕｔａｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　Ｗｏｒｋｓｈｏｐ（ＩＣＣＶＷ）、２０１５年、Ｐ．６６３－６６６）に開示されている。マスクのマスクパターンは、変更可能な構成となっている。
　図３は、本実施の形態１において、レンズレスで構成されたマルチピンホールカメラ３０１の一例を示す模式図である。
　マルチピンホールカメラ３０１は、第１のカメラ１０１の一例である。図３に示すマルチピンホールカメラ３０１は、マルチピンホールマスク３０１ａと、イメージセンサ３０１ｂとを有する。マルチピンホールマスク３０１ａは、イメージセンサ３０１ｂから一定距離離れて配置されている。マルチピンホールマスク３０１ａは、ランダム又は等間隔に配置された複数のピンホール３０１ａａを有している。複数のピンホール３０１ａａは、マルチピンホールとも呼ばれる。イメージセンサ３０１ｂは、各ピンホール３０１ａａを通じて被写体の画像を取得する。ピンホール３０１ａａを通じて取得される画像は、ピンホール画像とも呼ばれる。
　各ピンホール３０１ａａの位置及び大きさによって、被写体のピンホール画像は異なるため、イメージセンサ３０１ｂは、複数のピンホール画像がわずかにずれて重なり合った状態（多重像）の重畳画像を取得する。複数のピンホール３０１ａａの位置は、イメージセンサ３０１ｂ上に投影される被写体の位置に影響を与え、ピンホール３０１ａａの大きさは、ピンホール画像のボケ度合いに影響を与える。
　マルチピンホールマスク３０１ａが用いられることによって、位置及びボケの程度が異なる複数のピンホール画像を重畳して取得することが可能である。つまり、マルチピンホールカメラ３０１は、意図的に多重像及びボケが作り出された計算撮像画像を取得することが可能である。そのため、撮影される画像は重畳画像となり、マルチピンホールカメラ３０１は、被写体のプライバシーが保護されたボケ画像を取得することができる。また、各ピンホールの数、位置、及び大きさを変えることで、ボケ方の異なる画像を取得することができる。
　次に、画像識別部１０３は、第１のカメラ１０１によって撮像された計算撮像画像に対して識別処理を実施する（ステップＳ１０２）。画像識別部１０３は、学習装置の学習結果である識別モデルを利用して、第１のカメラ１０１で撮像された計算撮像画像に関して、この計算撮像画像に含まれる人物（人物の行動又は表情を含む）、自動車、自転車、又は信号などの被写体のカテゴリ情報と被写体の位置情報とを識別する。識別モデルを作成するための学習には、多層ニューラルネットワークを用いたＤｅｅｐ　Ｌｅａｒｎｉｎｇなどの機械学習を利用すればよい。
　画像識別部１０３は、第１のカメラ１０１によって撮像された計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して計算撮像画像を識別する。
　次に、出力部１０７は、画像識別部１０３による識別結果を出力する（ステップＳ１０３）。出力部１０７は、インターフェイス部を有し、画像、テキスト、又は音声などによって識別結果をユーザに提示してもよい。また、出力部１０７は、機器制御部を有し、識別結果によって制御方法を変更するようにしても構わない。
　また、図４は、本実施の形態１において、マスクパターンが変更された際の画像識別システム１の主要な処理の手順の一例を示すフローチャートである。
　第１のカメラ１０１のマスクパターンが変更されると、マスク識別部１０５は、第１のカメラ１０１のマスクのマスクパターンを識別する（ステップＳ２０２）。なお、ステップＳ２０２の処理は、例えば、１分毎などのように定期的に行われてもよい。マスク識別部１０５は、マスクパターンが変更された後に、変更されたマスクパターンを識別する。
　また、ユーザがマスクパターンを変更した場合、画像識別システムが備える入力部は、ユーザによるマスクパターン識別指示の入力を受け付けてもよい。そして、マスクパターン識別指示の入力が受け付けられた場合、マスク識別部１０５は、変更されたマスクパターンを識別してもよい。この場合、画像識別システム１は、発光部１０８に替えて入力部を備えてもよい。
　マスク識別部１０５は、第１のカメラ１０１によって撮像された画像における点拡がり関数が変更したか否かを判断してもよい。そして、点拡がり関数が変更した場合、マスク識別部１０５は、マスクパターンが変更したと判断し、変更されたマスクパターンを識別してもよい。
　次に、識別モデル変更部１０６は、マスク識別部１０５によって識別されたマスクパターンに合わせて識別モデルを変更する（ステップＳ２０３）。識別モデル変更部１０６は、マスク識別部１０５によって識別されたマスクパターンに応じて、識別モデルを変更する。
　ここで、記憶部１０２は、複数のマスクパターンと複数の識別モデルとを対応付けて予め記憶している。識別モデル変更部１０６は、記憶部１０２に記憶されている複数の識別モデルの中から、マスク識別部１０５によって識別されたマスクパターンに対応付けられている識別モデルを特定する。識別モデル変更部１０６は、特定した識別モデルに、画像識別部１０３が使用する現在の識別モデルを変更し、変更した識別モデルを記憶部１０２に記憶する。
　なお、記憶部１０２は、複数のマスク情報と複数の識別モデルとを対応付けて予め記憶してもよい。マスク情報は、例えば、点拡がり関数である。識別モデル変更部１０６は、記憶部１０２に記憶されている複数の識別モデルの中から、マスク識別部１０５によって取得されたマスク情報に対応付けられている識別モデルを特定してもよい。
　また、マスク情報が点拡がり関数である場合、識別モデル変更部１０６は、記憶部１０２に記憶されている複数の識別モデルの中から、マスク識別部１０５によって取得された点拡がり関数に最も類似する点拡がり関数に対応付けられている識別モデルを特定してもよい。識別モデル変更部１０６は、取得した点拡がり関数と予め記憶されている点拡がり関数との相関（類似度）を判定することで、取得した点拡がり関数に最も類似する点拡がり関数を特定することができる。
　第１のカメラ１０１がマルチピンホールカメラ３０１である場合、第１のカメラ１０１のマスクに対応するマルチピンホールマスク３０１ａは、複数のマスクを重ねた構成である。ユーザは、例えば、重ねて配置された複数のマスクのうちの少なくとも１枚を外すことでマルチピンホールマスク３０１ａのマスクパターンを変更する。
　本実施の形態１において、第１のカメラ１０１は、マルチピンホールカメラ３０１であり、マスクは、複数のマスクを重ねたマルチピンホールマスク３０１ａであり、複数のマスクは、互いに異なるマスクパターンを有している。複数のマスクのうちの少なくとも１つが外されると、マルチピンホールマスク３０１ａのマスクパターンが変更される。
　図５から図７は、本実施の形態１において、マルチピンホールマスクを構成する複数のマスクの一例を説明するための模式図である。図５は、本実施の形態１において、９個のピンホールを有するマスク４００ａの一例を示す図であり、図６は、本実施の形態１において、５個のピンホールを有するマスク４００ｂの一例を示す図であり、図７は、本実施の形態１において、１個のピンホールを有するマスク４００ｃの一例を示す図である。
　図５に示す９個のピンホール４０１ａ～４０９ａのサイズは同じであってもよいし、９個のピンホールのうちの１個のサイズは、他のピンホールのサイズと異なってもよい。この点は、図６に示す５個のピンホール４０１ｂ～４０５ｂについても同様である。また、図５に示す９個のピンホール４０１ａ～４０９ａのサイズは、図６に示す５個のピンホール４０１ｂ～４０５ｂのサイズ及び図７に示す１個のピンホール４０１ｃのサイズと同じであってもよいし、異なっていてもよい。
　これらのマスク４００ａ～４００ｃにおいて、ピンホール４０１ａとピンホール４０１ｂとピンホール４０１ｃとのそれぞれの位置が一致し、ピンホール４０２ａとピンホール４０２ｂとの位置が一致し、ピンホール４０３ａとピンホール４０３ｂとの位置が一致し、ピンホール４０４ａとピンホール４０４ｂとの位置が一致し、ピンホール４０５ａとピンホール４０５ｂとの位置が一致するように固定されている。このとき、マスク４００ａのピンホール４０２ａ～４０５ａの位置及びマスク４００ｂのピンホール４０２ｂ～４０５ｂの位置は、マスク４００ｃにおいてピンホール４０１ｃが形成されていない遮蔽部と一致するように固定されている。また、マスク４００ａにおいて、中央のピンホール４０１ａを除く８個のピンホール４０２ａ～４０９ａのうち、ピンホール４０２ｂ～４０５ｂとは異なる位置にある４個のピンホール４０６ａ～４０９ａは、マスク４００ｂにおいてピンホール４０１ｂ～ピンホール４０５ｂが形成されていない遮蔽部と一致するように固定されている。
　すなわち、複数のマスクのうちの１のマスクに形成された複数のピンホールのうちの少なくとも１つは、複数のマスクのうちの他のマスクに形成された複数のピンホールのうちの少なくとも１つと、同じ位置にある。また、複数のマスクのうちの１のマスクに形成された複数のピンホールのうちの少なくとも１つは、複数のマスクのうちの他のマスクによって遮蔽される。
　３枚のマスク４００ａ，４００ｂ，４００ｃが上述のように重ねられたマルチピンホールマスク３０１ａには、ピンホール４０１ａ，４０１ｂ，４０１ｃにより構成された１個のピンホールが形成されている。従って、３枚のマスク４００ａ，４００ｂ，４００ｃが重ねられたマルチピンホールマスク３０１ａは、１個のピンホールが形成されたマスクパターンを有するといえる。また、３枚のマスク４００ａ，４００ｂ，４００ｃのそれぞれの厚さが十分に小さい場合、３枚のマスク４００ａ，４００ｂ，４００ｃが重ねられたマルチピンホールマスク３０１ａは、１個のピンホールが形成されたマスク、つまり図７に示したマスク４００ｃと実質的に同じといえる。
　３枚のマスク４００ａ，４００ｂ，４００ｃが上述のように重ねられたマルチピンホールマスク３０１ａを有するマルチピンホールカメラ３０１で撮影すると、撮影範囲に含まれる被写体が発する光のうち、上述の１個のピンホールを構成するピンホール４０１ａ，４０１ｂ，４０１ｃを通過した光がイメージセンサ３０１ｂの受光面で受光される。
　３枚のマスク４００ａ，４００ｂ，４００ｃが重ねられたマルチピンホールマスク３０１ａにおいて、マスク４００ｃがユーザによって外された場合、マルチピンホールマスク３０１ａは、２枚のマスク４００ａ及びマスク４００ｂを重ねた構成となる。
　２枚のマスク４００ａ，４００ｂが重ねられたマルチピンホールマスク３０１ａには、（１）ピンホール４０１ａ，４０１ｂにより構成されたピンホールと、（２）ピンホール４０２ａ，４０２ｂにより構成されたピンホールと、（３）ピンホール４０３ａ，４０３ｂにより構成されたピンホールと、（４）ピンホール４０４ａ，４０４ｂにより構成されたピンホールと、（５）ピンホール４０５ａ，４０５ｂにより構成されたピンホールとの５個のピンホールが形成されている。従って、２枚のマスク４００ａ，４００ｂが重ねられたマルチピンホールマスク３０１ａは、５個のピンホールが形成されたマスクパターンを有するといえる。また、２枚のマスク４００ａ，４００ｂのそれぞれの厚さが十分に小さい場合、２枚のマスク４００ａ，４００ｂが重ねられたマルチピンホールマスク３０１ａは、５個のピンホールが形成されたマスク、つまり図６に示したマスク４００ｂと実質的に同じといえる。
　２枚のマスク４００ａ，４００ｂが重ねられたマルチピンホールマスク３０１ａを有するマルチピンホールカメラ３０１で撮影すると、撮影範囲に含まれる被写体が発する光のうち、（１）マルチピンホールを構成するピンホール４０１ａ，４０１ｂを通過した光、（２）マルチピンホールを構成するピンホール４０２ａ，４０２ｂを通過した光、（３）マルチピンホールを構成するピンホール４０３ａ，４０３ｂを通過した光、（４）マルチピンホールを構成するピンホール４０４ａ，４０４ｂを通過した光、及び（５）マルチピンホールを構成するピンホール４０５ａ，４０５ｂを通過した光がそれぞれイメージセンサ３０１ｂの受光面で受光される。
　このように、３枚のマスク４００ａ，４００ｂ，４００ｃからマスク４００ｃが外されると、マルチピンホールマスク３０１ａのマスクパターンは、１個のピンホールが形成されたマスクパターンから５個のピンホールが形成されたマスクパターンに変更される。
　２枚のマスク４００ａ及びマスク４００ｂが重ねられたマルチピンホールマスク３０１ａにおいて、マスク４００ｂがユーザにより外された場合、マルチピンホールマスク３０１ａはマスク４００ａのみで構成される。１枚のマスク４００ａにより構成されるマルチピンホールマスク３０１ａは、９個のピンホールが形成されたマスク、つまり、図５に示した９個のピンホールが形成されたマスクパターンを有するマスク４００ａとなる。
　このように、２枚のマスク４００ａ，４００ｂからマスク４００ｂが外されると、マルチピンホールマスク３０１ａのマスクパターンは、５個のピンホールが形成されたマスクパターンから９個のピンホールが形成されたマスクパターンに変更される。
　このように、マスク４００ｂ及びマスク４００ｃを外すために、マスク４００ａとマスク４００ｂとマスク４００ｃとは、シールのように、着脱可能な接着剤で固定しておき、ユーザが手動でマスク４００ｂ及びマスク４００ｃのそれぞれをマスク４００ａからはがすことでマスクパターンが変更されても構わない。
　もちろん、ユーザは、一部のマスクを外すのではなく、マスクを追加することで、マスクパターンの変更を実現しても構わない。図５に示した９個のピンホールが形成されたマスク４００ａがマルチピンホールマスク３０１ａとして設置されている状態で、ユーザが、ピンホール４０１ａとピンホール４０１ｂとの位置が一致し、ピンホール４０２ａとピンホール４０２ｂとの位置が一致し、ピンホール４０３ａとピンホール４０３ｂとの位置が一致し、ピンホール４０４ａとピンホール４０４ｂとの位置が一致し、ピンホール４０５ａとピンホール４０５ｂとの位置が一致するようにマスク４００ｂをマスク４００ａに固定してもよい。これにより、マルチピンホールマスク３０１ａは２枚のマスク４００ａ及びマスク４００ｂを重ねた構成となり、このマルチピンホールマスク３０１ａは上述したように５個のピンホールが形成されたマスクパターンを有するといえる。また、２枚のマスク４００ａ，４００ｂのそれぞれの厚さが十分に小さい場合、２枚のマスク４００ａ，４００ｂが重ねられたマルチピンホールマスク３０１ａは、５個のピンホールが形成されたマスク、つまり図６に示したマスク４００ｂと実質的に同じといえる。
　さらに、２枚のマスク４００ａ，４００ｂが重ねられた状態から、ユーザが、ピンホール４０１ａとピンホール４０１ｂとピンホール４０１ｃとの位置が一致するようにマスク４００ｃをマスク４００ｂに固定する。これにより、マルチピンホールマスク３０１ａは、３枚のマスク４００ａ、マスク４００ｂ及びマスク４００ｃを重ねた構成となり、このマルチピンホールマスク３０１ａは、上述したように１個のピンホールが形成されたマスク、つまり図７に示したマスク４００ｃと実質的に同じといえる。
　もちろん、ユーザは、複数のマスクのうちの１枚のマスクを外すのではなく、１枚のマスクを入れ替えることでマスクパターンを変更しても構わない。マルチピンホールマスク３０１ａとして図５に示した９個のピンホールが形成されたマスク４００ａを設置した状態で、ユーザが、マスク４００ａを図６に示したマスク４００ｂに変更することで、マルチピンホールマスク３０１ａのマスクパターンを９個のピンホールが形成されたマスクパターンから５個のピンホールが形成されたマスクパターンに変更することができる。
　また、本実施の形態１において、複数のマスクのうちの１のマスクに含まれる１のピンホールのサイズは、複数のマスクのうち、上述した１のピンホールと同じ位置にある他のマスクに含まれる他のピンホールのサイズと同じであるが、本開示は特にこれに限定されない。例えば、複数のマスクのうちの１のマスクに含まれる１のピンホールのサイズは、複数のマスクのうち、上述した１のピンホールと同じ位置にある他のマスクに含まれる他のピンホールのサイズと異なってもよい。例えば、マスク４００ｂにピンホール４０１ｂからピンホール４０５ｂの５個のピンホールが形成され、かつマスク４００ａの５個のピンホールの位置、つまりピンホール４０１ａからピンホール４０５ａの位置が、マスク４００ｂのピンホール４０１ｂからピンホール４０５ｂの位置と同じであったとしても、マスク４００ａの５個のピンホールのうちの少なくとも１個のピンホールのサイズが、マスク４００ｂのうち、上述したピンホールと同じ位置にあるピンホールのサイズよりも大きくなるように形成されてもよい。これにより、マスク４００ａ及びマスク４００ｂを重ねたマルチピンホールマスクのマスクパターンと、マスク４００ａのみで構成されるマルチピンホールマスクのマスクパターンとを互いに異ならせることができる。
　もちろん、ユーザは、複数のマスクのうちの１枚を外すのではなく、複数のマスクのうちの１枚を回転させることでマスクパターンを変更しても構わない。
　図８及び図９は、本実施の形態１の変形例１において、マルチピンホールマスク３０１ａを構成する複数のマスクの一例を説明するための模式図である。図８は、本実施の形態１の変形例１において、６個のピンホールを有するマスク４００ｄの一例を示す図であり、図９は、本実施の形態１の変形例１において、扇形の２つの開口部を有するマスク４００ｅの一例を示す図である。図１０は、本実施の形態１の変形例１において、２枚のマスク４００ｄ，４００ｅを重ねた６個のピンホールを有するマルチピンホールマスク３０１ａの一例を示す図であり、図１１は、本実施の形態１の変形例１において、２枚のマスク４００ｄ，４００ｅを重ねた４個のピンホールを有するマルチピンホールマスク３０１ａの一例を示す図であり、図１２は、本実施の形態１の変形例１において、２枚のマスク４００ｄ，４００ｅを重ねた２個のピンホールを有するマルチピンホールマスク３０１ａの一例を示す図である。
　マルチピンホールマスク３０１ａは、図８に示したマスク４００ｄと、図９に示したマスク４００ｅとを重ねた構成であり、マスク４００ｄは回転可能となるように構成されている。マスク４００ｅは固定されている。マスク４００ｄには、マルチピンホールに対応する複数のピンホール４１１～４１６が形成されている。マスク４００ｅには、扇形の開口部４１７及び４１８が形成されている。扇形の開口部４１７，４１８の中心角は９０度であり、開口部４１７及び４１８の半径は円形状のマスク４００ｅの半径と略一致する。開口部４１７と開口部４１８とは、マスク４００ｅの中心点に対して点対称となるように形成されている。この２枚のマスク４００ｄ及びマスク４００ｅが図１０に示すように重なっている場合、マスク４００ｄの６個のピンホール４１１～４１６はマスク４００ｅの２個の扇形の開口部４１７，４１８と一致する。そのため、マルチピンホールマスク３０１ａは、６個のピンホールが形成されたマスクパターンを有する。
　図１０の状態から、マスク４００ｄが時計回りに３０度回転すると、２枚のマスク４００ｄ，４００ｅは図１１に示すように重なる。このとき、マスク４００ｄのピンホール４１２，１４３，４１４，４１５は、マスク４００ｄの紙面奥側に位置するマスク４００ｅの開口部４１７，４１８（白い点線で示した２つの扇型の領域）と一致するが、マスク４００ｄのピンホール４１１，４１６はマスク４００ｅの遮蔽部に重なる。そのため、図１１に示すマルチピンホールマスク３０１ａは、４個のピンホールが形成されたマスクパターンを有する。つまり、図１０に示すマルチピンホールマスク３０１ａにおけるマスク４００ｄが時計回りに３０度回転することで、マルチピンホールマスク３０１ａのマスクパターンは、６個のピンホールが形成されたマスクパターンから４個のピンホールが形成されたマスクパターンに変更される。
　一方、図１０の状態から、マスク４００ｄが反時計回りに３０度回転すると、２枚のマスク４００ｄ，４００ｅは図１２に示すように重なる。このとき、マスク４００ｄのピンホール４１１，４１６はマスク４００ｅの開口部と一致するが、マスク４００ｄのピンホール４１２，１４３，４１４，４１５はマスク４００ｅの遮蔽部に重なる。そのため、マルチピンホールマスク３０１ａは、２個のピンホールが形成されたマスクパターンを有する。つまり、図１０に示すマルチピンホールマスク３０１ａにおけるマスク４００ｄが反時計回りに３０度回転することで、マルチピンホールマスク３０１ａのマスクパターンは、６個のピンホールが形成されたマスクパターンから２個のピンホールが形成されたマスクパターンに変更される。
　もちろん、マスク４００ｄが固定され、マスク４００ｅが回転可能であってもよい。また、マスク４００ｄとマスク４００ｅとの両方が回転可能であってもよい。
　続いて、図１３から図１６を用いて、本実施の形態１の変形例１において、ユーザが任意にマスクを回転可能なマルチピンホールカメラ３０１の構成について説明する。
　図１３は、本実施の形態１の変形例１におけるマルチピンホールカメラ３０１の外観を示す模式図であり、図１４は、本実施の形態１の変形例１におけるマルチピンホールカメラ３０１の断面を示す模式図である。図１３は、マルチピンホールカメラ３０１を横から見た図である。図１４に示すマルチピンホールカメラ３０１は、図１３に示すマルチピンホールカメラ３０１の断面を示している。
　マルチピンホールカメラ３０１は、その筐体５０１に対して、回転可能なマスク４００ｄと回転しないマスク４００ｅとを重ねた構成であるマルチピンホールマスク３０１ａを有している。回転可能なマスク４００ｄにはユーザが操作可能な把持部５０２が接続されている。また、ユーザは、把持部５０２を把持して操作することにより、筐体５０１に対してマスク４００ｄを固定又は回転することが可能である。このような機構は、把持部５０２にネジを設け、そのネジを締めることでマスク４００ｄを固定し、ネジを緩めることでマスク４００ｄを回転可能とすればよい。
　図１５は、本実施の形態１の変形例１において、把持部５０２を９０度回転させる前のマスク４００ｄを示す模式図である。図１６は、本実施の形態１の変形例１において、把持部５０２を９０度回転させたときのマスク４００ｄを示す模式図である。図１５及び図１６は、被写体側からマルチピンホールカメラ３０１を見た図である。
　図１６に示すように、ユーザが把持部５０２を９０度回転させたとき、マスク４００ｄは９０度回転する。このように、この把持部５０２をユーザが動かすことにより、マスク４００ｄを回転させることができる。これにより、マルチピンホールマスク３０１ａのマスクパターンを変更することができる。
　また、ユーザにより任意にマスクが回転可能なマルチピンホールカメラ３０１においては、マルチピンホールマスク３０１ａの複数のピンホールは、図１５に示すように、マスク４００ｄの回転軸を通る垂直線に対して回転対称にならないように配置しても構わない。このように複数のピンホールが非対称に配置されることで、ユーザがマスク４００ｄを回転することで、様々なマスクパターンを実現することが可能である。
　もちろん、ユーザにより任意にマスクが回転可能なマルチピンホールカメラ３０１の構成は、把持部５０２を有しない構成であっても構わない。図１７から図２０を用いて、本実施の形態１の変形例２において、ユーザにより任意にマスクが回転可能なマルチピンホールカメラ３０１の別の構成を説明する。
　図１７は、本実施の形態１の変形例２におけるマルチピンホールカメラ３０１の外観を示す模式図であり、図１８は、本実施の形態１の変形例２におけるマルチピンホールカメラ３０１の断面を示す模式図である。図１７は、マルチピンホールカメラ３０１を横から見た図である。図１８に示すマルチピンホールカメラ３０１は、図１７に示すマルチピンホールカメラ３０１の断面を示している。
　マルチピンホールカメラ３０１は、回転可能なマスク４００ｄと回転しないマスク４００ｅとから構成されるマルチピンホールマスク３０１ａを有している。回転可能なマスク４００ｄは第１鏡筒５１１に固定されている。また、イメージセンサ３０１ｂ及び回転しないマスク４００ｄは、第１鏡筒５１１とは別の第２鏡筒５１２に設置されている。第１鏡筒５１１と第２鏡筒５１２とはネジの構成で回転可能な状態となっている。すなわち、第１鏡筒５１１の外側に第２鏡筒５１２があり、その接合部である第１鏡筒５１１の外側にはオスネジが、第２鏡筒５１２の内側にはメスネジがきられている。また、第１鏡筒５１１のオスネジには、まず、固定具５１３が装着され、その後、第２鏡筒５１２が装着されている。固定具５１３にも、第２鏡筒５１２同様、メスネジがきられている。このような構成とすることで、第１鏡筒５１１を第２鏡筒５１２へねじ込む際、固定具５１３の第１鏡筒５１１へのねじ込み位置によって、ねじ込みの深さが変化し、回転可能なマスク４００ｄの回転角を変更することができる。
　図１９および図２０は、固定具５１３の第１鏡筒５１１へのねじ込み位置によって、ねじ込みの深さが変化し、回転可能なマスク４００ｄの回転角が変化することを示す模式図である。
　図１９は、本実施の形態１の変形例２において、固定具５１３を第１鏡筒５１１の奥までねじ込んだ場合のマルチピンホールカメラ３０１の断面を示す模式図であり、図２０は、本実施の形態１の変形例２において、固定具５１３を第１鏡筒５１１の途中までしかねじ込まない場合のマルチピンホールカメラ３０１の断面を示す模式図である。
　図１９に示したように、固定具５１３を第１鏡筒５１１の奥までねじ込んだ場合、第２鏡筒５１２は第１鏡筒５１１の奥までねじ込むことができる。一方、図２０に示したように、固定具５１３を第１鏡筒５１１の途中までしかねじ込まない場合、第２鏡筒５１２は第１鏡筒５１１の途中までしかねじ込むことができない。そのため、固定具５１３の第１鏡筒５１１へのねじ込み位置によって、ねじ込みの深さが変化し、回転可能なマスク４００ｄの回転角を変化させることができる。
　また、本実施の形態１の変形例３において、マルチピンホールマスクは、ユーザがマスクに任意の穴をあけることで実現しても構わない。
　図２１は、本実施の形態１の変形例３におけるマルチピンホールカメラ３０１の断面を示す模式図である。図２１において、図１３から図１６と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。本実施の形態１の変形例３におけるマルチピンホールカメラ３０１は、イメージセンサ３０１ｂと、イメージセンサ３０１ｂの前に取り付けられているマスク３０１ａｂとを有している。ユーザは、マスク３０１ａｂの任意の箇所に穴を開けることができる。マスク３０１ａｂには当初、ピンホールは存在しない。このマスク３０１ａｂに、ユーザが針などで任意の複数の位置に穴をあけることで、任意のマスクパターンのマルチピンホールマスクを作成することができる。
　続いて、本実施の形態１の変形例４における画像識別システムについて説明する。
　図２２は、本開示の実施の形態１の変形例４にかかる画像識別システム１Ｂの構成の一例を示すブロック図である。なお、図２２に示す画像識別システム１Ｂにおいて、図１に示す画像識別システム１と同じ構成については同じ符号を付し、説明を省略する。
　画像識別システム１Ｂは、第１のカメラ１０１と、識別モデルを記憶する記憶部１０２と、画像識別部１０３と、マスク変更部１０４と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７と、入力部１０９とを備える。
　画像識別システム１Ｂは、例えば、記憶部１０２と、画像識別部１０３と、マスク変更部１０４と、マスク識別部１０５と、識別モデル変更部１０６とを備えた画像識別装置を含み、第１のカメラ１０１と、出力部１０７と、入力部１０９とが、画像識別装置に接続される構成であってもよい。また、画像識別装置は、サーバであってもよい。また、画像識別システム１Ｂは、例えば、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク変更部１０４と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７と、入力部１０９とを備えた画像識別装置であってもよい。なお、画像識別システム１Ｂに含まれる画像識別装置は、図１に示した発光部１０８と接続する構成であってもよい。より具体的には、例えば、マスク識別部１０５が発光部１０８と接続する構成であってもよい。
　また、本実施の形態１の変形例４において、マルチピンホールマスク３０１ａは、任意に穴の位置及び大きさを変更可能な空間光変調器５２０で構成される。マスク変更部１０４は、マルチピンホールマスク３０１ａの穴の位置及び大きさを変更する。このようなマルチピンホールマスク３０１ａは、Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｓｉｌｉｃｏｎ（ＬＣＯＳ）又は空間光位相変調器などの空間光変調器によって実現できる。
　マスク変更部１０４は、マスクのマスクパターンを変更する。
　入力部１０９は、マスクのマスクパターンを変更するためのユーザによる入力を受け付ける。ユーザは、マルチピンホールマスク３０１ａの複数のピンホールの位置及び大きさを入力部１０９に入力する。例えば、入力部１０９は、複数のマスクパターンの中から、１つのマスクパターンのユーザによる選択を受け付けてもよい。ユーザは、複数のマスクパターンの中から、１つのマスクパターンを選択してもよい。
　マスク変更部１０４は、入力部１０９によって受け付けた複数のピンホールの位置及び大きさに応じて、マルチピンホールマスク３０１ａのマスクパターンを変更するように第１のカメラ１０１に指示する。第１のカメラ１０１が有する空間光変調器５２０は、マスク変更部１０４からの指示に応じて、複数のピンホールの位置及び大きさを変更する。
　図２３は、本実施の形態１の変形例４において、マスクパターンが変更された際の画像識別システム１Ｂの主要な処理の手順の一例を示すフローチャートである。
　まず、マスク変更部１０４は、第１のカメラ１０１のマスクパターンを変更する（ステップＳ２０１）。マスク変更部１０４は、変更後のマスクパターン、すなわち、複数のピンホールの位置及び大きさをマスク識別部１０５に通知する。
　次に、マスク識別部１０５は、第１のカメラ１０１のマスクのマスクパターンを識別する（ステップＳ２０２）。マスク識別部１０５は、マスク変更部１０４から通知される変更後のマスクパターンに基づいて、マスクのマスクパターンを識別する。
　図２４は、本実施の形態１の変形例４におけるマルチピンホールカメラ３０１の断面を示す模式図である。マルチピンホールカメラ３０１は、空間光変調器５２０を利用し、マスク内の各位置の透過率を任意に設定する。図２４において、図２１の構成要素と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。空間光変調器５２０は、例えば液晶などで構成され、画素ごとの透過率を変更することができる。この空間光変調器５２０が、マルチピンホールマスク３０１ａとして機能する。透過率の変更は、空間光変調器制御部（マスク変更部１０４）により変更される。そのため、事前に用意した複数の透過率パターンの中から、ユーザが任意のパターンを選択することで様々なマスクパターン（マルチピンホールパターン）を実現することができる。
　また、マスク変更部１０４は、マルチピンホールマスク３０１ａに外力を印加させ、マスクを変形させることで、マスクパターンを変更してもよい。図２５から図３１を用いて、本実施の形態１の変形例５において、外力の印加によってマスクを変形する構成のマルチピンホールカメラ３０１に関し説明をする。なお、本実施の形態１の変形例５における画像識別システムの構成は、本実施の形態１の変形例４における画像識別システム１Ｂの構成と同じである。
　図２５は、本実施の形態１の変形例５におけるマルチピンホールカメラ３０１の断面を示す模式図である。本実施の形態１の変形例５におけるマルチピンホールカメラ３０１は、外力の印加によってマスクを変形する。図２５において、図２１と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。
　図２６は、本実施の形態１の変形例５におけるマルチピンホールマスク３０１ａｃを構成する第１マスク３０１ａ１の一例を示す模式図であり、図２７は、本実施の形態１の変形例５におけるマルチピンホールマスク３０１ａｃを構成する第２マスク３０１ａ２の一例を示す模式図であり、図２８は、本実施の形態１の変形例５におけるマルチピンホールマスク３０１ａｃを構成する第３マスク３０１ａ３の一例を示す模式図である。
　図２９は、本実施の形態１の変形例５において、第１マスク３０１ａ１、第２マスク３０１ａ２及び第３マスク３０１ａ３を重ねて構成したマルチピンホールマスク３０１ａｃの一例を示す模式図である。図３０は、本実施の形態１の変形例５において、マルチピンホールマスク３０１ａｃに外力を印加した場合のマルチピンホールマスク３０１ａｃの一例を示す模式図である。図３１は、本実施の形態１の変形例５において、マルチピンホールマスク３０１ａｃにさらに外力を印加した場合のマルチピンホールマスク３０１ａｃの一例を示す模式図である。
　マルチピンホールマスク３０１ａｃは、第１マスク３０１ａ１、第２マスク３０１ａ２及び第３マスク３０１ａ３を重ねた構成である。第１のカメラ１０１の一例であるマルチピンホールカメラ３０１は、第１マスク３０１ａ１、第２マスク３０１ａ２及び第３マスク３０１ａ３のそれぞれに対して独立に外力を印加する駆動部を有している。ここで、各マスクは扇型と円環とが組み合わされた形状である。もちろん、この構成は一例であり、形状は扇形に限らず、マルチピンホールマスク３０１ａｃを構成する複数のマスクの枚数も３枚に限らない。各マスクには、１個、または複数のピンホールが形成されている。また、マスクには、ピンホールが形成されていなくても構わない。
　第１マスク３０１ａ１は、２つのピンホール３０１ａａ１，３０１ａａ２を有する。第２マスク３０１ａ２は、１つのピンホール３０１ａａ３を有する。第３マスク３０１ａ３は、２つのピンホール３０１ａａ４，３０１ａａ５を有する。駆動部は、これら３つのマスクを外力の印加によって動かすことで、様々なマスクパターンを作成する。
　マスク変更部１０４は、入力部１０９によって受け付けた複数のピンホールの数及び位置に応じて、マルチピンホールマスク３０１ａｃのマスクパターンを変更するように第１のカメラ１０１に指示する。第１のカメラ１０１が有する駆動部は、マスク変更部１０４からの指示に応じて複数のマスクに外力を印加し、マルチピンホールマスク３０１ａｃの複数のピンホールの数及び位置を変更する。
　図２９、図３０及び図３１は、第１マスク３０１ａ１、第２マスク３０１ａ２及び第３マスク３０１ａ３で構成された３種類のマルチピンホールマスク３０１ａｃを示している。図２９及び図３０に示すマルチピンホールマスク３０１ａｃは、５個のピンホールを有し、図３１に示すマルチピンホールマスク３０１ａｃは、４個のピンホールを有している。このようなマスクの駆動部は、オートフォーカスなどで広く利用されている超音波モータ又はリニアモータで実現される。
　このように、外力の印加によってマルチピンホールマスク３０１ａｃにおけるピンホールの数又は位置を変化させることができる。例えば、図２９に示すマルチピンホールマスク３０１ａｃに外力が印加されることで、ピンホール３０１ａａ１，３０１ａａ２，３０１ａａ３の位置が図３０に示すように変化する。また、図２９に示すマルチピンホールマスク３０１ａｃに外力がさらに印加されることで、ピンホール３０１ａａ２が第３マスク３０１ａ３によって遮蔽される。これにより、図３１に示すように、マルチピンホールマスク３０１ａｃにおけるピンホールの数が４個に変化している。
　もちろん、マスク変更部１０４は、マルチピンホールマスクの複数のピンホールの数又は位置だけを変化させるのではなく、複数のピンホールの大きさも変化させるようにしても構わない。
　図３２は、本実施の形態１の変形例６におけるマルチピンホールマスク３０１ａｄの構成を説明するための模式図である。マルチピンホールカメラ３０１におけるマルチピンホールマスク３０１ａｄの構成は、外力の印加によってマスクを変形する構成である。
　マルチピンホールマスク３０１ａｄは、複数のピンホールを有し、弾性を有する材質で構成される。マルチピンホールマスク３０１ａｄは、例えば、３つのピンホールを有している。第１のカメラ１０１の一例であるマルチピンホールカメラ３０１は、独立に制御可能な複数の駆動部５２１～５２４を有する。もちろん、駆動部の数は４つである必要はない。マスク変更部１０４は、各駆動部を動かすことにより、マルチピンホールマスク３０１ａｄにおける複数のピンホールの位置又は大きさを変化させることができる。
　マスク変更部１０４は、入力部１０９によって受け付けた複数のピンホールの位置及び大きさに応じて、マルチピンホールマスク３０１ａｄのマスクパターンを変更するように第１のカメラ１０１に指示する。第１のカメラ１０１が有する駆動部は、マスク変更部１０４からの指示に応じてマルチピンホールマスク３０１ａｄに外力を印加し、マルチピンホールマスク３０１ａｄの複数のピンホールの位置及び大きさを変更する。
　図３３は、本実施の形態１の変形例６において、４つの駆動部５２１～５２４を同じ向きに動かした場合のマルチピンホールマスク３０１ａｄの様子を示した模式図である。図３３において、駆動部５２１～５２４に示した矢印の向きが、駆動部５２１～５２４のそれぞれの駆動方向を示している。この場合、駆動部５２１～５２４のそれぞれの駆動方向は同じである。そのため、マルチピンホールマスク３０１ａｄは駆動方向に平行移動する。その結果、マルチピンホールマスク３０１ａｄが有する３つのピンホールも、駆動方向に平行移動する。
　なお、マルチピンホールマスク３０１ａｄが駆動方向に平行移動されることにより、マルチピンホールマスク３０１ａｄの複数のピンホールの数及び位置が変更されてもよい。例えば、撮像範囲外にあったピンホールが撮像範囲内に移動することにより、ピンホールの数が増加してもよく、撮像範囲内にあったピンホールが撮像範囲外に移動することにより、ピンホールの数が減少してもよい。
　一方、図３４は、本実施の形態１の変形例６において、４つの駆動部５２１～５２４をマルチピンホールマスク３０１ａｄの中心部から外向きの方向に動かした場合のマルチピンホールマスク３０１ａｄの様子を示した模式図である。この場合、マルチピンホールマスク３０１ａｄはその材質の弾性に従って引き延ばされるため、各ピンホールのサイズが大きくなる。このような駆動部５２１～５２４は、オートフォーカスなどで広く利用されている超音波モータ又はリニアモータで実現される。このように、外力の印加によってマルチピンホールマスク３０１ａｄにおけるピンホールの位置又は大きさを変化させることができる。
　なお、本実施の形態１では、ユーザが、マルチピンホールマスクの複数のマスクを重ね合わせているが、本開示は特にこれに限定されない。マルチピンホールカメラ３０１は、複数のマスクのうちの少なくとも１つのマスクをイメージセンサ３０１ｂの前方に挿入したり、複数のマスクのうちの少なくとも１つのマスクをイメージセンサ３０１ｂの前方から外したりする駆動部を備えてもよい。この場合、マスク変更部１０４は、入力部１０９からの指示に従って駆動部を制御し、マルチピンホールマスクを構成する複数のマスクの数を変更してもよい。例えば、マルチピンホールマスク３０１ａが図５～図７に示す３枚のマスク４００ａ～４００ｃで構成される場合、駆動部は、マスク４００ｂ及びマスク４００ｃの少なくとも一方を移動させてもよい。そして、マスク変更部１０４は、変更するマスクパターンに応じてマスク４００ｂ及びマスク４００ｃの少なくとも一方を移動させるよう駆動部を制御してもよい。マスク変更部１０４は、２枚のマスク４００ｂ，４００ｃの少なくとも一方を、イメージセンサ３０１ｂの前方に挿入したり、イメージセンサ３０１ｂの前方から外したりすることにより、マルチピンホールマスク３０１ａのマスクパターンを変更してもよい。
　また、本実施の形態１では、ユーザが、マルチピンホールマスクの複数のマスクのうちの回転可能なマスクを回転させているが、本開示は特にこれに限定されない。マルチピンホールカメラ３０１は、複数のマスクのうちの少なくとも１つのマスクを回転させる駆動部を備えてもよい。この場合、マスク変更部１０４は、入力部１０９からの指示に従って駆動部を制御し、マルチピンホールマスクを構成する複数のマスクのうちの少なくとも１つのマスクを回転させてもよい。例えば、マルチピンホールマスク３０１ａが図８に示す回転可能なマスク４００ｄと図９に示す回転しないマスク４００ｅとで構成される場合、駆動部は、マスク４００ｄを回転させてもよい。そして、マスク変更部１０４は、変更するマスクパターンに応じた回転角でマスク４００ｄを回転させるよう駆動部を制御してもよい。マスク変更部１０４は、２枚のマスク４００ｄ，４００ｅのうちのマスク４００ｄを回転させることにより、マルチピンホールマスク３０１ａのマスクパターンを変更してもよい。
　マスク識別部１０５は、第１のカメラ１０１で撮像した画像からマルチピンホールマスク３０１ａの点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ（ＰＳＦ））を取得することで、マスクが有するマスクパターンを識別するようにしても構わない。ＰＳＦは、マルチピンホールカメラ又は符号化開口カメラなどの第１のカメラ１０１の伝達関数であり、以下の式（１）で表現される。
　ｙ＝ｋ＊ｘ・・・（１）
　式（１）において、ｙは、第１のカメラ１０１で撮影されたボケのある計算撮像画像を表し、ｋは、ＰＳＦを表し、ｘは、第１のカメラ１０１で撮影したシーンをボケのない通常のカメラで撮影した通常画像を表す。また、＊は畳み込み演算子である。
　マスク識別部１０５は、第１のカメラ１０１によって撮像された計算撮像画像から、マスクパターンに関するマスク情報を取得し、取得したマスク情報に基づいてマスクのマスクパターンを識別する。マスク識別部１０５は、第１のカメラ１０１によって撮像された発光部１０８を含む画像から点拡がり関数をマスク情報として取得する。
　図３５は、本実施の形態１にかかるマスク識別部１０５の主要な処理の手順の一例を示すフローチャートである。
　まず、マスク識別部１０５は、撮影環境内に存在する発光部１０８に点灯を指示する（ステップＳ３０１）。発光部１０８は、環境内に存在する点光源とみなせる光源であり、例えば、電気機器に搭載されたＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）又は照明用ＬＥＤである。また、発光部１０８は、ＬＥＤモニタなどのモニタの一部の光のみを点灯させるようにしても構わない。
　次に、発光部１０８は、マスク識別部１０５からの点灯の指示にしたがい、点灯を実施する（ステップＳ３０２）。
　次に、マスク識別部１０５は、第１のカメラ１０１に撮像を指示する（ステップＳ３０３）。これにより、第１のカメラ１０１は、点灯した発光部１０８を撮像することができる。
　次に、第１のカメラ１０１は、マスク識別部１０５からの撮像の指示にしたがい、点灯時の計算撮像画像の撮像を実施する（ステップＳ３０４）。点灯した発光部１０８を撮像した計算撮像画像は、第１のカメラ１０１からマスク識別部１０５に入力される。マスク識別部１０５は、点灯した発光部１０８を撮像した計算撮像画像を第１のカメラ１０１から取得する。マスク識別部１０５は、取得した計算撮像画像を一時的に記憶する。
　次に、マスク識別部１０５は、光源である発光部１０８に消灯を指示する（ステップＳ３０５）。
　次に、発光部１０８は、マスク識別部１０５からの消灯の指示にしたがい、消灯を実施する（ステップＳ３０６）。
　次に、マスク識別部１０５は、第１のカメラ１０１に撮像を指示する（ステップＳ３０７）。これにより、第１のカメラ１０１は、消灯した発光部１０８を撮像することができる。
　次に、第１のカメラ１０１は、マスク識別部１０５からの撮像の指示にしたがい、消灯時の計算撮像画像の撮像を実施する（ステップＳ３０８）。消灯した発光部１０８を撮像した計算撮像画像は、第１のカメラ１０１からマスク識別部１０５に入力される。マスク識別部１０５は、消灯した発光部１０８を撮像した計算撮像画像を第１のカメラ１０１から取得する。マスク識別部１０５は、取得した計算撮像画像を一時的に記憶する。
　次に、マスク識別部１０５は、発光部１０８の点灯時の計算撮像画像と、発光部１０８の消灯時の計算撮像画像との差分画像を算出する（ステップＳ３０９）。
　発光部１０８の点灯時の画像と発光部１０８の消灯時の画像とは、できるだけ時間差がないように撮影することが望ましい。このように、発光部１０８の点灯時の画像と発光部１０８の消灯時の画像との差分画像が算出されることで、環境内の被写体の影響を受けず、点灯状態の発光部１０８のみの画像であるＰＳＦを取得することができる。
　続いて、ＰＳＦを利用してマスクパターンを識別するマスク識別部１０５の処理を図３６～図３８を用いて説明する。第１のカメラ１０１は撮影環境内に存在する点光源とみなせる光源である発光部１０８と同期した撮像を実施する。
　図３６は、本実施の形態１において、点灯状態の発光部１０８を第１のカメラ１０１が撮像した計算撮像画像７０１の一例を示す図である。計算撮像画像７０１では、発光部１０８に対応する画素の輝度値が高くなっていることがわかる。なお、１つの発光部１０８が点灯しているが、計算撮像画像７０１は、複数のピンホール画像が重畳された画像であるため、１つの発光部１０８に対応する３つの発光点を含む。
　図３７は、本実施の形態１において、消灯状態の発光部１０８を第１のカメラ１０１が撮像した計算撮像画像７０２の一例を示す図である。計算撮像画像７０２では、発光部１０８に対応する画素の輝度値が、点灯時の輝度値よりも低くなっていることがわかる。
　図３８は、点灯状態の発光部１０８を含む計算撮像画像７０１から消灯状態の発光部１０８を含む計算撮像画像７０２を減算した差分画像７０３の一例を示す図である。差分画像７０３は、発光部１０８以外の被写体に影響されず、点光源である発光部１０８のみを撮像した画像であるため、発光部１０８が点灯したときのマルチピンホールマスク３０１ａのＰＳＦが取得できていることがわかる。差分画像７０３は、マルチピンホールマスク３０１ａのＰＳＦを表している。
　また、発光部１０８はユーザのスマートフォン又は携帯電話のライトでも構わない。この場合、発光部１０８であるライトの点灯又は消灯をユーザがスマートフォン又は携帯電話を操作することにより実現しても構わない。
　また、マスク識別部１０５は、第１のカメラ１０１で撮像した画像からマルチピンホールマスク３０１ａの点拡がり関数を取得するのではなく、ライトフィールドカメラで利用される伝達関数である輝度伝達行列（Ｌｉｇｈｔ　Ｔｒａｎｓｐｏｒｔ　Ｍａｔｒｉｘ（ＬＴＭ））を取得することでマスクパターンを識別しても構わない。この場合、マスク識別部１０５は、環境内に分散して配置された複数の発光部１０８を用い、複数の位置でのＰＳＦを取得し、それをＬＴＭとすればよい。
　また、マスク識別部１０５は、第１のカメラ１０１で撮像した画像からマルチピンホールマスク３０１ａのＬＴＭを取得することでマスクパターンを識別する場合、複数の発光部１０８を用い、複数の位置でのＰＳＦを取得し、それをＬＴＭとしても構わない。
　図３９は、第１のカメラ１０１で撮像した画像からＬＴＭを取得することでマスクパターンを識別する場合のマスク識別部１０５の主要な処理の手順の一例を示すフローチャートである。
　まず、マスク識別部１０５は、複数の発光部１０８それぞれに対応する複数のＰＳＦを算出する（ステップＳ３３１）。これは、前述の通り、複数の発光部１０８が点灯された際の計算撮像画像と、複数の発光部１０８が消灯された際の計算撮像画像との差分画像を利用して算出すればよい。このようにすることで、画像上での複数の位置でのＰＳＦを取得することができる。
　図４０は、画像上の複数の位置で取得された複数のＰＳＦの一例を示す模式図である。図４０において、画像上の６点でＰＳＦが取得されている。
　次に、マスク識別部１０５は、算出した複数のＰＳＦを補間することでＬＴＭを取得する（ステップＳ３３２）。マスク識別部１０５は、算出した複数のＰＳＦに対して補間処理を実施することで、画像のすべての画素でのＰＳＦを算出し、それをＬＴＭとする。このような補間処理は、モーフィングなどの一般的な画像処理を利用すればよい。
　また、マスク識別部１０５がＬＴＭを利用してマスクパターンを識別する場合、画像識別システムは、複数の発光部１０８を備えるのではなく、１つの発光部１０８を備えてもよい。そして、１つの発光部１０８が複数の位置で利用されても構わない。これは、例えばスマートフォン又は携帯電話のライトが発光部１０８として利用され、ユーザが場所を変えながら１つの発光部１０８の点灯及び消灯を実現しても構わない。または、ドローン又は掃除ロボットなどに搭載されたＬＥＤを発光部１０８として利用しても構わない。
　さらに、マスク識別部１０５は、第１のカメラ１０１が撮像した計算撮像画像に基づいて取得したマスク情報の画質の状態を判定し、判定結果に応じて処理の内容を切り替えるようにしても構わない。マスク情報は、ＰＳＦである。
　図４１は、本実施の形態１にかかるマスク識別部１０５の別の主要な処理の手順の一例を示すフローチャートである。
　まず、マスク識別部１０５は、上記の図３５のステップＳ３０１～ステップＳ３０９と同様の手法により、発光部１０８の点灯時の計算撮像画像と消灯時の計算撮像画像との差分画像を算出する。マスク識別部１０５は、第１のカメラ１０１を利用して差分画像をＰＳＦとして取得する。
　次に、マスク識別部１０５は、算出した差分画像の画質を確認し、算出した差分画像の画質が十分であるか否かを判断する（ステップＳ３１０）。ここで、差分画像の画質が十分ではない、すなわち、差分画像の画質が不十分であると判断した場合（ステップＳ３１０でＮＯ）、ステップＳ３０１に処理が戻り、マスク識別部１０５は、発光部１０８に点灯を指示する。マスク識別部１０５は、発光部１０８に点灯を指示し、第１のカメラ１０１に点灯状態の発光部１０８の撮像を指示し、発光部１０８に消灯を指示し、第１のカメラ１０１に消灯状態の発光部１０８の撮像を指示する。ステップＳ３０９において、マスク識別部１０５は、発光部１０８の点灯時の計算撮像画像と発光部１０８の消灯時の計算撮像画像との差分画像を新たに算出した後、ステップＳ３１０の処理を再び実施する。
　一方、差分画像の画質が十分であると判断した場合（ステップＳ３１０でＹＥＳ）、マスク識別部１０５は、算出した差分画像をＰＳＦとして保存する（ステップＳ３１１）。
　ＰＳＦの画質が十分かどうかは、例えば、差分画像を利用して求めるようにしても構わない。ＰＳＦには、点光源以外のものが写っていない必要がある。そのため、点灯時と消灯時との差分画像が利用される。しかしながら、点灯時の撮影と消灯時の撮影との間で、人が大きく動く又は環境内の明るさが劇的に変化するなどのシーンの変更があった場合、その変更分が差分画像に表れてしまい、正確なＰＳＦを取得することができなくなる。そこで、マスク識別部１０５は、差分画像において一定値以上の輝度を有する画素数をカウントし、カウントした画素数が閾値以上である場合、差分画像の画質が不十分であると判断すればよい。また、マスク識別部１０５は、カウントした画素数が閾値より少ない場合、差分画像の画質が十分であると判断すればよい。
　なお、ステップＳ３１０において、マスク識別部１０５は、算出した差分画像の画質が許容値以上であるか否かを判断してもよい。マスク識別部１０５は、差分画像において一定値以上の輝度を有する画素数をカウントし、カウントした画素数が閾値以上である場合、差分画像の画質が許容値未満であると判断してもよい。また、マスク識別部１０５は、カウントした画素数が閾値より少ない場合、差分画像の画質が許容値以上であると判断してもよい。
　また、第１のカメラ１０１の設定が適切ではない場合、差分画像の画質が劣化してしまうことがある。例えば、第１のカメラ１０１の露光時間が短すぎる場合又は画像データの明るさを調整するための信号増幅のゲインが小さすぎる場合には、発光部１０８の輝度がノイズに埋もれてしまい、差分画像（ＰＳＦ）の画質が悪くなるおそれがある。逆に、第１のカメラ１０１の露光時間が長すぎる場合又はゲインが大きすぎる場合には、画像内の高輝度領域の輝度値がセンシングレンジの上限値を超えて飽和してしまい、差分画像（ＰＳＦ）の画質が悪くなるおそれがある。
　そこで、マスク識別部１０５は、発光部１０８が点灯された時の画像の最大輝度値を確認し、最大輝度値が上限値以上である場合又は下限値以下である場合には、差分画像（ＰＳＦ）の画質が不十分であると判断してもよい。マスク識別部１０５が発光部１０８の点灯時の画像において最大輝度値が下限値以下であるかどうかで差分画像（ＰＳＦ）の画質を判断する場合、発光部１０８の輝度がノイズに埋もれているかどうかを判断できる。また、マスク識別部１０５が発光部１０８の点灯時の画像において最大輝度値が上限値以上であるかどうかで差分画像（ＰＳＦ）の画質を判断する場合、発光部１０８の輝度がセンシングレンジを超えて飽和しているかどうかを判断できる。発光部１０８の輝度がノイズに埋もれている場合又は発光部１０８の輝度が飽和している場合、マスク識別部１０５は、最大輝度値が上限値と下限値との間の所定の範囲内となるように、第１のカメラ１０１の設定を変更しても構わない。
　なお、マスク識別部１０５は、発光部１０８が消灯された時の画像の最大輝度値を確認し、最大輝度値が上限値以上である場合又は下限値以下である場合には、差分画像（ＰＳＦ）の画質が不十分であると判断してもよい。
　図４２は、本実施の形態１にかかるマスク識別部１０５による画質判定処理の手順の一例を示すフローチャートである。なお、図４２に示す画質判定処理は、図３５のステップＳ３０３とステップＳ３０５との間に行われる。
　図４２のステップＳ３０４の処理は、図３５のステップＳ３０４の処理と同じである。
　次に、マスク識別部１０５は、発光部１０８の点灯時に第１のカメラ１０１によって撮像された計算撮像画像を取得する（ステップＳ３２１）。
　次に、マスク識別部１０５は、取得した計算撮像画像の最大輝度値が上限値Ｔｈ１以上であるか否かを判断することで、その計算撮像画像が飽和しているかどうかを判断する（ステップＳ３２２）。ここで、最大輝度値が上限値Ｔｈ１以上であると判断した場合、すなわち、取得した計算撮像画像が飽和していると判断した場合（ステップＳ３２２でＹＥＳ）、マスク識別部１０５は、第１のカメラ１０１に露光時間をより短くして再度撮像するように指示する（ステップＳ３２３）。そして、ステップＳ３０４に処理が戻る。
　一方、最大輝度値が上限値Ｔｈ１より小さいと判断した場合（ステップＳ３２２でＮＯ）、マスク識別部１０５は、取得した計算撮像画像の最大輝度値が下限値Ｔｈ２以下であるか否かを判断することで、発光部１０８の輝度がノイズに埋もれているかどうかを判断する（ステップＳ３２４）。なお、下限値Ｔｈ２は、上限値Ｔｈ１よりも小さい。ここで、最大輝度値が下限値Ｔｈ２以下であると判断した場合、すなわち発光部１０８の輝度がノイズに埋もれていると判断した場合（ステップＳ３２４でＹＥＳ）、マスク識別部１０５は、第１のカメラ１０１に露光時間をより長くして再度撮像を実施するように指示する（ステップＳ３２５）。そして、ステップＳ３０４に処理が戻る。
　一方、最大輝度値が下限値Ｔｈ２より大きいと判断した場合（ステップＳ３２４でＮＯ）、マスク識別部１０５は、取得した計算撮像画像の画質は現状の露光時間で十分に高いと判断する。この場合、ステップＳ３０５に処理が移行し、マスク識別部１０５は、発光部１０８に消灯を指示する。そして、マスク識別部１０５は、さらに第１のカメラ１０１に発光部１０８の点灯時の撮像における露光時間と同じ露光時間で撮像するように指示することで、発光部１０８の消灯時の計算撮像画像を取得する。
　なお、マスク識別部１０５は、発光部１０８の消灯時に取得した計算撮像画像に関しても、上記と同様に、最大輝度値が上限値Ｔｈ１と下限値Ｔｈ２との間の所定範囲内となるように第１のカメラ１０１の露光時間を制御してもよい。
　もちろん、マスク識別部１０５は第１のカメラ１０１の露光時間以外の設定を変更するようにしても構わない。例えば、マスク識別部１０５は、第１のカメラ１０１のゲインを変更してもよい。
　図４３は、本実施の形態１にかかるマスク識別部１０５による画質判定処理の手順の他の例を示すフローチャートである。この図４３において、図４２と同じ処理に関しては同じ番号を付与し、説明を省略する。なお、図４３に示す画質判定処理は、図３５のステップＳ３０３とステップＳ３０５との間に行われる。
　ステップＳ３２２の判断において、最大輝度値が上限値Ｔｈ１以上であると判断した場合、すなわち取得した計算撮像画像が飽和していると判断した場合（ステップＳ３２２でＹＥＳ）、マスク識別部１０５は、第１のカメラ１０１にゲインをより小さくして再度撮像を実施するように指示する（ステップＳ３２７）。そして、ステップＳ３０４に処理が戻る。
　ステップＳ３２４の判断において、最大輝度値が下限値Ｔｈ２以下であると判断した場合、すなわち発光部１０８の輝度がノイズに埋もれていると判断した場合（ステップＳ３２４でＹＥＳ）、マスク識別部１０５は、第１のカメラ１０１にゲインをより大きくして再度撮像を実施するように指示する（ステップＳ３２８）。そして、ステップＳ３０４に処理が戻る。
　一方、最大輝度値が下限値Ｔｈ２より大きい場合（ステップＳ３２４でＮＯ）、マスク識別部１０５は、取得した計算撮像画像の画質は現状のゲインで十分に高いと判断する。この場合、ステップＳ３０５に処理が移行し、マスク識別部１０５は、発光部１０８に消灯を指示する。そして、マスク識別部１０５は、さらに第１のカメラ１０１に発光部１０８の点灯時の撮像におけるゲイン及び露光時間と同じゲイン及び露光時間で撮像するように指示することで、発光部１０８の消灯時の計算撮像画像を取得する。
　なお、マスク識別部１０５は、発光部１０８の消灯時に取得した計算撮像画像に関しても、上記と同様に、最大輝度値が上限値Ｔｈ１と下限値Ｔｈ２との間の所定範囲内となるように第１のカメラ１０１のゲインを制御してもよい。
　また、マスク識別部１０５は、第１のカメラ１０１の露光時間又はゲインではなく、発光部１０８の輝度を制御するようにしても構わない。つまり、マスク識別部１０５は、発光部１０８の輝度が飽和していると判断した場合、輝度を下げるように発光部１０８を制御する。逆に、マスク識別部１０５は、発光部１０８の輝度がノイズに埋もれていると判断した場合、輝度を上げるように発光部１０８を制御する。発光部１０８の輝度が上がることで、発光部１０８とノイズとの輝度差がひろがる。
　また、マスク識別部１０５は、差分画像の画質が不十分であると判断した場合、対象エリア内に存在する別の発光部を選択し、当該別の発光部に対して点灯及び消灯を指示するようにしても構わない。これは、指向性を有する光源の場合、第１のカメラ１０１と発光部１０８との位置関係によっては、どうしても画質が低下してしまう場合があり、このような場合に有効である。
　（実施の形態２）
　実施の形態１では、マスク識別部１０５は、第１のカメラ１０１によって撮像された計算撮像画像から、マスクパターンに関するマスク情報を取得し、取得したマスク情報に基づいてマスクのマスクパターンを識別している。これに対し、実施の形態２では、マスク識別部は、マスクに記載されたマスクＩＤ情報を読み取ることで、マスクパターンを識別するようにしても構わない。これは、例えば、マスクの周囲に埋め込まれたマスクＩＤ情報を読みとることで実現する。マスクＩＤ情報は、例えば、バーコード、二次元コード、又は色情報などである。
　図４４は、本開示の実施の形態２にかかる画像識別システム１Ｃの構成の一例を示すブロック図である。なお、図４４に示す画像識別システム１Ｃにおいて、図１に示す画像識別システム１と同じ構成については同じ符号を付し、説明を省略する。
　本実施の形態２の画像識別システム１Ｃは、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７と、ＩＤ情報取得部１１１と、第２のカメラ１２１とを備える。マスク識別部１０５と、識別モデル変更部１０６と、画像識別部１０３と、ＩＤ情報取得部１１１とは、ＣＰＵなどのプロセッサ及び半導体メモリなどのメモリを含む。
　また、ＩＤ情報取得部１１１が第２のカメラ１２１と有線又は無線のネットワークを介して情報を送受信する場合、ＩＤ情報取得部１１１は、受信部を含む。受信部は、ハードウェアとして受信回路を含む。さらに、マスク識別部１０５が第２のカメラ１２１と有線又は無線のネットワークを介して情報を送受信する場合、マスク識別部１０５は、送信部を含む。送信部は、ハードウェアとして送信回路を含む。一方、第２のカメラ１２１は、ハードウェアとして送信回路及び受信回路を含む。
　画像識別システム１Ｃは、例えば、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、ＩＤ情報取得部１１１とを備えた画像識別装置を含み、第１のカメラ１０１と、出力部１０７と、第２のカメラ１２１とが、画像識別装置に接続される構成であってもよい。また、画像識別装置は、サーバであってもよい。また、画像識別システム１Ｃは、例えば、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７と、ＩＤ情報取得部１１１とを備えた画像識別装置を含み、第２のカメラ１２１が、画像識別装置に接続される構成であってもよい。
　第２のカメラ１２１は、第１のカメラ１０１とは別のカメラであり、ボケのない画像を撮影する。第２のカメラ１２１は、第１のカメラ１０１によって撮像される被写体側に配置されている。第１のカメラ１０１は、マルチピンホールカメラ３０１である。第２のカメラ１２１は、マルチピンホールカメラ３０１が有するマルチピンホールマスク３０１ａを被写体側から撮像する。マスク識別部１０５は、第２のカメラ１２１に撮像を指示する。第２のカメラ１２１は、マスク識別部１０５からの指示に従って、被写体側からマルチピンホールマスク３０１ａを撮像した画像を取得する。
　ＩＤ情報取得部１１１は、第２のカメラ１２１によって撮像された画像から、マスクを識別するためのマスクＩＤ情報（マスク識別情報）を取得する。
　マスク識別部１０５は、ＩＤ情報取得部１１１によって取得されたマスクＩＤ情報に基づいてマスクのマスクパターンを識別する。
　図４５～図４９を用いてマスク識別部１０５がマスクＩＤ情報を取得することでマスクパターンを識別する処理を説明する。本実施の形態２では、マルチピンホールマスク３０１ａは、図５～図７を用いて説明した３枚のマスク４００ａ，４００ｂ，４００ｃを重ねた構成である。３枚のマスク４００ａ，４００ｂ，４００ｃには改良が加えられている。
　図４５は、本実施の形態２において、９個のピンホールを有するマスク４００ａの一例を示す図であり、図４６は、本実施の形態２において、５個のピンホールを有するマスク４００ｂの一例を示す図であり、図４７は、本実施の形態２において、１個のピンホールを有するマスク４００ｃの一例を示す図である。
　マルチピンホールマスク３０１ａは、図４５に示した９個のピンホールが形成されたマスク４００ａと、図４６に示した５個のピンホールが形成されたマスク４００ｂと、図４７に示した１個のピンホールが形成されたマスク４００ｃとを重ね合わせることで構成されている。また、図４５に示すマスク４００ａの外周部には、マスク４００ａを識別するためのマスクＩＤ情報６０１が記載されている。図４６に示すマスク４００ｂの外周部には、マスク４００ｂを識別するためのマスクＩＤ情報６０２が記載されている。また、図４７に示すマスク４００ｃの外周部には、マスク４００ｃを識別するためのマスクＩＤ情報６０３が記載されている。マスク４００ｂ及びマスク４００ｃの円環状の外周部は透明である。マスク４００ａの円環状の外周部は、透明ではなく、遮蔽されている。また、マスク４００ａ、マスク４００ｂ及びマスク４００ｃの円形状の内周部は遮蔽されているとともに、ピンホールが形成されている。
　マスクＩＤ情報６０１～６０３は、例えば、２次元コードで表される。ＩＤ情報取得部１１１は、撮像画像に含まれる、各マスク４００ａ～４００ｃに記載された２次元コードを読み取ることにより、各マスク４００ａ～４００ｃのマスクＩＤ情報６０１～６０３を取得する。マスクＩＤ情報６０１～６０３を表す２次元コードは、各マスク４００ａ～４００ｃに印刷されていてもよいし、シールなどで貼り付けられていてもよい。
　また、マスク識別部１０５は、マスクＩＤ情報６０１，６０２，６０３に対応するマスク情報を予め記憶している。マスクＩＤ情報６０１に対応するマスク情報とは、例えば、マスク４００ａのみで構成されるマルチピンホールマスク３０１ａのＰＳＦに関する情報である。マルチピンホールマスク３０１ａがマスク４００ａで構成される場合、上述したようにマルチピンホールマスク３０１ａは９個のピンホールを有する。したがって、マスクＩＤ情報６０１に対応するマスク情報は、９個のピンホールを有するマスク４００ａのＰＳＦである。
　マスクＩＤ情報６０２に対応するマスク情報とは、例えば、２枚のマスク４００ａ，４００ｂを重ね合わせたマルチピンホールマスク３０１ａのＰＳＦに関する情報である。マルチピンホールマスク３０１ａが２枚のマスク４００ａ，４００ｂで構成される場合、マルチピンホールマスク３０１ａは５個のピンホールを有する。なお、マスク４００ａ，４００ｂの厚さが十分に小さい場合、マスクＩＤ情報６０２に対応するマスク情報は、５個のピンホールを有するマスク４００ｂのＰＳＦである。
　マスクＩＤ情報６０３に対応するマスク情報とは、例えば、３枚のマスク４００ａ，４００ｂ，４００ｃを重ね合わせたマルチピンホールマスク３０１ａのＰＳＦに関する情報である。マルチピンホールマスク３０１ａが３枚のマスク４００ａ，４００ｂ，４００ｃで構成される場合、マルチピンホールマスク３０１ａは１個のピンホールを有する。なお、マスク４００ａ，４００ｂ，４００ｃの厚さが十分に小さい場合、マスクＩＤ情報６０３に対応するマスク情報は、１個のピンホールを有するマスク４００ｃのＰＳＦである。
　これらのマスクは、前述の通り、着脱可能な接着剤で固定されている。ユーザは、手動で各マスクをはがすことでマルチピンホールマスク３０１ａのマスクパターンを変更する。なお、マスク変更部１０４が、駆動部を制御して各マスクを入れ替えることにより、マルチピンホールマスク３０１ａのマスクパターンを変更してもよい。
　図４８は、本実施の形態２において、３枚のマスク４００ａ～４００ｃを重ね合わせたマルチピンホールマスク３０１ａの一例を示す図であり、図４９は、本実施の形態２において、２枚のマスク４００ａ，４００ｂを重ね合わせたマルチピンホールマスク３０１ａの一例を示す図である。
　第２のカメラ１２１が、３枚のマスク４００ａ，４００ｂ，４００ｃを重ね合わせたマルチピンホールマスク３０１ａを撮影した場合、図４８に示すように、マルチピンホールマスク３０１ａの外周部にはマスクＩＤ情報６０１，６０２，６０３を表す２次元コードが撮像される。そのため、マスク識別部１０５は、これらのマスクＩＤ情報６０１，６０２，６０３を取得することで、３枚のマスク４００ａ～４００ｃを重ね合わせたマルチピンホールマスク３０１ａが第１のカメラ１０１に搭載されていることを識別することができる。マスク識別部１０５は、３つのマスクＩＤ情報６０１，６０２，６０３を取得した場合に、マスクＩＤ情報６０３に対応するマスク情報をメモリから取得する。マスクＩＤ情報６０３に対応するマスク情報は、１個のピンホールを有するマスクのＰＳＦである。
　また、３枚のマスク４００ａ，４００ｂ，４００ｃを重ね合わせたマルチピンホールマスク３０１ａからマスク４００ｃがはがされた場合、マルチピンホールマスク３０１ａは、重ね合わせた２枚のマスク４００ａ，４００ｂで構成される。このとき、第２のカメラ１２１が、２枚のマスク４００ａ，４００ｂを重ね合わせたマルチピンホールマスク３０１ａを撮影した場合、図４９に示すように、マルチピンホールマスク３０１ａの外周部にはマスクＩＤ情報６０１，６０２を表す２次元コードが撮像される。そのため、マスク識別部１０５は、これらのマスクＩＤ情報６０１，６０２を取得することで、２枚のマスク４００ａ，４００ｂを重ね合わせたマルチピンホールマスク３０１ａが第１のカメラ１０１に搭載されていることを識別することができる。マスク識別部１０５は、２つのマスクＩＤ情報６０１，６０２を取得した場合に、マスクＩＤ情報６０２に対応するマスク情報をメモリから取得する。マスクＩＤ情報６０２に対応するマスク情報は、５個のピンホールを有するマスクのＰＳＦである。
　また、２枚のマスク４００ａ，４００ｂを重ね合わせたマルチピンホールマスク３０１ａからマスク４００ｂがはがされた場合、マルチピンホールマスク３０１ａは、マスク４００ａのみで構成される。このとき、第２のカメラ１２１が、マスク４００ａを有するマルチピンホールマスク３０１ａを撮影した場合、図４５に示すように、マルチピンホールマスク３０１ａの外周部にはマスクＩＤ情報６０１を表す２次元コードが撮像される。そのため、マスク識別部１０５は、マスクＩＤ情報６０１を取得することで、マスク４００ａを有するマルチピンホールマスク３０１ａが第１のカメラ１０１に搭載されていることを識別することができる。マスク識別部１０５は、マスクＩＤ情報６０１のみを取得した場合に、マスクＩＤ情報６０１に対応するマスク情報をメモリから取得する。マスクＩＤ情報６０１に対応するマスク情報は、９個のピンホールを有するマスクのＰＳＦである。
　ＩＤ情報取得部１１１がこのようなマスクＩＤ情報を取得するには、第２のカメラ１２１は、被写体側からマルチピンホールマスク３０１ａを撮像した画像を取得する必要がある。
　図５０は、本実施の形態２において、第２のカメラ１２１を利用して、マルチピンホールマスク３０１ａを構成するマスクに記載されたマスクＩＤ情報６００を読み取る構成を説明するための図である。図５０において、図３及び図２１と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。
　第２のカメラ１２１は、第１のカメラ１０１とは別のカメラであり、第１のカメラ１０１に対応するマルチピンホールカメラ３０１で撮影される被写体側に配置される。第２のカメラ１２１は例えばボケのない画像を撮影する。マスク識別部１０５は、例えば、第２のカメラ１２１に撮影を指示することで、被写体側からマルチピンホールマスク３０１ａを撮像した画像を取得することができる。撮像画像には、マスクＩＤ情報６００が含まれる。
　図５１は、本実施の形態２の変形例において、鏡１２２を利用して、マルチピンホールマスク３０１ａを構成するマスクに記載されたマスクＩＤ情報６００を読み取る構成を説明するための図である。図５１において、図３及び図２１と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。
　本実施の形態２の変形例では、第２のカメラ１２１に替えて鏡１２２が配置される。この場合、画像識別システム１Ｃは、第２のカメラ１２１を備えない。第１のカメラ１０１は、マスクＩＤ情報６００が表面に記載されたマルチピンホールマスク３０１ａが映った鏡１２２を撮像する。ＩＤ情報取得部１１１は、第１のカメラ１０１に対応するマルチピンホールカメラ３０１によって撮像された画像を取得する。ＩＤ情報取得部１１１は、マルチピンホールカメラ３０１によって撮像された計算撮像画像からマスクＩＤ情報を取得する。
　鏡１２２は、第１のカメラ１０１に対応するマルチピンホールカメラ３０１で撮影される被写体側に配置される。鏡１２２は、マスクＩＤ情報６００が記載されたマルチピンホールマスク３０１ａを映している。マスク識別部１０５は、マルチピンホールカメラ３０１に撮影を指示するとマルチピンホールマスク３０１ａを構成するマスクから発する光は鏡１２２により反射された後、イメージセンサ３０１ｂの受光面に到達する。従って、マスク識別部１０５は、例えば、マルチピンホールカメラ３０１に撮影を指示することで、被写体側からマルチピンホールマスク３０１ａを撮像した画像を取得することができる。
　なお、マルチピンホールカメラ３０１によって撮像される画像はボケのある計算撮像画像であるため、ＩＤ情報取得部１１１は、この計算撮像画像からマスクＩＤ情報を取得する必要がある。そこで、記憶部１０２は、例えば、マルチピンホールカメラ３０１によって撮像された計算撮像画像からマルチピンホールマスク３０１ａのマスクＩＤ情報を識別するためのマスクＩＤ識別モデルを予め記憶してもよい。ＩＤ情報取得部１１１は、マスクＩＤ識別モデルを用いて、マルチピンホールカメラ３０１によって撮像されたマルチピンホールマスク３０１ａの画像からマスクＩＤ情報を識別してもよい。ＩＤ情報取得部１１１は、マルチピンホールカメラ３０１によって撮像された画像をマスクＩＤ識別モデルに入力し、識別結果として出力されるマスクＩＤ情報をマスクＩＤ識別モデルから取得してもよい。マスクＩＤ識別モデルは学習装置による学習処理により作成される。
　マスクＩＤ識別モデルが多層のニューラルネットワークによって構築されている場合には、学習装置は、通常のカメラにより撮影されたマスクＩＤ情報を含むマルチピンホールマスク３０１ａの画像と、この画像に付与されたマスクＩＤ情報に対応するアノテーション情報とを教師データとして用いて、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇによる機械学習を行うことで、マスクＩＤ識別モデルを作成してもよい。
　なお、第２のカメラ１２１及び鏡１２２は、ＩＤ情報取得部１１１がマスクＩＤ情報６００を読み取る場合には必要であるが、画像識別部１０３が第１のカメラ１０１で撮像された画像を識別する場合には不要である。例えば、ＩＤ情報取得部１１１がマスクＩＤ情報６００を読み取るときに、第２のカメラ１２１又は鏡１２２がマルチピンホールカメラ３０１で撮影される被写体側に設置され、マスクＩＤ情報６００の読み取りが終了した後、設置した第２のカメラ１２１又は鏡１２２が取り外されるように構成するのが望ましい。
　（実施の形態３）
　実施の形態３では、ユーザが、複数枚のマスクのうちの１枚を外すのではなく、複数枚のマスクのうちの１枚を回転させることでマスクパターンを変更する場合、マスク識別部１０５は、マスクに記載されたマーカ情報を読み取ることで、マスクの回転角度を認識し、マスクパターンを識別するようにしても構わない。実施の形態３では、マルチピンホールマスク３０１ａは、図８及び図９を用いて説明した２枚のマスク４００ｄ，４００ｅを重ねた構成である。２枚のマスク４００ｄ，４００ｅには改良が加えられている。
　図５２は、本開示の実施の形態３にかかる画像識別システム１Ｄの構成の一例を示すブロック図である。なお、図５２に示す画像識別システム１Ｄにおいて、図４４に示す画像識別システム１Ｃと同じ構成については同じ符号を付し、説明を省略する。
　本実施の形態３の画像識別システム１Ｄは、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７と、マーカ位置特定部１１２と、第２のカメラ１２１とを備える。マスク識別部１０５と、識別モデル変更部１０６と、画像識別部１０３と、マーカ位置特定部１１２とは、ＣＰＵなどのプロセッサ及び半導体メモリなどのメモリを含む。
　また、マーカ位置特定部１１２が第２のカメラ１２１と有線又は無線のネットワークを介して情報を送受信する場合、マーカ位置特定部１１２は、受信部を含む。受信部は、ハードウェアとして受信回路を含む。さらに、マスク識別部１０５が第２のカメラ１２１と有線又は無線のネットワークを介して情報を送受信する場合、マスク識別部１０５は、送信部を含む。送信部は、ハードウェアとして送信回路を含む。一方、第２のカメラ１２１は、ハードウェアとして送信回路及び受信回路を含む。
　画像識別システム１Ｄは、例えば、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、マーカ位置特定部１１２とを備えた画像識別装置を含み、第１のカメラ１０１と、出力部１０７と、第２のカメラ１２１とが、画像識別装置に接続される構成であってもよい。また、画像識別装置は、サーバであってもよい。また、画像識別システム１Ｄは、例えば、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７と、マーカ位置特定部１１２とを備えた画像識別装置を含み、第２のカメラ１２１が、画像識別装置に接続される構成であってもよい。
　マルチピンホールマスク３０１ａは、マスク４００ｄと、マスク４００ｄに重ねたマスク４００ｅとを含む。マスク４００ｄは、第１マスクの一例であり、マスク４００ｅは、第２マスクの一例である。
　マーカ位置特定部１１２は、マスク４００ｅに対するマスク４００ｄの回転角度を検出するためにマスク４００ｄ及びマスク４００ｅのそれぞれに形成された複数のマーカの位置を特定する。
　マスク識別部１０５は、マーカ位置特定部１１２によって特定された複数のマーカの位置に基づいてマスク４００ｅに対するマスク４００ｄの回転角を検出し、検出した回転角に基づいてマスクのマスクパターンを識別する。
　マルチピンホールマスク３０１ａを構成する複数のマスクに記載された識別情報を読み込むことで１のマスクの回転角を認識し、認識した回転角からマスクパターンを識別する処理を図５３から図５５を用いて説明する。
　図５３は、本実施の形態３において、６個のピンホールを有するマスク４００ｄの一例を示す図であり、図５４は、本実施の形態３において、扇形の２つの開口部を有するマスク４００ｅの一例を示す図であり、図５５は、本実施の形態３において、２枚のマスク４００ｄ，４００ｅを重ねたマルチピンホールマスク３０１ａの一例を示す図である。
　図５３に示すように、回転可能なマスク４００ｄの外周部には、識別情報として１つのマーカ６１１が記載されている。一方、図５４に示すように、固定されているマスク４００ｅの外周部には、識別情報として２つのマーカ６１２及び６１３が記載されている。マスク４００ｄの円環状の外周部は透明である。マスク４００ｅの円環状の外周部は、透明ではなく、遮蔽されている。また、マスク４００ｄの円形状の内周部は遮蔽されているとともに、複数のピンホールが形成されている。マスク４００ｅの円形状の内周部は、扇形の２つの開口部と、扇形の２つの遮蔽部とが形成されている。
　マーカ６１１は、マスク４００ｄの外周部の所定の位置に形成されている。例えば、マーカ６１１は、「１」という数字である。マーカ６１２は、マスク４００ｅの外周部の所定の位置に形成されており、マーカ６１３は、マスク４００ｅの外周部のマーカ６１２に対向する位置に形成されている。マーカ６１２とマーカ６１３とを結ぶ直線は、マスク４００ｅの中心点を通る。例えば、マーカ６１２及びマーカ６１３は、「２」という数字である。なお、マーカ６１１，６１２，６１３は、数字に限定されず、バーコード、二次元コード、又は色情報などであってもよく、各マーカを識別可能な情報であればよい。また、マーカ６１１，６１２，６１３は、各マスク４００ｄ，４００ｅに印刷されていてもよいし、シールなどで貼り付けられていてもよい。
　図５５に示すマルチピンホールマスク３０１ａは、図５３に示すマスク４００ｄと、図５４に示すマスク４００ｅとを重ね合わせることで構成されている。
　マーカ位置特定部１１２は、マルチピンホールマスク３０１ａが撮像された画像から、マーカ６１１，６１２，６１３の位置を特定する。例えば、マーカ位置特定部１１２は、画像内におけるマーカ６１１，６１２，６１３の座標位置を特定する。
　マスク識別部１０５は、マーカ位置特定部１１２によって特定されたマーカ６１１，６１２，６１３の位置に基づいてマスク４００ｅに対するマスク４００ｄの回転角を検出し、検出した回転角に基づいてマスクのマスクパターンを識別する。
　マスク識別部１０５は、マスク４００ｅに対するマスク４００ｄの回転角に対応するマスク情報を予め記憶している。回転角に対応するマスク情報とは、例えば、マスク４００ｅに対するマスク４００ｄの回転角に応じて変化するＰＳＦに関する情報である。マスク４００ｅに対してマスク４００ｄが回転することにより、マルチピンホールマスク３０１ａに形成される複数のピンホールの位置及び数が変化する。
　第２のカメラ１２１が、２枚のマスク４００ｄ，４００ｅを重ね合わせたマルチピンホールマスク３０１ａを撮影した場合、図５５に示すように、マルチピンホールマスク３０１ａの外周部にはマーカ６１１，６１２，６１３が撮像される。マーカ位置特定部１１２は、マルチピンホールマスク３０１ａが撮像された画像から、マーカ６１１，６１２，６１３の位置を特定する。マスク識別部１０５は、特定されたマーカ６１１，６１２，６１３の位置情報から、マーカ６１２とマーカ６１３とを結ぶ線分６２１と、線分６２１の中点６１４とを算出する。さらに、マスク識別部１０５は、算出した中点６１４とマーカ６１１とを結んだ線分６２２と、マーカ６１２とマーカ６１３とを結んだ線分６２１との角度θを、マスク４００ｅに対するマスク４００ｄの回転角として算出する。
　マスク識別部１０５は、マスク４００ｅに対するマスク４００ｄの回転角に対応するマスク情報をメモリから取得する。マスク４００ｅに対するマスク４００ｄの回転角に対応するマスク情報は、回転角に応じたマスクパターンに対応するＰＳＦである。
　識別モデル変更部１０６は、マスク識別部１０５が識別したマスクパターン（マスク情報）に合わせて、識別モデルを変更する。
　このようにすることで、画像識別部１０３は第１のカメラ１０１であるマルチピンホールマスク３０１ａのマスクパターンに最適な識別モデルを利用して計算撮像画像を識別できるため、マスクが変更されても、高い識別精度を維持することができる。
　（実施の形態４）
　実施の形態１～３では、記憶部１０２は、複数のマスクパターンと複数の識別モデルとを対応付けて予め記憶しており、識別モデル変更部１０６は、記憶部１０２に記憶されている複数の識別モデルの中から、マスク識別部１０５によって識別されたマスクパターンに対応付けられている識別モデルを選択している。
　これに対し、実施の形態４における画像識別システムは、さらに学習装置を備えてもよい。学習装置は、マスク識別部１０５が識別したマスクパターンに合わせて識別モデルを学習してもよい。
　図５６は、本開示の実施の形態４にかかる画像識別システム１Ａの構成の一例を示すブロック図であり、図５７は、本開示の実施の形態４にかかる学習装置２の構成の一例を示すブロック図である。なお、図５６に示す画像識別システム１Ａにおいて、図１に示す画像識別システム１と同じ構成については同じ符号を付し、説明を省略する。
　本実施の形態４の画像識別システム１Ａは、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク識別部１０５Ａと、識別モデル変更部１０６Ａと、出力部１０７と、発光部１０８と、学習装置２とを備える。マスク識別部１０５Ａと、識別モデル変更部１０６Ａと、画像識別部１０３とは、ＣＰＵなどのプロセッサ及び半導体メモリなどのメモリを含む。
　画像識別システム１Ａは、例えば、記憶部１０２と、画像識別部１０３と、マスク識別部１０５Ａと、識別モデル変更部１０６Ａとを備えた画像識別装置を含み、第１のカメラ１０１と、出力部１０７と、発光部１０８と、学習装置２とが、画像識別装置に接続される構成であってもよい。また、画像識別装置及び学習装置２は、サーバであってもよい。また、画像識別システム１Ａは、例えば、第１のカメラ１０１と、記憶部１０２と、画像識別部１０３と、マスク識別部１０５と、識別モデル変更部１０６と、出力部１０７とを備えた画像識別装置を含み、発光部１０８と、学習装置２とが、画像識別装置に接続される構成であってもよい。また、画像識別装置が、学習装置２を備えてもよい。
　学習装置２は、ボケのない画像又は第１のカメラ１０１よりもボケの小さい画像を撮像するカメラ（第２のカメラ）によって撮像された第１の学習画像と、第１の学習画像に付与されている正解ラベルとを取得する。学習装置２は、マスク識別部１０５Ａによって識別されたマスクパターンと第１の学習画像とに基づいて、ボケのある第２の学習画像を生成する。学習装置２は、第２の学習画像と正解ラベルとを用いた機械学習を行うことによって、第１のカメラ１０１によって撮像された計算撮像画像を識別するための識別モデルを作成する。
　識別モデル変更部１０６Ａは、学習装置２によって作成された識別モデルに現在の前記識別モデルを変更する。
　学習装置２は、学習データベース２０１と、マスク情報取得部２０２と、データベース修正部２０３と、学習部２０４とを備える。学習装置２は、マスク識別部１０５が識別したマスク情報を用いて、画像識別部１０３の識別に用いる識別モデルの学習を行う。マスク情報は、前述のとおり、ＰＳＦを利用すればよい。学習データベース２０１は、ＨＤＤ、ＳＳＤ、又は半導体メモリなどの記憶部である。
　マスク情報取得部２０２、データベース修正部２０３及び学習部２０４は、ハードウェアとしてＣＰＵなどのプロセッサを含む。また、マスク情報取得部２０２がマスク識別部１０５Ａと有線又は無線のネットワークを介して情報を送受信する場合、マスク情報取得部２０２は、受信部を含む。受信部は、ハードウェアとして受信回路を含む。一方、マスク識別部１０５Ａは、ハードウェアとして送信回路とＣＰＵなどのプロセッサとを含む。
　また、学習部２０４が識別モデル変更部１０６Ａとネットワークを介して情報を送受信する場合、学習部２０４は、送信部を含む。送信部は、ハードウェアとして送信回路を含む。識別モデル変更部１０６Ａは、ハードウェアとして受信回路とＣＰＵなどのプロセッサとを含む。
　図５８は、本開示の実施の形態４にかかる学習装置２の主要な処理の手順の一例を示すフローチャートである。
　まず、マスク情報取得部２０２は、マスク識別部１０５Ａによって識別されたマスク情報をマスク識別部１０５Ａから取得する（ステップＳ４０１）。マスク識別部１０５Ａが送信部を含み、マスク情報取得部２０２が受信部を含む場合、マスク情報は、有線又は無線によって送受信されても構わないし、マスク情報取得部２０２がインターフェイスを含む場合、マスク情報は、ユーザによって与えられても構わない。
　次に、データベース修正部２０３は、マスク情報取得部２０２によって取得されたマスク情報を利用して、学習データベース２０１を修正する（ステップＳ４０２）。例えば、画像識別部１０３が環境内の人物の行動を識別する場合、学習データベース２０１は、ボケのない通常のカメラで撮影した画像と、各画像において人物がどの位置でどのような行動をしていたかという、各画像に付与されるアノテーション情報（正解ラベル）とを保持している。通常のカメラを利用する場合、そのカメラで撮影した画像に対してアノテーション情報を付与すればよいが、マルチピンホールカメラ又はライトフィールドカメラなど、計算撮像画像を取得する場合、その画像を人が見ても何が写っているかがわからないため、アノテーション情報を付与することが難しい。また、第１のカメラ１０１と大きく異なる通常のカメラで撮影した画像で学習処理を実施しても、画像識別部１０３の識別精度は高くならない。
　そこで、通常のカメラで撮影した画像に対して事前にアノテーション情報を付与したデータベースが学習データベース２０１として保持される。データベース修正部２０３は、マスク識別部１０５Ａから得られるマスク情報を用いて、通常のカメラで撮影した画像を第１のカメラ１０１で撮影されるべき画像に変形させることで、その第１のカメラ１０１のマスクパターンに合わせた学習データセットを作成し、学習データベース２０１を修正する。識別モデルは、作成した学習データセットを用いて学習処理が実施されることで作成される。そして、作成された識別モデルを用いて画像識別部１０３が識別を実施することにより、識別精度を向上させる。そのために、データベース修正部２０３は、学習データベース２０１に事前に用意した通常のカメラから得られた撮像画像ｚに対して、マスク情報取得部２０２が取得したマスク情報であるＰＳＦを利用して、補正画像ｙを以下の式（２）に基づいて算出する。
　ｙ＝ｋ＊ｚ・・・（２）
　式（２）において、ｋはマスク情報取得部２０２が取得したマスク情報であるＰＳＦを示しており、＊は畳み込み演算子を示している。
　データベース修正部２０３は、補正画像とアノテーション情報とを学習データベース２０１に記憶する。
　次に、学習部２０４は、修正された学習データベース２０１を利用して学習処理を実施する（ステップＳ４０３）。学習部２０４は、データベース修正部２０３によって算出された補正画像と、学習データベース２０１に事前に保持していたアノテーション情報とを利用して、学習処理を実施し、学習済みの識別モデルを作成する。例えば、識別モデルが多層のニューラルネットワークによって構築されている場合には、学習部２０４は、補正画像と、補正画像を算出する際に用いた通常のカメラにより撮影された画像に付与されたアノテーション情報とを教師データとして用いて、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇによる機械学習を行う。予測誤差の補正アルゴリズムとしては、Ｂａｃｋ　Ｐｒｏｐａｇａｔｉｏｎ法などが用いられてもよい。
　学習部２０４が作成した学習済みの識別モデルは、識別モデル変更部１０６Ａへ出力される。識別モデル変更部１０６Ａは、受け取った学習済みの識別モデルを記憶部１０２に格納する、識別モデル変更部１０６Ａは、例えば、記憶部１０２に格納された識別モデルを、受け取った学習済みの識別モデルに置き換え、置き換えた学習済みの識別モデルを新たな識別モデルとして記憶部１０２に格納する。このようにすることで、識別モデル変更部１０６Ａは、マスク識別部１０５Ａが識別したマスクパターンに合わせて識別モデルを変更する。
　画像識別部１０３は、記憶部１０２から新たな識別モデルを読み出して、読み出した新たな識別モデルを用いて第１のカメラ１０１により撮影された計算撮像画像の識別を行う。
　なお、本実施の形態４では、学習装置２は、識別モデル変更部１０６Ａと別体である構成について説明をしたが、本開示はこれに限定されない。識別モデル変更部１０６Ａは、学習装置２を含んでもよい。
　補正画像は、第１のカメラ１０１のマスクのマスクパターンに応じたＰＳＦに合致した画像となっている。そのため、補正画像を用いた学習により、第１のカメラ１０１のマスクが有するマスクパターンにより適した識別モデルが学習装置２の学習処理により新たに作成される。つまり、第１のカメラ１０１のマスクのマスクパターンが変更されたとしても、変更されたマスクのマスクパターンにより適した識別モデルが学習装置２の学習処理によって新たに作成される。従って、第１のカメラ１０１のマスクのマスクパターンが変更されたとしても、画像識別部１０３は新たに作成された識別モデルを用いて識別処理を行うので、高精度の識別処理が実現できる。
　以上のように、本実施の形態４の画像識別システム１Ａは、第１のカメラ１０１のマスクが有するマスクパターンに合わせた識別モデルの学習を実施し、識別精度を向上させることができる。本実施の形態４の画像識別システム１Ａは、特に、プライバシーに配慮する必要がある環境でのセンシングに有効である。これは、第１のカメラ１０１は通常のカメラと異なり、撮像画像自体を人が見ても被写体を認識することが困難であるためである。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
　また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本開示に係る技術は、被写体のプライバシーを保護しつつ、ユーザの心理的負荷を低減させることが可能であるので、特に家庭内又は屋内など、プライバシー保護が必要となる環境において画像を識別する技術として有用である。

Claims (15)

  1. 　複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含み、ボケのある画像である計算撮像画像を撮像する第１のカメラと、
    　前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別する画像識別部と、
    　前記マスクパターンが変更された後に、変更された前記マスクパターンを識別するマスク識別部と、
    　前記マスク識別部によって識別された前記マスクパターンに応じて、前記識別モデルを変更する識別モデル変更部と、
    　を備える画像識別システム。
  2. 　さらに、前記マスクの前記マスクパターンを変更するマスク変更部を備える、
    　請求項１記載の画像識別システム。
  3. 　前記第１のカメラは、マルチピンホールカメラであり、
    　前記マスクは、複数のマスクを重ねたマルチピンホールマスクであり、
    　前記複数のマスクは、互いに異なるマスクパターンを有し、
    　前記複数のマスクのうちの少なくとも１つが外されると、前記マルチピンホールマスクの前記マスクパターンが変更される、
    　請求項１又は２に記載の画像識別システム。
  4. 　前記第１のカメラは、マルチピンホールカメラであり、
    　前記マスクは、複数のマスクを重ねたマルチピンホールマスクであり、
    　前記複数のマスクは、互いに異なるマスクパターンを有し、
    　前記複数のマスクのうちの１のマスクに形成された前記複数のピンホールのうちの少なくとも１つは、前記複数のマスクのうちの他のマスクによって遮蔽される、
    　請求項１又は２に記載の画像識別システム。
  5. 　前記第１のカメラは、マルチピンホールカメラであり、
    　前記マスクは、複数のマスクを重ねたマルチピンホールマスクであり、
    　前記複数のマスクは、互いに異なるマスクパターンを有し、
    　前記複数のマスクのうちの１のマスクに形成された前記複数のピンホールのうちの少なくとも１つは、前記複数のマスクのうちの他のマスクに形成された前記複数のピンホールのうちの少なくとも１つと、同じ位置にある、
    　請求項１又は２に記載の画像識別システム。
  6. 　前記１のマスクに含まれる１のピンホールのサイズは、前記１のピンホールと同じ位置にある前記他のマスクに含まれる他のピンホールのサイズと異なる、
    　請求項５に記載の画像識別システム。
  7. 　前記マスク識別部は、前記第１のカメラによって撮像された前記計算撮像画像から、前記マスクパターンに関するマスク情報を取得し、取得した前記マスク情報に基づいて前記マスクの前記マスクパターンを識別する、
    　請求項１又は２に記載の画像識別システム。
  8. 　さらに、発光部を備え、
    　前記マスク識別部は、前記第１のカメラによって撮像された前記発光部を含む画像から点拡がり関数を前記マスク情報として取得する、
    　請求項７に記載の画像識別システム。
  9. 　さらに、前記マスクを識別するためのマスク識別情報を取得するマスク識別情報取得部を備え、
    　前記マスク識別部は、取得された前記マスク識別情報に基づいて前記マスクの前記マスクパターンを識別する、
    　請求項１又は２に記載の画像識別システム。
  10. 　前記マスクは、第１マスクと、前記第１マスクに重ねた第２マスクとを含み、
    　さらに、前記第２マスクに対する前記第１マスクの回転角度を検出するために前記第１マスク及び前記第２マスクのそれぞれに形成された複数のマーカの位置を特定するマーカ位置特定部を備え、
    　前記マスク識別部は、特定された前記複数のマーカの位置に基づいて前記第２マスクに対する前記第１マスクの回転角を検出し、検出した前記回転角に基づいて前記マスクの前記マスクパターンを識別する、
    　請求項１又は２に記載の画像識別システム。
  11. 　さらに、複数のマスクパターンと複数の識別モデルとを対応付けて記憶する記憶部を備え、
    　前記識別モデル変更部は、前記記憶部に記憶されている前記複数の識別モデルの中から、前記マスク識別部によって識別された前記マスクパターンに対応付けられている識別モデルを特定し、特定した前記識別モデルに現在の前記識別モデルを変更する、
    　請求項１又は２に記載の画像識別システム。
  12. 　さらに、ボケのない画像又は前記第１のカメラよりもボケの小さい画像を撮像する第２のカメラによって撮像された第１の学習画像と、前記第１の学習画像に付与されている正解ラベルとを取得し、前記マスク識別部によって識別された前記マスクパターンと前記第１の学習画像とに基づいて、ボケのある第２の学習画像を生成し、前記第２の学習画像と前記正解ラベルとを用いた機械学習を行うことによって、前記第１のカメラによって撮像された前記計算撮像画像を識別するための識別モデルを作成する学習部を備え、
    　前記識別モデル変更部は、前記学習部によって作成された前記識別モデルに現在の前記識別モデルを変更する、
    　請求項１又は２に記載の画像識別システム。
  13. 　画像識別システムにおける画像識別方法であって、
    　複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含む第１のカメラによって撮像されたボケのある画像である計算撮像画像を取得し、
    　前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別し、
    　前記マスクパターンが変更された後に、変更された前記マスクパターンを識別し、
    　識別した前記マスクパターンに応じて、前記識別モデルを変更する、
    　画像識別方法。
  14. 　複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含む第１のカメラによって撮像されたボケのある画像である計算撮像画像を取得し、
    　前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別し、
    　前記マスクパターンが変更された後に、変更された前記マスクパターンを識別し、識別した前記マスクパターンに応じて、前記識別モデルを変更するようにコンピュータを機能させる、
    　画像識別プログラム。
  15. 　画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体であって、
    　前記画像識別プログラムは、
    　複数のピンホールが形成された変更可能なマスクパターンを有するマスクとイメージセンサとを含む第１のカメラによって撮像されたボケのある画像である計算撮像画像を取得し、
    　前記第１のカメラによって撮像された前記計算撮像画像を入力データとし、
    　識別結果を出力データとする識別モデルを利用して前記計算撮像画像を識別し、
    　前記マスクパターンが変更された後に、変更された前記マスクパターンを識別し、識別した前記マスクパターンに応じて、前記識別モデルを変更するようにコンピュータを機能させる、
    　コンピュータ読み取り可能な非一時的な記録媒体。
PCT/JP2022/046813 2021-12-27 2022-12-20 画像識別システム、画像識別方法、画像識別プログラム及び画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体 WO2023127589A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-212421 2021-12-27
JP2021212421 2021-12-27

Publications (1)

Publication Number Publication Date
WO2023127589A1 true WO2023127589A1 (ja) 2023-07-06

Family

ID=86998942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046813 WO2023127589A1 (ja) 2021-12-27 2022-12-20 画像識別システム、画像識別方法、画像識別プログラム及び画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体

Country Status (1)

Country Link
WO (1) WO2023127589A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078337A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法
WO2021075527A1 (ja) * 2019-10-18 2021-04-22 国立大学法人大阪大学 カメラ及びイメージングシステム
WO2021176899A1 (ja) * 2020-03-02 2021-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理システム、及び、情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078337A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法
WO2021075527A1 (ja) * 2019-10-18 2021-04-22 国立大学法人大阪大学 カメラ及びイメージングシステム
WO2021176899A1 (ja) * 2020-03-02 2021-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理システム、及び、情報処理装置

Similar Documents

Publication Publication Date Title
CN103827920B (zh) 根据图像的对象距离确定
JP7480882B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
US9295141B2 (en) Identification device, method and computer program product
JP6003135B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2006523067A (ja) 物体上に出力画像を表示する方法
TW201220253A (en) Image calculation method and apparatus
US20230138710A1 (en) Multi-pinhole camera and image identification system
US20210174143A1 (en) Information processing method, information processing system, and information processing apparatus
JP2016092693A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP6720966B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6088864B2 (ja) キャリブレーションシステム、およびキャリブレーション方法
JP2010217984A (ja) 像検出装置及び像検出方法
WO2023127589A1 (ja) 画像識別システム、画像識別方法、画像識別プログラム及び画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体
JP7021036B2 (ja) 電子機器及び通知方法
JP2020004389A (ja) ビデオシーケンスにおいて動きを検出するための方法
JP2008058204A (ja) 位置計測システム
JP2005031044A (ja) 三次元誤差測定装置
WO2022014306A1 (ja) 学習方法、画像識別方法、学習装置、及び画像識別システム
JPWO2018155269A1 (ja) 画像処理装置および方法、並びにプログラム
JP2019096961A (ja) 医療安全システム
JP6213640B2 (ja) 画像処理装置、画像処理方法、撮像装置、及びシステム
JP2010225092A (ja) 画像処理装置、及び画像処理システム
WO2018139250A1 (ja) 全天球撮像装置
JP7263493B2 (ja) 電子機器及び通知方法
WO2023276480A1 (ja) 撮影システム、撮影方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22915813

Country of ref document: EP

Kind code of ref document: A1