WO2022014305A1 - マルチピンホールカメラ及び画像識別システム - Google Patents

マルチピンホールカメラ及び画像識別システム Download PDF

Info

Publication number
WO2022014305A1
WO2022014305A1 PCT/JP2021/024214 JP2021024214W WO2022014305A1 WO 2022014305 A1 WO2022014305 A1 WO 2022014305A1 JP 2021024214 W JP2021024214 W JP 2021024214W WO 2022014305 A1 WO2022014305 A1 WO 2022014305A1
Authority
WO
WIPO (PCT)
Prior art keywords
pinhole
subject
image
camera
distance
Prior art date
Application number
PCT/JP2021/024214
Other languages
English (en)
French (fr)
Inventor
智 佐藤
育規 石井
亮太 藤村
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2022536222A priority Critical patent/JPWO2022014305A1/ja
Priority to CN202180048147.6A priority patent/CN115836246A/zh
Publication of WO2022014305A1 publication Critical patent/WO2022014305A1/ja
Priority to US18/089,055 priority patent/US20230138710A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/16—Pin-hole cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging

Definitions

  • This disclosure relates to an image identification system in an environment where privacy protection is required, such as at home or indoors, and a multi-pinhole camera used for the image identification system.
  • Patent Document 1 discloses an image identification system in which a discriminator discriminates an object included in a calculated image by using a trained identification model by inputting a calculated image into the classifier. Has been done. Further, Patent Document 1 below discloses a light field camera using a multi-pinhole mask in which a plurality of pinholes are formed as an example of a camera for capturing a calculated image.
  • the calculated captured image multiple images with different viewpoints are superimposed, or the subject image is difficult to focus due to the absence of a lens, and the visual recognition by humans is due to the intentionally created blur. It is a difficult image. Therefore, it is preferable to use the calculated image for constructing an image identification system, especially in an environment where privacy protection is required, such as at home or indoors.
  • the object of the present disclosure is to provide a technology capable of protecting the privacy of a subject in an image identification system regardless of the distance between the camera and the subject.
  • the multi-pinhole camera is arranged between the image sensor, the light receiving surface of the image sensor, and the subject, and has a first pinhole and a second pinhole adjacent to the first pinhole.
  • the first pinhole and the second pin are provided with a pinhole and a mask having a mask pattern in which a plurality of pinholes including a third pinhole adjacent to the second pinhole are formed.
  • the distance from the hole is set to a first distance, and the first distance is when a subject located at a distance less than a predetermined distance from the multi-pinhole camera is imaged by the multi-pinhole camera.
  • the interval is such that the degree of superimposition of the two subject images imaged through the first pinhole and the second pinhole is within a predetermined range, and the second pinhole and the third pinhole
  • the interval is set to a second interval narrower than the first interval, and the second interval is the multi-pinhole for the subject located at a distance equal to or greater than the predetermined distance from the multi-pinhole camera. This is the interval at which the degree of superimposition of the two subject images captured through the second pinhole and the third pinhole is within the predetermined range when the image is taken by the camera.
  • the calculated captured image captured by a multi-pinhole camera or the like is intentionally created due to the influence of multiple images from different viewpoints being superimposed or the subject image being difficult to focus by not using a lens. It is an image that is difficult for humans to visually recognize due to blurring. Therefore, it is preferable to use the calculated image for constructing an image identification system, especially in an environment where privacy protection is required, such as at home or indoors.
  • the target area is photographed by a light field camera or the like having a multi-pinhole mask, and the calculated captured image acquired by the photographing is input to the classifier.
  • the discriminator discriminates the object included in the calculated image using the trained discriminative model. In this way, by shooting the target area with a light field camera or the like that captures the calculated captured image, even if the captured image leaks to the outside, it is difficult for the calculated captured image to be visually recognized by humans. Therefore, the privacy of the subject can be protected.
  • the present inventor uses a mask pattern in which at least three pinholes having different intervals are formed, and sets the respective intervals so that the degree of superimposition of the subject images is within a predetermined range.
  • the multi-pinhole camera is arranged between the image sensor, the light receiving surface of the image sensor, and the subject, and has a first pinhole and a second pinhole adjacent to the first pinhole.
  • the first pinhole and the second pin are provided with a pinhole and a mask having a mask pattern in which a plurality of pinholes including a third pinhole adjacent to the second pinhole are formed.
  • the distance from the hole is set to a first distance, and the first distance is when a subject located at a distance less than a predetermined distance from the multi-pinhole camera is imaged by the multi-pinhole camera.
  • the interval is such that the degree of superimposition of the two subject images imaged through the first pinhole and the second pinhole is within a predetermined range, and the second pinhole and the third pinhole
  • the interval is set to a second interval narrower than the first interval, and the second interval is the multi-pinhole for the subject located at a distance equal to or greater than the predetermined distance from the multi-pinhole camera. This is the interval at which the degree of superimposition of the two subject images captured through the second pinhole and the third pinhole is within the predetermined range when the image is taken by the camera.
  • the degree of superimposition of the two subject images captured through the first pinhole and the second pinhole is increased.
  • the multiple images make it impossible for a human to visually recognize a plurality of subject images individually, so that the privacy of the subject is protected.
  • the degree of superimposition of the two subject images captured through the second pinhole and the third pinhole is within the predetermined range.
  • the privacy of the subject is protected because the plurality of subject images cannot be visually individually recognized by humans due to the multiple image.
  • the image is taken through the first pinhole and the second pinhole.
  • the degree of superimposition of the two subject images is out of the predetermined range, and when the subject located at a distance less than the predetermined distance from the multi-pinhole camera is imaged by the multi-pinhole camera, the second pin The degree of superimposition of the two subject images captured through the hole and the third pinhole is out of the predetermined range.
  • the first interval and the second interval are mixed in the same mask even if the privacy of the subject cannot be completely protected by only one of the first interval and the second interval. By doing so, it is possible to protect the privacy of the subject regardless of the distance between the multi-pinhole camera and the subject.
  • the multi-pinhole camera may not have an optical system for forming an image of light from a subject on the image sensor.
  • the multi-pinhole camera does not have an optical system for forming an image of light from the subject on the image sensor, it is possible to intentionally create a blur in the image captured by the multi-pinhole camera. As a result, it becomes more difficult for a human to visually identify the subject included in the captured image, so that the privacy protection effect of the subject can be further enhanced.
  • the opening areas of the first pinhole, the second pinhole, and the third pinhole may be different from each other.
  • the degree of blurring of each subject image also differs due to the difference in the opening area of each pinhole.
  • a mixture of a plurality of subject images having different degrees of blur makes the captured image more complicated. As a result, it becomes more difficult for a human to visually identify the subject included in the captured image, so that the privacy protection effect of the subject can be further enhanced.
  • a pinhole set composed of the first pinhole and the second pinhole is provided in each of the plurality of regions. It is preferable that a pinhole set including the third pinhole and the second pinhole is included.
  • the number of pinhole sets having the first pinhole and the second pinhole is the number of pinholes having the third pinhole and the second pinhole. It should be more than the number of sets.
  • the number of effective multiplex images superimposed can be increased.
  • This is especially effective for indoor operations where the distance between the multi-pinhole camera and the subject tends to be short.
  • the number of pinhole sets having the third pinhole and the second pinhole is the number of pinholes having the first pinhole and the second pinhole. It should be more than the number of sets.
  • the number of effective multiplex images superimposed can be increased when the subject is located at a distance of a predetermined distance or more from the multi-pinhole camera.
  • the image identification system includes a multi-pinhole camera according to the above aspect, an identification unit that identifies an image captured by the multi-pinhole camera based on an image identification model, and the identification unit. It includes an output unit that outputs the identification result.
  • the degree of superimposition of the two subject images captured through the first pinhole and the second pinhole is increased.
  • the multiple images make it impossible for a human to visually recognize a plurality of subject images individually, so that the privacy of the subject is protected.
  • the degree of superimposition of the two subject images captured through the second pinhole and the third pinhole is within the predetermined range.
  • the privacy of the subject is protected because the plurality of subject images cannot be visually individually recognized by humans due to the multiple image.
  • the present disclosure can be realized as a computer program for causing a computer to execute each characteristic configuration included in such a method, or can be realized as a device or system operating based on this computer program.
  • a computer program can be distributed as a computer-readable non-volatile recording medium such as a CD-ROM, or can be distributed via a communication network such as the Internet.
  • FIG. 1 is a schematic diagram showing a configuration of an image identification system 10 according to an embodiment of the present disclosure.
  • the image identification system 10 includes a learning device 20 and an identification device 30.
  • the identification device 30 includes a multi-pinhole camera 301, an identification unit 106, and an output unit 107.
  • the identification unit 106 includes a processor such as a CPU and a memory such as a semiconductor memory.
  • the output unit 107 includes a display device, a speaker, and the like.
  • the learning device 20 has a learning database 102, a PSF information acquisition unit 103, a database correction unit 104, and a learning unit 105.
  • the learning database 102 includes a storage unit such as an HDD, SSD, or semiconductor memory.
  • the PSF information acquisition unit 103, the database correction unit 104, and the learning unit 105 include a processor such as a CPU.
  • FIG. 2 is a flowchart showing the main processing procedure of the image identification system 10.
  • the flowchart shows the flow of image identification processing by the identification device 30.
  • the multi-pinhole camera 301 photographs the target area where the subject to be image identification is located, and inputs the calculated captured image obtained by the photographing to the identification unit 106 (step S101).
  • the identification unit 106 identifies the calculated captured image using the trained image identification model (step S102).
  • This image discrimination model is an image discrimination model created by learning by the learning device 20.
  • the output unit 107 outputs the result of identification by the identification unit 106. Details of the processing of each step will be described later.
  • the multi-pinhole camera 301 captures a calculated captured image, which is an image that is difficult for humans to visually recognize due to a multiple image, unlike a normal camera that captures a normal image that is easily visually recognized by humans.
  • the calculated captured image cannot recognize the subject even if a person looks at the captured image itself, but by performing image processing on the captured calculated captured image, an image that can be recognized by a person or identified by the identification unit 106 is generated. It is an image that can be.
  • FIG. 3 is a diagram schematically showing the structure of the multi-pinhole camera 301 configured without a lens.
  • the multi-pinhole camera 301 shown in FIG. 3 has a multi-pinhole mask 301a and an image sensor 301b such as CMOS.
  • the multi-pinhole mask 301a is arranged between the image sensor 301b and the subject 302 at a certain distance from the light receiving surface of the image sensor 301b.
  • a cover glass for IR cut and antireflection may be arranged between the multi-pinhole mask 301a and the image sensor 301b.
  • the cover glass and the image sensor 301b may be separated from each other or may be in contact with each other.
  • the cover glass and the multi-pinhole mask 301a may be separated from each other or may be in contact with each other.
  • the image sensor 301b, the cover glass, and the multi-pinhole mask 301a are supported by a housing in which a holder or pillar for holding them is formed.
  • the multi-pinhole mask 301a has a plurality of pinholes 301aa to 301ac arranged linearly in this order.
  • the distance between the pinhole 301aa and the pinhole 301ab is L1
  • the distance between the pinhole 301ab and the pinhole 301ac is L2 ( ⁇ L1).
  • the shapes and opening areas of the pinholes 301aa to 301ac are equal to each other.
  • a plurality of pinholes 301aa to 301ac are also referred to as multi-pinholes.
  • the image sensor 301b acquires an image of the subject 302 through the pinholes 301aa to 301ac. An image acquired through a pinhole is called a pinhole image.
  • the plurality of pinholes 301aa to 301ac do not necessarily have to be arranged in a straight line, and for example, each pinhole 301aa to 301ac may be arranged at each vertex of an isosceles triangle
  • the image sensor 301b acquires a superimposed image in which a plurality of pinhole images are slightly displaced and overlapped (that is, multiple images). do.
  • the positional relationship of the plurality of pinholes 301aa to 301ac affects the positional relationship of the plurality of pinhole images projected on the image sensor 301b (that is, the degree of superimposition of the multiple images), and the size of the pinholes 301aa to 301ac. Affects the degree of blurring of the pinhole image.
  • the multi-pinhole mask 301a By using the multi-pinhole mask 301a, it is possible to superimpose and acquire a plurality of pinhole images having different positions and degrees of blurring. In other words, it is possible to acquire a calculated image that is difficult for humans to visually recognize due to the effects of superimposing multiple images with different viewpoints or the fact that the subject image is difficult to focus because the lens is not used. Is. Therefore, the captured image becomes a multiple image and a blurred image, and it is possible to acquire an image in which the privacy of the subject 302 is protected by these influences. Further, by changing the number, position, and size of each pinhole, it is possible to acquire images having different degrees of superimposition and blurring of multiple images.
  • the structure is such that the multi-pinhole mask 301a can be easily attached and detached by the user, and a plurality of types of multi-pinhole masks 301a having different mask patterns are prepared in advance, and the user can freely replace the multi-pinhole mask 301a to be used. It may be configured.
  • FIGS. 13A to 13D are schematic views showing the configuration of a multi-pinhole camera 301 in which the user can arbitrarily rotate the mask.
  • FIG. 13A shows an overview of the multi-pinhole camera 301 in which the user can arbitrarily rotate the mask
  • FIG. 13B shows a schematic cross-sectional view thereof.
  • the multi-pinhole camera 301 has a multi-pinhole mask 301a that can rotate with respect to the housing 401, and a grip portion 402 is connected to the multi-pinhole mask 301a.
  • the user can fix or rotate the multi-pinhole mask 301a with respect to the housing 401 by gripping and operating the grip portion 402.
  • a screw may be provided on the grip portion 402, the multi-pinhole mask 301a may be fixed by tightening the screw, and the multi-pinhole mask 301a may be rotatable by loosening the screw.
  • 13C and 13D show a schematic diagram in which the multi-pinhole mask 301a rotates 90 degrees when the grip portion 402 is rotated 90 degrees. In this way, the multi-pinhole mask 301a can be rotated by the user moving the grip portion 402.
  • the multi-pinhole mask 301a may have a pinhole arrangement asymmetrical with respect to rotation, as shown in FIG. 13C. By doing so, it is possible for the user to realize various multi-pinhole patterns by rotating the mask.
  • FIG. 14A and 14B are schematic views showing another configuration example of the multi-pinhole camera 301 in which the user can arbitrarily rotate the mask.
  • FIG. 14A shows an overview of another configuration example of the multi-pinhole camera 301 in which the user can arbitrarily rotate the mask
  • FIG. 14B shows a schematic cross-sectional view thereof.
  • the multi-pinhole mask 301a is fixed to the lens barrel 411.
  • the image sensor 301b is installed in another lens barrel 412, and the lens barrel 411 and the lens barrel 412 are in a rotatable state with a screw configuration.
  • the fixative 413 also has a female screw.
  • FIG. 14C and 14D are schematic views showing that the screwing depth changes and the rotation angle of the multi-pinhole camera 301 changes depending on the screwing position of the fixture 413 into the lens barrel 411.
  • FIG. 14C is a schematic view when the fixture 413 is screwed all the way into the lens barrel 411
  • FIG. 14D is a schematic diagram when the fixture 413 is screwed only halfway through the lens barrel 411.
  • the lens barrel 412 can be screwed all the way into the lens barrel 411.
  • FIG. 14C when the fixture 413 is screwed all the way into the lens barrel 411, the lens barrel 412 can be screwed all the way into the lens barrel 411.
  • FIG. 14C when the fixture 413 is screwed all the way into the lens barrel 411, the lens barrel 412 can be screwed all the way into the lens barrel 411.
  • FIG. 14C when the fixture 413 is screwed all the way into the lens barrel 411, the lens barrel 412 can be screwed all the way into the
  • the lens barrel 412 when the fixture 413 is screwed only halfway through the lens barrel 411, the lens barrel 412 can be screwed only halfway through the lens barrel 411. Therefore, the screwing depth changes depending on the screwing position of the fixture 413 into the lens barrel 411, and the rotation angle of the multi-pinhole mask 301a can be changed.
  • FIG. 15 is a schematic cross-sectional view of a multi-pinhole camera 301 in which a user can make a hole in an arbitrary portion of the mask 301ab attached in front of the image sensor 301b.
  • the same components as those in FIG. 13 are designated by the same reference numerals, and the description thereof will be omitted.
  • a user can make a plurality of holes in the mask 301ab at an arbitrary position by using a needle or the like to create a multi-pinhole mask having an arbitrary shape.
  • FIG. 16 is a schematic view of a cross section of a multi-pinhole camera 301 having a configuration in which the transmittance of each position in the mask is arbitrarily set by using the spatial light modulator 420.
  • the spatial light modulator 420 is composed of a liquid crystal display or the like, and the transmittance for each pixel can be changed.
  • the spatial light modulator 420 functions as a multi-pinhole mask. The change in transmittance can be controlled by the spatial light modulator control unit (not shown). Therefore, various mask patterns (multi-pinhole patterns) can be realized by the user selecting an arbitrary pattern from a plurality of transmittance patterns prepared in advance.
  • FIGS. 17 and 18A to 18F are schematic cross-sectional views of a multi-pinhole camera 301 having a configuration in which the mask is deformed by applying an external force.
  • the multi-pinhole mask 301ac is composed of a plurality of masks 301a1, 301a2, 301a3, and each mask has a driving unit (not shown) that independently applies an external force.
  • 18A to 18C are schematic views for explaining the three masks 301a1, 301a2, and 301a3 constituting the multi-pinhole mask 301ac.
  • each mask has a shape in which a fan shape and an annulus are combined.
  • this configuration is an example, and the shape is not limited to a fan shape, and the number of constituent sheets is not limited to three.
  • One or more pinholes are formed in each mask. It is not necessary that a pinhole is formed on the mask.
  • Two pinholes 301aa1 and 301aa2 are formed in the mask 301a1, one pinhole 301aa3 is formed in the mask 301a2, and two pinholes 301aa4 and 301aa5 are formed in the mask 301a3.
  • FIGS. 18D to 18F show three types of multi-pinhole masks 301ac composed of three masks 301a1 to 301a3.
  • the masks having 5 pinholes are configured in FIGS. 18D and 18E, and the masks having 4 pinholes are configured in FIGS. 18F.
  • Such a mask drive unit can be realized by using an ultrasonic motor or a linear motor widely used for autofocus or the like. In this way, the number and position of pinholes in the multi-pinhole mask 301ac can be changed by applying an external force.
  • the multi-pinhole mask may change not only the number and position of pinholes but also their size.
  • 19A to 19C are schematic views for explaining the configuration of the multi-pinhole mask 301ad in the multi-pinhole camera 301 having a configuration in which the mask is deformed by applying an external force.
  • the multi-pinhole mask 301ad has a plurality of pinholes, is made of an elastic material, and has four drive units 421 to 424 that can independently control the four corners. Of course, the number of drive units does not have to be four. By moving each drive unit 421 to 424, the position and size of the pinhole in the multi-pinhole mask 301ad can be changed.
  • FIG. 19B is a schematic diagram showing a state when the drive units 421 to 424 are moved in the same direction.
  • the directions of the arrows shown in the drive units 421 to 424 indicate the drive direction of each drive unit.
  • the multi-pinhole mask 301ad moves in parallel with the driving direction of the driving unit.
  • FIG. 19C is a schematic view showing a state in which the drive units 421 to 424 are moved outward from the central portion of the multi-pinhole mask 301ad.
  • the multi-pinhole mask 301ad is stretched according to its elasticity, so that the size of the pinhole becomes large.
  • Such drive units 421 to 424 can be realized by using an ultrasonic motor or a linear motor widely used for autofocus or the like. In this way, the position and size of the pinholes in the multi-pinhole mask 301ac can be changed by applying an external force.
  • the mode of the multiple image differs depending on the distance between the multi-pinhole camera 301 and the subject 302. Therefore, in the multi-pinhole camera 301 according to the present embodiment, by making the distances L1 and L2 between the pinholes different, effective superimposition of multiple images can be performed regardless of the distance between the subject 302 and the multi-pinhole camera 301. Take an image of the image.
  • FIG. 4A is a schematic diagram showing the configuration of the multi-pinhole mask 301a when the spacing between pinholes is unified with a narrow spacing L2.
  • FIG. 4B is a diagram showing an image captured when a subject 302 located far away from the multi-pinhole camera 301 is imaged.
  • FIG. 4C is a diagram showing an image captured when a subject 302 located in the vicinity of the multi-pinhole camera 301 is imaged.
  • the images captured through the pinholes 301aa to 301ac are the subject images 302a to 302c, respectively.
  • FIG. 5A is a schematic diagram showing the configuration of the multi-pinhole mask 301a when the spacing between pinholes is unified with a wide spacing L1.
  • FIG. 5B is a diagram showing an image captured when a subject 302 located far away from the multi-pinhole camera 301 is imaged.
  • FIG. 5C is a diagram showing an image captured when a subject 302 located in the vicinity of the multi-pinhole camera 301 is imaged.
  • the amount of deviation is too large with respect to the size of the subject image, so that the subject images captured through each pinhole are captured. Does not overlap, and the privacy of the subject 302 cannot be protected.
  • the multi-pinhole camera 301 is characterized by having a multi-pinhole mask 301a having a plurality of pinholes 301aa to 301ac, and the intervals L1 and L2 between the pinholes are different.
  • FIG. 6A is a schematic diagram showing the configuration of the multi-pinhole mask 301a according to the present embodiment.
  • the distance between the pinhole 301aa and the pinhole 301ab is L1
  • the distance between the pinhole 301ab and the pinhole 301ac is L2 ( ⁇ L1).
  • FIG. 6A shows an example in which three pinholes 301aa to 301ac are formed, but the number of pinholes may be three or more.
  • FIG. 6B is a diagram showing an image captured when a subject 302 located far away from the multi-pinhole camera 301 is imaged.
  • FIG. 6C is a diagram showing an image captured when a subject 302 located in the vicinity of the multi-pinhole camera 301 is imaged.
  • the distances L1 and L2 between the pinholes are different. Therefore, the subject images 302a to 302c imaged through the pinholes 301aa to 301ac are superimposed with different amounts of deviation. Therefore, even if the subject image is small because the subject 302 is located far away from the multi-pinhole camera 301, the subject image is large because the subject 302 is located near the multi-pinhole camera 301. However, the subject image captured through each pinhole is superimposed on the subject image captured through the adjacent pinhole. As a result, as shown in FIGS. 6B and 6C, it is possible to capture an image in which the privacy of the subject 302 is protected by superimposing an effective multiplex image.
  • the subject image when the subject image is small because the subject 302 is located at a distance of a predetermined distance D or more from the multi-pinhole camera 301 (FIG. 6B), the subject captured through the pinholes 301ab and 301ac having a narrow interval L2.
  • the images 302b and 302c are effectively superimposed on each other by a small amount of deviation.
  • the subject image is large because the subject 302 is located in the vicinity of the multi-pinhole camera 301 less than a predetermined distance D (FIG. 6C)
  • the subject image 302a captured through the pinholes 301aa and 301ab having a wide interval L1.
  • 302b are effectively superimposed on each other due to a large amount of deviation.
  • "effectively superimposing” means that the degree of superimposition (degree of overlapping of areas) of two subject images obtained through two pinholes adjacent to each other is within a predetermined allowable range.
  • the lower limit of the allowable range is 30%
  • the upper limit is 90%. That is, when the degree of superimposition of two subject images obtained through two adjacent pinholes is 30% or more and 90% or less, the subject cannot be individually identified even if a third party views the captured image. Is.
  • FIG. 7 is a diagram showing a predetermined distance D between the multi-pinhole camera 301 and the subject 302.
  • the predetermined distance D is set according to the distances L1 and L2, the distance between the image sensor 301b and the multi-pinhole mask 301a, the sensor size of the image sensor 301b, the pixel pitch, and the like, and is set to, for example, 5 m.
  • the subject 302 when the subject 302 is located at a distance of less than 5 m from the multi-pinhole camera 301, the subject images 302a and 302b are effectively superimposed on each other by the effective action of the wide interval L1.
  • the subject images 302b and 302c are effectively superimposed on each other by the effective action of the narrow interval L2.
  • the images are taken through the pinholes 301aa and 301ab having a wide interval L1.
  • the degree of superimposition of the two subject images 302a and 302b is outside the above predetermined range (less than the lower limit value of 30%).
  • the images are taken through the pinholes 301ab and 301ac having a narrow interval L2.
  • the degree of superimposition of the two subject images 302b and 302c is outside the above predetermined range (upper limit value of 90% or more). Even if the privacy of the subject 302 cannot be completely protected by only one of the intervals L1 and L2 as described above, the multi-pinhole camera can be obtained by mixing the intervals L1 and L2 in the same multi-pinhole mask 301a. It is possible to protect the privacy of the subject 302 regardless of the distance between the subject 302 and the subject 302.
  • the multi-pinhole camera 301 does not have an optical system (lens, prism, mirror, etc.) for forming an image of light from the subject 302 on the image sensor 301b. ..
  • an optical system lens, prism, mirror, etc.
  • the image identification system 10 will be described with reference to FIG.
  • the identification unit 106 uses the image identification model, which is the learning result of the learning device 20, with respect to the image of the target area captured by the multi-pinhole camera 301, and the person (behavior, facial expression, etc.) included in the image. ),
  • the category information of the subject such as a car, a bicycle, or a signal and the position information of each subject are identified.
  • Machine learning such as Deep Learning using a multi-layer neural network may be used for learning to create an image discrimination model.
  • the output unit 107 outputs the result identified by the identification unit 106.
  • This may have an interface unit and present the identification result to the user by an image, text, voice, or the like, or may have a device control unit and change the control method according to the identification result. ..
  • the learning device 20 has a learning database 102, a PSF information acquisition unit 103, a database correction unit 104, and a learning unit 105.
  • the learning device 20 performs learning for creating an image identification model used by the identification unit 106 in correspondence with PSF information about the computational imaging camera 101 actually used for imaging the target area.
  • FIG. 8 is a flowchart showing the main processing procedure of the learning device 20 of the image identification system 10.
  • the PSF information acquisition unit 103 acquires PSF information, which is information representing the mode of the calculated captured image, what kind of calculated captured image is captured by the calculated captured image camera 101 (step S201). This is because the multi-pinhole camera 301 has a transmission unit, the PSF information acquisition unit 103 has a reception unit, and PSF information may be exchanged by wire or wirelessly, and the PSF information acquisition unit 103 has an interface. The user may input the PSF information into the PSF information acquisition unit 103.
  • PSF Point Spread Function
  • y is a calculated image with blur taken by the multi-pinhole camera 301
  • k is PSF
  • x is a normal image taken by a normal camera without blur.
  • * is a convolution operator.
  • PSF can be obtained by shooting a point light source with a multi-pinhole camera 301.
  • the PSF corresponds to the impulse response of the camera. That is, the captured image itself of the point light source obtained by imaging the point light source with the multi-pinhole camera 301 is PSF as the captured image information of the multi-pinhole camera 301.
  • the captured image of the point light source it is desirable to use a difference image between the captured image including the point light source in the lit state and the captured image including the point light source in the off state.
  • the database correction unit 104 acquires the normal image without blur contained in the learning database 102, and the learning unit 105 acquires the annotation information included in the learning database 102 (step S202).
  • the database correction unit 104 corrects the learning database 102 by using the PSF information acquired by the PSF information acquisition unit 103 (step S203).
  • the learning database 102 includes a plurality of normal images taken by a normal camera without blur, and what behavior the person is in and at what position in each image. It holds the annotation information (correct answer label) given to each image.
  • annotation information may be added to the image taken by that camera, but when acquiring a calculated captured image of the multi-pinhole camera 301, no matter what the person sees the image, what will happen? It is difficult to add annotation information because it is not known whether it is in the image.
  • the identification accuracy of the identification unit 106 does not increase. Therefore, a database in which annotation information is added in advance to an image taken by a normal camera is held as a learning database 102, and only the captured image is deformed according to the PSF information of the multi-pinhole camera 301 to perform the multi.
  • the identification accuracy is improved by creating a training data set suitable for the pinhole camera 301 and performing the training process. Therefore, the database correction unit 104 calculates the following correction image y by using the PSF information acquired by the PSF information acquisition unit 103 with respect to the image z taken by a normal camera prepared in advance.
  • k indicates the PSF information acquired by the PSF information acquisition unit 103
  • * indicates the convolution operator
  • the learning unit 105 performs a learning process by using the corrected image thus calculated by the database correction unit 104 and the annotation information acquired from the learning database 102 (step S204). For example, when the identification unit 106 is constructed by a multi-layer neural network, machine learning by deep learning is performed using the corrected image and annotation information as teacher data. As a prediction error correction algorithm, the Back Propagation method or the like may be used. As a result, the learning unit 105 creates an image identification model for the identification unit 106 to identify the image captured by the multi-pinhole camera 301. Since the corrected image is an image that matches the PSF information of the multi-pinhole camera 301, such learning enables learning suitable for the multi-pinhole camera 301, and the identification unit 106 performs high-precision identification processing. can.
  • the subject 302 when the subject 302 is located at a distance less than a predetermined distance D from the multi-pinhole camera 301, two images are taken via the first pinhole 301aa and the second pinhole 301ab.
  • the degree of superimposition of the subject images 302a and 302b is within a predetermined range, the superimposition of the multiple images makes the plurality of subject images visually unrecognizable by humans, so that the privacy of the subject 302 is protected. ..
  • the two subject images 302b and 302c imaged through the second pinhole 301ab and the third pinhole 301ac.
  • the degree of superimposition is within a predetermined range, the superimposition of multiple images makes a plurality of subject images visually unrecognizable by humans, so that the privacy of the subject 302 is protected. As a result, it is possible to protect the privacy of the subject 302 regardless of the distance between the multi-pinhole camera 301 and the subject 302.
  • the opening areas of the pinholes 301aa to 301ac are set to be equal to each other, but the opening areas of the pinholes 301aa to 301ac may be different from each other by changing the diameter or the shape.
  • FIG. 9 is a schematic diagram showing the structure of the multi-pinhole camera 301 according to the first modification.
  • the opening area of the central pinhole 301ab is the smallest
  • the opening area of the right pinhole 301ac near the pinhole 301ab is the next smallest
  • the opening of the left pinhole 301aa far from the pinhole 301ab is set to the largest.
  • the larger the opening area of the pinhole the larger the degree of blurring of the subject image. Therefore, according to this example, the degree of blurring of the subject image 302a corresponding to the pinhole 301aa is the largest.
  • the degree of blurring of each subject image 302a to 302c also differs due to the difference in the opening area of each pinhole 301aa to 301ac.
  • FIG. 10 is a schematic view showing the structure of the multi-pinhole camera 301 according to the second modification.
  • the main surface of the multi-pinhole mask 301a facing the light receiving surface of the image sensor 301b is the upper right region UR, the lower right region LR, the upper left region UL, and the lower left region LL. It is divided into a total of four areas.
  • One pinhole 301ac is formed in the center of the main surface.
  • pinholes 301ab and 301aa are formed in each of the plurality of regions UR, LR, UL, and LL.
  • the number of regions in which the main surface of the multi-pinhole mask 301a is divided is not limited to four, and may be two or more.
  • the image sensor 301b is on the back side and the subject 302 is on the front side.
  • the light passing through the pinholes 301ab and 301aa in the region UL is not sufficiently large in the image sensor 301b, or the incident angle is too large in the image sensor 301b. No light is received. That is, when the pinhole of the multi-pinhole mask 301a exists only on the area UL, the subject 302 existing in the lower right area is not photographed, or only the light passing through only the pinhole 301ac is received and becomes a multiple image. Therefore, the privacy of the subject 302 cannot be protected.
  • the light passing through the pinholes 301ab and 301aa in the region LR is received by the image sensor 301b when the image sensor 301b is not sufficiently large or the incident angle is too large. Will not be done. That is, when the pinhole of the multi-pinhole mask 301a exists only on the region LR, the subject 302 existing in the upper left region is not photographed, or only the light passing through only the pinhole 301ac is received and becomes a multiple image. Therefore, the privacy of the subject 302 cannot be protected.
  • the multi-pinhole camera 301 of this modification is a pinhole set having a wide interval L1 having a first pinhole 301aa and a second pinhole 301ab in each of a plurality of regions UR, LR, UL, LL. And, since a pinhole set having a narrow distance L2 having a third pinhole 301ac and a second pinhole 301ab is included, the privacy of the subject can be protected regardless of the position of the subject 302. ..
  • the subject 302 Even if the angle between the front direction of the multi-pinhole camera 301 and the position of the subject 302 is large (that is, the subject is positioned at an angle to the front of the camera), the subject 302 The light from the camera can reach the image sensor 301b via the pinhole set on the side close to the subject 302. As a result, it is possible to widen the angle of view of the multi-pinhole camera 301 that can superimpose multiple images.
  • FIG. 11 is a schematic diagram showing the structure of the multi-pinhole camera 301 according to the first example of the third modification.
  • One pinhole 301ab is formed in the center of the main surface of the multi-pinhole mask 301a. Further, three pinholes 301aa and one pinhole 301ac are formed around the pinhole 301ab.
  • the number of pinhole sets with a wide spacing L1 consisting of the first pinhole 301aa and the second pinhole 301ab (three sets in this example) is reduced to the third pinhole 301ac and the second pinhole 301ab. It is larger than the number of pinhole sets having a narrow interval L2 consisting of (1 set in this example).
  • the number of pinhole sets is not limited to this example.
  • the subject 302 when the subject 302 is located at a distance less than a predetermined distance D from the multi-pinhole camera 301, it is possible to increase the number of effective multiple image superpositions in which the amount of deviation of the subject image is large. As a result, it becomes more difficult for a human to visually identify the subject 302 included in the captured image, so that the privacy protection effect of the subject 302 can be further enhanced. This is particularly effective for indoor operation where the distance between the multi-pinhole camera 301 and the subject 302 tends to be short.
  • FIG. 12 is a schematic diagram showing the structure of the multi-pinhole camera 301 according to the second example of the third modification.
  • One pinhole 301ab is formed in the center of the main surface of the multi-pinhole mask 301a. Further, one pinhole 301aa and three pinholes 301ac are formed around the pinhole 301ab.
  • the number of pinhole sets with a narrow spacing L2 consisting of the third pinhole 301ac and the second pinhole 301ab (three sets in this example) is reduced to the first pinhole 301aa and the second pinhole 301ab. It is larger than the number of pinhole sets having a wide interval L1 consisting of (1 set in this example).
  • the number of pinhole sets is not limited to this example.
  • the subject 302 when the subject 302 is located at a distance of a predetermined distance D or more from the multi-pinhole camera 301, it is possible to increase the number of effective multiple image superpositions in which the amount of deviation of the subject image is small. As a result, it becomes more difficult for a human to visually identify the subject 302 included in the captured image, so that the privacy protection effect of the subject 302 can be further enhanced. This is particularly effective for outdoor operation where the distance between the multi-pinhole camera 301 and the subject 302 tends to be long.
  • the learning method and identification method according to the present disclosure are particularly useful for an image identification system in an environment where privacy protection of a subject is required.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

ピンホール（３０１ａａ）とピンホール（３０１ａｂ）との間隔は、マルチピンホールカメラ（３０１）から所定距離（Ｄ）未満の距離に位置する被写体（３０２）を撮像したときに、ピンホール（３０１ａａ，３０１ａｂ）を介して撮像された被写体像（３０２ａ，３０２ｂ）の重畳度が所定範囲内となる、第１の間隔（Ｌ１）に設定されている。ピンホール（３０１ａｂ）とピンホール（３０１ａｃ）との間隔は、マルチピンホールカメラ（３０１）から所定距離（Ｄ）以上の距離に位置する被写体（３０２）を撮像したときに、ピンホール（３０１ａｂ，３０１ａｃ）を介して撮像された被写体像（３０２ｂ，３０２ｃ）の重畳度が所定範囲内となる、第１の間隔（Ｌ１）より狭い第２の間隔（Ｌ２）に設定されている。

Description

マルチピンホールカメラ及び画像識別システム
　本開示は、特に家庭内又は屋内など、プライバシー保護が必要となる環境における画像識別システム、及び、それに使用されるマルチピンホールカメラに関する。
　下記特許文献１には、計算撮像画像を識別器に入力することにより、識別器が、学習済みの識別モデルを用いて、当該計算撮像画像に含まれている物体を識別する画像識別システムが開示されている。また、下記特許文献１には、計算撮像画像を撮像するためのカメラの一例として、複数のピンホールが形成されたマルチピンホールマスクを用いたライトフィールドカメラが開示されている。
　計算撮像画像は、視点の異なる複数の画像が重畳され、又は、レンズを使用しないことで被写体像が合焦しにくい等の影響により、意図的に作り出されたボケによって人間による視覚的な認識が困難な画像である。そのため、特に家庭内又は屋内など、プライバシー保護が必要となる環境における画像識別システムの構築のために、計算撮像画像を用いることは好適である。
　しかし、上記特許文献１では、マルチピンホールマスクにおいて、複数のピンホール同士の間隔をどのように設定するかについては詳細に検討されていない。そのため、カメラと被写体との距離次第では、所望のボケが得られないことによって被写体のプライバシーが保護されない可能性がある。
国際公開第２０１９／０５４０９２号
　本開示は、画像識別システムにおいて、カメラと被写体との距離に拘わらず、被写体のプライバシーを保護することが可能な技術を提供することを目的とする。
　本開示の一態様に係るマルチピンホールカメラは、イメージセンサと、前記イメージセンサの受光面と被写体との間に配置され、第１のピンホール、当該第１のピンホールに隣接する第２のピンホール、及び当該第２のピンホールに隣接する第３のピンホールを含む複数のピンホールが形成されたマスクパターンを有するマスクと、を備え、前記第１のピンホールと前記第２のピンホールとの間隔は、第１の間隔に設定されており、前記第１の間隔は、前記マルチピンホールカメラから所定距離未満の距離に位置する被写体を前記マルチピンホールカメラによって撮像したときに、前記第１のピンホール及び前記第２のピンホールを介して撮像された二つの被写体像の重畳度が所定範囲内となる間隔であり、前記第２のピンホールと前記第３のピンホールとの間隔は、前記第１の間隔より狭い第２の間隔に設定されており、前記第２の間隔は、前記マルチピンホールカメラから前記所定距離以上の距離に位置する前記被写体を前記マルチピンホールカメラによって撮像したときに、前記第２のピンホール及び前記第３のピンホールを介して撮像された二つの被写体像の重畳度が前記所定範囲内となる間隔である。
実施形態にかかる画像識別システムの構成を示す模式図である。 画像識別システムの主要な処理の手順を示すフローチャートである。 レンズレスで構成されたマルチピンホールカメラの構造を模式的に示す図である。 マルチピンホールマスクの構成を示す模式図である。 マルチピンホールカメラによる撮像画像の一例を示す図である。 マルチピンホールカメラによる撮像画像の一例を示す図である。 マルチピンホールマスクの構成を示す模式図である。 マルチピンホールカメラによる撮像画像の一例を示す図である。 マルチピンホールカメラによる撮像画像の一例を示す図である。 マルチピンホールマスクの構成を示す模式図である。 マルチピンホールカメラによる撮像画像の一例を示す図である。 マルチピンホールカメラによる撮像画像の一例を示す図である。 マルチピンホールカメラと被写体との所定距離を示す図である。 学習装置の主要な処理の手順を示すフローチャートである。 第１変形例に係るマルチピンホールカメラの構造を示す模式図である。 第２変形例に係るマルチピンホールカメラの構造を示す模式図である。 第３変形例の第１の例に係るマルチピンホールカメラの構造を示す模式図である。 第３変形例の第２の例に係るマルチピンホールカメラの構造を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。 変形例に係るマルチピンホールカメラの構成を示す模式図である。
　（本開示の基礎となった知見）
　家庭内又は屋内などにおいて、環境内人物の行動認識や機器操作者の人物認識など、さまざまな認識技術は重要である。近年、物体識別のために、ディープラーニングと呼ばれる技術が注目されている。ディープラーニングとは、多層構造のニューラルネットワークを用いた機械学習であり、大量の学習データを利用することで、従来法と比べて、より高精度な識別性能を実現することが可能である。このような物体識別において、画像情報は特に有効である。入力デバイスにカメラを利用し、画像情報を入力としたディープラーニングを行うことによって、従来の物体識別能力を大幅に向上させるさまざまな手法が提案されている。
　しかし、家庭内などにカメラを配置することは、ハッキングなどにより撮影画像が外部に漏れた場合、プライバシーが侵害されるという課題があった。従って、仮に撮影画像が外部に漏れた場合であっても、被写体のプライバシーを保護するための対策が必要である。
　マルチピンホールカメラなどによって撮像される計算撮像画像は、視点の異なる複数の画像が重畳され、又は、レンズを使用しないことで被写体像が合焦しにくい等の影響により、意図的に作り出されたボケによって人間による視覚的な認識が困難な画像である。そのため、特に家庭内又は屋内など、プライバシー保護が必要となる環境における画像識別システムの構築のために、計算撮像画像を用いることは好適である。
　上記特許文献１に開示された画像識別システムでは、マルチピンホールマスクを有するライトフィールドカメラなどによって対象エリアを撮影し、その撮影によって取得された計算撮像画像を識別器に入力する。これにより、識別器が、学習済みの識別モデルを用いて、当該計算撮像画像に含まれている物体を識別する。このように、計算撮像画像を撮像するライトフィールドカメラなどによって対象エリアを撮影することにより、仮に撮影画像が外部に漏れた場合であっても、計算撮像画像は人間による視覚的な認識が困難であるため、被写体のプライバシーを保護することができる。
　しかし、上記特許文献１では、マルチピンホールマスクにおいて、複数のピンホール同士の間隔をどのように設定するかについては詳細に検討されていない。そのため、カメラと被写体との距離次第では、所望の視覚的認識の困難さが得られないことによって被写体のプライバシーが保護されない可能性がある。例えば、ピンホール同士の間隔が広すぎると、カメラと被写体との距離が比較的遠い場合に、小さい被写体像に対してズレ量が大きくなりすぎる結果、複数の被写体像同士が重畳せずに被写体の顔が認識されてしまう。一方、ピンホール同士の間隔が狭すぎると、カメラと被写体との距離が比較的近い場合に、大きい被写体像に対してズレ量が小さくなりすぎる結果、被写体の顔が認識されてしまう。
　かかる課題を解決すべく、本発明者は、間隔が異なる少なくとも３つのピンホールが形成されたマスクパターンを使用し、被写体像の重畳度が所定範囲内となるようにそれぞれの間隔を設定することにより、カメラと被写体との距離に拘わらず被写体のプライバシーを保護できるとの知見を得て、本開示を想到するに至った。
　次に、本開示の各態様について説明する。
　本開示の一態様に係るマルチピンホールカメラは、イメージセンサと、前記イメージセンサの受光面と被写体との間に配置され、第１のピンホール、当該第１のピンホールに隣接する第２のピンホール、及び当該第２のピンホールに隣接する第３のピンホールを含む複数のピンホールが形成されたマスクパターンを有するマスクと、を備え、前記第１のピンホールと前記第２のピンホールとの間隔は、第１の間隔に設定されており、前記第１の間隔は、前記マルチピンホールカメラから所定距離未満の距離に位置する被写体を前記マルチピンホールカメラによって撮像したときに、前記第１のピンホール及び前記第２のピンホールを介して撮像された二つの被写体像の重畳度が所定範囲内となる間隔であり、前記第２のピンホールと前記第３のピンホールとの間隔は、前記第１の間隔より狭い第２の間隔に設定されており、前記第２の間隔は、前記マルチピンホールカメラから前記所定距離以上の距離に位置する前記被写体を前記マルチピンホールカメラによって撮像したときに、前記第２のピンホール及び前記第３のピンホールを介して撮像された二つの被写体像の重畳度が前記所定範囲内となる間隔である。
　この構成によれば、被写体がマルチピンホールカメラから所定距離未満の距離に位置する場合には、第１のピンホール及び第２のピンホールを介して撮像された二つの被写体像の重畳度が所定範囲内となることにより、多重像によって複数の被写体像が人間による視覚的には個別認識不能な状態となるため、被写体のプライバシーが保護される。また、被写体がマルチピンホールカメラから所定距離以上の距離に位置する場合には、第２のピンホール及び第３のピンホールを介して撮像された二つの被写体像の重畳度が所定範囲内となることにより、多重像によって複数の被写体像が人間による視覚的には個別認識不能な状態となるため、被写体のプライバシーが保護される。その結果、マルチピンホールカメラと被写体との距離に拘わらず、被写体のプライバシーを保護することが可能となる。
　上記態様において、前記マルチピンホールカメラから前記所定距離以上の距離に位置する前記被写体を前記マルチピンホールカメラによって撮像したときに、前記第１のピンホール及び前記第２のピンホールを介して撮像された二つの被写体像の重畳度は前記所定範囲外となり、前記マルチピンホールカメラから前記所定距離未満の距離に位置する前記被写体を前記マルチピンホールカメラによって撮像したときに、前記第２のピンホール及び前記第３のピンホールを介して撮像された二つの被写体像の重畳度は前記所定範囲外となる。
　この構成によれば、第１の間隔及び第２の間隔の一方のみでは被写体のプライバシーを完全には保護できない場合であっても、第１の間隔及び第２の間隔を同一のマスク内に混在させることによって、マルチピンホールカメラと被写体との距離に拘わらず、被写体のプライバシーを保護することが可能となる。
　上記態様において、前記マルチピンホールカメラは、被写体からの光を前記イメージセンサ上に結像させる光学系を有しないとよい。
　この構成によれば、マルチピンホールカメラは被写体からの光をイメージセンサ上に結像させる光学系を有しないため、マルチピンホールカメラによる撮像画像に意図的にボケを作り出すことができる。その結果、当該撮像画像に含まれている被写体の人間による視覚的な識別がさらに困難となるため、被写体のプライバシーの保護効果をより高めることが可能となる。
　上記態様において、前記第１のピンホール、前記第２のピンホール、及び前記第３のピンホールの各々の開口面積は互いに異なるとよい。
　この構成によれば、各ピンホールの開口面積が異なることによって、各被写体像のボケの程度も異なる。ボケの程度が異なる複数の被写体像が混在することによって、撮像画像がより複雑となる。その結果、当該撮像画像に含まれている被写体の人間による視覚的な識別がさらに困難となるため、被写体のプライバシーの保護効果をより高めることが可能となる。
　上記態様において、前記マスクを複数の領域に区画したときに、前記マスクパターンにおいて、前記複数の領域の各々に、前記第１のピンホールと前記第２のピンホールとから成るピンホールセットと、前記第３のピンホールと前記第２のピンホールとから成るピンホールセットとが含まれているとよい。
　この構成によれば、マルチピンホールカメラの正面方向と被写体の位置との成す角度が大きい場合であっても、被写体からの光を、被写体に近い側のピンホールセットを介してイメージセンサに到達させることができる。その結果、多重像を実現可能な画角を拡げることが可能となる。
　上記態様において、前記マスクパターンにおいて、前記第１のピンホールと前記第２のピンホールとを有するピンホールセットの数は、前記第３のピンホールと前記第２のピンホールとを有するピンホールセットの数よりも多いとよい。
　この構成によれば、被写体がマルチピンホールカメラから所定距離未満の距離に位置する場合に、有効な多重像の重畳の数を増やすことができる。その結果、撮像画像に含まれている被写体の人間による視覚的な識別がさらに困難となるため、被写体のプライバシーの保護効果をより高めることが可能となる。マルチピンホールカメラと被写体との距離が近くなりやすい室内での運用に特に有効である。
　上記態様において、前記マスクパターンにおいて、前記第３のピンホールと前記第２のピンホールとを有するピンホールセットの数は、前記第１のピンホールと前記第２のピンホールとを有するピンホールセットの数よりも多いとよい。
　この構成によれば、被写体がマルチピンホールカメラから所定距離以上の距離に位置する場合に、有効な多重像の重畳の数を増やすことができる。その結果、撮像画像に含まれている被写体の人間による視覚的な識別がさらに困難となるため、被写体のプライバシーの保護効果をより高めることが可能となる。マルチピンホールカメラと被写体との距離が遠くなりやすい屋外での運用に特に有効である。
　本開示の一態様に係る画像識別システムは、上記態様に係るマルチピンホールカメラと、前記マルチピンホールカメラによって撮像された画像を、画像識別モデルに基づいて識別する識別部と、前記識別部による識別結果を出力する出力部と、を備える。
　この構成によれば、被写体がマルチピンホールカメラから所定距離未満の距離に位置する場合には、第１のピンホール及び第２のピンホールを介して撮像された二つの被写体像の重畳度が所定範囲内となることにより、多重像によって複数の被写体像が人間による視覚的には個別認識不能な状態となるため、被写体のプライバシーが保護される。また、被写体がマルチピンホールカメラから所定距離以上の距離に位置する場合には、第２のピンホール及び第３のピンホールを介して撮像された二つの被写体像の重畳度が所定範囲内となることにより、多重像によって複数の被写体像が人間による視覚的には個別認識不能な状態となるため、被写体のプライバシーが保護される。その結果、マルチピンホールカメラと被写体との距離に拘わらず、被写体のプライバシーを保護することが可能となる。
　本開示は、このような方法に含まれる特徴的な各構成をコンピュータに実行させるためのコンピュータプログラムとして実現し、あるいは、このコンピュータプログラムに基づいて動作する装置又はシステムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な不揮発性の記録媒体として流通させ、あるいは、インターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
　なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施形態において、各々の内容を組み合わせることもできる。
　以下、本開示の実施形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
　（本開示の実施形態）
　図１は、本開示の実施形態にかかる画像識別システム１０の構成を示す模式図である。画像識別システム１０は、学習装置２０と識別装置３０とを備えている。識別装置３０は、マルチピンホールカメラ３０１と、識別部１０６と、出力部１０７とを有している。識別部１０６は、ＣＰＵなどのプロセッサ及び半導体メモリなどのメモリを含む。出力部１０７は、表示装置又はスピーカなどを含む。また、学習装置２０は、学習データベース１０２と、ＰＳＦ情報取得部１０３と、データベース修正部１０４と、学習部１０５とを有している。学習データベース１０２は、ＨＤＤ、ＳＳＤ、又は半導体メモリなどの記憶部を含む。ＰＳＦ情報取得部１０３、データベース修正部１０４、及び学習部１０５は、ＣＰＵなどのプロセッサを含む。
　図２は、画像識別システム１０の主要な処理の手順を示すフローチャートである。当該フローチャートには、識別装置３０による画像の識別処理の流れが示されている。まずマルチピンホールカメラ３０１は、画像識別対象の被写体が所在する対象エリアを撮影し、その撮影によって得られた計算撮像画像を識別部１０６に入力する（ステップＳ１０１）。次に識別部１０６は、学習済みの画像識別モデルを使用して、当該計算撮像画像を識別する（ステップＳ１０２）。この画像識別モデルは、学習装置２０による学習によって作成された画像識別モデルである。次に出力部１０７は、識別部１０６による識別の結果を出力する。各ステップの処理の詳細については後述する。
　マルチピンホールカメラ３０１は、人間による視覚的な認識が容易な通常の画像を撮像する通常のカメラと異なり、多重像によって人間による視覚的な認識が困難な画像である計算撮像画像を撮像する。計算撮像画像は、撮像画像自体を人が見ても被写体を認識できないが、撮像した計算撮像画像に対して画像処理を実施することで、人が認識又は識別部１０６が識別できる画像を生成することができる画像である。
　図３は、レンズレスで構成されたマルチピンホールカメラ３０１の構造を模式的に示す図である。図３に示すマルチピンホールカメラ３０１は、マルチピンホールマスク３０１ａと、ＣＭＯＳなどのイメージセンサ３０１ｂとを有する。マルチピンホールマスク３０１ａは、イメージセンサ３０１ｂと被写体３０２との間で、イメージセンサ３０１ｂの受光面から一定距離離れて配置されている。マルチピンホールマスク３０１ａとイメージセンサ３０１ｂとの間には、ＩＲカット及び反射防止のためのカバーガラスが配置されていても良い。カバーガラスとイメージセンサ３０１ｂとは、離間していても良いし接触していても良い。カバーガラスとマルチピンホールマスク３０１ａとは、離間していても良いし接触していても良い。イメージセンサ３０１ｂ、カバーガラス、及びマルチピンホールマスク３０１ａは、これらを保持するホルダー又はピラーが内部に形成された筐体によって支持されている。
　マルチピンホールマスク３０１ａは、この順に直線状に並ぶ複数のピンホール３０１ａａ～３０１ａｃを有している。ピンホール３０１ａａとピンホール３０１ａｂとの間隔はＬ１であり、ピンホール３０１ａｂとピンホール３０１ａｃとの間隔はＬ２（＜Ｌ１）である。本実施形態の例において、ピンホール３０１ａａ～３０１ａｃの形状及び開口面積は互いに等しい。複数のピンホール３０１ａａ～３０１ａｃのことを、マルチピンホールとも呼ぶ。イメージセンサ３０１ｂは、各ピンホール３０１ａａ～３０１ａｃを通じて被写体３０２の画像を取得する。ピンホールを通じて取得される画像を、ピンホール画像と呼ぶ。なお、複数のピンホール３０１ａａ～３０１ａｃは必ずしも直線状に並ぶ必要はなく、例えば不等辺三角形の各頂点に各ピンホール３０１ａａ～３０１ａｃが配置される態様であってもよい。
　各ピンホール３０１ａａ～３０１ａｃの位置及び大きさによって被写体３０２のピンホール画像は異なるため、イメージセンサ３０１ｂは、複数のピンホール画像がわずかにずれて重なり合った状態（つまり多重像）の重畳画像を取得する。複数のピンホール３０１ａａ～３０１ａｃの位置関係は、イメージセンサ３０１ｂ上に投影される複数のピンホール画像の位置関係（つまり多重像の重畳の度合い）に影響を与え、ピンホール３０１ａａ～３０１ａｃの大きさは、ピンホール画像のボケの度合いに影響を与える。
　マルチピンホールマスク３０１ａを用いることによって、位置及びボケの程度が異なる複数のピンホール画像を重畳して取得することが可能である。つまり、視点の異なる複数の画像が重畳され、又は、レンズを使用しないことで被写体像が合焦しにくい等の影響により、人間による視覚的な認識が困難な計算撮像画像を取得することが可能である。そのため、撮影される画像は多重像かつボケた画像となり、これらの影響によって被写体３０２のプライバシーが保護された画像を取得することができる。また、各ピンホールの数、位置、及び大きさを変えることで、多重像の重畳の度合い及びボケの度合いの異なる画像を取得することができる。つまり、ユーザによってマルチピンホールマスク３０１ａを容易に脱着できる構造とし、マスクパターンが異なる複数種類のマルチピンホールマスク３０１ａを予め用意しておき、使用するマルチピンホールマスク３０１ａをユーザが自由に交換できる構成としてもよい。
　なお、このようなマスクの変更は、マスクの交換以外にも、
・イメージセンサの前に回動自在に取り付けられているマスクを、ユーザが任意に回転させる、
・イメージセンサの前に取り付けられている板の任意の箇所に、ユーザが穴を開ける、
・空間光変調器などを利用した液晶マスクなどを用いることにより、マスク内の各位置の透過率を任意に設定する、
・ゴムなどの伸縮可能な材質を用いてマスクを成形し、外力の印加によってマスクを物理的に変形させることによって、穴の位置及び大きさを変える、
など、様々な方法で実現できる。以下、これらの変形例について順に説明する。
　＜ユーザがマスクを任意に回転させる変形例＞
　図１３Ａ～１３Ｄは、ユーザが任意にマスクを回転可能なマルチピンホールカメラ３０１の構成を示す模式図である。図１３Ａは、ユーザが任意にマスクを回転可能なマルチピンホールカメラ３０１の概観を示し、図１３Ｂはその断面の模式図を示している。マルチピンホールカメラ３０１は、その筐体４０１に対して回転可能なマルチピンホールマスク３０１ａを有し、マルチピンホールマスク３０１ａには把持部４０２が接続されている。ユーザは、把持部４０２を把持して操作することにより、筐体４０１に対してマルチピンホールマスク３０１ａを固定又は回転することが可能である。このような機構は、把持部４０２にネジを設け、そのネジを締めることでマルチピンホールマスク３０１ａを固定し、ネジを緩めることでマルチピンホールマスク３０１ａを回転可能とすればよい。図１３Ｃおよび図１３Ｄは、把持部４０２を９０度回転させた際に、マルチピンホールマスク３０１ａが９０度回転する模式図を示している。このように、この把持部４０２をユーザが動かすことにより、マルチピンホールマスク３０１ａを回転させることができる。
　また、ユーザが任意にマスクを回転可能なマルチピンホールカメラ３０１においては、マルチピンホールマスク３０１ａは、図１３Ｃに示すように、回転に対して非対称なピンホール配置としてもかまわない。このようにすることで、ユーザがマスクを回転することで、様々なマルチピンホールパターンを実現することが可能である。
　もちろん、ユーザが任意にマスクを回転可能なマルチピンホールカメラ３０１の構成は、把持部４０２を有しない構成であってもかまわない。図１４Ａ，１４Ｂは、ユーザが任意にマスクを回転可能なマルチピンホールカメラ３０１の別の構成例を示した模式図である。図１４Ａは、ユーザが任意にマスクを回転可能なマルチピンホールカメラ３０１の別の構成例の概観を示し、図１４Ｂはその断面の模式図を示している。マルチピンホールマスク３０１ａは鏡筒４１１に固定されている。また、イメージセンサ３０１ｂは、別の鏡筒４１２に設置されており、鏡筒４１１と鏡筒４１２とはネジの構成で回転可能な状態となっている。すなわち、鏡筒４１１の外側に鏡筒４１２があり、その接合部である鏡筒４１１の外側にはオスネジが、鏡筒４１２の内側にはメスネジがきられている。また、鏡筒４１１のオスネジには、まず、固定具４１３が装着され、その後、鏡筒４１２が装着されている。固定具４１３にも、鏡筒４１２同様、メスネジがきられている。このような構成とすることで、鏡筒４１１を鏡筒４１２へねじ込む際、固定具４１３の鏡筒４１１へのねじ込み位置によって、ねじ込みの深さが変化し、マルチピンホールカメラ３０１の回転角を変更することができる。
　図１４Ｃ，１４Ｄは、固定具４１３の鏡筒４１１へのねじ込み位置によって、ねじ込みの深さが変化し、マルチピンホールカメラ３０１の回転角が変化することを示す模式図である。図１４Ｃは、固定具４１３を鏡筒４１１の奥までねじ込んだ場合の模式図であり、図１４Ｄは、固定具４１３を鏡筒４１１の途中までしかねじ込まない場合の模式図である。図１４Ｃに示したように、固定具４１３を鏡筒４１１の奥までねじ込んだ場合は、鏡筒４１２は鏡筒４１１の奥までねじ込むことができる。一方、図１４Ｄに示したように、固定具４１３を鏡筒４１１の途中までしかねじ込まない場合は、鏡筒４１２は鏡筒４１１の途中までしかねじ込むことができない。そのため、固定具４１３の鏡筒４１１へのねじ込み位置によって、ねじ込みの深さが変化し、マルチピンホールマスク３０１ａの回転角を変化させることができる。
　＜ユーザがマスクに穴を開ける変形例＞
　図１５は、イメージセンサ３０１ｂの前に取り付けられているマスク３０１ａｂの任意の箇所に、ユーザが穴を開けられるマルチピンホールカメラ３０１の断面の模式図である。図１５において、図１３と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。マスク３０１ａｂには当初、ピンホールは存在しない。このマスク３０１ａｂに、ユーザが針などを用いて任意の箇所に複数の穴を開けることで、任意の形状のマルチピンホールマスクを作成することができる。
　＜ 空間光変調器を利用し、マスク内の各位置の透過率を任意に設定する変形例＞
　図１６は、空間光変調器４２０を利用し、マスク内の各位置の透過率を任意に設定する構成のマルチピンホールカメラ３０１の断面の模式図である。図１６において、図１５と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。空間光変調器４２０は液晶などで構成され、画素ごとの透過率を変更することができる。この空間光変調器４２０が、マルチピンホールマスクとして機能する。透過率の変更は、図略の空間光変調器制御部によって制御することができる。そのため、事前に用意した複数の透過率パターンから、ユーザが任意のパターンを選択することで、様々なマスクパターン（マルチピンホールパターン）を実現することができる。
　＜ 外力の印加によってマスクを変形させる変形例＞
　図１７，１８Ａ～１８Ｆは、外力の印加によってマスクを変形する構成のマルチピンホールカメラ３０１の断面の模式図である。図１７において、図１５と同じ構成要素に関しては同じ参照符号を付し、説明を省略する。マルチピンホールマスク３０１ａｃは複数のマスク３０１ａ１、３０１ａ２，３０１ａ３から構成され、各マスクは独立に外力を印加する駆動部（図示せず）を有している。図１８Ａ～１８Ｃはマルチピンホールマスク３０１ａｃを構成する３枚のマスク３０１ａ１、３０１ａ２，３０１ａ３を説明するための模式図である。ここで、各マスクは扇型と円環が組み合わされた形状である。もちろん、この構成は一例であり、形状は扇形に限らず、構成する枚数も３枚に限らない。各マスクには、１個又は複数個のピンホールが形成されている。なお、マスクにはピンホールが形成されていなくても構わない。マスク３０１ａ１には２つのピンホール３０１ａａ１，３０１ａａ２が形成されており、マスク３０１ａ２には１つのピンホール３０１ａａ３が形成されており、マスク３０１ａ３には２つのピンホール３０１ａａ４，３０１ａａ５が形成されている。これら３つのマスク３０１ａ１～３０１ａ３を外力の印加によって動かすことで、様々なマルチピンホールパターンを作成することができる。
　図１８Ｄ～１８Ｆは３枚のマスク３０１ａ１～３０１ａ３で構成された３種類のマルチピンホールマスク３０１ａｃを示している。図略の各駆動部が各マスク３０１ａ１～３０１ａ３を異なる態様で動かすことによって、図１８Ｄ，１８Ｅでは５個のピンホールを有するマスクが構成され、図１８Ｆでは４個のピンホールを有するマスクが構成されている。このようなマスクの駆動部は、オートフォーカスなどで広く利用されている超音波モータやリニアモータを用いて実現することができる。このように、外力の印加によってマルチピンホールマスク３０１ａｃにおけるピンホールの数や位置を変化させることができる。
　もちろん、マルチピンホールマスクはピンホールの数や位置だけではなく、その大きさも変化させるようにしても構わない。図１９Ａ～１９Ｃは、外力の印加によってマスクを変形する構成のマルチピンホールカメラ３０１におけるマルチピンホールマスク３０１ａｄの構成を説明するための模式図である。マルチピンホールマスク３０１ａｄは複数のピンホールを有し、弾性を有する材質で構成され、四隅を独立に制御可能な４個の駆動部４２１～４２４を有する。もちろん、駆動部の数は４個である必要はない。各駆動部４２１～４２４を動かすことにより、マルチピンホールマスク３０１ａｄにおけるピンホールの位置や大きさを変化させることができる。
　図１９Ｂは、駆動部４２１～４２４を同じ向きに動かした場合の様子を示した模式図である。この図において、駆動部４２１～４２４に示した矢印の向きが、各駆動部の駆動方向を示している。この場合、マルチピンホールマスク３０１ａｄは駆動部の駆動方向に平行移動する。一方、図１９Ｃは、駆動部４２１～４２４をマルチピンホールマスク３０１ａｄの中心部から外向きの方向に動かした場合の様子を示した模式図である。この場合、マルチピンホールマスク３０１ａｄは弾性に従って引き延ばされるため、ピンホールのサイズが大きくなる。このような駆動部４２１～４２４は、オートフォーカスなどで広く利用されている超音波モータやリニアモータを用いて実現することができる。このように、外力の印加によってマルチピンホールマスク３０１ａｃにおけるピンホールの位置や大きさを変化させることができる。
　また、同じ被写体かつ同じマルチピンホールマスクであっても、マルチピンホールカメラ３０１と被写体３０２との距離によって、多重像の態様が異なる。そこで、本実施形態に係るマルチピンホールカメラ３０１では、ピンホール同士の間隔Ｌ１，Ｌ２を異ならせることにより、被写体３０２とマルチピンホールカメラ３０１との距離に拘わらず、有効な多重像の重畳を有する画像を撮像する。
　ピンホール同士の間隔Ｌ１，Ｌ２を異ならせることの有効性について説明する。
　図４Ａは、ピンホール同士の間隔を狭い間隔Ｌ２で統一した場合のマルチピンホールマスク３０１ａの構成を示す模式図である。図４Ｂは、マルチピンホールカメラ３０１の遠方に位置する被写体３０２を撮像したときの撮像画像を示す図である。図４Ｃは、マルチピンホールカメラ３０１の近傍に位置する被写体３０２を撮像したときの撮像画像を示す図である。ピンホール３０１ａａ～３０１ａｃを通して撮像された像が、それぞれ被写体像３０２ａ～３０２ｃとなる。
　図４Ａに示したようにピンホール同士の間隔を狭い間隔Ｌ２で統一した場合、各ピンホール３０１ａａ～３０１ａｃを通して撮像された被写体像３０２ａ～３０２ｃのズレ量は小さくなる。
　従って、被写体３０２がマルチピンホールカメラ３０１の遠方に位置することによって被写体像が小さい場合には、各ピンホールを通して撮像された被写体像は、隣接するピンホールを通して撮像された被写体像に有効に重畳する。そのため、図４Ｂに示すように、有効な多重像の重畳によって被写体３０２のプライバシーが保護された画像を撮像できる。
　一方、被写体３０２がマルチピンホールカメラ３０１の近傍に位置することによって被写体像が大きい場合には、各ピンホールを通して撮像された被写体像は、隣接するピンホールを通して撮像された被写体像にわずかに重畳する。しかし、被写体像の大きさに対してズレ量が小さすぎるため、図４Ｃに示すように、有効な多重像の重畳とはならず、被写体３０２のプライバシーを保護することができない。
　図５Ａは、ピンホール同士の間隔を広い間隔Ｌ１で統一した場合のマルチピンホールマスク３０１ａの構成を示す模式図である。図５Ｂは、マルチピンホールカメラ３０１の遠方に位置する被写体３０２を撮像したときの撮像画像を示す図である。図５Ｃは、マルチピンホールカメラ３０１の近傍に位置する被写体３０２を撮像したときの撮像画像を示す図である。
　図５Ａに示したようにピンホール同士の間隔を広い間隔Ｌ１で統一した場合、各ピンホール３０１ａａ～３０１ａｃを通して撮像された被写体像３０２ａ～３０２ｃのズレ量は大きくなる。
　従って、被写体３０２がマルチピンホールカメラ３０１の近傍に位置することによって被写体像が大きい場合には、各ピンホールを通して撮像された被写体像は、隣接するピンホールを通して撮像された被写体像に有効に重畳する。そのため、図５Ｃに示すように、有効な多重像の重畳によって被写体３０２のプライバシーが保護された画像を撮像できる。
　一方、被写体３０２がマルチピンホールカメラ３０１の遠方に位置することによって被写体像が小さい場合には、被写体像の大きさに対してズレ量が大きすぎるため、各ピンホールを通して撮像された被写体像同士は重畳しなくなり、被写体３０２のプライバシーを保護することができない。
　このように、ピンホール同士の間隔をＬ１又はＬ２で統一した場合には、マルチピンホールカメラ３０１からの距離が異なる全ての被写体３０２に関して、有効な多重像の重畳によってプライバシー保護された画像を撮像することは困難である。
　本実施形態に係るマルチピンホールカメラ３０１は、複数のピンホール３０１ａａ～３０１ａｃを有するマルチピンホールマスク３０１ａを有し、ピンホール同士の間隔Ｌ１，Ｌ２が異なることを特徴とする。
　図６Ａは、本実施形態に係るマルチピンホールマスク３０１ａの構成を示す模式図である。ピンホール３０１ａａとピンホール３０１ａｂとの間隔はＬ１であり、ピンホール３０１ａｂとピンホール３０１ａｃとの間隔はＬ２（＜Ｌ１）である。図６Ａには３つのピンホール３０１ａａ～３０１ａｃが形成された例を示すが、ピンホールの数は３つ以上であればよい。図６Ｂは、マルチピンホールカメラ３０１の遠方に位置する被写体３０２を撮像したときの撮像画像を示す図である。図６Ｃは、マルチピンホールカメラ３０１の近傍に位置する被写体３０２を撮像したときの撮像画像を示す図である。
　図６Ａに示すように、ピンホール同士の間隔Ｌ１，Ｌ２は異なっている。従って、各ピンホール３０１ａａ～３０１ａｃを通して撮像された被写体像３０２ａ～３０２ｃは異なるズレ量で重畳される。そのため、被写体３０２がマルチピンホールカメラ３０１の遠方に位置することによって被写体像が小さい場合であっても、被写体３０２がマルチピンホールカメラ３０１の近傍に位置することによって被写体像が大きい場合であっても、各ピンホールを通して撮像された被写体像は、隣接するピンホールを通して撮像された被写体像に重畳する。その結果、図６Ｂ及び図６Ｃに示すように、有効な多重像の重畳によって被写体３０２のプライバシーが保護された画像を撮像することができる。
　具体的に、被写体３０２がマルチピンホールカメラ３０１から所定距離Ｄ以上の遠方に位置することによって被写体像が小さい場合（図６Ｂ）には、狭い間隔Ｌ２のピンホール３０１ａｂ，３０１ａｃを通して撮像された被写体像３０２ｂ，３０２ｃ同士が、小さいズレ量によって有効に重畳する。また、被写体３０２がマルチピンホールカメラ３０１から所定距離Ｄ未満の近傍に位置することによって被写体像が大きい場合（図６Ｃ）には、広い間隔Ｌ１のピンホール３０１ａａ，３０１ａｂを通して撮像された被写体像３０２ａ，３０２ｂ同士が、大きいズレ量によって有効に重畳する。これにより、有効な多重像の重畳によって被写体３０２のプライバシーが保護された画像を撮像することができる。なお、「有効に重畳する」とは、互いに隣接する二つのピンホールを通して得られた二つの被写体像の重畳度（面積の重なり度合い）が、所定の許容範囲内であることを意味する。例えば、許容範囲の下限値は３０％であり、上限値は９０％である。つまり、互いに隣接する二つのピンホールを通して得られた二つの被写体像の重畳度が３０％以上９０％以下の場合には、第三者が撮像画像を見ても被写体を個別に識別できないということである。
　図７は、マルチピンホールカメラ３０１と被写体３０２との所定距離Ｄを示す図である。所定距離Ｄは、間隔Ｌ１，Ｌ２、イメージセンサ３０１ｂとマルチピンホールマスク３０１ａとの距離、並びにイメージセンサ３０１ｂのセンササイズ及び画素ピッチなどに応じて設定され、例えば５ｍに設定される。この例では、被写体３０２がマルチピンホールカメラ３０１から５ｍ未満の距離に位置する場合には、広い間隔Ｌ１が有効に作用することによって被写体像３０２ａ，３０２ｂ同士が有効に重畳する。一方、被写体３０２がマルチピンホールカメラ３０１から５ｍ以上の距離に位置する場合には、狭い間隔Ｌ２が有効に作用することによって被写体像３０２ｂ，３０２ｃ同士が有効に重畳する。
　なお、マルチピンホールカメラ３０１から所定距離Ｄ以上の距離に位置する被写体３０２をマルチピンホールカメラ３０１によって撮像した場合（図６Ｂ）には、広い間隔Ｌ１のピンホール３０１ａａ，３０１ａｂを介して撮像された二つの被写体像３０２ａ，３０２ｂの重畳度は、上記所定範囲外（下限値３０％未満）となる。同様に、マルチピンホールカメラ３０１から所定距離Ｄ未満の距離に位置する被写体３０２をマルチピンホールカメラ３０１によって撮像した場合（図６Ｃ）には、狭い間隔Ｌ２のピンホール３０１ａｂ，３０１ａｃを介して撮像された二つの被写体像３０２ｂ，３０２ｃの重畳度は、上記所定範囲外（上限値９０％以上）となる。このように間隔Ｌ１，Ｌ２の一方のみでは被写体３０２のプライバシーを完全には保護できない場合であっても、間隔Ｌ１，Ｌ２を同一のマルチピンホールマスク３０１ａ内に混在させることによって、マルチピンホールカメラ３０１と被写体３０２との距離に拘わらず、被写体３０２のプライバシーを保護することが可能となる。
　また、図３に示したように、マルチピンホールカメラ３０１においては、被写体３０２からの光をイメージセンサ３０１ｂ上に結像させるための光学系（レンズ、プリズム、ミラー等）を有しないことが望ましい。光学系を省略することにより、カメラの小型軽量化、コスト削減、及びデザイン性の向上を図ることができるとともに、当該カメラによる撮像画像に意図的にボケを作り出すことができる。その結果、当該撮像画像に含まれている被写体３０２の人間による視覚的な識別がさらに困難となるため、被写体３０２のプライバシーの保護効果をより高めることが可能となる。
　図１を参照して、画像識別システム１０を説明する。識別部１０６は、学習装置２０の学習結果である画像識別モデルを利用して、マルチピンホールカメラ３０１によって撮像された対象エリアの画像に関して、その画像に含まれている人物（その行動及び表情などを含む）、自動車、自転車、又は信号などの被写体のカテゴリ情報と、各被写体の位置情報とを識別する。画像識別モデルを作成するための学習には、多層ニューラルネットワークを用いたDeep Learningなどの機械学習を利用すればよい。
　出力部１０７は、前記識別部１０６が識別した結果を出力する。これは、インターフェイス部を有し、画像、テキスト、又は音声などによって識別結果をユーザに提示してもよいし、機器制御部を有して識別結果によって制御方法を変更するようにしてもかまわない。
　学習装置２０は、学習データベース１０２と、ＰＳＦ情報取得部１０３と、データベース修正部１０４と、学習部１０５とを有する。学習装置２０は、実際に対象エリアの撮像に使用される計算撮像カメラ１０１に関するＰＳＦ情報に対応させて、識別部１０６が使用する画像識別モデルを作成するための学習を行う。
　また、図８は、画像識別システム１０の学習装置２０の主要な処理の手順を示すフローチャートである。
　まず、ＰＳＦ情報取得部１０３は、計算撮像カメラ１０１によってどのような計算撮像画像が撮像されるのか、その計算撮像画像の態様を表す情報であるＰＳＦ情報を取得する（ステップＳ２０１）。これは、マルチピンホールカメラ３０１が送信部を、ＰＳＦ情報取得部１０３が受信部を有し、有線または無線でＰＳＦ情報をやり取りしても構わないし、ＰＳＦ情報取得部１０３がインターフェイスを有し、ユーザがＰＳＦ情報取得部１０３にＰＳＦ情報を入力するようにしても構わない。
　ＰＳＦ（Point Spread Function）は、マルチピンホールカメラ又は符号化開口カメラなどのカメラの伝達関数であり、以下の関係で表現される。
　ｙ＝ｋ＊ｘ
　ここで、ｙはマルチピンホールカメラ３０１で撮影されたボケのある計算撮像画像、ｋはＰＳＦ、ｘは撮影したシーンをボケのない通常のカメラで撮影した通常画像である。また、＊は畳み込み演算子である。
　ＰＳＦは、点光源をマルチピンホールカメラ３０１で撮影することで取得することができる。これは、ＰＳＦがカメラのインパルス応答に対応することからわかる。つまり、点光源をマルチピンホールカメラ３０１で撮像することによって得られた点光源の撮像画像そのものが、マルチピンホールカメラ３０１の撮像画像情報としてのＰＳＦである。ここで、点光源の撮像画像としては、点灯状態の点光源を含む撮像画像と、消灯状態の当該点光源を含む撮像画像との差分画像を使用することが望ましい。
　次に、データベース修正部１０４は、学習データベース１０２に含まれるボケのない通常画像を取得し、学習部１０５は、学習データベース１０２に含まれるアノテーション情報を取得する（ステップＳ２０２）。
　次にデータベース修正部１０４は、ＰＳＦ情報取得部１０３が取得したＰＳＦ情報を利用して、学習データベース１０２を修正する（ステップＳ２０３）。例えば、識別部１０６が環境内の人物の行動を識別する場合、学習データベース１０２は、ボケのない通常のカメラで撮影した複数の通常画像と、各画像において人物がどの位置でどんな行動をしていたかという、各画像に付与されるアノテーション情報（正解ラベル）とを保持している。通常のカメラを利用する場合、そのカメラで撮影した画像に対してアノテーション情報を付与すればよいが、マルチピンホールカメラ３０１の計算撮像画像を取得する場合、その画像を人が見ても何が写っているかがわからないため、アノテーション情報を付与することが難しい。また、マルチピンホールカメラ３０１と大きく異なる通常カメラで撮影した画像で学習処理を実施しても、識別部１０６は識別精度が高くならない。そこで、通常のカメラで撮影した画像に対して事前にアノテーション情報を付与したデータベースを学習データベース１０２として保持し、マルチピンホールカメラ３０１のＰＳＦ情報に合わせて撮影画像のみを変形させることで、そのマルチピンホールカメラ３０１に合わせた学習データセットを作成し、学習処理を実施することで識別精度を向上させる。そのために、データベース修正部１０４は、事前に用意した通常のカメラでの撮影画像ｚに対して、ＰＳＦ情報取得部１０３が取得したＰＳＦ情報を利用して、以下の補正画像ｙを計算する。
　ｙ＝ｋ＊ｚ
　ここで、ｋはＰＳＦ情報取得部１０３が取得したＰＳＦ情報を示しており、＊は畳み込み演算子を示している。
　学習部１０５は、こうしてデータベース修正部１０４で計算した補正画像と、学習データベース１０２から取得したアノテーション情報とを利用して、学習処理を実施する（ステップＳ２０４）。例えば、識別部１０６が多層のニューラルネットワークによって構築されている場合には、補正画像及びアノテーション情報を教師データとして用いて、Deep Learningによる機械学習を行う。予測誤差の補正アルゴリズムとしては、Back Propagation法などを用いればよい。これにより、学習部１０５は、マルチピンホールカメラ３０１によって撮像された画像を識別部１０６が識別するための画像識別モデルを作成する。補正画像は、マルチピンホールカメラ３０１のＰＳＦ情報に合致した画像となっているため、こうした学習により、マルチピンホールカメラ３０１に適合した学習が可能になり、識別部１０６は高精度の識別処理ができる。
　本実施形態によれば、被写体３０２がマルチピンホールカメラ３０１から所定距離Ｄ未満の距離に位置する場合には、第１のピンホール３０１ａａ及び第２のピンホール３０１ａｂを介して撮像された二つの被写体像３０２ａ，３０２ｂの重畳度が所定範囲内となることにより、多重像の重畳によって複数の被写体像が人間による視覚的には個別認識不能な状態となるため、被写体３０２のプライバシーが保護される。また、被写体３０２がマルチピンホールカメラ３０１から所定距離Ｄ以上の距離に位置する場合には、第２のピンホール３０１ａｂ及び第３のピンホール３０１ａｃを介して撮像された二つの被写体像３０２ｂ，３０２ｃの重畳度が所定範囲内となることにより、多重像の重畳によって複数の被写体像が人間による視覚的には個別認識不能な状態となるため、被写体３０２のプライバシーが保護される。その結果、マルチピンホールカメラ３０１と被写体３０２との距離に拘わらず、被写体３０２のプライバシーを保護することが可能となる。
　（第１変形例）
　上記実施形態ではピンホール３０１ａａ～３０１ａｃの開口面積は互いに等しく設定されたが、直径又は形状を異ならせることにより、ピンホール３０１ａａ～３０１ａｃの開口面積を互いに異ならせてもよい。
　図９は、第１変形例に係るマルチピンホールカメラ３０１の構造を示す模式図である。図９に示した例では、中央のピンホール３０１ａｂの開口面積が最も小さく、ピンホール３０１ａｂに近い右側のピンホール３０１ａｃの開口面積が次に小さく、ピンホール３０１ａｂから遠い左側のピンホール３０１ａａの開口面積が最も大きく設定されている。ピンホールの開口面積が大きいほど被写体像のボケの程度も大きくなるため、この例によると、ピンホール３０１ａａに対応する被写体像３０２ａのボケの程度が最も大きくなる。
　本変形例によれば、各ピンホール３０１ａａ～３０１ａｃの開口面積が異なることによって、各被写体像３０２ａ～３０２ｃのボケの程度も異なる。ボケの程度が異なる複数の被写体像３０２ａ～３０２ｃが混在することによって、撮像画像がより複雑となる。その結果、当該撮像画像に含まれている被写体３０２の人間による視覚的な識別がさらに困難となるため、被写体３０２のプライバシーの保護効果をより高めることが可能となる。
　（第２変形例）
　図１０は、第２変形例に係るマルチピンホールカメラ３０１の構造を示す模式図である。図１０に示した例では、イメージセンサ３０１ｂの受光面に対向するマルチピンホールマスク３０１ａの主面が、右上の領域ＵＲ、右下の領域ＬＲ、左上の領域ＵＬ、及び左下の領域ＬＬの、合計４つの領域に区画されている。当該主面の中央に、１つのピンホール３０１ａｃが形成されている。また、複数の領域ＵＲ，ＬＲ，ＵＬ，ＬＬの各々に、ピンホール３０１ａｂ，３０１ａａが形成されている。これにより、マルチピンホールマスク３０１ａのマスクパターンにおいて、複数の領域ＵＲ，ＬＲ，ＵＬ，ＬＬの各々に、第１のピンホール３０１ａａと第２のピンホール３０１ａｂとを有する広い間隔Ｌ１のピンホールセットと、第３のピンホール３０１ａｃと第２のピンホール３０１ａｂとを有する狭い間隔Ｌ２のピンホールセットとが含まれている。なお、マルチピンホールマスク３０１ａの主面が区画される領域の数は、４つに限定されず、２つ以上であればよい。
　この図のマルチピンホールカメラ３０１において、奥側にイメージセンサ３０１ｂ、手前側に被写体３０２が存在するとする。このとき、被写体３０２が右下の領域に存在する場合、領域ＵＬのピンホール３０１ａｂ，３０１ａａを通った光は、イメージセンサ３０１ｂが十分に大きくない、または入射角が大きすぎる場合、イメージセンサ３０１ｂでは受光されなくなる。つまり、マルチピンホールマスク３０１ａのピンホールが領域ＵＬ上にしか存在しない場合、右下の領域に存在する被写体３０２は撮影されないか、ピンホール３０１ａｃのみを通った光のみが受光され、多重像にならず、被写体３０２のプライバシーが保護できない。同様に、被写体３０２が左上の領域に存在する場合、領域ＬＲのピンホール３０１ａｂ，３０１ａａを通った光は、イメージセンサ３０１ｂが十分に大きくない、または入射角が大きすぎる場合、イメージセンサ３０１ｂでは受光されなくなる。つまり、マルチピンホールマスク３０１ａのピンホールが領域ＬＲ上にしか存在しない場合、左上の領域に存在する被写体３０２は撮影されないか、ピンホール３０１ａｃのみを通った光のみが受光され、多重像にならず、被写体３０２のプライバシーが保護できない。一方、本変形例のマルチピンホールカメラ３０１は、複数の領域ＵＲ，ＬＲ，ＵＬ，ＬＬの各々に、第１のピンホール３０１ａａと第２のピンホール３０１ａｂとを有する広い間隔Ｌ１のピンホールセットと、第３のピンホール３０１ａｃと第２のピンホール３０１ａｂとを有する狭い間隔Ｌ２のピンホールセットとが含まれているため、被写体３０２の位置によらず、被写体のプライバシーを保護することができる。
　本変形例によれば、マルチピンホールカメラ３０１の正面方向と被写体３０２の位置との成す角度が大きい場合（つまり被写体がカメラの正面に対して斜めに位置する場合）であっても、被写体３０２からの光を、被写体３０２に近い側のピンホールセットを介してイメージセンサ３０１ｂに到達させることができる。その結果、多重像の重畳を実現可能なマルチピンホールカメラ３０１の画角を拡げることが可能となる。
　（第３変形例）
　図１１は、第３変形例の第１の例に係るマルチピンホールカメラ３０１の構造を示す模式図である。マルチピンホールマスク３０１ａの主面の中央に、１つのピンホール３０１ａｂが形成されている。また、ピンホール３０１ａｂの周囲に、３つのピンホール３０１ａａと１つのピンホール３０１ａｃとが形成されている。これにより、第１のピンホール３０１ａａと第２のピンホール３０１ａｂとから成る広い間隔Ｌ１のピンホールセットの数（この例では３セット）は、第３のピンホール３０１ａｃと第２のピンホール３０１ａｂとから成る狭い間隔Ｌ２のピンホールセットの数（この例では１セット）よりも多い。なお、各ピンホールセットの数はこの例には限定されない。
　この構成によれば、被写体３０２がマルチピンホールカメラ３０１から所定距離Ｄ未満の距離に位置する場合に、被写体像のズレ量が大きい、有効な多重像の重畳の数を増やすことができる。その結果、撮像画像に含まれている被写体３０２の人間による視覚的な識別がさらに困難となるため、被写体３０２のプライバシーの保護効果をより高めることが可能となる。マルチピンホールカメラ３０１と被写体３０２との距離が近くなりやすい室内での運用に特に有効である。
　図１２は、第３変形例の第２の例に係るマルチピンホールカメラ３０１の構造を示す模式図である。マルチピンホールマスク３０１ａの主面の中央に、１つのピンホール３０１ａｂが形成されている。また、ピンホール３０１ａｂの周囲に、１つのピンホール３０１ａａと３つのピンホール３０１ａｃとが形成されている。これにより、第３のピンホール３０１ａｃと第２のピンホール３０１ａｂとから成る狭い間隔Ｌ２のピンホールセットの数（この例では３セット）は、第１のピンホール３０１ａａと第２のピンホール３０１ａｂとから成る広い間隔Ｌ１のピンホールセットの数（この例では１セット）よりも多い。なお、各ピンホールセットの数はこの例には限定されない。
　この構成によれば、被写体３０２がマルチピンホールカメラ３０１から所定距離Ｄ以上の距離に位置する場合に、被写体像のズレ量が小さい、有効な多重像の重畳の数を増やすことができる。その結果、撮像画像に含まれている被写体３０２の人間による視覚的な識別がさらに困難となるため、被写体３０２のプライバシーの保護効果をより高めることが可能となる。マルチピンホールカメラ３０１と被写体３０２との距離が遠くなりやすい屋外での運用に特に有効である。
　本開示に係る学習方法及び識別方法は、被写体のプライバシー保護が必要な環境での画像識別システムに特に有用である。

Claims (8)

  1. 　マルチピンホールカメラであって、
    　イメージセンサと、
    　前記イメージセンサの受光面と被写体との間に配置され、第１のピンホール、当該第１のピンホールに隣接する第２のピンホール、及び当該第２のピンホールに隣接する第３のピンホールを含む複数のピンホールが形成されたマスクパターンを有するマスクと、
    を備え、
    　前記第１のピンホールと前記第２のピンホールとの間隔は、第１の間隔に設定されており、
    　前記第１の間隔は、前記マルチピンホールカメラから所定距離未満の距離に位置する被写体を前記マルチピンホールカメラによって撮像したときに、前記第１のピンホール及び前記第２のピンホールを介して撮像された二つの被写体像の重畳度が所定範囲内となる間隔であり、
    　前記第２のピンホールと前記第３のピンホールとの間隔は、前記第１の間隔より狭い第２の間隔に設定されており、
    　前記第２の間隔は、前記マルチピンホールカメラから前記所定距離以上の距離に位置する前記被写体を前記マルチピンホールカメラによって撮像したときに、前記第２のピンホール及び前記第３のピンホールを介して撮像された二つの被写体像の重畳度が前記所定範囲内となる間隔である、マルチピンホールカメラ。
  2. 　前記マルチピンホールカメラから前記所定距離以上の距離に位置する前記被写体を前記マルチピンホールカメラによって撮像したときに、前記第１のピンホール及び前記第２のピンホールを介して撮像された二つの被写体像の重畳度は前記所定範囲外となり、
    　前記マルチピンホールカメラから前記所定距離未満の距離に位置する前記被写体を前記マルチピンホールカメラによって撮像したときに、前記第２のピンホール及び前記第３のピンホールを介して撮像された二つの被写体像の重畳度は前記所定範囲外となる、請求項１に記載のマルチピンホールカメラ。
  3. 　前記マルチピンホールカメラは、被写体からの光を前記イメージセンサ上に結像させる光学系を有しない、請求項１又は２に記載のマルチピンホールカメラ。
  4. 　前記第１のピンホール、前記第２のピンホール、及び前記第３のピンホールの各々の開口面積は互いに異なる、請求項１～３のいずれか一つに記載のマルチピンホールカメラ。
  5. 　前記マスクを複数の領域に区画したときに、前記マスクパターンにおいて、前記複数の領域の各々に、前記第１のピンホールと前記第２のピンホールとを有するピンホールセットと、前記第３のピンホールと前記第２のピンホールとを有するピンホールセットとが含まれている、請求項１～４のいずれか一つに記載のマルチピンホールカメラ。
  6. 　前記マスクパターンにおいて、前記第１のピンホールと前記第２のピンホールとを有するピンホールセットの数は、前記第３のピンホールと前記第２のピンホールとを有するピンホールセットの数よりも多い、請求項１～４のいずれか一つに記載のマルチピンホールカメラ。
  7. 　前記マスクパターンにおいて、前記第３のピンホールと前記第２のピンホールとを有するピンホールセットの数は、前記第１のピンホールと前記第２のピンホールとを有するピンホールセットの数よりも多い、請求項１～４のいずれか一つに記載のマルチピンホールカメラ。
  8. 　請求項１～７のいずれか一つに記載のマルチピンホールカメラと、
    　前記マルチピンホールカメラによって撮像された画像を、画像識別モデルに基づいて識別する識別部と、
    　前記識別部による識別結果を出力する出力部と、
    を備える、画像識別システム。
PCT/JP2021/024214 2020-07-16 2021-06-25 マルチピンホールカメラ及び画像識別システム WO2022014305A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022536222A JPWO2022014305A1 (ja) 2020-07-16 2021-06-25
CN202180048147.6A CN115836246A (zh) 2020-07-16 2021-06-25 多针孔相机和图像识别系统
US18/089,055 US20230138710A1 (en) 2020-07-16 2022-12-27 Multi-pinhole camera and image identification system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-122188 2020-07-16
JP2020122188 2020-07-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/089,055 Continuation US20230138710A1 (en) 2020-07-16 2022-12-27 Multi-pinhole camera and image identification system

Publications (1)

Publication Number Publication Date
WO2022014305A1 true WO2022014305A1 (ja) 2022-01-20

Family

ID=79555241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024214 WO2022014305A1 (ja) 2020-07-16 2021-06-25 マルチピンホールカメラ及び画像識別システム

Country Status (4)

Country Link
US (1) US20230138710A1 (ja)
JP (1) JPWO2022014305A1 (ja)
CN (1) CN115836246A (ja)
WO (1) WO2022014305A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140086A1 (ja) * 2022-01-21 2023-07-27 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2023171358A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 マスクユニット、並びに撮像装置および撮像装置の作動方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026844A (ja) * 2011-07-21 2013-02-04 Nikon Corp 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
WO2019054092A1 (ja) * 2017-09-12 2019-03-21 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
JP2019200772A (ja) * 2018-05-14 2019-11-21 パナソニックＩｐマネジメント株式会社 識別システム、識別装置、識別方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026844A (ja) * 2011-07-21 2013-02-04 Nikon Corp 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
WO2019054092A1 (ja) * 2017-09-12 2019-03-21 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
JP2019200772A (ja) * 2018-05-14 2019-11-21 パナソニックＩｐマネジメント株式会社 識別システム、識別装置、識別方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023140086A1 (ja) * 2022-01-21 2023-07-27 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理システム及び情報処理方法
WO2023171358A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 マスクユニット、並びに撮像装置および撮像装置の作動方法

Also Published As

Publication number Publication date
CN115836246A (zh) 2023-03-21
JPWO2022014305A1 (ja) 2022-01-20
US20230138710A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US9710887B1 (en) Display apparatus and method of displaying using context display and projectors
US20230138710A1 (en) Multi-pinhole camera and image identification system
EP0971540B1 (en) Omniview motionless camera orientation system
Nishino et al. The world in an eye [eye image interpretation]
CN103534726A (zh) 用于全景摄影的位置传感器辅助的图像配准
JP2005218103A (ja) 顔の特徴を表示する装置
JP2006352851A (ja) 複合カメラによりシーンの画像を取得する方法及び装置
JP2008011456A (ja) 撮像装置
KR101820632B1 (ko) 겹눈 구조 렌즈 및 그 렌즈를 포함한 카메라 시스템
US11030719B2 (en) Imaging unit, display apparatus and method of displaying
US20050141089A1 (en) Multi-dimensional imaging apparatus, systems, and methods
EP3472667B1 (en) System and method for capturing horizontal disparity stereo panorama
EP3074823B1 (en) Hologram for alignment
JP2010217984A (ja) 像検出装置及び像検出方法
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
JP7021036B2 (ja) 電子機器及び通知方法
JP2000134641A (ja) 立体写真撮影用デジタルスチルカメラ
US20080231763A1 (en) System and method for displaying and capturing images
JP5571895B2 (ja) 情報表示装置
EP3602253B1 (fr) Système de transparence pour caméra banalisée
EP3330773B1 (en) Display apparatus and method of displaying using context display and projectors
Lin et al. Single-view-point omnidirectional catadioptric cone mirror imager
KR20110111830A (ko) 안경형 마우스 시스템
JP2014155635A (ja) 視線計測装置、注視領域の表示方法および注視点のガウス分布の表示方法
WO2023127589A1 (ja) 画像識別システム、画像識別方法、画像識別プログラム及び画像識別プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21843364

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536222

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21843364

Country of ref document: EP

Kind code of ref document: A1