WO2020178905A1 - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- WO2020178905A1 WO2020178905A1 PCT/JP2019/008118 JP2019008118W WO2020178905A1 WO 2020178905 A1 WO2020178905 A1 WO 2020178905A1 JP 2019008118 W JP2019008118 W JP 2019008118W WO 2020178905 A1 WO2020178905 A1 WO 2020178905A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pattern
- light
- imaging
- imaging device
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 120
- 238000011161 development Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 42
- 210000003462 vein Anatomy 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 69
- 238000010586 diagram Methods 0.000 description 29
- 239000004973 liquid crystal related substance Substances 0.000 description 10
- 125000006850 spacer group Chemical group 0.000 description 9
- 239000000463 material Substances 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000002834 transmittance Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 150000004770 chalcogenides Chemical class 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001465 metallisation Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present invention relates to an imaging device and an imaging method, and more particularly to an imaging device and an imaging method integrated with a display function.
- Patent Document 1 it is possible to detect a finger to be operated by the formed optical sensor and to photograph a subject in the immediate vicinity like a scanner. However, it is not possible to shoot a distant subject like a camera.
- One embodiment of the present invention is an imaging device, which displays an image and modulates the transmitted light based on a photographing pattern, and an image display portion in which part of incident light is transmitted to the rear surface to be transmitted light.
- An optical modulator that uses modulated light, an image sensor that converts the modulated light into an electric signal to generate a sensor image, and a predetermined developing device that has the same size as the shooting pattern of the projected image of the modulated light.
- a focus setting unit that determines a ratio of enlarging the pattern and sets a focus distance to the subject.
- FIG. 1 It is a figure which shows the structural example of the display function integrated imaging device which concerns on 1st Embodiment. It is a figure which shows the structural example of the imaging function integrated display part. It is a figure which shows the example of the area covered by an image sensor. It is a figure which shows another example of the area
- FIG. 1 It is a figure explaining that a projection image from a pattern substrate surface to an image sensor by incline incidence parallel light produces in-plane shift.
- A is a figure which shows an example of the projected image of a photography pattern
- (b) is a figure which shows an example of a development pattern
- (c) is a figure which shows an example of the development image by a cross correlation calculation. ..
- FIG. 1 It is a flowchart which shows an example of the image processing of the image processing unit. It is a figure explaining projection of the pattern for photography when an object is in infinite distance. It is a figure explaining expansion of a pattern for photography when an object is in a finite distance. It is a figure which shows the other structural example of a display function integrated imaging device. It is a figure which shows the structural example which looked at the imaging device with a display function based on 2nd Embodiment from the side. It is a figure which shows the example of the XX' cross section of the display function integrated imaging device which concerns on 2nd Embodiment. It is a perspective view of an example of an image pickup device with a display function integrated according to a second embodiment. FIG.
- FIG. 11 is a perspective view of another example of the display function integrated imaging device according to the second embodiment. It is a figure which shows the structural example of the image display part. It is a figure which shows another example of a finger rest guide.
- A is a figure which shows the example of arrangement
- (b) is a figure which shows the example of arrangement
- (c) is another example of arrangement
- FIG. It is a figure which shows the structural example of the imaging device with a built-in display function which concerns on 2nd Embodiment.
- 7 is a flowchart illustrating an example of an authentication operation of the display function integrated imaging device.
- FIG. 9 is a timing chart showing an example of use of face authentication control of an image pickup apparatus integrated with a display function. It is a perspective view of an example of a display function integrated type imaging device concerning a 3rd embodiment. It is a figure which shows the example of the cross section of the fingerprint photographing part. It is a figure which shows another example of the cross section of a fingerprint imaging part. It is a figure which shows the structural example of the display function integrated imaging part which concerns on 4th Embodiment by a cross section. It is a timing chart which shows an example of display control concerning a 4th embodiment. It is a figure which shows the structural example of the display function integrated imaging part which concerns on 4th Embodiment. It is a figure which shows the structural example of the display function integrated imaging part which concerns on 4th Embodiment by a cross section. It is a figure which shows the image correction example of the vein authentication.
- FIG. 1 is a diagram illustrating a configuration example of a display function integrated image pickup apparatus according to the first embodiment.
- the display function integrated image pickup device 101 includes a display function integrated image pickup unit 102, an image processing unit 107, a controller 108, and an image input unit 109.
- FIG. 2 is a diagram showing a configuration example of an image pickup unit with a display function.
- the display function-integrated imaging unit 102 includes an image sensor 103, a spacer 104, a photographing pattern 105, and an image display unit 106.
- an image sensor 103 and the image display unit 106 are integrated with each other, they are not widely used due to various circumstances, and thus are integrated in this embodiment. Treat it as a non-incarnation. However, if it can be realized in principle even if it is integrated, it is possible to replace it by using an integrated unit.
- the image sensor 103 converts an optical image obtained by receiving light into image data and outputs the image data to the image processing unit 107. More specifically, the image sensor 103 has pixel units 103a, which are light receiving elements, regularly arranged in a grid pattern on the surface. The image sensor 103 converts the optical image received by the pixel into an image signal which is an electric signal. This image signal is subjected to image processing by the image processing unit 107 and output, so that it becomes an image (developed image) in which the subject or the like can be recognized mainly with the naked eye.
- the spacer 104 is fixed in close contact with the light receiving surface of the image sensor 103.
- the spacer 104 is made of a material such as glass or plastic that is transparent to the wavelength (mostly visible light) to be captured.
- a material transparent to far infrared rays such as germanium, silicon, chalcogenide can be used.
- the photographing pattern 105 is formed by vapor-depositing a material (metal) that blocks a wavelength to be photographed, such as aluminum and chromium, on a material that transmits the wavelength to be photographed by, for example, a sputtering method used in a semiconductor process. It is formed.
- the metallization pattern and the non-evaporation pattern create a shade. For example, it is conceivable to form a concentric lattice pattern in which the spacing of the lattice pattern, that is, the pitch is narrowed in the imaging pattern 105 in inverse proportion to the radius from the center toward the outside.
- the formation of the photographing pattern 105 is not limited to this, and may be formed by any means as long as it can realize the modulation of the transmittance, for example, by changing the density by printing with an inkjet printer or the like. Good.
- the image display unit 106 is realized by a configuration including a backlight, a liquid crystal, and a color filter like a liquid crystal display, or a configuration in which an element itself emits light like an organic EL (Electro Luminescence) display.
- the image sensor 103 is arranged on the back surface, the image display unit 106 needs to have a structure that allows light to pass through to some extent.
- a semi-transparent liquid crystal display has been generalized in recent years, and some organic EL displays can transmit light through a gap between light emitting pixels due to its structure, and therefore it is preferable to use this.
- FIG. 3 is a diagram showing an example of a region covered by the image sensor.
- FIG. 4 is a diagram showing another example of the area covered by the image sensor.
- the image sensor 103 may cover a smaller area than the image display unit 106 or may cover substantially the same surface.
- the image sensor 103 covers a smaller area than the image display unit 106, a part of the image display unit 106 becomes the imaging range of the image sensor 103, and when the image sensor 103 covers substantially the same surface as the image display unit 106.
- the image display unit 106 has almost the entire image capturing range of the image sensor 103.
- the incident light is transmitted through the image display unit 106 and the shooting pattern 105, and the transmitted light is modulated in light intensity by the image display unit 106 and the shooting pattern 105.
- the modulated light is received by the image sensor 103.
- the spacer 104 and the photographing pattern 105 can be collectively referred to as an optical modulator.
- the controller 108 When outputting the output signal from the image processing unit 107 to a host computer or an external recording medium, the controller 108 converts the data format so as to be compatible with an interface such as USB (Universal Serial Bus) and outputs the converted signal.
- an interface such as USB (Universal Serial Bus)
- the controller 108 When the output signal from the image processing unit 107 is displayed on the display function-integrated imaging unit 102, the controller 108 outputs the output signal to the image input unit 109.
- the controller 108 can display an image on the image display unit 106 by outputting the same to the image input unit 109 if there is other information to be output to the display function integrated image pickup unit 102.
- the controller 108 can be realized by, for example, a unit including a processor, a memory, a communication device, a processing circuit, and the like. Further, the controller 108 may be connected to or provided with an input/output interface such as USB, HDMI (High-Definition Multimedia Interface), or the like, which is connected to an external device.
- the image processing unit 107 and the image input unit 109 are realized by, for example, a processing circuit.
- the image processing unit 107, the controller 108, and the image input unit 109 may be integrally configured.
- FIG. 5 is a diagram showing an example in which the display function integrated imaging device is applied to a smartphone.
- a general small-sized information terminal (smartphone) 501 includes a display 502, a camera 503, a biometric authentication sensor 504, and a speaker 505.
- the display 502, the camera 503, and the biometric sensor 504 can be substituted by the display function-integrated imaging unit 102.
- the speaker 505 by disposing the speaker 505 on the back surface of the screen and using the glass on the surface of the display as a vibrating body, it is possible to realize a bezelless smartphone having a small screen frame even with the same housing size.
- FIG. 6 is a diagram showing an external appearance example in which the display function integrated imaging device is applied to a smartphone.
- the image sensor 103 covers a smaller area than the image display unit 106, the image sensor 103 can be arranged near the center of the image display unit 106.
- application software such as video chat, which gives a sense of discomfort when the line of sight to the camera is shifted, it is possible to naturally align the line of sight with the partner.
- the shooting pattern 105 is a concentric pattern in which the pitch becomes finer in inverse proportion to the radius from the center, and using the radius r from the reference coordinates, which is the center of the concentric circle, and the coefficient ⁇ ,
- FIG. 7 is a diagram showing an example of a shooting pattern.
- FIG. 7 shows the Gabor zone plate of formula (1).
- FIG. 8 is a diagram showing another example of the shooting pattern.
- FIG. 8 shows a Fresnel zone plate obtained by binarizing the equation (1) with a threshold value of 1.
- ⁇ indicates the initial phase of the transmittance distribution in the equation (1).
- the projected image (FIG. 10 (a)) of the photographing pattern 105 is projected with a k-shift as shown in the equation (2).
- a bright spot (FIG. 10 (c)) having a shift amount k is obtained by calculating a cross-correlation function between the projected image and the developing pattern 1001 (FIG. 10 (b)).
- a Gabor zone plate or a Fresnel zone plate is used as a photographing pattern 105 (also referred to as a first pattern) and a development pattern 1001 (also referred to as a second pattern). Therefore, the developing pattern 1001 uses the initial phase ⁇ ,
- F represents the operation of the Fourier transform
- u is the frequency coordinate in the x direction
- ⁇ with parentheses is the delta function.
- the equation after the Fourier transform is also a Fresnel zone plate or a Gabor zone plate. Therefore, the development pattern 1001 may be generated based on this mathematical formula.
- This bright spot can be obtained at the position k on the original x axis.
- This bright spot indicates a luminous flux at infinity, and is nothing but an image taken by the image pickup device 101 with an integrated display function of FIG.
- the formula (8) is shown in the form of integral, but actually, it is also possible to calculate the total sum of the combinations of ⁇ as shown in FIG. 11 (a diagram showing an example of the combination of initial phases in the fringe scan). The same effect can be obtained.
- ⁇ may be set so as to equally divide the angle between 0 and 2 ⁇ .
- equation (8) integrates the multiplication result of equation (6) with respect to ⁇
- a liquid crystal display element capable of electrically switching and displaying a plurality of initial phase patterns shown in FIG. 11 (a diagram showing an example of a combination of initial phases in the fringe scan).
- a shooting pattern 105 configured by, for example, is used. After acquiring the four images by synchronously controlling the switching timing of the liquid crystal display element and the shutter timing of the image sensor 103, the image processing unit 107 executes a fringe scan calculation.
- FIG. 12 a diagram showing an example of an imaging pattern
- a plurality of initial phase patterns shown in FIG. 11 are arranged in respective divided areas.
- the captured image pattern 105 is used.
- the image processing unit 107 divides the acquired image into four images corresponding to the respective regions of the initial phase, and executes the fringe scan calculation.
- the imaging pattern 105 may be configured using four or more patterns as shown in FIG. 13 (a diagram showing another example of the imaging pattern).
- the fringe scan operation may be performed while overlappingly shifting the fringe scan unit 1301 including four patterns as in 1302. This makes it possible to obtain a higher definition image.
- the imaging pattern 105 may be realized by a single eye as shown in FIG. 8 or a compound eye as shown in FIG. 14 (a diagram showing still another example of the imaging pattern). Further, since the developing method of the present embodiment is based on the cross-correlation calculation, a pattern not limited to the Fresnel zone plate or the Gabor zone plate, for example, as shown in FIG. 15 (a diagram showing still another example of the photographing pattern). You may implement
- FIG. 16 is a flowchart showing an example of image processing of the image processing unit 107.
- the image processing unit 107 acquires a plurality of images output from the image sensor 103 by time division or space division fringe scanning, or acquires a plurality of images from one image output from the image sensor 103. Then, the fringe scan calculation is performed based on the equation (10) (step S1601). Next, the image processing unit 107 generates a development pattern 1001 to be used in the development processing (step S1602), performs a two-dimensional convolution operation as a cross-correlation operation of the fringe scan result (step S1603), and an image of the image to be captured. Is developed (also called restoration).
- the image processing unit 107 performs contrast enhancement processing (step S1604), color balance adjustment (step S1605), and the like on the image obtained in step S1603, and outputs it as a captured image.
- the image processing by the image processing unit 107 ends.
- the calculation may be performed by using the Fast Fourier Transform (FFT: Fast Fourier Transform).
- FIG. 17 is a diagram illustrating the projection of the shooting pattern 105 when the object is at an infinite distance.
- FIG. 17 shows the state of projection of the photographing pattern 105 on the image sensor 103 when the subject is far away.
- FIG. 18 is a diagram for explaining the enlargement of the shooting pattern 105 when the object is at a finite distance.
- the spherical wave from the point 1801 forming the object irradiates the imaging pattern 105 and the projected image 1802 is projected on the image sensor 103, the projected image is enlarged substantially uniformly. Note that this enlargement ratio ⁇ is calculated by using the distance f from the shooting pattern 105 to the point 1801.
- a single bright spot cannot be obtained by performing cross-correlation calculation using the transmittance distribution of the developing pattern designed for parallel light as it is. Therefore, if the developing pattern 1001 is enlarged in accordance with the uniformly enlarged projection image of the photographing pattern 105, a single bright spot can be obtained again for the enlarged projection image 1802. it can. To this end, correction can be performed by setting the coefficient ⁇ of the developing pattern 1001 to ⁇ / ⁇ 2 . As a result, the light from the point 1801 at a distance not necessarily infinity can be selectively reproduced. This makes it possible to focus on an arbitrary position for shooting.
- FIG. 19 is a diagram showing another configuration example of the image pickup apparatus 101 with an integrated display function.
- the display function integrated imaging apparatus 101 includes a focus setting unit 1901.
- the focus setting unit 1901 can acquire a focus distance input by operating a hardware switch such as a knob or a GUI (Graphical User Interface) provided in the display function integrated imaging apparatus 101 via the controller 108, The focus distance information is output to the image processing unit 107.
- the focus setting unit 1901 may be realized in the controller 108. That is, it can be said that the focus setting unit 1901 can set the focus distance to the subject by determining the ratio of enlarging the predetermined development pattern so that the size of the projection image of the modulated light becomes equal to the size of the shooting pattern. ..
- the sensor image contains depth information in this way, it is possible to calculate distance information. According to the above method and configuration, it is possible to realize a thin imaging device integrated with a display function.
- the second embodiment is different from the first embodiment in that the image pickup device 101 with an integrated display function is applied to biometric authentication using a finger vein.
- FIG. 20 is a diagram showing a configuration example of the display function-integrated imaging device according to the second embodiment viewed from the side. It is said that veins around the first joint or the second joint are suitable for photographing a finger vein.
- a smartphone is often operated by a touch operation with a fingertip on the display surface, but a finger vein to be photographed is located at a position apart from the fingertip, and the distance from the display to the finger 2001 is not limited to zero, and is limited to a finite distance. Yes The distance depends on the usage. Therefore, shooting is not easy.
- FIG. 21 is a diagram showing an example of a cross section taken along the line XX′ of the display function integrated image pickup device according to the second embodiment.
- the light source 2101 is arranged on the back surface of the image display unit 106 so as to irradiate the finger 2001. Since blood has an absorption sensitivity to near infrared rays having a frequency of about 800 nm (nanometers), the near infrared rays are suitable as illumination light when photographing a finger vein. Therefore, the light source 2101 irradiates the lower part of the finger 2001 (palm side) through the image display unit 106. The finger 2001 illuminated with the near-infrared rays is imaged by the display function-integrated imaging unit 102 to image the shape of the finger vein.
- the place where the finger 2001 is placed is not limited.
- FIG. 6 when the image sensor 103 is a part of the display function integrated image pickup unit 102, it is necessary to prompt the user to place the finger 2001 within the image capturing range. An example thereof is shown in FIG.
- FIG. 22 is a perspective view of an example of a display function integrated imaging device according to the second embodiment.
- a finger placement guide 2201 is displayed on the image display unit 106 in order to prompt the user to place the finger 2001 within the image capturing range.
- the finger placement guide 2201 is preferably displayed in a positional relationship such that when the fingertip is touched within the circle, the first or second joint of the finger is located immediately above the image sensor 103. It should be noted that this positional relationship may be displayed differently for each user depending on the sex, age, setting value at the time of finger registration, etc. of the user.
- FIG. 23 is a perspective view of another example of the display function integrated image pickup device according to the second embodiment.
- the light source 2101 is arranged on the lower back surface of the image display unit 106, but some pixels of the image display unit 106 may be used as the light source 2301. In that case, only red pixels having a frequency close to near infrared rays are displayed on the display at the position of the light source 2301.
- the pixel unit 103a is configured to include a near-infrared light emitting element 2404 that emits near infrared rays in addition to the normal red light emitting element 2401, the green light emitting element 2402, and the blue light emitting element 2403. Even better.
- the light source 2301 is arranged not laterally below the finger 2001 but laterally displaced, but by illuminating the light source 2301 directly under the finger 2001 or in a circular shape, the shadow of the finger is hardly generated. You may do so.
- FIG. 22 shows an example in which the finger placement guide 2201 has a ring shape
- the finger placement guide 2201 may be a square, a finger illustration, or the like as long as the position where the finger is placed can be easily understood.
- FIG. 25 is a diagram showing another example of the finger placement guide.
- This finger placement guide 2501 imitates the shape of a finger, guides the position of the fingertip and the arrangement angle of the finger, and its contour emits red light.
- FIG. 26 is a diagram showing an arrangement example of light sources.
- FIG. 26A is a diagram showing an arrangement example of light sources for one sensor
- FIG. 26B is a diagram showing an arrangement example of light sources for a plurality of sensors
- FIG. It is a figure which shows another arrangement example of a light source.
- FIG. 26A shows an arrangement example of the light source 2601 with respect to one image sensor 103, and the light source 2601 has a ring shape so as to surround the periphery of the image sensor 103.
- FIG. 26B shows an arrangement example of the light sources for the plurality of image sensors 103.
- the light source 2602 has a short linear shape and is annularly arranged so as to fill the space between the image sensors 103 annularly arranged. ing.
- FIG. 26C another arrangement example of the light sources for the plurality of image sensors 103 is shown, and the first light source 2603 and the second light source 2604 are annularly connected inside and outside the image sensor 103, respectively. Are arranged.
- FIG. 27 is a diagram showing a configuration example of a display function integrated imaging device according to the second embodiment.
- the display function integrated image pickup device 101 according to the second embodiment includes a distance calculation unit 2701 in addition to the display function integrated image pickup unit 102, the image processing unit 107, the controller 108, and the image input unit 109.
- the distance calculation unit 2701 calculates distance information from the captured sensor image, and obtains a set distance at which the finger vein is in focus from the distance to the finger.
- FIG. 28 is a flowchart showing an example of the authentication operation of the image pickup device with a display function.
- the finger rest guide 2201 is displayed on the image display unit 106 (S2801), and the touch sensor of the smartphone detects that the user has touched the fingertip in the finger rest guide 2201 (S2802), the light source 2101, the light source 2301, and the light source.
- the light source 2601, the light source 2602, the first light source 2603, and the second light source 2604 are caused to emit light to illuminate the finger (S2803), and the finger vein is imaged by the display function integrated imaging unit 102 (S2804).
- the developing process is performed using the distance at which the photographed finger vein is in focus, which is calculated by the distance calculation unit 2701. Therefore, it is possible to develop a focused finger vein image regardless of how the user's finger is placed.
- This finger vein image is matched with the image of the registered finger vein by an authentication algorithm in a smartphone or a remote server (not shown), and authentication processing is performed to determine whether the person is the original person (S2805).
- the authentication process is ended, and if it is not recognized (in the case of "NO” in S2806), the step S2801 is performed. The process of S2806 is repeated a certain number of times.
- the image size of the finger vein image to be captured is different from the registered finger vein image depending on the distance between the display function-integrated imaging unit 102 and the user's finger. In some cases, matching may not be successfully performed even if the finger veins are the same.
- FIG. 37 is a diagram showing an image correction example of vein authentication.
- the matching cannot be performed successfully as described above, it is desirable to adjust the photographed vein image so that the developed image is enlarged/reduced according to the distance to the finger so that the vein image has substantially the same size.
- the width of the finger may be calculated as shown in FIG. 37 using the developed image and the distance information, and the captured vein image may be adjusted by enlarging or reducing so that the width of the finger becomes the same size.
- the finger may be obliquely arranged.
- the image may not be enlarged/reduced at a fixed ratio, but may be enlarged/reduced at different ratios according to the area in the image, or the trapezoidal correction may be performed.
- rotation correction tilt correction
- the application to finger vein authentication has been described as an example, but since the distance information can be acquired by the sensor under the back surface of the display, face authentication using images of the face 2901 separated by a certain distance as shown in FIG. It can be applied to other methods such as.
- the third embodiment is different from the first embodiment in that the display function integrated imaging device 101 is applied to biometric authentication using a fingerprint as well as a finger vein.
- FIG. 30 shows the configuration.
- FIG. 30 is a perspective view of an example of a display function integrated type imaging device according to the third embodiment.
- the mechanism for finger vein authentication such as the image sensor 103 and the light source 2301 has the same configuration as that of the second embodiment.
- the display function-integrated imaging device includes a fingerprint capturing unit 3001 and a light source 3002. The fingerprint photographing unit 3001 will be described with reference to FIG.
- FIG. 31 is a diagram showing an example of a cross section of the fingerprint photographing unit.
- the fingerprint photographing unit 3001 includes an image sensor 3101, a collimator 3102, and an image display unit 106.
- the collimator 3102 may have a structure like a pinhole array or a structure like a microlens array that allows visible light to pass vertically.
- the light passing through the image display unit 106 is limited to the light from directly above by the collimator 3102 and is received by the image sensor 3101.
- the image signal output from the image sensor 3101 is image-processed by the image processing unit 107 and is output to the controller 108.
- the light source 3002 under the fingertip is caused to emit light, and the fingerprint is illuminated with visible light to photograph the fingerprint.
- both fingerprint information can be captured at the same time by using visible light for the fingerprint and near-infrared light for the finger vein, and the authentication accuracy can be greatly improved. Therefore, impersonation becomes difficult and a more secure authentication device can be realized.
- the spatial area required for authentication is large in order to capture the fingerprint and the finger vein at the same time. There may be a case where it is desired to reduce the spatial area used for authentication. In that case, a configuration in which the authentication of the fingerprint and the finger vein is switched in a time division is effective. A configuration for realizing such time division switching is shown in FIG.
- FIG. 32 is a diagram showing another example of the cross section of the fingerprint photographing unit.
- the image sensor 103, the photographing pattern 3201, the collimator 3202, and the image display unit 106 are included. It should be noted here that the fingerprint is photographed with visible light, while the finger vein is photographed with near infrared rays.
- the collimator 3202 used for fingerprint imaging plays the role of a pinhole for visible light, but has a characteristic of being almost transparent to near infrared rays
- the imaging pattern 3201 used for finger vein imaging is for near infrared rays. Therefore, it should be made of a material that plays the role of a photographing pattern but has characteristics that are nearly transparent to visible light.
- the collimator 3202 is created by providing countless small pinholes in an IR transparent filter material that transmits near infrared rays or a resin coated with IR transparent ink, and the shooting pattern 3201 blocks IR in the visible light transparent material. It is created by applying a metal or the like to form FZA.
- the collimator 3202 functions as a spacer for transmitting near-infrared rays at the time of finger vein imaging, thereby enabling finger vein imaging by the image sensor 103 and the imaging pattern 3201. At the time of fingerprint imaging, imaging is performed.
- the pattern 3201 allows visible light to pass therethrough, so that fingerprint imaging can be performed by the image sensor 103 and the collimator 3202.
- the image sensor 103 is smaller than the image display unit 106 as shown in FIG. 3, but the image sensor 103 has a size similar to that of the image display unit 106 as shown in FIG. If the area under the fingertip is used for fingerprint imaging and the area under the first or second joint is used for finger vein imaging, the area under the fingertip can be switched regardless of how the user's finger is placed. Needless to say, it is possible to perform authentication.
- FIG. 33 is a cross-sectional view showing a configuration example of the display function integrated type image pickup unit according to the fourth embodiment.
- the display function-integrated imaging unit 102 includes an image/pattern display unit 3301, a backlight unit 3302, and an image sensor 103.
- the image/pattern display unit 3301 is configured using, for example, a liquid crystal element having a pixel structure.
- the image/pattern display unit 3301 displays an image as the display of the smartphone and the backlight unit 3302 is turned on to display the image. To be visible.
- the image/pattern display unit 3301 is caused to display a pattern based on FIG. 7 (Gabor zone plate) or FIG. 8 (Fresnel zone plate).
- the backlight unit 3302 is turned off.
- FIG. 34 is a timing chart showing an example of display control according to the fourth embodiment.
- “display” and “imaging” are repeated in a predetermined unit time.
- the image/pattern display unit 3301 displays the “image” to be displayed at the timing of “display” by the display function integrated type imaging apparatus 101, and at the timing of “imaging”, the “pattern”, that is, the Gabor zone plate or the Fresnel zone plate. Is displayed.
- the backlight portion 3302 is turned on during "display” and turned off during "imaging”.
- FIG. 35 is a diagram showing a configuration example of a display function integrated image pickup unit according to the fourth embodiment.
- the display function integrated image pickup apparatus 101 according to the fourth embodiment includes a display function integrated image pickup unit 102, an image processing unit 107, a controller 108, an image input unit 109, and a pattern control unit 3501.
- the pattern control unit 3501 controls temporal or spatial switching between the image displayed on the image/pattern display unit 3301 and the development pattern (Gabor zone plate or Fresnel zone plate).
- the pattern control unit 3501 controls the light modulator and the image display unit, operates as a light modulator by displaying the shooting pattern on the image display unit at the time of shooting, and sets the time for displaying the image on the image display unit. It can be said that the control is performed such that the time for displaying the shooting pattern is exclusive or the area for displaying the image and the area for displaying the shooting pattern are exclusive.
- the pattern control unit 3501 also performs display control of Fresnel zone plates having different phases when performing the time-division fringe scan.
- High efficiency can be achieved by realizing the image/pattern display unit 3301 with a material/structure that is transparent to the wavelength of the imaging target when the backlight unit 3302 is turned off.
- a material/structure that is transparent to the wavelength of the imaging target when the backlight unit 3302 is turned off.
- a holographic element or an optical waveguide such as a prism array
- FIG. 36 is a cross-sectional view showing a configuration example of the display function integrated image pickup unit according to the fourth embodiment.
- the image display portion 106 can be used as the spacer 104 in FIG. 2, so that the thickness can be reduced.
- the image display unit 106 can be configured using, for example, a liquid crystal element having a pixel structure. Note that since the pattern display portion 3601 is irradiated with light from the back surface, light reflected by the back surface of the pattern display portion 3601 may enter the image sensor 103 and image quality may be degraded. Therefore, it is desirable that the back surface of the pattern display portion 3601 be processed by applying a non-reflective coating or a light absorber.
- the above is the display function integrated imaging unit 102 according to the fourth embodiment. With this configuration, it is possible to reduce the thickness of the imaging device integrated with the display function and improve the light utilization efficiency.
- each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in hardware by designing a part or all of them with, for example, an integrated circuit.
- the above-described respective configurations, functions and the like may be realized by software by a processor interpreting and executing a program that realizes each function.
- Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.
- control lines and information lines are shown to be necessary for explanation, and not all control lines and information lines are shown on the product. In reality, it may be considered that almost all the configurations are connected to each other.
- the present invention is not limited to the imaging device and the imaging method, and can be provided in various aspects such as an imaging system, a developing method, and a computer-readable program.
- Light source 2201. ..Finger placement guide 2301...Light source, 2401...Red light emitting element, 2402...Green light emitting element, 2403...Blue light emitting element, 2404...Near infrared light emitting element, 2501...Finger Placement guides 2601, 2602... Light source, 2603... First light source, 2604... Second light source, 2701... Distance calculation unit, 2901... Face, 3001... Fingerprint photographing unit , 3002... Light source, 3101... Image sensor, 3102... Collimator, 3201... Imaging pattern, 3202... Collimator, 3301... Image/pattern display unit, 3302... Backlight unit, 3501... Pattern control unit, 3601... Pattern display unit.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Input (AREA)
Abstract
表示機能と撮像機能を併せ持ち、且つ小型情報端末に搭載可能でその薄型化を可能とする。 撮像装置であって、画像を表示し、かつ入射光の一部を背面に透過し透過光とする画像表示部と、透過光を撮影用パターンに基づいて変調し変調光とする光変調器と、変調光を電気信号に変換し、センサ画像を生成する画像センサと、変調光の投影像の撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定するフォーカス設定部と、を備える。
Description
本発明は、撮像装置及び撮像方法に関し、特に表示機能と一体化された撮像装置及び撮像方法に関する。
小型情報端末などの端末の表示部と操作部として、液晶ディスプレイとタッチパネルを組み合わせた装置が広く利用されている。タッチパネルの他にも、例えば特許文献１のようにガラス基板上に液晶を駆動する回路とともに光センサを形成する技術が考案されている。この技術により、画像を表示するだけでなく、一般的なスキャナのように画像の入力を行うことができる。また、入力された画像を処理することでタッチパネルのように利用することができる。また、この表示装置は、感圧式もしくは静電容量式のタッチパネル部材を用いることなく、通常の液晶表示装置と同様のプロセスで製造できるため、コストを抑えることができるとされている。
上述した特許文献１では、形成された光センサによって操作する指を検出したり、スキャナのように極近傍の被写体を撮影したりすることは可能である。しかしながら、カメラのように遠方の被写体を撮影することはできない。
本発明の目的は、表示機能と撮像機能を併せ持ち、且つ小型情報端末に搭載可能でその薄型化を可能とする技術を提供することにある。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。
本発明の一態様は、撮像装置であって、画像を表示し、かつ入射光の一部を背面に透過し透過光とする画像表示部と、上記透過光を撮影用パターンに基づいて変調し変調光とする光変調器と、上記変調光を電気信号に変換し、センサ画像を生成する画像センサと、上記変調光の投影像の上記撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定するフォーカス設定部と、を備えることを特徴とする。
本発明によれば、表示機能と一体化された、より薄型の撮像装置を実現することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。
［第１実施形態］
〈無限遠物体の撮影原理〉
図１は、第１実施形態に係る表示機能一体型撮像装置の構成例を示す図である。表示機能一体型撮像装置１０１は、表示機能一体型撮像部１０２、画像処理部１０７、コントローラ１０８、及び画像入力部１０９を備える。
〈無限遠物体の撮影原理〉
図１は、第１実施形態に係る表示機能一体型撮像装置の構成例を示す図である。表示機能一体型撮像装置１０１は、表示機能一体型撮像部１０２、画像処理部１０７、コントローラ１０８、及び画像入力部１０９を備える。
図２は、表示機能一体型撮像部の構成例を示す図である。表示機能一体型撮像部１０２は、画像センサ１０３、スペーサー１０４、撮影用パターン１０５、および画像表示部１０６を備える。なお、一般に、画像センサ１０３と、画像表示部１０６とは、一体となる構造を実現する技術も存在するが、さまざまな事情により一般的に普及しているものではないため、本実施形態では一体化していないものとして扱う。ただし、原理的に一体化していても実現可能な場合には、一体化したユニットを用いて置換することは可能である。
画像センサ１０３は、光を受光して得られた光学像を画像データに変換して画像処理部１０７に出力する。より詳しくは、画像センサ１０３は、表面には受光素子である画素ユニット１０３ａが格子状に規則的に配置されている。画像センサ１０３は、画素が受光した光学像を電気信号である画像信号に変換する。この画像信号は、画像処理部１０７により画像処理されて出力されることで、被写体等を主に肉眼で把握することができる画像（現像画像）となる。
スペーサー１０４は、画像センサ１０３の受光面に密着して固定される。スペーサー１０４は、例えばガラスやプラスティックなどの撮影対象となる波長（多くは可視光）に対して透明な材料からなる。可視光以外では、例えば遠赤外線の撮影を行う際には、ゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とすることができる。
撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの撮影対象となる波長を遮断する材料（金属）を、撮影対象となる波長を透過する素材上に蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。例えば、撮影用パターン１０５には、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンを形成することが考えられる。
なお、撮影用パターン１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。
画像表示部１０６は、液晶ディスプレイのようにバックライトと液晶とカラーフィルタからなる構成や、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｅ）ディスプレイのように素子自体が発光する構成により実現する。ただし、画像表示部１０６は、背面に画像センサ１０３が配されるため、光をある程度透過させる構造を有する必要がある。これについては、昨今の液晶ディスプレイでは半透明のものが一般化され、有機ＥＬディスプレイはその構造上発光画素の隙間から光を透過できるものがあるため、これを利用するのがよい。
図３は、画像センサがカバーする領域の例を示す図である。また、図４は、画像センサがカバーする領域の別の例を示す図である。図３、４に示すように、画像センサ１０３は、画像表示部１０６よりも小さい面積を覆うものであってもよいし、略同じ面を覆うものであってもよい。画像センサ１０３が画像表示部１０６よりも小さい面積を覆う場合には、画像表示部１０６の一部が画像センサ１０３による撮像範囲となり、画像センサ１０３が画像表示部１０６と略同じ面を覆う場合には、画像表示部１０６のほぼ全部が画像センサ１０３による撮像範囲となる。
以上の構成において、撮影する場合には、入射光は、画像表示部１０６および撮影用パターン１０５を透過し、その透過光は、画像表示部１０６および撮影用パターン１０５によって光強度が変調され、その変調光は画像センサ１０３にて受光される。なお、スペーサー１０４及び撮影用パターン１０５を併せて、光変調器と呼ぶことができる。
コントローラ１０８は、画像処理部１０７からの出力信号をホストコンピュータや外部記録媒体に出力する場合には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインターフェースに適合するようデータ形式を変換して出力する。画像処理部１０７からの出力信号を表示機能一体型撮像部１０２に表示させる場合には、コントローラ１０８は、出力信号を画像入力部１０９に出力する。なお、コントローラ１０８は、他に表示機能一体型撮像部１０２に出力させる情報があれば、同様に画像入力部１０９に出力することで、画像表示部１０６に画像を表示させることができる。
なお、コントローラ１０８は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えるユニットによって実現することができる。また、コントローラ１０８は、例えばＵＳＢ、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の、外部装置と接続する入出力インターフェイスに接続される又はこれを備えてもよい。画像処理部１０７、及び画像入力部１０９は、例えば、処理回路によって実現される。画像処理部１０７、コントローラ１０８、及び画像入力部１０９は、一体的に構成されていてもよい。
このような表示機能一体型撮像部１０２を、スマートフォンに適用した場合の例を以下に説明する。
図５は、表示機能一体型撮像装置をスマートフォンに適用した例を示す図である。一般的な小型情報端末（スマートフォン）５０１は、ディスプレイ５０２、カメラ５０３、生体認証センサ５０４、スピーカー５０５を有する。これに対して、表示機能一体型撮像装置を適用した小型情報端末（スマートフォン）６０１では、ディスプレイ５０２、カメラ５０３、生体認証センサ５０４を表示機能一体型撮像部１０２で代用することが可能となる。また、画面背面にスピーカー５０５を配置しディスプレイの表面のガラスを振動体として用いることで、同一の筐体サイズであっても画面枠の少ないベゼルレスなスマートフォンを実現できる。
図６は、表示機能一体型撮像装置をスマートフォンに適用した外観例を示す図である。図３に示したように、画像センサ１０３は、画像表示部１０６よりも小さい面積を覆うものである場合には、画像センサ１０３は画像表示部１０６の中央付近に配置することも可能である。その場合には、カメラへの目線がずれると違和感の有るビデオチャットのようなアプリケーションソフトウェアを用いる場合に、自然に視線を相手にあわせることが可能となる。
続いて、表示機能一体型撮像装置１０１における撮影原理について説明する。
まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、
このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図７は、撮影用パターンの一例を示す図である。図７には、式（１）のガボールゾーンプレートが示されている。図８は、撮影用パターンの他の例を示す図である。図８には、式（１）を閾値１で２値化したフレネルゾーンプレートが示されている。
ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。
図９は、斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。厚さｄのスペーサー１０４に、ｘ軸方向に角度θ０で平行光が入射したとする。スペーサー１０４中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、
本実施形態では、図示したように、ガボールゾーンプレートやフレネルゾーンプレートを、撮影用パターン１０５（第１のパターンとも呼ぶ）ならびに現像用パターン１００１（第２のパターンとも呼ぶ）として用いる。よって、現像用パターン１００１は、初期位相Φを用いて、
式（２）及び式（３）のフーリエ変換は、それぞれ、
次に、式（４）および式（５）を乗算すると、
なお、式（６）の右辺第２項のｓｉｎの中の式から、Φ＝π／４となる時、ｓｉｎの初期位相が０となる。さらに、式（６）の右辺第１項が０となり、現像に不要な項を低減できる。この条件で現像処理すれば、現像時のノイズが少ない現像画像を得ることが可能である。
〈ノイズキャンセル〉
式（６）から式（７）への変換において信号成分に着目して話を進めたが、実際には信号項ｅｘｐ（－ｉｋｕ）以外のノイズ項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。三角関数の直交性を利用し、
式（６）から式（７）への変換において信号成分に着目して話を進めたが、実際には信号項ｅｘｐ（－ｉｋｕ）以外のノイズ項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。三角関数の直交性を利用し、
さらに、式（８）は式（６）の乗算結果をΦに関して積分したが、
以上で説明したフリンジスキャンでは、撮影用パターン１０５として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには、時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
時分割フリンジスキャンを実現するには、例えば図１１（フリンジスキャンにおける初期位相の組合せの例を示す図）に示す複数の初期位相のパターンを電気的に切り替えて表示することが可能な液晶表示素子などで構成される撮影用パターン１０５を使用する。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを同期して制御し４枚の画像を取得後、画像処理部１０７は、フリンジスキャン演算を実施する。
対して、空間分割フリンジスキャンを実現するには、例えば図１２（撮影用パターンの一例を示す図）に示すように、図１１に示す複数の初期位相のパターンがそれぞれ分割された領域に配置された撮影用パターン１０５を使用する。１枚の画像を取得後、画像処理部１０７は、それぞれの初期位相の領域に対応して取得画像を４枚に分割し、フリンジスキャン演算を実施する。
この空間分割フリンジスキャンの場合、例えば図１３（撮影用パターンの他の例を示す図）のように４つ以上のパターンを使用して撮影用パターン１０５を構成してもよい。この場合、４つのパターンが含まれるフリンジスキャン単位１３０１を１３０２のように重複してシフトさせながらフリンジスキャン演算を実行してもよい。これにより、より高精細な画像を得ることが可能となる。
なお、フリンジスキャンを実施しない場合、撮影用パターン１０５は、図８のような単眼でも、図１４（撮影用パターンのさらに他の例を示す図）のような複眼で実現してもよい。さらに、本実施形態の現像方式は相互相関演算に基づいているため、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば図１５（撮影用パターンのさらに他の例を示す図）に示すようなランダムなパターンで実現してもよい。
続いて、説明した撮影原理に基づく画像処理部１０７による画像処理の概略について説明する。図１６は、画像処理部１０７の画像処理の一例を示すフローチャートである。
まず、画像処理部１０７は、時分割もしくは空間分割フリンジスキャンにより、画像センサ１０３から出力される複数枚の画像を取得する又は画像センサ１０３から出力される１枚の画像から複数枚の画像を取得し、式（１０）に基づきフリンジスキャン演算を実施する（ステップＳ１６０１）。次に、画像処理部１０７は、現像処理に使用する現像用パターン１００１を生成し（ステップＳ１６０２）、フリンジスキャン結果の相互相関演算として２次元畳込み演算を行い（ステップＳ１６０３）、撮影対象の像を現像（復元ともいう）する。そして、画像処理部１０７は、ステップＳ１６０３で得られた画像に対してコントラスト強調処理（ステップＳ１６０４）、カラーバランス調整（ステップＳ１６０５）などを実施し、撮影画像として出力する。以上により、画像処理部１０７による画像処理が終了となる。なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなることから、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いて演算してもよい。
〈有限距離物体の撮影原理〉
図１７は、物体が無限距離にある場合の撮影用パターン１０５の投影を説明する図である。図１７は、これまで述べた被写体が遠い場合における撮影用パターン１０５の画像センサ１０３への射影の様子を示している。遠方の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１７０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状である。結果、投影像１７０２に対して、現像用パターンとの相互相関演算を行うことにより、単一の輝点を得ることが可能である。
図１７は、物体が無限距離にある場合の撮影用パターン１０５の投影を説明する図である。図１７は、これまで述べた被写体が遠い場合における撮影用パターン１０５の画像センサ１０３への射影の様子を示している。遠方の物体を構成する点１７０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１７０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状である。結果、投影像１７０２に対して、現像用パターンとの相互相関演算を行うことにより、単一の輝点を得ることが可能である。
一方、有限距離の物体に対する撮影について説明する。図１８は、物体が有限距離にある場合の撮影用パターン１０５の拡大を説明する図である。物体を構成する点１８０１からの球面波が撮影用パターン１０５を照射し、その投影像１８０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン１０５から点１８０１までの距離ｆを用いて、
そのため、平行光に対して設計された現像用パターンの透過率分布をそのまま使用し相互相関演算したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン１００１を拡大させたならば、拡大された投影像１８０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン１００１の係数βをβ／α２とすることで補正が可能である。これにより、必ずしも無限遠でない距離の点１８０１からの光を選択的に再生することができる。これによって、任意の位置に焦点を合わせて撮影を行うことができる。
さらに、本構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。図１９は、表示機能一体型撮像装置１０１の他の構成例を示す図である。図１と異なり、表示機能一体型撮像装置１０１は、フォーカス設定部１９０１を備える。フォーカス設定部１９０１は、表示機能一体型撮像装置１０１に備え付けられた摘み等のハードウェアスイッチやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の操作により入力されるフォーカス距離を、コントローラ１０８を介して取得可能であり、フォーカス距離情報を画像処理部１０７に出力する。フォーカス設定部１９０１は、コントローラ１０８内で実現されてもよい。すなわち、フォーカス設定部１９０１は、変調光の投影像の撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定することができるといえる。
また、このようにセンサ画像に奥行き情報が含まれるため、距離情報を算出することも可能となる。以上の方法・構成によれば、表示機能と一体化された薄型の撮像装置を実現することができる。
以上の第１実施形態によれば、表示機能と一体化された、より薄型の撮像装置を実現することができる。
［第２実施形態］
第２実施形態は、表示機能一体型撮像装置１０１を、指静脈を用いた生体認証に適用している点で、第１実施形態と異なる。
第２実施形態は、表示機能一体型撮像装置１０１を、指静脈を用いた生体認証に適用している点で、第１実施形態と異なる。
図２０は、第２実施形態に係る表示機能一体型撮像装置を横から見た構成例を示す図である。指静脈の撮影に適しているのは、第１関節もしくは第２関節周辺の静脈といわれている。スマートフォンは、ディスプレイ表面の指先によるタッチ操作により操作することが多いが、撮影すべき指静脈は指先から離れた位置にあり、さらにはディスプレイから指２００１までの距離がゼロに限られず、有限距離にありその距離は使用状況により異なる。そのため、撮影は簡単ではない。
図２１は、第２実施形態に係る表示機能一体型撮像装置のＸ－Ｘ´断面の例を示す図である。光源２１０１は、指２００１に向けて照射するように、画像表示部１０６の背面に配置されている。血液は、８００ｎｍ（ナノメートル）程度の周波数の近赤外線に対する吸収感度があるため、近赤外線は指静脈を撮影する場合の照明光として適している。そこで、光源２１０１は、指２００１下部（手のひら側）にむけて画像表示部１０６越しに照射する。この近赤外線で照明された指２００１を、表示機能一体型撮像部１０２が撮影することで指静脈の形状を撮影する。
ここで、表示機能一体型撮像部１０２の画像センサ１０３が表示機能一体型撮像部１０２の全面に配置されているのならば、指２００１の置き場所は限定されない。しかし、図６に示すように画像センサ１０３が表示機能一体型撮像部１０２の一部である場合には、撮影可能範囲内に指２００１をユーザーに置かせるよう促す必要がある。その例を図２２に示す。
図２２は、第２実施形態に係る表示機能一体型撮像装置の例の斜視図である。図２２に示すように、撮影可能範囲内に指２００１をユーザーに置かせるよう促すために、指置きガイド２２０１を画像表示部１０６に表示させる。指置きガイド２２０１は、円内に指先をタッチすると該指の第１もしくは第２関節が画像センサ１０３の直上付近になるような位置関係に表示するのがよい。なお、この位置関係は、ユーザーの性別、年齢、指登録時の設定値などでユーザー毎に変えて表示してもよい。
図２３は、第２実施形態に係る表示機能一体型撮像装置の別の例の斜視図である。図２２に示した例では、光源２１０１を画像表示部１０６の下部の背面に配置した例について示したが、画像表示部１０６の一部の画素を光源２３０１として用いてもよい。その場合には、光源２３０１とする位置のディスプレイ表示には、近赤外線に周波数が近い赤の画素のみを表示させる。もしくは、図２４に示すように画素ユニット１０３ａに、通常の赤色発光素子２４０１、緑色発光素子２４０２、青色発光素子２４０３のほかに、近赤外線を発光する近赤外線発光素子２４０４を内蔵した構成であるとなおよい。
また、図２３では、光源２３０１は、指２００１の真下ではなく横にずらして配置した例を示しているが、指２００１の真下や円状に発光させることで指の影を生じ難いように照明するようにしてもよい。
また、図２２では、指置きガイド２２０１をリング状とする例を示しているが、指を置く位置が判り易いのであれば、指置きガイド２２０１は四角や指のイラスト等であってもよい。
図２５は、指置きガイドの別の例を示す図である。この指置きガイド２５０１は、指の形状を模したものであり、指先の位置と、指の配置角度と、をガイドするものであり、その輪郭は赤く発光する。
図２６は、光源の配置例を示す図である。図２６（ａ）はセンサ一つに対する光源の配置例を示す図であり、図２６（ｂ）は複数のセンサに対する光源の配置例を示す図であり、図２６（ｃ）は複数のセンサに対する光源の別の配置例を示す図である。
図２６（ａ）では、画像センサ１０３一つに対する光源２６０１の配置例が示されており、光源２６０１は画像センサ１０３の周囲を囲うようにリング形状となっている。
図２６（ｂ）では、複数の画像センサ１０３に対する光源の配置例が示されており、光源２６０２は短い直線状であって、環状に配置された画像センサ１０３間を埋めるように環状に配置されている。
図２６（ｃ）では、複数の画像センサ１０３に対する光源の別の配置例が示されており、第一の光源２６０３および第二の光源２６０４はそれぞれ、画像センサ１０３の内側と外側に環状に連なって配置されている。
図２７は、第２実施形態に係る表示機能一体型撮像装置の構成例を示す図である。第２実施形態に係る表示機能一体型撮像装置１０１では、表示機能一体型撮像部１０２、画像処理部１０７、コントローラ１０８、及び画像入力部１０９に加えて、距離算出部２７０１を備える。
距離算出部２７０１は、撮影されたセンサ画像から距離情報を算出し、指までの距離から指静脈にピントの合う設定距離を求める。
図２８は、表示機能一体型撮像装置の認証動作の一例を示すフローチャートである。まず、指置きガイド２２０１を画像表示部１０６に表示し（Ｓ２８０１）、ユーザーが指先を指置きガイド２２０１内にタッチしたことをスマートフォンのタッチセンサにより検出し（Ｓ２８０２）、光源２１０１、光源２３０１、光源２６０１、光源２６０２、第一の光源２６０３および第二の光源２６０４を発光させて指を照明し（Ｓ２８０３）、表示機能一体型撮像部１０２により指静脈を撮影する（Ｓ２８０４）。
図２７の画像処理部１０７では、距離算出部２７０１が算出した、撮影された指静脈にピントの合う距離を用いて現像処理を実施する。そのため、ユーザーの指の置き方に依らずピントの合った指静脈画像を現像することが可能となる。この指静脈画像をスマートフォン内もしくは図示しない遠隔のサーバーにある認証アルゴリズムにより登録済みの指静脈の画像とのマッチングを実施して、本人かどうかの判定を下す認証処理を行う（Ｓ２８０５）。
認証がＯＫである場合（Ｓ２８０６、本人と認められる場合（Ｓ２８０６にて「ＹＥＳ」の場合））には認証処理を終了し、認められない場合（Ｓ２８０６にて「ＮＯ」の場合）は、Ｓ２８０１からＳ２８０６の処理を一定回数繰り返す。
なお、図３７に示す現像画像のように、表示機能一体型撮像部１０２とユーザーの指との距離によって、撮影される指静脈画像の画像上のサイズが登録済みの指静脈画像と異なってしまい、本来は同一の指静脈であってもマッチングがうまく実施できない場合がある。
図３７は、静脈認証の画像補正例を示す図である。上記のようにマッチングがうまく実施できない場合には、指までの距離に応じて現像画像を拡大・縮小して略同じサイズとなるように撮影した静脈画像を調整することが望ましい。この他にも、現像画像や距離情報を用いて図３７のように指の幅を算出し、指の幅が同じサイズとなるように撮影した静脈画像を拡大縮小により調整してもよい。
さらに、表示機能一体型撮像部１０２に対して指先側と指の根元側とで指までの距離が一定にならない場合、つまり指が斜めに配置される場合も考えられる。その場合、画像の拡大・縮小は一定の比率で行うのではなく、画像内の領域に応じて別々の比率で拡大・縮小を行う、あるいは台形補正を行うことも可能である。
また、指をかざす方向にずれが発生する場合には、回転補正（傾き補正）を同時に行うようにしてもよい。これらの画像上の調整により、ユーザーの指の置き方に依らず、安定した指静脈認証が可能となる。以上の方法・構成に依れば、表示機能と一体化された薄型の指静脈認証装置を実現することが可能となる。
さらに、本実施例では指静脈認証への適用を例に説明したが、ディスプレイ背面下のセンサで距離情報を取得できることから、図２９のように一定程度離れた顔２９０１の画像を用いた顔認証など、他の方式に適用可能である。
［第３実施形態］
第３実施形態は、表示機能一体型撮像装置１０１を、指静脈だけでなく指紋を使用した生体認証に適用している点で、第１実施形態と異なる。
第３実施形態は、表示機能一体型撮像装置１０１を、指静脈だけでなく指紋を使用した生体認証に適用している点で、第１実施形態と異なる。
上述の通り、指静脈の撮影に適しているのは第１関節もしくは第２関節周辺の静脈である一方、指紋は指先が適している。よって、指静脈と指紋とでは撮影場所が空間的に異なるので、同時に認証を行うことも可能である。図３０にその構成について示す。
図３０は、第３実施形態に係る表示機能一体型撮像装置の一例の斜視図である。第３実施形態に係る表示機能一体型撮像装置では、画像センサ１０３、光源２３０１等の指静脈認証のための機構は第２実施形態と同様の構成である。指紋撮影用の構成として、表示機能一体型撮像装置は、指紋撮影部３００１、光源３００２を備える。指紋撮影部３００１について、図３１を用いて説明する。
図３１は、指紋撮影部の断面の例を示す図である。指紋撮影部３００１は、画像センサ３１０１、コリメーター３１０２、画像表示部１０６から構成されている。コリメーター３１０２は、一般的にはピンホールアレイのような構造や、マイクロレンズアレイのような垂直に可視光が透過する構造であればよい。
撮影する場合には、画像表示部１０６を透過する光は、コリメーター３１０２により直上からの光に制限されて画像センサ３１０１にて受光される。画像センサ３１０１から出力された画像信号は、画像処理部１０７によって画像処理されたデータがコントローラ１０８に出力される。この指紋撮影の際には、指先下にある光源３００２を発光させて可視光により指紋を照明して撮影する。
以上の構成であれば、指紋は可視光により、指静脈は近赤外光により、両方の情報を同時に撮影し、認証に使用できることから認証精度を大幅に向上できる。そのため、成りすましなども困難になりよりセキュアな認証装置を実現できる。
但し、指紋と指静脈とを同時に撮影するためには認証に必要な空間的領域は大きいものとなる。認証に用いる空間的領域を低減したい場合も考えられ、その場合には指紋と指静脈の認証を時分割で切替える構成が有効である。そのような時分割切り替えを実現する構成を、図３２に示す。
図３２は、指紋撮影部の断面の別の例を示す図である。この構成では、画像センサ１０３、撮影用パターン３２０１、コリメーター３２０２、画像表示部１０６から構成されている。ここで、指紋を撮影するのは可視光線であるが、指静脈を撮影するのは近赤外線であることに着目する。
すなわち、指紋撮影に使用するコリメーター３２０２は可視光線に対してピンホールの役目を果たすが近赤外線に対して透明に近い特性を示し、指静脈撮影に使用する撮影用パターン３２０１は近赤外線に対して撮影用パターンの役目を果たすが可視光線に対して透明に近い特性を示す素材で作製するようにする。例えば、コリメーター３２０２は、近赤外線を透過させるＩＲ透過フィルター素材やＩＲ透過インクを塗布した樹脂等に無数の小さなピンホールを設けて作成し、撮影用パターン３２０１は可視光透過素材にＩＲを遮断する金属等を塗布してＦＺＡを形成することで作成する。
以上の構成に依れば、指静脈撮影時には、コリメーター３２０２は近赤外線を透過させるためスペーサーとして機能することで画像センサ１０３、撮影用パターン３２０１による指静脈撮影が可能となり、指紋撮影時には、撮影用パターン３２０１は可視光を透過させるために画像センサ１０３、コリメーター３２０２による指紋撮影を行うことが可能となる。
なお、以上の説明は、画像センサ１０３が画像表示部１０６よりも小さい図３のような例であったが、図４のように画像センサ１０３が画像表示部１０６と同様の大きさで略全面で撮影可能である場合には、指先下の領域を指紋撮影用、第１もしくは第２関節下の領域を指静脈撮影用として使用する領域を切り替えることで、ユーザーの指の置き方に依らず、認証を行うことが可能となることはいうまでもない。
［第４実施形態］
第４実施形態では、表示機能一体型撮像部１０２のさらなる薄型化、ならびに光利用効率の向上を可能とする構成について、図３３から図３６を用いて説明する。第一の実施形態に係る表示機能一体型撮像部１０２の構成では、撮影用パターン１０５と画像表示部１０６が別体に分かれているため装置の厚みが厚くなりがちであり、また画像表示部１０６を透過した光しか画像センサ１０３は利用できない。そのため、光利用効率が悪い。
第４実施形態では、表示機能一体型撮像部１０２のさらなる薄型化、ならびに光利用効率の向上を可能とする構成について、図３３から図３６を用いて説明する。第一の実施形態に係る表示機能一体型撮像部１０２の構成では、撮影用パターン１０５と画像表示部１０６が別体に分かれているため装置の厚みが厚くなりがちであり、また画像表示部１０６を透過した光しか画像センサ１０３は利用できない。そのため、光利用効率が悪い。
図３３は、第４実施形態に係る表示機能一体型撮像部の構成例を断面で示す図である。表示機能一体型撮像部１０２は、画像兼パターン表示部３３０１と、バックライト部３３０２と、画像センサ１０３と、により構成される。画像兼パターン表示部３３０１は、例えばピクセル構造を持つ液晶素子を用いて構成される。
図３３に示すように、表示機能一体型撮像装置１０１をディスプレイとして使用する場合には、画像兼パターン表示部３３０１にスマートフォンのディスプレイとしての画像を表示させ、バックライト部３３０２を点灯することにより画像を視認できるようにする。対して、表示機能一体型撮像装置１０１を撮像装置として使用する場合には、画像兼パターン表示部３３０１に図７（ガボールゾーンプレート）、あるいは図８（フレネルゾーンプレート）に基づくパターンを表示させ、バックライト部３３０２を消灯する。
図３４は、第４実施形態に係る表示制御の一例を示すタイミングチャートである。表示機能一体型撮像装置１０１については、「表示」と「撮像」を所定の単位時間で繰り返す。そして、画像兼パターン表示部３３０１は、表示機能一体型撮像装置１０１が「表示」のタイミングでは表示する「画像」を表示させ、「撮像」のタイミングでは「パターン」すなわちガボールゾーンプレートあるいはフレネルゾーンプレートを表示させる。バックライト部３３０２は、「表示」時には点灯させ、「撮像」時には消灯させる。
図３５は、第４実施形態に係る表示機能一体型撮像部の構成例を示す図である。第４実施形態に係る表示機能一体型撮像装置１０１は、表示機能一体型撮像部１０２と、画像処理部１０７と、コントローラ１０８と、画像入力部１０９と、パターン制御部３５０１と、を備える。
パターン制御部３５０１は、画像兼パターン表示部３３０１に表示する画像と現像用パターン（ガボールゾーンプレートやフレネルゾーンプレート）の時間的あるいは空間的な切替えを制御する。つまり、パターン制御部３５０１は、光変調器と画像表示部を制御し、撮影時に画像表示部に撮影用パターンを表示することで光変調器として動作させ、画像表示部に画像を表示する時間と撮影用パターンを表示する時間とが排他的になる、または画像を表示する領域と撮影用パターンを表示する領域とが排他的になるように制御するものといえる。これに限られず、パターン制御部３５０１は、時分割フリンジスキャンを実施する際に位相の異なるフレネルゾーンプレートの表示制御についても行う。
なお、画像兼パターン表示部３３０１を、バックライト部３３０２消灯時には撮影対象の波長に対して透明となるような素材・構成で実現することで、高効率化が可能である。例えば、ホログラフィック素子や、プリズムアレイのような光導波路を用いてバックライト部３３０２を実現することにより、撮影時には透明に近い構成にすることも可能である。他にも、厚みを薄くするために、図３６に示す構成を採ることも考えられる。
図３６は、第４実施形態に係る表示機能一体型撮像部の構成例を断面で示す図である。パターン表示部３６０１を、画像表示部１０６の表面に配置することによって、画像表示部１０６を図２におけるスペーサー１０４として使用することができることから、薄型化が可能となる。画像表示部１０６は、例えばピクセル構造を持つ液晶素子を用いて構成できる。なお、パターン表示部３６０１は背面から光が照射されることになるため、パターン表示部３６０１背面で反射した光が画像センサ１０３に入射し画質が劣化するおそれがある。そこで、パターン表示部３６０１の背面には無反射コートや吸光剤を塗布する加工をすることが望ましい。
以上が、第４実施形態に係る表示機能一体型撮像部１０２である。この構成によれば、表示機能と一体化された撮影装置の薄型化、ならびに光利用効率の向上を実現することが可能となる。
なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
本発明は、撮像装置、及び撮像方法に限られず、撮像システム、現像方法、コンピュータ読み取り可能なプログラム、などの様々な態様で提供できる。
１０１・・・表示機能一体型撮像装置、１０２・・・表示機能一体型撮像部、１０３・・・画像センサ、１０３ａ・・・画素ユニット、１０４・・・スペーサー、１０５・・・撮影用パターン、１０６・・・画像表示部、１０７・・・画像処理部、１０８・・・コントローラ、１０９・・・画像入力部、５０１・・・小型情報端末（スマートフォン）、５０２・・・ディスプレイ、５０３・・・カメラ、５０４・・・生体認証センサ、５０５・・・スピーカー、６０１・・・小型情報端末（スマートフォン）、１００１・・・現像用パターン、１３０１・・・フリンジスキャン単位、１３０２・・・フリンジスキャン単位、１７０１・・・点、１７０２・・・投影像、１８０１・・・点、１８０２・・・投影像、１９０１・・・フォーカス設定部、２００１・・・指、２１０１・・・光源、２２０１・・・指置きガイド、２３０１・・・光源、２４０１・・・赤色発光素子、２４０２・・・緑色発光素子、２４０３・・・青色発光素子、２４０４・・・近赤外線発光素子、２５０１・・・指置きガイド、２６０１，２６０２・・・光源、２６０３・・・第一の光源、２６０４・・・第二の光源、２７０１・・・距離算出部、２９０１・・・顔、３００１・・・指紋撮影部、３００２・・・光源、３１０１・・・画像センサ、３１０２・・・コリメーター、３２０１・・・撮影用パターン、３２０２・・・コリメーター、３３０１・・・画像兼パターン表示部、３３０２・・・バックライト部、３５０１・・・パターン制御部、３６０１・・・パターン表示部。
Claims (15)
- 画像を表示し、かつ入射光の一部を背面に透過し透過光とする画像表示部と、
前記透過光を撮影用パターンに基づいて変調し変調光とする光変調器と、
前記変調光を電気信号に変換し、センサ画像を生成する画像センサと、
前記変調光の投影像の前記撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定して被写体とのフォーカス距離を設定するフォーカス設定部と、
を備えることを特徴とする撮像装置。 - 請求項１に記載の撮像装置であって、
前記現像用パターンを前記被写体とのフォーカス距離に応じて拡大させ、前記センサ画像との相互相関演算を行い像を復元する画像処理部、
を備えることを特徴とする撮像装置。 - 請求項１に記載の撮像装置であって、
前記画像表示部の背面に、前記被写体を照明する光源、
を備えることを特徴とする撮像装置。 - 請求項１に記載の撮像装置であって、
前記画像表示部を発光させることで、前記被写体を照明する光源として用いる、
ことを特徴とする撮像装置。 - 請求項１に記載の撮像装置であって、
前記被写体とは指であり、
前記画像表示部は、撮影時には、前記指の置き場所を示す指置きガイドを表示する、
ことを特徴とする撮像装置。 - 請求項１に記載の撮像装置であって、
前記被写体とは指であり、
指紋を撮影する指紋撮影部を有し、
前記指の静脈と指紋とをともに撮影する、
ことを特徴とする撮像装置。 - 請求項１に記載の撮像装置であって、
前記光変調器と前記画像表示部を制御するパターン制御部を備え、
前記パターン制御部は、前記画像表示部に前記撮影用パターンを表示することで前記光変調器として動作させ、
前記画像表示部に画像を表示する時間と前記撮影用パターンを表示する時間とが排他的になる、または前記画像を表示する領域と前記撮影用パターンを表示する領域とが排他的になるように制御する、
ことを特徴とする撮像装置。 - 請求項１～７のいずれか一項に記載の撮像装置であって、
前記撮影用パターンは、基準座標からの距離に対してピッチが反比例して細かくなる同心円で形成されている、
ことを特徴とする撮像装置。 - 撮像装置による撮像方法であって、
前記撮像装置は、入射光の一部を背面に透過し透過光とする画像表示部と、光変調器と、画像センサと、被写体とのフォーカス距離を設定するフォーカス設定部と、を備え、
前記画像表示部は、画像を表面に表示する画像表示ステップと、
前記光変調器は、前記透過光を撮影用パターンに基づいて変調し変調光とする光変調ステップと、
前記画像センサは、前記変調光を電気信号に変換し、センサ画像を生成する画像検出ステップと、
前記フォーカス設定部は、前記変調光の投影像の前記撮影用パターンと大きさが等しくなるよう所定の現像用パターンを拡大する割合を決定するフォーカス距離設定ステップと、
を実施することを特徴とする撮像方法。 - 請求項９に記載の撮像方法であって、
撮像装置は、画像処理部を備え、
前記画像処理部は、前記現像用パターンを前記被写体とのフォーカス距離に応じて拡大させ、前記センサ画像との相互相関演算を行い像を復元する画像処理ステップ、
を実施することを特徴とする撮像方法。 - 請求項９に記載の撮像方法であって、
前記画像表示ステップに続けて、前記被写体を照明する光照射ステップ、
を実施することを特徴とする撮像方法。 - 請求項９に記載の撮像方法であって、
前記画像表示部は、前記画像表示ステップにおいて、前記被写体を照明する画像を表示させることを特徴とする撮像方法。 - 請求項９に記載の撮像方法であって、
前記被写体とは指であり、
前記画像表示部は、撮影時には、前記画像表示ステップにおいて、指の置き場所を示す指置きガイドを表示する、
ことを特徴とする撮像方法。 - 請求項９に記載の撮像方法であって、
前記被写体とは指であり、
指紋を撮影する指紋撮影ステップを実施し、
前記指の静脈と指紋とをともに撮影する、
ことを特徴とする撮像方法。 - 請求項９に記載の撮像方法であって、
前記光変調器と前記画像表示部とを制御するパターン制御部を備え、
前記パターン制御部は、前記画像表示部に前記撮影用パターンを表示することで前記光変調器として動作させ、
前記画像表示部に画像を表示する時間と前記撮影用パターンを表示する時間とが排他的になる、または前記画像を表示する領域と前記撮影用パターンを表示する領域とが排他的になる、ように制御する制御ステップ、
を実施することを特徴とする撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/008118 WO2020178905A1 (ja) | 2019-03-01 | 2019-03-01 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/008118 WO2020178905A1 (ja) | 2019-03-01 | 2019-03-01 | 撮像装置及び撮像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020178905A1 true WO2020178905A1 (ja) | 2020-09-10 |
Family
ID=72338203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/008118 WO2020178905A1 (ja) | 2019-03-01 | 2019-03-01 | 撮像装置及び撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2020178905A1 (ja) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008004314A1 (fr) * | 2006-07-06 | 2008-01-10 | Hitachi, Ltd. | Système d'authentification personnelle |
| JP2016035768A (ja) * | 2008-07-10 | 2016-03-17 | 株式会社半導体エネルギー研究所 | 表示装置及び電子機器 |
| JP2017162489A (ja) * | 2007-09-24 | 2017-09-14 | アップル インコーポレイテッド | 電子デバイスに組み込まれた認証システム |
| JP2018033505A (ja) * | 2016-08-29 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
| JP2018052430A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社東海理化電機製作所 | 個人特定サービス装置 |
| JP2018061109A (ja) * | 2016-10-04 | 2018-04-12 | 株式会社日立製作所 | 撮像装置および撮像方法 |
| JP2018160286A (ja) * | 2014-10-24 | 2018-10-11 | 日本電気株式会社 | 生体撮像装置、生体撮像方法、および、プログラム |
| JP2019029681A (ja) * | 2017-07-25 | 2019-02-21 | 株式会社日立製作所 | 撮像装置及び撮像方法 |
-
2019
- 2019-03-01 WO PCT/JP2019/008118 patent/WO2020178905A1/ja active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008004314A1 (fr) * | 2006-07-06 | 2008-01-10 | Hitachi, Ltd. | Système d'authentification personnelle |
| JP2017162489A (ja) * | 2007-09-24 | 2017-09-14 | アップル インコーポレイテッド | 電子デバイスに組み込まれた認証システム |
| JP2016035768A (ja) * | 2008-07-10 | 2016-03-17 | 株式会社半導体エネルギー研究所 | 表示装置及び電子機器 |
| JP2018160286A (ja) * | 2014-10-24 | 2018-10-11 | 日本電気株式会社 | 生体撮像装置、生体撮像方法、および、プログラム |
| JP2018033505A (ja) * | 2016-08-29 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
| JP2018052430A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社東海理化電機製作所 | 個人特定サービス装置 |
| JP2018061109A (ja) * | 2016-10-04 | 2018-04-12 | 株式会社日立製作所 | 撮像装置および撮像方法 |
| JP2019029681A (ja) * | 2017-07-25 | 2019-02-21 | 株式会社日立製作所 | 撮像装置及び撮像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101027455B1 (ko) | 화상 입력 장치, 화상 입력 방법, 개인 인증 장치 및 전자기기 | |
| JP6820908B2 (ja) | 撮像装置 | |
| CN108616677B (zh) | 摄像装置 | |
| CN107896292B (zh) | 摄像装置和摄像方法 | |
| JP6721698B2 (ja) | 撮像装置 | |
| JP7061883B2 (ja) | 画像表示装置および画像表示方法 | |
| CN110324513B (zh) | 摄像装置，摄像模块和摄像方法 | |
| JP6646619B2 (ja) | 撮像装置 | |
| JP7282884B2 (ja) | ３次元認証装置、３次元認証システム、携帯型情報端末および３次元認証方法 | |
| JP6807286B2 (ja) | 撮像装置及び撮像方法 | |
| WO2020178905A1 (ja) | 撮像装置及び撮像方法 | |
| WO2020059181A1 (ja) | 撮像装置および撮像方法 | |
| JP6864604B2 (ja) | 撮像装置 | |
| JP7278454B2 (ja) | 画像表示装置 | |
| CN114208145A (zh) | 摄像装置和方法 | |
| JP7146698B2 (ja) | 撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置 | |
| JP7159118B2 (ja) | 撮像装置 | |
| JP7525744B2 (ja) | コーデッドアパーチャイメージングシステムおよび方法 | |
| JP2004257934A (ja) | ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体 | |
| CN110278350B (zh) | 摄像装置 | |
| JP2021064000A (ja) | 撮像装置 | |
| JP2010039534A (ja) | 生体情報取得装置及び個人認証装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19917762 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19917762 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |