WO2013145164A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013145164A1
WO2013145164A1 PCT/JP2012/058163 JP2012058163W WO2013145164A1 WO 2013145164 A1 WO2013145164 A1 WO 2013145164A1 JP 2012058163 W JP2012058163 W JP 2012058163W WO 2013145164 A1 WO2013145164 A1 WO 2013145164A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
distance
subject
light emitting
imaging
Prior art date
Application number
PCT/JP2012/058163
Other languages
English (en)
French (fr)
Inventor
青木隆浩
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201280071825.1A priority Critical patent/CN104220838B/zh
Priority to JP2014507132A priority patent/JP6079772B2/ja
Priority to PCT/JP2012/058163 priority patent/WO2013145164A1/ja
Priority to KR1020147026798A priority patent/KR101630558B1/ko
Priority to EP12873126.2A priority patent/EP2833095B1/en
Publication of WO2013145164A1 publication Critical patent/WO2013145164A1/ja
Priority to US14/483,555 priority patent/US9644943B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/08Arrangements of light sources specially adapted for photometry standard sources, also using luminescent or radioactive material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses

Definitions

  • the present invention relates to an imaging apparatus.
  • Patent Document 1 discloses an imaging device that includes a laser and a distance sensor that uses an optical triangulation method.
  • Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique for photographing a subject with a camera while condensing the LED light and projecting it on the subject.
  • Patent Document 1 has a problem that the laser is expensive.
  • Patent Document 2 an LED that is less expensive than a laser is used, but the degree of light collection is low. Therefore, it is difficult to use the technique of Patent Document 2 for a small-sized imaging device.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an imaging device that can be reduced in size while suppressing cost.
  • an imaging apparatus disclosed in the specification includes an imaging element that images a subject, and a plurality of light sources that irradiate the subject with light, and an optical axis of the light source is that of the imaging element. Inclined outward with respect to the optical axis.
  • (A) is a schematic diagram of an imaging device according to Comparative Example 1
  • (b) is a schematic diagram of a compact imaging device according to Comparative Example 2. It is the schematic of the imaging device applied to an Example.
  • (A) And (b) is a figure for demonstrating the definition of each variable of an imaging device.
  • (A) is a top view of the imaging device according to the first embodiment, and (b) and (c) are side views of the light source.
  • (A) is a schematic perspective view of a light emitting element, and (b) to (e) are examples of arrangement of the light emitting element.
  • FIG. 1 is a block diagram illustrating a hardware configuration of a biometric authentication apparatus to which an imaging apparatus according to a second embodiment is applied, (b) is a top view of the imaging apparatus, and (c) is a side view of the imaging apparatus.
  • FIG. It is a block diagram of each function implement
  • (A) And (b) is a figure for demonstrating the example of a spot light image.
  • (A) And (b) is a figure for demonstrating spot detection. It is an example of the calibration table acquired in advance. It is a figure for demonstrating the authenticable distance and the guidance possible distance. It is a figure for demonstrating the flowchart at the time of performing the guidance according to the said distance range. It is a figure for demonstrating the spreading angle (beta) of spot light.
  • FIG. 1A is a schematic diagram of an imaging apparatus according to Comparative Example 1.
  • the imaging device which concerns on the comparative example 1 is equipped with the light source which emits a spotlight.
  • the imaging device detects a distance between the imaging element and the subject by detecting a position (hereinafter, a spot position) where the irradiated light strikes the subject.
  • the light from the light source gradually spreads as it travels in the direction of travel.
  • the imaging apparatus has a predetermined size, the spot lights do not interfere with each other, so that the spread of the light is not a big problem.
  • the imaging device is required to be downsized. For example, when it is desired to make an imaging device function as a portable device such as a smartphone as well as a conventional imaging device based on stationary, downsizing of the imaging device is required. In fields where downsizing is required, in general, not an expensive device but a low cost is often required. Therefore, there is a limit to the degree of light collection.
  • FIG. 1B is a schematic diagram of a small imaging device according to Comparative Example 2.
  • the light sources are close to each other.
  • the spot lights interfere with each other.
  • the detection accuracy of the spot position decreases, and the detection accuracy of the distance between the image sensor and the subject decreases.
  • FIG. 2 is a schematic diagram of an imaging apparatus 200 applied to the following embodiments.
  • the imaging apparatus 200 has a structure in which a plurality of light sources 202 are provided around an imaging element 201.
  • the imaging element 201 is not particularly limited as long as it is an imageable element, and is, for example, a CMOS (Complementary Metal Oxide Semiconductor) camera.
  • the light source 202 is not particularly limited, and any light source can be used as long as the emitted light spreads as it travels in the traveling direction. For example, an LED or the like can be used as the light source 202.
  • Each light source 202 is arranged such that the irradiation direction of the spot light is inclined outward with respect to the optical axis of the image sensor 201. In this case, it is possible to suppress the spot light of the light source 202 from spreading toward the image sensor 201 side. With such a configuration, even if the imaging device 200 is downsized, interference between spot lights can be suppressed. Moreover, it is not necessary to use an expensive light source with a high degree of light collection. That is, the imaging device 200 can be reduced in size while suppressing costs. In addition, it is preferable that the inclination directions of the spot optical axes of the two light sources 202 facing each other with the image sensor 201 interposed therebetween are opposite to each other.
  • a lens for spot light it is possible to increase the light collecting degree by using a configuration in which an aspheric lens or a plurality of lenses are combined.
  • there is a problem incurring an increase in cost for the configuration.
  • the accuracy required when assembling the configuration is increased, it is not suitable for a small and inexpensive imaging apparatus.
  • a very high level of alignment is required, and assembly accuracy must be improved. Therefore, the cost increases accordingly.
  • an extra number of parts is required.
  • the height of the imaging device itself is required, so that the imaging device is increased in size.
  • the imaging apparatus 200 of FIG. 2 only the optical axis of the spot light is inclined outward with respect to the optical axis of the imaging element, and no additional parts or improvement in mounting accuracy is required. Therefore, there is a great advantage as a small-sized device because no additional component cost is required. Moreover, since the algorithm for measuring the distance can be the same as the current one, no new development cost is required.
  • FIG. 3A and FIG. 3B are diagrams for explaining the definition of each variable of the imaging apparatus 200.
  • the distance D represents the distance (mm) between the light sources 202.
  • the distance x represents the distance (mm) between the image sensor 201 and the subject.
  • the angle of view ⁇ represents the angle of view (rad) of the lens provided in the image sensor 201.
  • the tilt angle ⁇ represents the tilt angle (rad) of the optical axis of the spot light with respect to the optical axis of the image sensor 201.
  • the shooting range W (x) represents a shooting range (a range that can be shot with an image sensor) (mm) at a distance x (mm).
  • the distance L (x) represents the distance (mm) from the center of the screen to the center of the spot position.
  • the distance P (x) represents a pixel distance obtained by converting the distance L (x) into a pixel.
  • K represents the number of pixels of the image element of the image sensor 201.
  • the distance D, the angle of view ⁇ , and the inclination angle ⁇ are design values and fixed values.
  • the distance L (x) and the distance P (x) are values determined according to the distance x at the time of shooting.
  • the distance L (x) and the distance P (x) are the same length (distance from the center of the screen to the center of the spot position) expressed in mm and in pixels.
  • the distance P (x) is a measurement amount observed when the spot position is imaged by the image sensor 201.
  • the distance L (x) is expressed as the following formula (1). According to the following formula (1), the distance L (x) increases in proportion to the inclination angle ⁇ representing the inclination angle of the spot light.
  • the shooting range W (x) at the distance x is expressed by the following formula (2) using the angle of view ⁇ of the image sensor 201.
  • the variable K for example, 480 pixels
  • the shooting range W (x) is shot corresponding to K pixels.
  • the distance P (x) is expressed as the following formula (3).
  • the following formula (3) is a formula representing the relationship between the center of the spot position and the distance x.
  • the distance x can be calculated from the distance P (x) using the following formula (3).
  • FIG. 4A is a top view of the imaging apparatus 100 according to the first embodiment.
  • the imaging apparatus 100 has a configuration in which a plurality of light sources 20 are provided around the imaging element 10.
  • the image sensor 10 is disposed at the center of a rectangular substrate 30, and each light source 20 is disposed at each corner of the substrate 30.
  • FIG. 4B is a side view of the light source 20.
  • the light source 20 includes a light emitting element 21 disposed on the substrate 30 and a condenser lens 22 disposed on the light emitting element 21.
  • the optical axis of the light emitting element 21 is deviated from the center of the condenser lens 22.
  • FIG. 4C when the optical axis of the light emitting element 21 coincides with the center of the condenser lens 22, the emitted light of the light emitting element 21 goes straight.
  • FIG. 4C when the optical axis of the light emitting element 21 coincides with the center of the condenser lens 22, the emitted light of the light emitting element 21 goes straight.
  • FIG. 4C when the optical axis of the light emitting element 21 coincides with the center of the condenser lens 22, the emitted light of the light emitting element 21 goes straight.
  • FIG. 4C when the optical axis of the light emitting element 21 coincides with the center of the condens
  • the light emitted from the light emitting element 21 can be tilted by shifting the optical axis of the light emitting element 21 from the optical axis of the condenser lens 22.
  • the irradiation direction of the light emitting element 21 can be inclined outward with respect to the optical axis of the imaging element 10 by shifting the light emitting element 21 toward the imaging element 10 from the center of the condenser lens 22. .
  • FIG. 5A is a schematic perspective view of the light emitting element 21.
  • the light emitting element 21 has the structure by which the reflector 21b which reflects light was arrange
  • a general LED element has a cubic shape or a rectangular parallelepiped shape, and the light emitting surface of the light emitting portion 21a has a rectangular shape (square shape or rectangular shape).
  • the image of the spot position photographed by the image sensor 10 is a projection of the shape of the light emitting surface of the light emitting unit 21a.
  • the diagonal line of the substrate 30 is a light emitting element with reference to FIG. Line segments passing through 21 may vary. This is because the position of the light emitting element 21 may be shifted from a desired position when the light emitting element 21 is mounted. For example, when the light emitting element 21 is mounted by solder, the light emitting element 21 is easily displaced from a desired position.
  • the spot position is generally searched along the diagonal line of the substrate 30.
  • the spot position detection accuracy decreases.
  • the light emitting elements 21 are arranged so that one side of the light emitting element 21 faces the imaging element 10 as compared with the example of FIG.
  • FIG. 5 (d) it is possible to suppress variations in the line segment through which the diagonal line of the substrate 30 passes through the light emitting element 21.
  • the detection accuracy of the spot position can be improved.
  • the light emitting element 21 so that the side of the light emitting element 21 facing the imaging element 10 is perpendicular to the diagonal line of the substrate 30, the line segment through which the diagonal line of the substrate 30 passes in each light emitting element 21. Be the same. Thereby, the detection accuracy of the spot position can be further improved.
  • FIG. 6A is a block diagram illustrating a hardware configuration of the biometric authentication device 400 to which the imaging device 100a according to the second embodiment is applied.
  • FIG. 6B is a top view of the imaging apparatus 100a.
  • FIG. 6C is a side view of the imaging apparatus 100a.
  • the biometric authentication device 400 has a configuration in which a terminal device 300 including a CPU 101, a RAM 102, a storage device 103, a display device 104, a communication unit 105, and the like is connected to the imaging device 100a. Each device in the terminal device 300 is connected by a bus or the like.
  • a CPU (Central Processing Unit) 101 is a central processing unit. The CPU 101 includes one or more cores.
  • a RAM (Random Access Memory) 102 is a volatile memory that temporarily stores programs executed by the CPU 101, data processed by the CPU 101, and the like.
  • the storage device 103 is a nonvolatile storage device.
  • a solid state drive (SSD) such as a ROM (Read Only Memory) or a flash memory, a hard disk driven by a hard disk drive, or the like can be used.
  • the biometric authentication program is stored in the storage device 103.
  • the display device 104 is a liquid crystal display, an electroluminescence panel, or the like, and displays a result of biometric authentication.
  • the communication unit 105 is an interface for transmitting / receiving signals to / from an external device.
  • the terminal device 300 and the imaging device 100a are connected via the communication unit 105.
  • the imaging device 100a is a device that takes a biological body of a user as a subject and acquires a biological image.
  • the imaging device 100a is a device that acquires a palm vein image of a user without contact.
  • the imaging apparatus 100 a has a configuration in which the imaging element 10 is arranged at the center portion on the substrate 30, and the light source 20 and the illumination light source 40 are arranged around the imaging element 10.
  • the image sensor 10 is a CMOS (Complementary Metal Oxide Semiconductor) camera or the like.
  • the substrate 30 has a rectangular shape.
  • the plurality of light sources 20 are arranged at each corner of the substrate 30. That is, four light sources 20 are arranged.
  • the illumination light source 40 is an LED or the like that emits near-infrared light, and two light sources 20 are disposed between the light sources 20. That is, a total of eight illumination light sources 40 are arranged.
  • the number of illumination light sources 40 is not particularly limited.
  • the light source 20 has a configuration in which a light emitting element 21 is disposed on a substrate 30 and an aperture 23 and a condenser lens 22 are disposed on the light emitting element 21.
  • the aperture 23 has a structure in which a hole is opened in the center portion, and has a function of increasing the degree of light collection by cutting excess light.
  • the aperture 23 may be disposed on either the upper side or the lower side of the condenser lens 22 or may be disposed on both.
  • the light emitting element 21 is shifted from the center of the condenser lens 22 toward the image pickup element 10. Thereby, the irradiation direction of the light emitting element 21 is inclined outward with respect to the optical axis of the imaging element 10. Note that the cost can be reduced by using a common light emitting element for the illumination light source 40 and the light emitting element 21.
  • the layout of wiring on the substrate 30 can be changed relatively flexibly. Therefore, the degree of freedom of arrangement of the light emitting elements 21 on the substrate 30 is relatively high. From the above, the position of the light emitting element 21 may be shifted after the condenser lens 22 is fixed.
  • the lower surface of the condenser lens 22 located on the light emitting element 21 side may have a planar shape, and the upper surface may have a spherical shape. By making the upper surface spherical, it is possible to efficiently collect the irradiation light spreading in a diffusing manner.
  • the condenser lens 22 may have a spherical lower surface and a flat upper surface.
  • the biometric authentication program stored in the storage device 103 is expanded in the RAM 102 so as to be executable.
  • the CPU 101 executes a biometric authentication program expanded in the RAM 102.
  • each process by the biometric authentication apparatus 400 is performed, for example, a biometric data registration process, a biometric authentication process, etc. are performed.
  • the biometric data registration process is a process of registering feature data extracted from a biometric image of a new unregistered user in the database as registered feature data.
  • the biometric authentication process is a process for identifying an authenticated user by personal authentication based on matching between matching feature data extracted from a biometric image acquired at the time of authentication and registered feature data.
  • FIG. 7 is a block diagram of each function realized by executing the biometric authentication program.
  • the overall control unit 11 controls the imaging unit 12, the detection unit 13, the guide unit 14, the authentication processing unit 15, and the registration database 16 are realized.
  • the overall control unit 11 controls the imaging unit 12, the detection unit 13, the guidance unit 14, and the authentication processing unit 15.
  • the imaging unit 12 controls the imaging device 100a and acquires a user's biological image from the imaging device 100a.
  • the detection unit 13 detects the distance between the image sensor 10 and the subject and the tilt of the subject using the spot light image acquired by the imaging device 100a.
  • the detection unit 13 may be included in the imaging apparatus 100a. Further, the detection unit may be distributed between the terminal device 300 and the imaging device 100a. In this case, the detection unit on the terminal device 300 side may measure the distance with high accuracy for the purpose of the authentication processing unit 15 using the authentication processing. Furthermore, the detection unit on the imaging apparatus 100a side can be used only for object detection and distance guidance, and can be configured to apply a simple calculation method (with a thinning process).
  • the guidance unit 14 performs guidance processing on the subject according to the detection result of the detection unit 13.
  • the guide unit 14 guides the user so that the distance x and the inclination of the subject are within appropriate ranges. For example, the guide unit 14 guides the user by displaying a message for the user on the display device 104.
  • the authentication processing unit 15 extracts feature data from the biological image acquired by the imaging unit 12. For example, the authentication processing unit 15 extracts a vein pattern and the like. The authentication processing unit 15 extracts registered feature data and registers it in the registration database 16 during biometric data registration processing, and extracts matching feature data during biometric authentication processing. The authentication processing unit 15 identifies the authenticated user by matching the matching feature data with the registered feature data registered in the registration database 16.
  • the imaging device 100 includes a control unit 50 and a storage device 60.
  • the control unit 50 controls the image sensor 10, the light source 20, and the illumination light source 40 in accordance with instructions from the imaging unit 12.
  • FIG. 8A and FIG. 8B are diagrams for explaining an example of a spot light image.
  • FIG. 8A shows an example when the imaging device 100a is close to the subject
  • FIG. 8B shows an example when the imaging device 100a is far from the subject.
  • the spot light area on the screen is a spot light image.
  • the spot light image is detected near the center of the screen.
  • the detection unit 13 detects the position of the spot light from the image acquired by the image sensor 10. First, the detection unit 13 searches for a spot position along a diagonal line (45 ° line) of the substrate 30 with the center position O of the spot light image as a starting point. Specifically, the luminance values of the image on the 45 ° line are acquired in order, and it is determined that the spot is started when the luminance value exceeds a predetermined threshold value Th. Note that spot positions are detected by the number of light sources 20 mounted. In the present embodiment, since four light sources 20 are arranged, the detection unit 13 performs a total of four searches for each light source 20.
  • the detection unit 13 acquires a distance P (x) between the center of the screen and the center of the spot position.
  • P (x) the position of the “rise” or “fall” of the spot is not reliable because the spot light itself spreads with distance.
  • FIG. 9A and FIG. 9B are diagrams for explaining spot detection.
  • the horizontal axis represents the distance on the 45 ° line in pixel units
  • the vertical axis represents the luminance value.
  • the detection unit 13 obtains a range that exceeds a predetermined threshold Th on the 45 ° line, and sets the center of the range to P (x).
  • the threshold Th may be variable according to the distance from the screen center.
  • the detection unit 13 calculates the distance x according to the following formula (4) using the distance P (x) obtained above.
  • An error may occur in the installation position of the light source 20. Thereby, an error also occurs in the detected position of the spot position.
  • This error has a unique value for each individual imaging device 100a. Therefore, as a calibration at the time of product shipment, the correspondence relationship between the distance P (X) and the distance x may be measured in advance and recorded in the storage device 60 of the imaging device 100a.
  • a subject may be set in advance at a distance x, and the distance P (x) measured at this time may be stored in a table.
  • FIG. 10 is an example of a calibration table acquired in advance. With such a configuration, distance measurement with higher accuracy becomes possible. Note that when a calibration table as shown in FIG. 10 is acquired in advance, distances other than the distance held in the table can be calculated by a complementing process. For example, linear interpolation processing may be used. This approximates a straight line between two adjacent distances.
  • the search start position of the spot light may be stored as calibration.
  • the search start position of the spot position is the center of the screen.
  • the accuracy of the procedure and the spot light source is higher than a certain level.
  • the assembly accuracy of the spot light source is very low, there is a possibility that the spot will be off even if searching on the 45 ° line from the center of the screen. This case can be dealt with by storing the search start position as calibration data in advance.
  • the optimum value of the inclination angle ⁇ is determined according to the operating conditions of the imaging apparatus 100a.
  • the biometric authentication process is operated by dividing into two types of distance ranges, that is, an authenticable distance and an inducible distance.
  • FIG. 11 is a diagram for explaining the authenticable distance and the inducible distance.
  • the authenticable distance is a distance range in which shooting with four spot lights is guaranteed by specifications.
  • the guideable distance is a distance that can be guided by at least one of the four-point spot lights. Due to the fact that the spot light is inclined outward, not all of the four spot lights hit the subject within the guideable distance. As a result, there is a case where the tilt detection of the subject cannot be executed within this distance range. In particular, in the case of a person with small hands, there is a high possibility that the spot light will be lost.
  • FIG. 12 is a diagram for explaining a flowchart when performing guidance according to the distance range.
  • detection unit 13 acquires distances r1 to r4 based on the spot positions of four light sources 20 (step S1).
  • the detection unit 13 determines whether or not all four spot positions are within the authenticable distance range R1 (step S2).
  • the detection part 13 determines whether one point or more exists in the guidance possible distance range R2 (step S3). If it is determined as “Yes” in step S3, the guiding unit 14 guides the subject (step S4). Thereafter, step S1 is executed again.
  • Step S2 determines whether or not the distance and inclination of the subject are within a predetermined range (Step S5). When it is determined as “No” in step S5, the guiding unit 14 guides the subject (step S6). Thereafter, step S1 is executed again. If “Yes” is determined in step S5, the authentication processing unit 15 performs an authentication process (step S7). Through the above processing, the subject can be imaged at an appropriate distance and inclination.
  • the positional deviation DX giving the inclination angle ⁇ can be measured in advance by simulation or actual measurement. If the inclination angle ⁇ is too small, the spot lights interfere with each other. Therefore, it is preferable to appropriately set the necessary minimum inclination angle ⁇ min .
  • the inclination angle ⁇ min is a value determined depending on the spread angle ⁇ of the spot light with reference to FIG. That is, if the inclination angle ⁇ is set larger than the spread angle ⁇ of the spot light, the spot light sources are separated from each other by the distance D and thus do not interfere.
  • the spread angle ⁇ of the spot light can be obtained by an optical simulator or actual measurement.
  • the minimum inclination angle ⁇ min of the inclination angle ⁇ may be set. If the minimum inclination angle ⁇ min is determined, the corresponding LED positional deviation amount DX min can also be set.
  • the maximum inclination angle ⁇ max of the inclination angle ⁇ may be set based on the authenticable distance that is the operation condition. Specifically, the maximum inclination angle ⁇ max of the inclination angle ⁇ may be determined from the assumed maximum value R 1max of the authenticable distance and the assumed minimum subject size L min . L min corresponds to the minimum value of the palm size in the example of palm vein authentication, but can be set to such a size that four spot lights are observed even when there is a hand position blur.
  • the maximum inclination angle ⁇ max is obtained from the condition of the following equation (10) under the condition that the irradiated spot light falls within the range of the size L min at the position of the distance R 1max .
  • the positional deviation amount DX max and the positional deviation amount DX min are obtained.
  • the recording medium in which the software program for realizing the function of the biometric authentication device 400 is recorded may be supplied to the biometric authentication device 400, and the CPU 101 may execute the program.
  • Examples of the storage medium for supplying the program include a CD-ROM, DVD, Blu-ray, or SD card.
  • each function is realized by executing a program by the CPU.
  • the present invention is not limited to this.
  • each function may be realized using a dedicated circuit or the like.

Abstract

 撮像装置は、被写体を撮像する撮像素子と、光を前記被写体に照射する複数の光源と、を備え、前記光源の光軸は、前記撮像素子の光軸に対して外側に傾斜することを特徴とする。

Description

撮像装置
 本発明は、撮像装置に関する。
 非接触で被写体を撮像しながら、被写体の距離、傾きなどの姿勢、等を検出する機能を備える撮像装置が知られている。特許文献1は、レーザを備え光学式三角測量法を用いた距離センサを備えた撮像装置を開示している。特許文献2は、LEDの光を集光して被写体に投影しつつ被写体をカメラで撮影する技術を開示している。
特開2000-230807号公報 特開2007-10346号公報
 しかしながら、特許文献1の技術では、レーザが高価であるという問題がある。特許文献2の技術では、レーザよりも安価なLEDが用いられているが、集光度合いが低くなる。したがって、特許文献2の技術を小型の撮像装置に用いるのは困難である。
 本発明は上記課題に鑑みなされたものであり、コストを抑制しつつ小型化が可能な撮像装置を提供することを目的とする。
 上記課題を解決するために、明細書開示の撮像装置は、被写体を撮像する撮像素子と、光を前記被写体に照射する複数の光源と、を備え、前記光源の光軸は、前記撮像素子の光軸に対して外側に傾斜する。
 明細書開示の撮像装置によれば、コストを抑制しつつ小型化が可能である。
(a)は比較例1に係る撮像装置の概略図であり、(b)は比較例2に係る小型撮像装置の概略図である 実施例に適用される撮像装置の概略図である。 (a)および(b)は撮像装置の各変数の定義を説明するための図である。 (a)は実施例1に係る撮像装置の上面図であり、(b)および(c)は光源の側面図である。 (a)は発光素子の模式的な斜視図であり、(b)~(e)は発光素子の配置の例である。 (a)は実施例2に係る撮像装置が適用される生体認証装置のハードウェア構成を説明するブロック図であり、(b)は撮像装置の上面図であり、(c)は撮像装置の側面図である。 生体認証プログラムの実行によって実現される各機能のブロック図である。 (a)および(b)はスポット光画像の例を説明するための図である。 (a)および(b)はスポット検出を説明するための図である。 事前に取得したキャリブレーションテーブルの例である。 認証可能距離および誘導可能距離について説明するための図である。 上記距離範囲に応じた誘導を行う際のフローチャートを説明するための図である。 スポット光の広がり角βを説明するための図である。
 実施例の説明に先立って、比較例について説明する。図1(a)は、比較例1に係る撮像装置の概略図である。図1(a)を参照して、比較例1に係る撮像装置にはスポット光を発する光源が備わっている。撮像装置は、照射光が被写体に当たる位置(以下、スポット位置)を検出することによって撮像素子と被写体との距離を検出する。光源からの光は、進行方向に進むにつれて徐々に広がる。安価な光源を用いると、光の広がり方は顕著になる。撮像装置が所定の大きさを有していれば、スポット光同士が干渉しないため、この光の広がりは大きな問題にはならない。
 しかしながら、撮像装置には、小型化が要求されている。例えば、従来のような据え置きを前提とした撮像装置だけでなく、スマートフォンなどの携帯型装置として撮像装置を機能させたい場合、撮像装置の小型化が要求される。また、小型化が求められる分野では、一般に高価な装置ではなく、低コストが求められる場合が多い。したがって、光の集光度合いには限界がある。
 図1(b)は、比較例2に係る小型撮像装置の概略図である。図1(b)を参照して、撮像装置が小型化されると、光源同士が近くなる。この場合、スポット光同士が干渉する。スポット光が干渉すると、スポット位置の検出精度が低下し、撮像素子と被写体との距離の検出精度が低下する。コストを抑制しつつ撮像装置を小型化するためには、この干渉問題を抑制することが望まれる。そこで、以下では、コストを抑制しつつ小型化を可能とする撮像装置について説明する。
 まず、以下の実施例に適用される原理について説明する。図2は、以下の実施例に適用される撮像装置200の概略図である。図2を参照して、撮像装置200には、撮像素子201の周りに複数の光源202が設けられた構造を有する。撮像素子201は、撮像可能な素子であれば特に限定されず、例えばCMOS(Complementary Metal Oxide Semiconductor)カメラなどである。光源202は、特に限定されるものではなく、出射光が進行方向に進むにつれて広がる光源であればどのようなものでも用いることができる。例えば、LEDなどを光源202として用いることができる。
 各光源202は、スポット光の照射方向が撮像素子201の光軸に対して外側に傾斜するように配置されている。この場合、光源202のスポット光が撮像素子201側に広がることを抑制できる。このような構成により、撮像装置200が小型化されても、スポット光同士の干渉を抑制することができる。また、集光度合いの高い高価な光源を用いなくてもよい。すなわち、コストを抑制しつつ撮像装置200を小型化することができる。なお、撮像素子201を挟んで対向する2つの光源202のスポット光軸の傾斜方向は、互いに逆であることが好ましい。
 なお、スポット光用のレンズとして、非球面レンズや複数枚のレンズを組み合せた構成を用いて集光度を上げることは可能である。しかしながら、当該構成をなすためのコストアップを招く問題がある。また、当該構成の組み立て時に必要となる精度が高くなるため、小型で安価な撮像装置用には不向きである。例えば、非球面レンズを利用するためには、非常に高度な位置合わせが必要であり、組み立ての精度向上が必要である。したがって、その分のコストアップを招くことになる。また、複数のレンズを用いる構成では、部品点数が余計に必要になる。また、レンズを複数搭載すると、撮像装置自体の高さが必要となるため、撮像装置が大型化してしまう。
 これに対して、図2の撮像装置200では、スポット光の光軸を撮像素子の光軸に対して外側に傾斜させるだけであり、追加の部品や取り付け精度向上を必要としない。したがって、追加の部品コストなどが不要であることから、小型の装置として大きな利点がある。また、距離を測定するためのアルゴリズムも現行と同様のものを利用することができることから、新規の開発コストも不要である。
 ここで、スポット光の光軸を撮像素子201の光軸に対して外側に傾斜させる場合の影響について説明する。図3(a)および図3(b)は、撮像装置200の各変数の定義を説明するための図である。距離Dは、各光源202間の距離(mm)を表す。距離xは、撮像素子201と被写体との距離(mm)を表す。画角θは、撮像素子201に備わるレンズの画角(rad)を表す。傾斜角αは、撮像素子201の光軸に対するスポット光の光軸の傾斜角(rad)を表す。撮影範囲W(x)は、距離x(mm)における撮影範囲(撮像素子で撮影可能な範囲)(mm)を表す。距離L(x)は、画面中心からスポット位置の中心までの距離(mm)を表す。距離P(x)は、距離L(x)をピクセルに変換することによって得られるピクセル距離を表す。Kは、撮像素子201の画像素子のピクセル数を表す。
 上記変数の中で、距離D、画角θ、および傾斜角αは設計値であり、固定値である。一方、距離L(x)および距離P(x)は、撮影時の距離xに応じて決定される値である。なお、距離L(x)および距離P(x)は、同一の長さ(画面中心からスポット位置の中心までの距離)をmm単位で表したものとピクセル単位で表したものである。距離P(x)は、スポット位置を撮像素子201で撮影したときに観測される測定量である。
 距離L(x)は、下記式(1)のように表される。下記式(1)によれば、スポット光の傾斜角を表す傾斜角αに比例して距離L(x)が大きくなる。
Figure JPOXMLDOC01-appb-M000001
 一方、距離xにおける撮影範囲W(x)は、撮像素子201の画角θを用いて下記式(2)のように表される。撮像素子201のピクセル数を表す変数K(例えば480ピクセル)を用いて、上記撮影範囲W(x)はKピクセルに対応して撮影されることになる。
Figure JPOXMLDOC01-appb-M000002
 上記式(1)および上記式(2)を用いて、距離P(x)は、下記式(3)のように表される。下記式(3)がスポット位置の中心と、距離xとの関係を表す式である。下記式(3)を用いて、距離xが未知の場合に、距離P(x)から距離xを算出することができる。各光源202について距離xを算出することによって、被写体の位置、被写体の傾きなどを検出することができる。以下、実施例について説明する。
Figure JPOXMLDOC01-appb-M000003
 図4(a)は、実施例1に係る撮像装置100の上面図である。図4(a)を参照して、撮像装置100は、撮像素子10の周囲に複数の光源20が設けられた構成を有する。例えば、撮像素子10は矩形の基板30の中央部に配置され、各光源20は基板30の各角部に配置されている。
 図4(b)は、光源20の側面図である。図4(b)を参照して、光源20は、基板30上に配置された発光素子21と、発光素子21上に配置された集光レンズ22とを備える。発光素子21の光軸は、集光レンズ22の中心に対してずれている。図4(c)を参照して、発光素子21の光軸が集光レンズ22の中心と一致する場合、発光素子21の出射光は直進する。これに対して、図4(b)を参照して、発光素子21の光軸を集光レンズ22の光軸からずらすことによって、発光素子21の出射光を傾斜させることができる。具体的には、発光素子21を集光レンズ22の中心よりも撮像素子10側にずらすことによって、発光素子21の照射方向を、撮像素子10の光軸に対して外側に傾斜させることができる。
 発光素子21の照射方向を傾斜させる方法として、発光素子21を基板30に対して傾斜させることが考えられる。しかしながら、一般的な回路基板上で部品を斜めに設置することは簡単ではない。例えば、一般的な基板上で発光素子を斜めに実装しようとすると、その分だけ余計なコストが必要となってしまう。また、発光素子が配置された箇所だけ基板を傾斜させる構造も可能ではあるが、基板を斜めにするとその分だけ撮像装置の厚さが必要となってしまい、撮像装置の小型化が阻害される。また、発光素子を配置する部分を別基板にすると、組み立て工数が増加し、コストアップを招いてしまう。
 これに対して、本実施例では、発光素子21を傾斜させる必要がなく、発光素子21の位置を集光レンズ22の位置に対してずらすだけであるから、実装が容易である。また、コストも抑制することができる。また、発光素子21の位置を変更するだけであるから、距離測定に係る一般的なアルゴリズム等を利用することができる。
 ここで、発光素子21として一般的なLED素子を用いる場合について説明する。図5(a)は、発光素子21の模式的な斜視図である。図5(a)を参照して、発光素子21は、発光部21aの周囲に、光を反射するリフレクタ21bが配置された構成を有する。一般的なLED素子は、立方体形状または直方体形状を有し、発光部21aの発光面は矩形状(正方形状または長方形状)を有している。撮像素子10で撮影されるスポット位置の画像は、発光部21aの発光面の形状が投影されたものになる。
 図5(b)のように発光素子21の各辺が基板30の各辺と平行になるように発光素子21を配置すると、図5(d)を参照して、基板30の対角線が発光素子21を通る線分がばらつくことがある。これは、発光素子21の実装の際に発光素子21の位置が所望の位置からずれることがあるからである。例えば、ハンダで発光素子21を実装する場合には、発光素子21が所望の位置からずれやすい。スポット位置までの距離を測定する際には、一般に基板30の対角線に沿ってスポット位置の探索がなされる。基板30の対角線が発光素子21を通る線分にばらつきが生じると、スポット位置の検出精度が低下する。
 そこで、本実施例においては、図5(c)のように、図5(b)の例よりも、発光素子21の一辺が撮像素子10と対向するように、各発光素子21を配置する。この場合、図5(d)を参照して、基板30の対角線が発光素子21を通る線分のばらつきを抑制することができる。それにより、スポット位置の検出精度を向上させることができる。なお、発光素子21の辺のうち撮像素子10と対向する辺が基板30の対角線と垂直をなすように発光素子21を配置することによって、各発光素子21において基板30の対角線が通る線分が同じになる。それにより、スポット位置の検出精度をさらに向上させることができる。
 実施例2においては、撮像装置が適用される生体認証装置について説明する。図6(a)は、実施例2に係る撮像装置100aが適用される生体認証装置400のハードウェア構成を説明するブロック図である。図6(b)は、撮像装置100aの上面図である。図6(c)は、撮像装置100aの側面図である。
 図6(a)を参照して、生体認証装置400は、CPU101、RAM102、記憶装置103、表示装置104、通信部105などを備える端末装置300が撮像装置100aと接続された構成を有する。端末装置300内の各機器は、バスなどによって接続されている。CPU(Central Processing Unit)101は、中央演算処理装置である。CPU101は、1以上のコアを含む。RAM(Random AccessMemory)102は、CPU101が実行するプログラム、CPU101が処理するデータなどを一時的に記憶する揮発性メモリである。
 記憶装置103は、不揮発性記憶装置である。記憶装置103として、例えば、ROM(Read Only Memory)、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。生体認証プログラムは、記憶装置103に記憶されている。表示装置104は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、生体認証の結果などを表示する。通信部105は、外部機器と信号の送受信を行うためのインタフェースである。端末装置300と撮像装置100aとは通信部105を介して接続されている。
 撮像装置100aは、ユーザの生体を被写体とし、生体画像を取得する装置である。本実施例においては、撮像装置100aは、非接触でユーザの手のひら静脈画像を取得する装置である。図6(b)を参照して、撮像装置100aは、基板30上の中央部に、撮像素子10が配置され、撮像素子10の周囲に光源20および照明用光源40が配置された構成を有する。撮像素子10は、CMOS(Complementary Metal Oxide Semiconductor)カメラなどである。
 基板30は、矩形状を有している。複数の光源20は、基板30の各角部に配置されている。すなわち、光源20は4つ配置されている。照明用光源40は、近赤外線を発光するLEDなどであり、各光源20の間に2つずつ配置されている。すなわち、照明用光源40は、合計で8つ配置されている。照明用光源40の数は特に限定されるものではない。
 図6(c)を参照して、光源20は、基板30上に発光素子21が配置され、発光素子21上にアパーチャ23および集光レンズ22が配置された構成を有する。アパーチャ23は、中央部に孔が開いた構成を有し、余分な光をカットすることによって集光度を高める機能を有している。アパーチャ23は、集光レンズ22の上側および下側のいずれに配置されていてもよく、両方に配置されていてもよい。発光素子21は、集光レンズ22の中心に対して、撮像素子10側にずらして配置されている。それにより、発光素子21の照射方向が、撮像素子10の光軸に対して外側に傾斜する。なお、照明用光源40および発光素子21に、共通の発光素子を用いることによってコストを削減することができる。
 なお、一般に、レンズ径が大きいほど光の集光に有利である。したがって、撮像装置100aのレイアウトの観点から、集光レンズ22の搭載位置は限定されることになる。特に、中心に撮像素子10が設けられている場合には、集光レンズ22の搭載可能位置は限定される。一方で、基板30上の配線などのレイアウトは比較的柔軟に変更可能である。したがって、基板30上における発光素子21の配置の自由度は比較的高くなる。以上のことから、集光レンズ22を固定した後に発光素子21の位置をずらしてもよい。
 集光レンズ22は、発光素子21側に位置する下面が平面形状を有し、上面が球面形状を有していてもよい。上面を球面形状とすることによって、拡散状に広がる照射光を効率よく集光することができる。なお、集光レンズ22は、下面が球面状を有し、上面が平面状を有していてもよい。
 記憶装置103に記憶されている生体認証プログラムは、実行可能にRAM102に展開される。CPU101は、RAM102に展開された生体認証プログラムを実行する。それにより、生体認証装置400による各処理が実行され、例えば、生体データ登録処理、生体認証処理などが実行される。生体データ登録処理は、未登録の新規ユーザの生体画像から抽出される特徴データを登録特徴データとしてデータベースに登録する処理である。生体認証処理は、認証時に取得された生体画像から抽出される照合用特徴データと登録特徴データとの照合に基づく個人認証によって被認証ユーザを特定する処理である。
 図7は、生体認証プログラムの実行によって実現される各機能のブロック図である。生体認証プログラムの実行によって、全体制御部11、撮影部12、検出部13、誘導部14、認証処理部15および登録データベース16が実現される。全体制御部11は、撮影部12、検出部13、誘導部14、および認証処理部15を制御する。撮影部12は、撮像装置100aを制御し、撮像装置100aからユーザの生体画像を取得する。
 検出部13は、撮像装置100aで取得されたスポット光画像を用いて、撮像素子10と被写体との距離および被写体の傾きを検出する。なお、検出部13は、撮像装置100a内に備わっていてもよい。また、検出部を端末装置300と撮像装置100aとに分散してもよい。この場合、端末装置300側の検出部は、認証処理部15が認証処理に使用する目的で高精度に距離を測定してもよい。さらに、撮像装置100a側の検出部は、被写体の検出および距離の誘導にのみ用い、簡易な計算方法(間引き処理を入れる)を適用する構成とすることもできる。
 誘導部14は、検出部13の検出結果に応じて、被写体に対する誘導処理を行う。誘導部14は、距離xおよび被写体の傾きが適切な範囲に入るように、ユーザに対して誘導を行う。例えば、誘導部14は、表示装置104にユーザに対するメッセージなどを表示することによって、ユーザを誘導する。
 認証処理部15は、撮影部12が取得した生体画像から特徴データを抽出する。例えば、認証処理部15は、静脈のパターンなどを抽出する。認証処理部15は、生体データ登録処理時には登録特徴データを抽出して登録データベース16に登録し、生体認証処理時には照合用特徴データを抽出する。認証処理部15は、照合用特徴データと、登録データベース16に登録された登録特徴データとの照合によって被認証ユーザを特定する。
 撮像装置100には制御部50および記憶装置60が備わっている。制御部50は、撮影部12の指示に従って、撮像素子10、光源20、および照明用光源40を制御する。
 次に、撮像素子10と被写体との距離測定のアルゴリズムについて説明する。図8(a)および図8(b)は、スポット光画像の例を説明するための図である。図8(a)は撮像装置100aと被写体とが近い場合の例であり、図8(b)は撮像装置100aと被写体とが遠い場合の例である。被写体が近い場合、撮像素子10が取得する画面において被写体の面積が大きくなり、スポット光は画面の端の方で検出される。画面上のスポット光の領域がスポット光画像である。一方、被写体が遠い場合、撮像素子10が取得する画面において被写体の面積が小さくなり、スポット光画像は画面の中心近くで検出される。
 検出部13は、スポット光の位置を、撮像素子10が取得した画像から検出する。まず、検出部13は、スポット光画像の中心位置Oを開始点として基板30の対角線(45°線)に沿ってスポット位置を探索する。具体的には、45°線上における画像の輝度値を順番に取得し、輝度値が所定のしきい値Thを超えた場合にスポット開始であると判断する。なお、スポット位置の検出は、搭載されている光源20の数だけ実施する。本実施例においては光源20が4つ配置されていることから、検出部13は、それぞれの光源20に対して合計で4回探索を行う。
 検出部13は、画面中心とスポット位置の中心との距離P(x)を取得する。例えば、スポットの“立ち上がり”や“立ち下がり”の位置は、スポット光自体が距離と共に広がっていることから、信頼性が低い。また、立ち上がり、立ち下がりの位置は一般に不明確である。図9(a)および図9(b)は、スポット検出を説明するための図である。図9(a)および図9(b)において、横軸は45°線上の距離をピクセル単位で表し、縦軸は輝度値を表している。具体的には、検出部13は、45°線上で所定のしきい値Thを超える範囲を求め、当該範囲の中心をP(x)に設定する。なお、被写体の距離に応じてスポットの輝度値は異なる。したがって、画面中心からの距離に応じてしきい値Thを可変とする構成にしてもよい。検出部13は、上記で求めた距離P(x)を用いて下記式(4)に従って距離xを算出する。
Figure JPOXMLDOC01-appb-M000004
 なお、光源20の設置位置には誤差が生じることがある。それにより、スポット位置の検出位置にも誤差が生じる。この誤差は、撮像装置100aの個体ごとに固有の値を持つ。そのため、製品出荷の際のキャリブレーションとして、あらかじめ距離P(X)と距離xとの対応間係を測定しておき、撮像装置100aの記憶装置60などに記録しておいてもよい。
 具体的には、事前に距離xの位置に被写体を設置し、この際に測定された距離P(x)をテーブルに保存しておいてもよい。図10は、事前に取得したキャリブレーションテーブルの例である。このような構成により、より高精度の距離測定が可能となる。なお、図10のようなキャリブレーションテーブルを事前に取得しておく場合、テーブル内の保持された距離以外の距離については補完処理によって算出可能である。例えば、線形補間処理を用いてもよい。これは、隣り合う2つの距離の間を直線で近似するものである。
 また、キャリブレーションとしてスポット光の探索開始位置を保存しておいてもよい。これまでの説明では、スポット位置の探索開始位置は画面の中心であると仮定していた。この手順、スポット光源の精度がある程度以上高い場合には問題がない。しかしながら、スポット光源の組み立て精度が非常に低い場合、画面中心から45°線上を探索してもスポットが外れてしまう可能性がある。この場合には、探索開始位置を事前にキャリブレーションデータとして保存しておくことで対応することができる。
 なお、テーブルを用いずに、近似曲線を用いて距離xと距離P(x)との対応関係を取得してもよい。上記式(4)の定数を置き換えると、下記式(5)が得られる。下記式(5)において、「A」および「B」は未知の定数項である。ここで、キャリブレーションとして複数の距離x,x,x…に対応するピクセル距離P(x)、P(x)、P(x)…を測定する。これらの関係を行列によって表すと、下記式(6)が得られる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 上記式(6)の左側の行列をXとすると、上記式(6)は下記式(7)のように表される。
Figure JPOXMLDOC01-appb-M000007
 上記式(7)を満たす最小誤差の「A」および「B」を求めるためには、下記式(8)のような疑似逆行列(X)を用いる方法が知られている。ただし、X=(XX)-1である。また、Tは転置を意味し、「-1」は逆行列を意味する。このように求めた「A」および「B」を上記式(5)にあてはめることによって、距離xを算出することができる。
Figure JPOXMLDOC01-appb-M000008
 なお、傾斜角αの最適値は、撮像装置100aの運用条件に応じて決定される。まず、スポット光を斜めに照射する固有の影響として次の点を考慮する必要がある。被写体に対して垂直にスポット光を照射する場合には、距離に依存せず同じ範囲がスポット光に照らされる。一方、照射方向を傾斜させると、スポット光が当たる範囲が距離とともに広がっていく。そのため、距離が大きくなるにつれて、スポット光が被写体から外れる可能性が生じる。スポット光が被写体から外れてしまうと4点の距離を測定することによる傾き補正を行うことができず、生体認証処理に支障をきたす。この点を考慮して本実施例では、認証可能距離および誘導可能距離の2種類の距離範囲に分けて生体認証処理を運用する。
 図11は、認証可能距離および誘導可能距離について説明するための図である。図11を参照して、認証可能距離は、4点のスポット光による撮影が仕様上保障されている距離範囲である。この距離範囲に被写体が存在する場合は4点のスポット光を用いた傾き検知等を利用することができる。誘導可能距離は、4点スポット光の少なくともいずれかによる誘導が可能な距離である。スポット光が外側に傾斜していることに起因して、誘導可能距離においては4点のスポット光が全て被写体に当たるとは限らない。その結果、この距離範囲では被写体の傾き検知は実行できない場合がある。特に手の小さい人の場合はスポット光が外れる可能性が高くなる。一方、4点のうちのいずれかによる被写体検知および距離の誘導は可能である。一般的に、被写体が離れすぎている場合には生体認証処理を行わず、「手を近づけてください」といった誘導のみを行う場合が多い。そのため、上記のような距離範囲に分けて運用しても実際の使用上は影響がない。
 図12は、上記距離範囲に応じた誘導を行う際のフローチャートを説明するための図である。図12を参照して、検出部13は、4つの光源20のスポット位置に基づいて、距離r1~r4を取得する(ステップS1)。次に、検出部13は、4点のスポット位置がいずれも認証可能距離範囲R1内にあるか否か判定する(ステップS2)。ステップS2で「No」と判定された場合、検出部13は、1点以上が誘導可能距離範囲R2内にあるか否かを判定する(ステップS3)。ステップS3において「Yes」と判定された場合、誘導部14は被写体の誘導を行う(ステップS4)。その後、ステップS1が再度実行される。
 ステップS2で「Yes」と判定された場合、検出部13は被写体の距離および傾きが所定の範囲内にあるか否か判定する(ステップS5)。ステップS5において「No」と判定された場合、誘導部14は被写体の誘導を行う(ステップS6)。その後、ステップS1が再度実行される。ステップS5において「Yes」と判定された場合、認証処理部15は認証処理を行う(ステップS7)。以上の処理により、適切な距離および傾きで、被写体を撮像することができる。
 続いて、上記各実施例における光源20の照射光の傾斜角αの最適値について説明する。傾斜角αを与える位置ずれDXは、事前に対応関係をシミュレーションや実測などで測定しておくことができる。傾斜角αが小さ過ぎると、スポット光同士が干渉を起こしてしまうため、必要な最小の傾斜角αminを適切に設定しておくことが好ましい。傾斜角αminは、図13を参照して、スポット光の広がり角βに依存して決まる値である。つまり、スポット光の広がり角βよりも傾斜角αを大きく設定すれば、スポット光源どうしは距離Dだけ離れているため、干渉しない。スポット光の広がり角βは光学シミュレータや実測によって求めることができる。
 傾斜角αが広がり角βよりも小さい場合でも、一定の距離範囲内であれば、スポット光同士が干渉しないため、そのような構成とすることもできる。具体的には下記式(9)の距離範囲内であれば動作に問題はない。このような条件をもとに、傾斜角αの最小傾斜角αminを設定してもよい。最小傾斜角αminが決まれば、対応するLEDの位置ずれ量DXminも設定することができる。
Figure JPOXMLDOC01-appb-M000009
 一方、傾斜角αが大き過ぎると、被写体からスポット光が外れてしまう可能性がある。そのため、傾斜角αの最大傾斜角αmaxは運用条件である認証可能距離を基準に設定してもよい。具体的には、想定している認証可能距離の最大値R1maxと、想定している最小の被写体の大きさLminから傾斜角αの最大傾斜角αmaxを決定してもよい。Lminは、手のひら静脈認証の例では手のひらの大きさの最小値が該当するが、手の位置ブレがあった場合でも4つのスポット光が観測される大きさに設定することもできる。
 照射したスポット光が距離R1maxの位置において大きさLminの範囲内に入るという条件によって、下記式(10)の条件から最大傾斜角αmaxが求まる。最大傾斜角αmaxが求まれば、位置ずれ量DXmaxおよび位置ずれ量DXminが求まる。
Figure JPOXMLDOC01-appb-M000010
 発光素子は、ハンダなどで実装する際の取り付け誤差が一般的な光学部品と比較して大きい。そこで、発光素子を用いたスポット光学系を構築する際には、実装の誤差を考慮することが好ましい。発光素子の取り付け誤差をΔXとすると、発光素子のずれ量DXの設計値は次のように定めることができる。まず、スポット光同士の干渉が起きないようにする為には誤差ΔXが存在する場合でも最小ズレ量DXminが保障される必要がある。そのため、最小ずれ量DXminにΔXを加えた値が必要となるDXの最小値DXmin´である(DXmin´=DXmin+ΔX)。一方、最大傾斜角αmaxに関しては、傾斜角αが最大傾斜角αmax以上に広がってしまうと、手のひらの検出に失敗する可能性がある。そのため、誤差ΔXが存在する場合でも最大傾斜角αmax以下になるようにすることが好ましい。そのため、最大ずれ量DXmaxから誤差ΔXを差し引いた値が許容されるDXの最大値DXmax´である(DXmax´=DXmax-ΔX)。以上から発光素子の位置ずれ量DXは、DXmin´≦DX≦DXmax´の範囲に設定することが好ましい。
 生体認証装置400の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を生体認証装置400に供給し、CPU101が当該プログラムを実行してもよい。プログラムを供給するための記憶媒体としては、例えば、CD-ROM、DVD、ブルーレイ又はSDカードなどがある。また、上記各実施例においては、CPUによるプログラムの実行によって各機能が実現されていたが、それに限られない。例えば、専用の回路などを用いて各機能を実現してもよい。
 以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
 10 撮像素子
 20 光源
 21 発光素子
 22 集光レンズ
 30 基板
 100 撮像装置

Claims (6)

  1.  被写体を撮像する撮像素子と、
     光を前記被写体に照射する複数の光源と、を備え、
     前記光源の光軸は、前記撮像素子の光軸に対して外側に傾斜することを特徴とする撮像装置。
  2.  前記光源は、発光素子および集光レンズを含み、
     前記発光素子は、前記発光素子の光軸が前記集光レンズの中心に対して前記撮像素子側にずらして配置されていることを特徴とする請求項1記載の撮像装置。
  3.  前記光源に含まれる発光素子の発光面は矩形であり、
     前記矩形の一辺が前記撮像素子と対向することを特徴とする請求項1または2記載の撮像装置。
  4.  前記光源から照射される光が前記被写体に当たって現れるスポット位置を検出することによって、前記撮像素子と前記被写体との距離を検出する検出部を備えることを特徴とする請求項1~3のいずれか一項に記載の撮像装置。
  5.  前記スポット位置と、前記撮像素子と前記被写体との距離との対応関係を記憶する記憶部を備えることを特徴とする請求項4記載の撮像装置。
  6.  前記被写体は、生体であることを特徴とする請求項1~5のいずれか一項に記載の撮像装置。
PCT/JP2012/058163 2012-03-28 2012-03-28 撮像装置 WO2013145164A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201280071825.1A CN104220838B (zh) 2012-03-28 2012-03-28 拍摄装置
JP2014507132A JP6079772B2 (ja) 2012-03-28 2012-03-28 撮像装置
PCT/JP2012/058163 WO2013145164A1 (ja) 2012-03-28 2012-03-28 撮像装置
KR1020147026798A KR101630558B1 (ko) 2012-03-28 2012-03-28 촬상 장치
EP12873126.2A EP2833095B1 (en) 2012-03-28 2012-03-28 Imaging device
US14/483,555 US9644943B2 (en) 2012-03-28 2014-09-11 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/058163 WO2013145164A1 (ja) 2012-03-28 2012-03-28 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/483,555 Continuation US9644943B2 (en) 2012-03-28 2014-09-11 Imaging device

Publications (1)

Publication Number Publication Date
WO2013145164A1 true WO2013145164A1 (ja) 2013-10-03

Family

ID=49258530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/058163 WO2013145164A1 (ja) 2012-03-28 2012-03-28 撮像装置

Country Status (6)

Country Link
US (1) US9644943B2 (ja)
EP (1) EP2833095B1 (ja)
JP (1) JP6079772B2 (ja)
KR (1) KR101630558B1 (ja)
CN (1) CN104220838B (ja)
WO (1) WO2013145164A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038158A1 (ja) * 2015-08-31 2017-03-09 富士フイルム株式会社 測距装置、測距用制御方法、及び測距用制御プログラム
WO2017038157A1 (ja) * 2015-08-31 2017-03-09 富士フイルム株式会社 測距装置、測距用導出方法、及び測距用導出プログラム
JP2017162394A (ja) * 2016-03-11 2017-09-14 富士通株式会社 生体撮影装置、生体撮影方法および生体撮影プログラム
JP2017528376A (ja) * 2014-10-27 2017-09-28 ▲広▼州▲極飛▼科技有限公司 回転翼機及びその自動着陸システム及び方法
JP2018514783A (ja) * 2015-05-10 2018-06-07 マジック アイ インコーポレイテッド 距離センサ
JP2020024234A (ja) * 2014-10-24 2020-02-13 マジック アイ インコーポレイテッド 距離センサ
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11002537B2 (en) 2016-12-07 2021-05-11 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11062468B2 (en) 2018-03-20 2021-07-13 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9605843B2 (en) 2011-07-11 2017-03-28 Golight, Inc. LED system and housing for use with halogen light
TWI490526B (zh) * 2013-07-05 2015-07-01 Pixart Imaging Inc 光學感測模組及具有該光學感測模組之電子裝置
US9305155B1 (en) * 2015-02-12 2016-04-05 United Services Automobile Association (Usaa) Toggling biometric authentication
CN111025329A (zh) * 2019-12-12 2020-04-17 深圳奥比中光科技有限公司 一种基于飞行时间的深度相机及三维成像方法
DE102022115810A1 (de) 2022-06-24 2024-01-04 IDloop GmbH Vorrichtung zur kontaktlosen aufnahme von biometriedaten von hautbereichen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110430A (ja) * 1993-10-12 1995-04-25 Olympus Optical Co Ltd 測距装置を有するカメラ
JP2000230807A (ja) 1999-02-10 2000-08-22 Micro Research:Kk 平行光を利用した距離測定方法とその装置
JP2004354307A (ja) * 2003-05-30 2004-12-16 Sunx Ltd 寸法測定装置
JP2006313116A (ja) * 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP2007010346A (ja) 2005-06-28 2007-01-18 Fujitsu Ltd 撮像装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3436556A (en) * 1966-03-24 1969-04-01 Sperry Rand Corp Optical inspection system
US4152624A (en) * 1978-03-16 1979-05-01 Monsanto Company Molded LED indicator
US4577259A (en) * 1983-05-09 1986-03-18 Motorola, Inc. Apparatus and method for retaining an electronic device
CA1235773A (en) * 1983-12-23 1988-04-26 Shigeto Nakayama Device for detecting road surface condition
US5148211A (en) * 1989-10-20 1992-09-15 Fuji Photo Film Co., Ltd. Stabilized range finder for use with an electronically controlled camera
US5848839A (en) * 1997-04-07 1998-12-15 Savage, Jr.; John M. LED sealing lens cap and retainer
CN2325758Y (zh) * 1997-07-09 1999-06-23 北京医科大学口腔医学院 一种激光扫描数据采集装置
US6154279A (en) * 1998-04-09 2000-11-28 John W. Newman Method and apparatus for determining shapes of countersunk holes
US6410872B2 (en) * 1999-03-26 2002-06-25 Key Technology, Inc. Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio
EP1126412B1 (en) * 2000-02-16 2013-01-30 FUJIFILM Corporation Image capturing apparatus and distance measuring method
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
US6618123B2 (en) * 2000-10-20 2003-09-09 Matsushita Electric Industrial Co., Ltd. Range-finder, three-dimensional measuring method and light source apparatus
US6979104B2 (en) * 2001-12-31 2005-12-27 R.J. Doran & Co. LTD LED inspection lamp
GB2395261A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
US6992843B2 (en) * 2003-12-16 2006-01-31 Metastable Instruments, Inc. Precision optical wedge light beam scanner
CN2676151Y (zh) * 2003-12-26 2005-02-02 暨南大学 双侧光刀型高度测量范围可调的三维轮廓测量装置
USD559432S1 (en) * 2004-12-14 2008-01-08 Moriyama Sangyo Kabushiki Kaisha Lens for LED
US8301027B2 (en) * 2008-05-02 2012-10-30 Massachusetts Institute Of Technology Agile-beam laser array transmitter
FR2938908B1 (fr) * 2008-11-24 2011-01-21 Commissariat Energie Atomique Dispositif et procede de mesure de la position d'au moins un objet en mouvement dans un repere a trois dimensions
DE102009003765A1 (de) * 2009-04-08 2010-10-14 Eurodelta Gmbh Vorrichtung zur Erfassung biometrischer Merkmale
US8558161B2 (en) * 2010-08-10 2013-10-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Lens having multiple conic sections for LEDs and proximity sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110430A (ja) * 1993-10-12 1995-04-25 Olympus Optical Co Ltd 測距装置を有するカメラ
JP2000230807A (ja) 1999-02-10 2000-08-22 Micro Research:Kk 平行光を利用した距離測定方法とその装置
JP2004354307A (ja) * 2003-05-30 2004-12-16 Sunx Ltd 寸法測定装置
JP2006313116A (ja) * 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP2007010346A (ja) 2005-06-28 2007-01-18 Fujitsu Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2833095A4

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020024234A (ja) * 2014-10-24 2020-02-13 マジック アイ インコーポレイテッド 距離センサ
JP2017528376A (ja) * 2014-10-27 2017-09-28 ▲広▼州▲極飛▼科技有限公司 回転翼機及びその自動着陸システム及び方法
US10392128B2 (en) 2014-10-27 2019-08-27 Guangzhou Xaircraft Technology Co., Ltd. Rotorcraft and automatic landing system and method thereof
JP2018514783A (ja) * 2015-05-10 2018-06-07 マジック アイ インコーポレイテッド 距離センサ
WO2017038158A1 (ja) * 2015-08-31 2017-03-09 富士フイルム株式会社 測距装置、測距用制御方法、及び測距用制御プログラム
WO2017038157A1 (ja) * 2015-08-31 2017-03-09 富士フイルム株式会社 測距装置、測距用導出方法、及び測距用導出プログラム
JPWO2017038158A1 (ja) * 2015-08-31 2018-04-05 富士フイルム株式会社 測距装置、測距用制御方法、及び測距用制御プログラム
JPWO2017038157A1 (ja) * 2015-08-31 2018-04-26 富士フイルム株式会社 測距装置、測距用導出方法、及び測距用導出プログラム
US10802143B2 (en) 2015-08-31 2020-10-13 Fujifilm Corporation Distance measurement device, deriving method for distance measurement, and deriving program for distance measurement
US11828847B2 (en) 2015-08-31 2023-11-28 Fujifilm Corporation Distance measurement device, deriving method for distance measurement, and deriving program for distance measurement
JP2017162394A (ja) * 2016-03-11 2017-09-14 富士通株式会社 生体撮影装置、生体撮影方法および生体撮影プログラム
US11002537B2 (en) 2016-12-07 2021-05-11 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US11062468B2 (en) 2018-03-20 2021-07-13 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11381753B2 (en) 2018-03-20 2022-07-05 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Also Published As

Publication number Publication date
US9644943B2 (en) 2017-05-09
EP2833095A4 (en) 2015-03-18
EP2833095A1 (en) 2015-02-04
CN104220838A (zh) 2014-12-17
CN104220838B (zh) 2016-12-21
KR20140119836A (ko) 2014-10-10
EP2833095B1 (en) 2023-06-28
US20140376005A1 (en) 2014-12-25
JP6079772B2 (ja) 2017-02-15
JPWO2013145164A1 (ja) 2015-08-03
KR101630558B1 (ko) 2016-06-14

Similar Documents

Publication Publication Date Title
JP6079772B2 (ja) 撮像装置
JP4799216B2 (ja) 距離測定機能を有する撮像装置
JP5808502B2 (ja) 画像生成装置
JP4566929B2 (ja) 撮像装置
JP4708220B2 (ja) 照明装置及びこれを用いた撮像装置
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
JP5138116B2 (ja) 情報取得装置および物体検出装置
US9875525B2 (en) Image processing device, projector, and image processing method
WO2012147495A1 (ja) 情報取得装置および物体検出装置
US10667445B2 (en) Position recognition apparatus for printed circuit board, position recognition and processing apparatus, and printed circuit board manufacturing method
TW201725065A (zh) 自動計分鏢靶裝置及其飛鏢自動計分方法
WO2023213311A1 (zh) 胶囊内窥镜、摄像系统的测距方法和装置
US9807348B2 (en) Imaging apparatus, imaging method, and imaging program
JP6260653B2 (ja) 撮像装置
WO2018030028A1 (ja) 読取装置、プログラム、及びユニット
JPWO2008084523A1 (ja) 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
JP5883688B2 (ja) 設置状態検出システム、設置状態検出装置、及び設置状態検出方法
CN113767359A (zh) 使用显示器的光获取生物特征信息的方法及电子装置
US10607064B2 (en) Optical projection system and optical projection method
CN109269404B (zh) 图像处理方法、装置及指纹识别设备
US10237545B1 (en) Image pickup module test system and method
CN110505393B (zh) 影像处理装置与方法
TWI596360B (zh) 攝像設備以及攝像方法
JP2016001153A (ja) 光学部品の検査装置及び検査方法
WO2013031448A1 (ja) 物体検出装置および情報取得装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12873126

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012873126

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014507132

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20147026798

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE