WO2021220412A1 - 撮像システム、撮像方法、及びコンピュータプログラム - Google Patents

撮像システム、撮像方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2021220412A1
WO2021220412A1 PCT/JP2020/018151 JP2020018151W WO2021220412A1 WO 2021220412 A1 WO2021220412 A1 WO 2021220412A1 JP 2020018151 W JP2020018151 W JP 2020018151W WO 2021220412 A1 WO2021220412 A1 WO 2021220412A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
subject
imaging system
pixel density
Prior art date
Application number
PCT/JP2020/018151
Other languages
English (en)
French (fr)
Inventor
有加 荻野
慶一 蝶野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022518498A priority Critical patent/JP7364059B2/ja
Priority to US17/920,908 priority patent/US20230171481A1/en
Priority to PCT/JP2020/018151 priority patent/WO2021220412A1/ja
Publication of WO2021220412A1 publication Critical patent/WO2021220412A1/ja
Priority to JP2023173512A priority patent/JP2023174759A/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Definitions

  • This disclosure relates to the technical fields of imaging systems, imaging methods, and computer programs that image subjects.
  • Patent Document 1 discloses a technique of detecting a subject's face and eyes to identify an area of interest in the iris.
  • Patent Document 2 discloses a technique of generating a low-resolution image from a high-resolution image and performing pupil detection from the low-resolution image.
  • Patent Document 3 discloses a technique of synthesizing a plurality of images to generate a composite image having a wide angle of view.
  • An iris camera that captures an image for iris recognition is generally set to have a high pixel count and a narrow angle of view. Therefore, it is difficult to capture a wide-angle image in which the eye position of the subject can be detected by the iris camera due to restrictions on the communication speed and the angle of view range.
  • This disclosure has been made in view of the above problems, and an object of the present invention is to provide an imaging system, an imaging method, and a computer program capable of appropriately capturing an image around the eyes of a subject.
  • One aspect of the imaging system of the present disclosure is a first control means that controls the imaging means so as to capture a first image of the subject with a first pixel density, and a position of the eyes of the subject from the first image.
  • a detection means for detecting the above a setting means for setting a peripheral area around the eyes of the subject based on the position of the eyes, and a second pixel density higher than the first pixel density, the peripheral area.
  • One aspect of the imaging method of the present disclosure is to control the imaging means so as to capture the first image of the subject with the first pixel density, detect the position of the eyes of the subject from the first image, and obtain the eyes.
  • the imaging means is set so as to set a peripheral region around the eyes of the subject based on the position of, and to capture a second image of the peripheral region with a second pixel density higher than the first pixel density.
  • One aspect of the computer program of the present disclosure is to control the imaging means so as to capture the first image of the subject with the first pixel density, detect the position of the eyes of the subject from the first image, and the eyes.
  • the peripheral region around the eyes of the subject is set based on the position of, and the imaging means is used to capture a second image of the peripheral region with a second pixel density higher than the first pixel density. Operate the computer to control.
  • FIG. 1 is a block diagram showing a hardware configuration of the imaging system according to the first embodiment.
  • the imaging system 10 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device 14.
  • the imaging system 10 may further include an input device 15 and an output device 16.
  • the processor 11, the RAM 12, the ROM 13, the storage device 14, the input device 15, and the output device 16 are connected via the data bus 17.
  • Processor 11 reads a computer program.
  • the processor 11 is configured to read a computer program stored in at least one of the RAM 12, the ROM 13, and the storage device 14.
  • the processor 11 may read a computer program stored in a computer-readable recording medium using a recording medium reading device (not shown).
  • the processor 11 may acquire (that is, may read) a computer program from a device (not shown) located outside the imaging system 10 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15, and the output device 16 by executing the read computer program.
  • a functional block for capturing an image of a subject is realized in the processor 11.
  • processor 11 a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a DSP (Demand-Side Platform), and an ASIC (Appli) are used. Alternatively, a plurality of them may be used in parallel.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • DSP Demand-Side Platform
  • ASIC Application Specific integrated circuit
  • the RAM 12 temporarily stores the computer program executed by the processor 11.
  • the RAM 12 temporarily stores data temporarily used by the processor 11 when the processor 11 is executing a computer program.
  • the RAM 12 may be, for example, a D-RAM (Dynamic RAM).
  • the ROM 13 stores a computer program executed by the processor 11.
  • the ROM 13 may also store fixed data.
  • the ROM 13 may be, for example, a P-ROM (Programmable ROM).
  • the storage device 14 stores data stored by the imaging system 10 for a long period of time.
  • the storage device 14 may operate as a temporary storage device of the processor 11.
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives an input instruction from the user of the imaging system 10.
  • the input device 15 may include, for example, at least one of a keyboard, a mouse and a touch panel.
  • the output device 16 is a device that outputs information about the imaging system 10 to the outside.
  • the output device 16 may be a display device (for example, a display) capable of displaying information about the imaging system 10.
  • FIG. 2 is a block diagram showing a functional configuration of the imaging system according to the first embodiment.
  • the imaging system 10 is connected to the iris camera 20.
  • the imaging system 10 includes a first control unit 110, an eye position detection unit 120, an ROI setting unit 130, and a second control unit 140 as processing blocks for realizing the function.
  • the first control unit 110, the eye position detection unit 120, the ROI setting unit 130, and the second control unit 140 may be realized, for example, in the processor 11 (see FIG. 1) described above.
  • the first control unit 110 is configured to control the iris camera 20 so that the first image of the subject can be captured.
  • the first image is an image used to detect the position of the eyes of the subject, and is captured with a relatively low first pixel density.
  • the first image is captured so that, for example, the entire subject is within the imaging range.
  • the eye position detection unit 120 detects the eye position of the subject (that is, where the eyes are) by using the first image captured under the control of the first control unit 110.
  • the method of detecting the eye position of the subject from the image an existing technique can be appropriately adopted, and therefore a more specific description thereof will be omitted here.
  • Information about the eye position of the subject detected by the eye position detection unit 120 is output to the ROI setting unit.
  • the ROI setting unit 130 is configured to be able to set an ROI (Region Of Interest) for capturing the iris of the subject based on the eye position of the subject detected by the eye position detection unit 120.
  • the ROI is set as the area through which the eyes of the subject will pass at the in-focus point of the iris camera 20.
  • the information about the ROI set by the ROI setting unit 130 is output to the second control unit 140.
  • the second control unit 140 is configured to control the iris camera 20 so that a second image of the subject can be captured.
  • the second image is an image captured as an image of a region set by the ROI setting unit 130, and is captured with a second pixel density higher than the first pixel density (that is, the pixel density when the first image is captured). Will be done. As a result, the second image becomes an image obtained by capturing the region around the eyes of the subject with high resolution.
  • FIG. 3 is a flowchart showing an operation flow of the imaging system according to the first embodiment.
  • the first control unit 110 first controls the iris camera 20 so as to capture the first image of the subject (step S101). ..
  • the first image is captured with the first pixel density.
  • the eye position detection unit 120 detects the eye position of the subject from the first image (step S102). Then, the ROI setting unit 130 sets the ROI based on the detected eye position (step S103).
  • the second control unit 140 controls the iris camera 20 so as to capture the second image at the set ROI (step S104).
  • the second image is captured with a second pixel density higher than the first pixel density.
  • FIG. 4 is a conceptual diagram showing the imaging timing and imaging range of the first image and the second image according to the first embodiment.
  • the second image is captured at the second pixel density.
  • the amount of data in the first image can be made relatively small. Therefore, it is possible to prevent the amount of data of the first image, which requires a relatively wide angle of view, from becoming large.
  • the period required for communication and processing of the first image can be shortened, and the processing from the acquisition of the first image to the acquisition of the second image (for example, the processing of detecting the eye position and the ROI) can be performed. Processing to set, etc.) can be executed smoothly.
  • the iris camera 20 has a first image (that is, an image for detecting the eye position and setting the ROI) and a second image (that is, a high-definition iris). Images) and can be imaged respectively. Therefore, the iris image of the subject can be appropriately captured without incurring the above-mentioned increase in cost and high complexity of the system.
  • the imaging system 10 According to the imaging system 10 according to the first embodiment, the eye position can be specified with a low-quality image even with the iris camera having a narrow angle of view, and the iris region can be specified. In addition, it is not necessary to make the user aware of the camera.
  • the first control unit 110 may capture the first image at the timing when the subject reaches a predetermined trigger position, for example.
  • the timing at which the subject reaches the trigger position may be detected by, for example, various sensors installed around the trigger position.
  • the second control unit 140 may capture a second image at the timing when the subject reaches a preset focusing point of the iris camera 20, for example.
  • the second control unit 140 may predict the timing when the subject reaches the in-focus point and continuously capture a plurality of second images in the vicinity of the timing.
  • the second image captured by the control of the second control unit 140 may be input to a biometric authentication unit (not shown) and used for iris authentication of the subject.
  • the biometric authentication unit may be provided as a part of the imaging system 10, or may be provided outside the imaging system 10 (for example, an external server, a cloud, or the like). Since the existing technology can be appropriately adopted for the authentication process using the iris image (that is, the second image), a more specific description here will be omitted.
  • the imaging system 10 according to the second embodiment will be described with reference to FIGS. 5 to 7.
  • the second embodiment is different from the first embodiment described above only in a part of the configuration and operation, and the other parts are substantially the same. Therefore, in the following, the parts different from the first embodiment will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • the hardware configuration of the imaging system 10 according to the second embodiment may be the same as the hardware configuration of the first embodiment described with reference to FIG. Therefore, the description of the hardware configuration of the imaging system 10 according to the second embodiment will be omitted.
  • FIG. 5 is a block diagram showing a functional configuration of the imaging system according to the second embodiment.
  • the same components as those shown in FIG. 2 are designated by the same reference numerals.
  • the imaging system 10 according to the second embodiment may be collectively referred to as a first iris camera 21, a second iris camera 22, and a third iris camera 23 (hereinafter collectively referred to as "iris camera 20"). ) Are connected. That is, the imaging system 10 according to the second embodiment is configured to be able to control imaging by a plurality of iris cameras 20. Further, the imaging system 10 includes a first control unit 110, an eye position detection unit 120, an ROI setting unit 130, and a second control unit 140 as processing blocks for realizing the function.
  • FIG. 6 is a flowchart showing an operation flow of the imaging system according to the second embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • each iris camera 21 and the second iris camera so that the first control unit 110 first captures the first image of the subject.
  • Each of the 22 and the third iris camera 23 is controlled (step S201). It is preferable that each iris camera 20 captures the first image at the same timing, but the timing of imaging may be slightly different.
  • the eye position detection unit 120 detects the eye position of the subject from the plurality of first images (step S102). Then, the ROI setting unit 130 sets the ROI based on the detected eye position (step S103).
  • the second control unit 140 controls the iris camera 20 so as to capture the second image at the set ROI (step S104).
  • the second image may be captured by one of the first iris camera 21, the second iris camera 22, and the third iris camera 23. That is, it is not necessary for all the iris cameras 20 to separately capture the second image.
  • the iris camera 20 that captures the second image may be determined according to, for example, the ROI set by the ROI setting unit 130. Specifically, the second image may be captured by the iris camera 20 that includes the ROI in the imaging range.
  • FIG. 7 is a conceptual diagram showing the imaging timing and imaging range of the first image and the second image according to the second embodiment.
  • the same reference numerals are given to the same components as those shown in FIG. 7
  • the first image is captured by a plurality of iris cameras 20, and the eye position is detected and the ROI is set from the first image.
  • the eyes may not be included in the imaging range depending on the situation.
  • an appropriate ROI can be set from the eye position, and the second image (that is, a high-definition iris image) can be captured more appropriately.
  • the plurality of first images do not have to be captured by the plurality of iris cameras 20, and a plurality of first images may be captured by one iris camera 20. Specifically, for example, the position of one camera may be appropriately moved to capture the first image from a plurality of angles. Even in this case, the above-mentioned technical effect can be obtained by synthesizing a plurality of first images to generate a wide-angle image.
  • the imaging system 10 according to the third embodiment will be described with reference to FIGS. 8 and 9.
  • the third embodiment is different from the first and second embodiments described above only in a part of the configuration and operation, and the other parts are substantially the same. Therefore, in the following, the parts different from the first and second embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • the hardware configuration of the imaging system 10 according to the third embodiment may be the same as the hardware configuration of the first embodiment described with reference to FIG. Therefore, the description of the hardware configuration of the imaging system 10 according to the third embodiment will be omitted.
  • FIG. 8 is a block diagram showing a functional configuration of the imaging system according to the second embodiment.
  • the same components as those shown in FIGS. 2 and 5 are designated by the same reference numerals.
  • the image pickup system 10 according to the third embodiment has a first control unit 110, an eye position detection unit 120, an ROI setting unit 130, and a third processing block for realizing the function. 2
  • a control unit 140 and an image composition unit 210 are provided. That is, the image pickup system 10 according to the second embodiment is configured to further include an image synthesizing unit 210 in addition to the configuration of the second embodiment (see FIG. 5).
  • the image synthesizing unit 210 is configured to be capable of synthesizing the first image captured by each of the first iris camera 21, the second iris camera 22, and the third iris camera 23.
  • the first iris camera 21, the second iris camera 22, and the third iris camera 23 are installed so that their imaging ranges do not greatly overlap each other. Therefore, one wide-angle image can be generated by synthesizing the first images captured by each iris camera 20.
  • the wide-angle image generated by the image synthesizing unit 210 is output to the eye position detecting unit 110.
  • the image synthesizing unit 210 may be realized, for example, in the processor 11 (see FIG. 1) described above.
  • FIG. 9 is a flowchart showing an operation flow of the imaging system according to the third embodiment.
  • the same reference numerals are given to the same processes as those shown in FIGS. 3 and 6.
  • the imaging system 10 when the imaging system 10 according to the third embodiment operates, the first iris camera 21 and the second iris camera so that the first control unit 110 first captures the first image of the subject.
  • Each of the 22 and the third iris camera 23 is controlled (step S201).
  • the image synthesizing unit 210 synthesizes a plurality of first images captured by the first iris camera 21, the second iris camera 22, and the third iris camera 23 (step S202).
  • the eye position detection unit 120 detects the eye position of the subject from the wide-angle image obtained by synthesizing the plurality of first images (step S102).
  • the ROI setting unit 130 sets the ROI based on the detected eye position (step S103).
  • the second control unit 140 controls the iris camera 20 so as to capture the second image at the set ROI (step S104).
  • the images captured by the plurality of iris cameras 20 are combined to generate one wide-angle image.
  • the iris camera 20 is often set to have a relatively narrow angle of view because it is required to capture an image of the iris of the subject with high definition.
  • a wide-angle image is generated from the first image captured by the plurality of iris cameras 20. Therefore, even when the angle of view of each iris camera is narrow, it is possible to acquire a wide-angle image suitable for detecting the eye position.
  • the imaging system 10 according to the fourth embodiment will be described with reference to FIGS. 10 and 11. It should be noted that the fourth embodiment is different from the first to third embodiments described above only in a part of the configuration and the operation, and the other parts are substantially the same. Therefore, in the following, the parts different from the first to third embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • the hardware configuration of the imaging system 10 according to the fourth embodiment may be the same as the hardware configuration of the first embodiment described with reference to FIG. Therefore, the description of the hardware configuration of the imaging system 10 according to the fourth embodiment will be omitted.
  • FIG. 10 is a block diagram showing a functional configuration of the imaging system according to the fourth embodiment.
  • the same components as those shown in FIGS. 2, 5 and 8 are designated by the same reference numerals.
  • the imaging system 10 according to the fourth embodiment has a first control unit 110, an eye position detection unit 120, an ROI setting unit 130, and a first processing block for realizing the function. 2 A control unit 140 and an eye area determination unit 220 are provided. That is, the imaging system 10 according to the fourth embodiment is configured to further include an eye region determination unit 220 in addition to the configuration of the second embodiment (see FIG. 5).
  • the eye area determination unit 220 is configured to be able to determine whether or not the first image captured by each of the first iris camera 21, the second iris camera 22, and the third iris camera 23 includes an eye area. Has been done. In other words, the eye area determination unit 220 is configured to be able to determine which of the plurality of first images captured by the second iris camera 22 and the third iris camera 23 includes the eye area. Has been done.
  • the determination result of the eye region determination unit 220 (that is, information about the first image including the eye region) is output to the eye position detection unit 110.
  • the eye area determination unit 220 may be realized, for example, in the processor 11 (see FIG. 1) described above.
  • FIG. 11 is a flowchart showing an operation flow of the imaging system according to the fourth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIGS. 3, 6, and 9.
  • the imaging system 10 when the imaging system 10 according to the fourth embodiment operates, the first iris camera 21 and the second iris camera so that the first control unit 110 first captures the first image of the subject.
  • Each of the 22 and the third iris camera 23 is controlled (step S201).
  • the eye region determination unit determines the presence or absence of the eye region with respect to the plurality of first images captured by the first iris camera 21, the second iris camera 22, and the third iris camera 23 (step S203). Subsequently, the eye position detection unit 120 detects the eye position of the subject from the first image determined to include the eye region (step S102). Then, the ROI setting unit 130 sets the ROI based on the detected eye position (step S103).
  • the second control unit 140 controls the iris camera 20 so as to capture the second image at the set ROI (step S104).
  • the imaging system 10 it is determined whether or not the first image captured by the plurality of iris cameras 20 includes the eye region, and the eye region is determined.
  • the eye position is detected from the first image containing. Therefore, it is possible to detect the eye position more efficiently than in the case of detecting the eye position from all the first images.
  • the imaging system 10 according to the fifth embodiment will be described with reference to FIG.
  • the fifth embodiment specifically describes another method for capturing the first image, and the hardware configuration, functional configuration, and operation flow of the system are described from the first described above. It may be the same as the fifth embodiment. Therefore, in the following, the parts different from the first to fifth embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 12 is a conceptual diagram showing the imaging timing and imaging range of the first image and the second image according to the fifth embodiment.
  • the same reference numerals are given to the same components as those shown in FIGS. 4 and 7.
  • the first image is captured by each of the first iris camera 21, the second iris camera 22, and the third iris camera 23 at different timings. .. Specifically, the first iris camera 21 captures the first image at the timing when the subject 500 reaches the first trigger point. The second iris camera 22 captures the first image at the timing when the subject 500 reaches the second trigger point. The third iris camera 23 captures the first image at the timing when the subject 500 reaches the third trigger point. In this way, if the plurality of trigger points are staggered and installed, a plurality of first images will be captured at different timings.
  • the eye position of the subject 500 may be detected from each of the plurality of first images captured as described above.
  • the eye position may be detected using all of the plurality of first images, or the first image including the eye region is determined from the plurality of first images, and only the first image including the eye region is determined. May be used to detect the eye position.
  • the plurality of iris cameras 20 are set so that the portion where the imaging ranges overlap with each other is sufficiently large. In this way, even if the heights of the subjects 500 are different, at least one iris camera 20 can capture the face of the subject 500 without interruption.
  • a plurality of first images are captured at different timings. Even in this case, it is possible to detect the eye position of the subject 500 as in the case of simultaneously capturing a plurality of first images.
  • the imaging system 10 according to the sixth embodiment will be described with reference to FIG.
  • the third embodiment specifically describes the method for reducing the resolution when capturing the first image, and the hardware configuration, functional configuration, and operation flow of the system will be described in the above-mentioned first embodiment. It may be the same as the first to fifth embodiments. Therefore, in the following, the parts different from the first to fifth embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 13 is a conceptual diagram showing an operation when a low-resolution first image is captured by thinning out pixels.
  • the resolution of the first image is reduced by thinning out the pixels of the iris camera 20.
  • the first control unit 110 reduces the number of pixels to be read when the first image is captured by using a technique such as binning.
  • the second control unit 140 prevents the pixels from being thinned out when the second image is captured (however, the imaging region is limited to the ROI). In this way, the pixel density of the second image is higher than that of the first image.
  • the amount of pixel thinning may be changed depending on the location of the imaging region. That is, the amount of pixel thinning does not have to be uniform over the entire imaging region. For example, the thinning amount may be reduced for a region where the eye region is likely to exist, and may be increased for a region where the eye region is unlikely to exist.
  • the resolution of the first image can be reduced by thinning out the pixels. Therefore, it is possible to prevent the amount of data of the first image from becoming large and shorten the period required for communication and processing of the first image.
  • the imaging system 10 according to the seventh embodiment will be described with reference to FIG.
  • the seventh embodiment specifically describes a method for reducing the amount of data when capturing the first image, and the hardware configuration, functional configuration, and operation flow of the system will be described in the above-described fifth embodiment. It may be the same as the first to sixth embodiments. Therefore, in the following, the parts different from the first to sixth embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 14 is a conceptual diagram showing an operation when the first image is captured by limiting the imaging region to a small size.
  • the data amount reduction of the first image is realized by limiting (that is, narrowing) the image pickup area of the iris camera 20 to a small size.
  • the first control unit 110 is at least one of the upper end portion and the lower end portion (for example, a region where it is presumed that the eyes of the subject are unlikely to be located) at the time of capturing the first image.
  • the pixels are not read.
  • the amount of data in the first image is reduced. Since the first image is captured in a state where the pixels are thinned out as described in the sixth embodiment, the pixel density is also low. Therefore, the amount of data in the first image is significantly reduced.
  • At least one pixel of the right end portion and the left end portion of the imaging region may not be read.
  • the eyes of the subject are included in the right end portion and the left end portion of the imaging area. Is less likely to occur. Therefore, the amount of data in the first image can be efficiently reduced by not reading at least one pixel of the right end portion and the left end portion of the imaging region.
  • the data amount of the first image can be further reduced by narrowing the image pickup area of the iris camera 20. Therefore, it is possible to prevent the amount of data of the first image from becoming large and shorten the period required for communication and processing of the first image.
  • the imaging system detects the position of the eyes of the subject from the first control means that controls the imaging means so as to capture the first image of the subject with the first pixel density, and the first image.
  • the detection means for setting the peripheral region around the eyes of the subject based on the position of the eyes, and the second pixel density higher than the first pixel density, the first of the peripheral regions.
  • the image pickup system is characterized by including a second control means for controlling the image pickup means so as to capture two images.
  • the first control means processes the pixels of the imaging means so as to thin out the pixels so that the first pixel density becomes lower than the second pixel density.
  • Appendix 3 The imaging system according to Appendix 3 is described in Appendix 1 or 2, wherein the first control means reduces the amount of data of the first image by limiting the imaging region of the imaging means to a small size. Imaging system.
  • the imaging means includes a plurality of cameras, and the first control means controls the imaging means so that each of the plurality of cameras captures the first image.
  • Appendix 5 The imaging system according to Appendix 5, wherein the detection means detects the position of the eyes of the subject from a composite image obtained by synthesizing a plurality of the first images. Is the imaging system described in 1.
  • the imaging system according to Appendix 6 is characterized in that the first control means controls the imaging means so as to capture the first image when the subject reaches a predetermined trigger position.
  • the imaging system according to any one of 1 to 5.
  • Appendix 7 The imaging system according to Appendix 7 is characterized in that the second imaging means controls the imaging means so as to capture the second image when the subject reaches a preset focusing point.
  • the imaging system according to any one of Supplementary note 1 to 6.
  • Appendix 9 In the imaging method described in Appendix 9, the imaging means is controlled so as to capture the first image of the subject with the first pixel density, the position of the eyes of the subject is detected from the first image, and the position of the eyes is detected. Based on the above, a peripheral region around the eyes of the subject is set, and the imaging means is controlled so as to capture a second image of the peripheral region with a second pixel density higher than the first pixel density. It is an imaging method characterized by performing.
  • Appendix 10 controls the imaging means so as to capture the first image of the subject with the first pixel density, detects the position of the eyes of the subject from the first image, and positions the eyes. Based on the above, a peripheral region around the eyes of the subject is set, and the imaging means is controlled so as to capture a second image of the peripheral region with a second pixel density higher than the first pixel density. It is a computer program characterized by operating a computer in such a manner.
  • Imaging system 20 Iris camera 21 1st iris camera 22 2nd iris camera 23 3rd iris camera 110 1st control unit 120 Eye position detection unit 130 ROI setting unit 140 2nd control unit 210 Image synthesis unit 220 Eye area determination unit 500 subject

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

撮像システム(10)は、第1の画素密度で被写体(500)の第1画像を撮像するように撮像手段(20)を制御する第1制御手段(110)と、第1画像から被写体の目の位置を検出する検出手段(120)と、目の位置に基づいて、被写体の目周辺である周辺領域を設定する設定手段(130)と、第1の画素密度よりも高い第2の画素密度で、周辺領域の第2画像を撮像するように撮像手段を制御する第2制御手段(140)とを備える。このような撮像システムによれば、被写体の目周辺の画像を適切に撮像することが可能となる。

Description

撮像システム、撮像方法、及びコンピュータプログラム
 この開示は、被写体を撮像する撮像システム、撮像方法、及びコンピュータプログラムの技術分野に関する。
 この種のシステムとして、虹彩認証に利用する画像を撮像するものが知られている。例えば特許文献1では、対象者の顔及び目を検出して、虹彩の関心領域を識別する技術が開示されている。特許文献2では、高解像度の画像から低解像度の画像を生成し、その低解像度の画像から瞳検出を実行する技術が開示されている。
 その他の関連する技術として、特許文献3では、複数枚の画像を合成して広画角の合成画像を生成する技術が開示されている。
特表2007-504562号公報 特開2017-134542号公報 特開2012-191486号公報
 虹彩認証用の画像を撮像する虹彩カメラは、一般的に高画素且つ画角が狭く設定されている。このため、通信速度や画角範囲の制約により、虹彩カメラで被写体の目位置を検出できるような広角画像を撮像することは難しい。上述した各引用文献は、このような問題点に言及しておらず、改善の余地がある。
 この開示は、上記問題点に鑑みてなされたものであり、被写体の目周辺の画像を適切に撮像することが可能な撮像システム、撮像方法、及びコンピュータプログラムを提供することを課題とする。
 この開示の撮像システムの一の態様は、第1の画素密度で被写体の第1画像を撮像するように前記撮像手段を制御する第1制御手段と、前記第1画像から前記被写体の目の位置を検出する検出手段と、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定する設定手段と、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する第2制御手段とを備える。
 この開示の撮像方法の一の態様は、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する。
 この開示のコンピュータプログラムの一の態様は、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御するようにコンピュータを動作させる。
第1実施形態に係る撮像システムのハードウェア構成を示すブロック図である。 第1実施形態に係る撮像システムの機能的構成を示すブロック図である。 第1実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第1実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。 第2実施形態に係る撮像システムの機能的構成を示すブロック図である。 第2実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第2実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。 第3実施形態に係る撮像システムの機能的構成を示すブロック図である。 第3実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第4実施形態に係る撮像システムの機能的構成を示すブロック図である。 第4実施形態に係る撮像システムの動作の流れを示すフローチャートである。 第5実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。 画素を間引いて低解像度の第1画像を撮像する際の動作を示す概念図である。 撮像領域を小さく制限して第1画像を撮像する際の動作を示す概念図である。
 以下、図面を参照しながら、撮像システム、撮像方法、及びコンピュータプログラムの実施形態について説明する。
 <第1実施形態>
 第1実施形態に係る撮像システムについて、図1から図4を参照して説明する。
 (ハードウェア構成)
 まず、図1を参照しながら、第1実施形態に係る撮像システム10のハードウェア構成について説明する。図1は、第1実施形態に係る撮像システムのハードウェア構成を示すブロック図である。
 図1に示すように、第1実施形態に係る撮像システム10は、プロセッサ11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、記憶装置14とを備えている。撮像システム10は更に、入力装置15と、出力装置16とを備えていてもよい。プロセッサ11と、RAM12と、ROM13と、記憶装置14と、入力装置15と、出力装置16とは、データバス17を介して接続されている。
 プロセッサ11は、コンピュータプログラムを読み込む。例えば、プロセッサ11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ11は、ネットワークインタフェースを介して、撮像システム10の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。プロセッサ11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。本実施形態では特に、プロセッサ11が読み込んだコンピュータプログラムを実行すると、プロセッサ11内には、被写体を撮像するための機能ブロックが実現される。また、プロセッサ11として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)のうち一つを用いてもよいし、複数を並列で用いてもよい。
 RAM12は、プロセッサ11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、プロセッサ11がコンピュータプログラムを実行している際にプロセッサ11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic RAM)であってもよい。
 ROM13は、プロセッサ11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable ROM)であってもよい。
 記憶装置14は、撮像システム10が長期的に保存するデータを記憶する。記憶装置14は、プロセッサ11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
 入力装置15は、撮像システム10のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
 出力装置16は、撮像システム10に関する情報を外部に対して出力する装置である。例えば、出力装置16は、撮像システム10に関する情報を表示可能な表示装置(例えば、ディスプレイ)であってもよい。
 (機能的構成)
 次に、図2を参照しながら、第1実施形態に係る撮像システム10の機能的構成について説明する。図2は、第1実施形態に係る撮像システムの機能的構成を示すブロック図である。
 図2に示すように、第1実施形態に係る撮像システム10は、虹彩カメラ20と接続されている。撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140とを備えている。第1制御部110、目位置検出部120、ROI設定部130、及び第2制御部140は、例えば上述したプロセッサ11(図1参照)において実現されればよい。
 第1制御部110は、虹彩カメラ20を制御して被写体の第1画像を撮像可能に構成されている。第1画像は、被写体の目の位置を検出するために用いる画像であり、比較的低い第1画素密度で撮像される。第1画像は、例えば被写体全体が撮像範囲に収まるように撮像される。
 目位置検出部120は、第1制御部110の制御によって撮像された第1画像を用いて、被写体の目位置(即ち、目がどの辺りにあるのか)を検出する。なお、画像から被写体の目位置を検出する方法については、既存の技術を適宜採用することができるため、ここでのより具体的な説明については省略する。目位置検出部120で検出された被写体の目位置に関する情報は、ROI設定部に出力される構成となっている。
 ROI設定部130は、目位置検出部120で検出された被写体の目位置に基づいて、被写体の虹彩を撮像するためのROI(Region Of Interest)を設定可能に構成されている。ROIは、虹彩カメラ20の合焦地点において被写体の目が通過することになるであろう領域として設定される。なお、目位置からROIを設定する方法については、既存の技術を適宜採用することができるため、ここでのより具体的な説明については省略する。ROI設定部130で設定されたROIに関する情報は、第2制御部140に出力される構成となっている。
 第2制御部140は、虹彩カメラ20を制御して被写体の第2画像を撮像可能に構成されている。第2画像は、ROI設定部130で設定された領域の画像として撮像される画像であり、第1画素密度(即ち、第1画像を撮像した際の画素密度)より高い第2画素密度で撮像される。この結果、第2画像は、被写体の目周辺の領域を高解像度で撮像した画像となる。
 (動作の流れ)
 次に、図3を参照しながら、第1実施形態に係る撮像システム10の動作の流れについて説明する。図3は、第1実施形態に係る撮像システムの動作の流れを示すフローチャートである。
 図3に示すように、第1実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように虹彩カメラ20を制御する(ステップS101)。第1画像は、第1の画素密度で撮像される。
 次に、目位置検出部120が、第1画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
 次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。第2画像は、第1の画素密度より高い第2の画素密度で撮像される。
 (技術的効果)
 次に、図4を参照しながら、第1実施形態に係る撮像システム10によって得られる技術的効果について説明する。図4は、第1実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。
 図4に示すように、第1実施形態に係る撮像システム10では、第1の画素密度で第1画像が撮像された後、第2の画素密度で第2画像が撮像される。ここで特に、第1の画素密度は第2の画素密度よりも低いため、第1画像のデータ量を相対的に小さくすることができる。よって、比較的広画角が要求される第1画像のデータ量が大きくなってしまうことを防止できる。その結果、第1画像の通信や処理にかかる期間を短縮することができ、第1画像を撮像してから第2画像を撮像するまでの処理(例えば、目位置を検出する処理や、ROIを設定する処理等)をスムーズに実行することができる。
 なお、第1画像を撮像するために専用のカメラ(即ち、低解像度のカメラ)を別途設置する方法も考えられるが、その場合、コストの増大やシステムの高度複雑化が問題となり得る。しかるに第1実施形態に係る撮像システムによれば、虹彩カメラ20で第1画像(即ち、目位置を検出してROIを設定するための画像)と、第2画像(即ち、高精細な虹彩の画像)とをそれぞれ撮像することができる。よって、上述したコストの増大やシステムの高度複雑化を招くことなく、適切に被写体の虹彩画像を撮像することができる。さらに、複数種類のカメラがあるとそれぞれのカメラに対しユーザに顔を向かせる必要があるため、ユーザにカメラの存在を意識させてしまい、ユーザにとって煩雑になる場合もある。第1実施形態に係る撮像システム10によれば、画角が狭い虹彩カメラだけでも低画質の画像で目位置の特定ができて虹彩領域を特定できる。また、ユーザにカメラを意識させる必要がなくなる。
 <変形例>
 以下、第1実施形態の変形例について説明する。なお、下記変形例は、それぞれ組み合わせることも可能である。
 (第1変形例)
 第1制御部110は、例えば被写体が所定のトリガ位置に到達したタイミングで第1画像を撮像してもよい。被写体がトリガ位置に到達したタイミングは、例えばトリガ位置周辺に設置した各種センサ等によって検出してもよい。
 (第2変形例)
 第2制御部140は、例えば被写体が予め設定された虹彩カメラ20の合焦地点に到達したタイミングで第2画像を撮像してもよい。第2制御部140は、被写体が合焦地点に到達したタイミングを予測し、そのタイミング近辺で連続して複数の第2画像を撮像するようにしてもよい。
 (第3変形例)
 第2制御部140の制御によって撮像された第2画像は、図示せぬ生体認証部に入力され、被写体の虹彩認証に用いられてもよい。この生体認証部は、撮像システム10の一部として備えられていてもよいし、撮像システム10の外部(例えば、外部サーバーやクラウド等)に設けられていてもよい。虹彩画像(即ち、第2画像)を用いた認証処理については、既存の技術を適宜採用することができるため、ここでのより具体的な説明については省略する。
 <第2実施形態>
 第2実施形態に係る撮像システム10について、図5から図7を参照して説明する。なお、第2実施形態は、上述した第1実施形態と比べて一部の構成や動作が異なるのみで、その他の部分は概ね同様である。このため、以下では、第1実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
 (ハードウェア構成)
 第2実施形態に係る撮像システム10のハードウェア構成は、図1で説明した第1実施形態のハードウェア構成と同一であってよい。このため、第2実施形態に係る撮像システム10のハードウェア構成に関する説明は省略する。
 (機能的構成)
 次に、図5を参照しながら、第2実施形態に係る撮像システム10の機能的構成について説明する。図5は、第2実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図5では、図2に示した構成要素と同様のものに同一の符号を付している。
 図5に示すように、第2実施形態に係る撮像システム10は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23(以下、まとめて「虹彩カメラ20」と称することがある)の各々と接続されている。即ち、第2実施形態に係る撮像システム10は、複数の虹彩カメラ20による撮像を制御可能に構成されている。また、撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140とを備えている。
 (動作の流れ)
 次に、図6を参照しながら、第2実施形態に係る撮像システム10の動作の流れについて説明する。図6は、第2実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図6では、図3に示した処理と同様の処理に同一の符号を付している。
 図6に示すように、第2実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々を制御する(ステップS201)。なお、各虹彩カメラ20では、それぞれ同じタイミングで第1画像が撮像されることが好ましいが、撮像されるタイミングには多少のズレがあっても構わない。
 次に、目位置検出部120は、複数の第1画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
 次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。なお、第2画像は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の中の1台で撮像されればよい。即ち、すべての虹彩カメラ20でそれぞれ別々に第2画像を撮像する必要はない。第2画像を撮像する虹彩カメラ20は、例えばROI設定部130で設定されたROIに応じて決定されればよい。具体的には、ROIを撮像範囲に含む虹彩カメラ20で第2画像が撮像されればよい。
 (技術的効果)
 次に、図7を参照しながら、第2実施形態に係る撮像システム10によって得られる技術的効果について説明する。図7は、第2実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。なお、図7では、図4で示した構成要素と同様のものに同一の参照符号を付している。
 図7に示すように、第2実施形態に係る撮像システム10では、複数の虹彩カメラ20で第1画像が撮像され、それらから目位置の検出及びROIの設定が行われる。ここで特に、第1画像を1回しか撮像しない場合、状況次第で目が撮像範囲に含まれない可能性もある。しかしながら、複数枚の第1画像を撮像すれば、より広い範囲を撮像でき、その結果として目の位置を撮像できる可能性が高くなる。従って、目位置から適切なROIを設定し、より適切に第2画像(即ち、高精細な虹彩画像)を撮像することができる。
 なお、複数の第1画像は、複数の虹彩カメラ20を用いて撮像されなくともよく、1台の虹彩カメラ20で複数の第1画像が撮像されてもよい。具体的には、例えば1台のカメラの位置を適宜移動させて、複数の角度から第1画像を撮像するようにしてもよい。この場合でも、複数の第1画像を合成して広角画像を生成することで、上述した技術的効果を得ることが可能である。
 <第3実施形態>
 第3実施形態に係る撮像システム10について、図8及び図9を参照して説明する。なお、第3実施形態は、上述した第1及び第2実施形態と比べて一部の構成や動作が異なるのみで、その他の部分は概ね同様である。このため、以下では、第1及び第2実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
 (ハードウェア構成)
 第3実施形態に係る撮像システム10のハードウェア構成は、図1で説明した第1実施形態のハードウェア構成と同一であってよい。このため、第3実施形態に係る撮像システム10のハードウェア構成に関する説明は省略する。
 (機能的構成)
 次に、図8を参照しながら、第3実施形態に係る撮像システム10の機能的構成について説明する。図8は、第2実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図8では、図2及び図5に示した構成要素と同様のものに同一の符号を付している。
 図8に示すように、第3実施形態に係る撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140と、画像合成部210とを備えている。即ち、第2実施形態に係る撮像システム10は、第2実施形態の構成(図5参照)に加えて、画像合成部210を更に備えて構成されている。
 画像合成部210は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々で撮像された第1画像を合成可能に構成されている。なお、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23は、互いの撮像範囲が大きく重ならないように設置されている。このため、各虹彩カメラ20で撮像された第1画像を合成すると、1枚の広角画像を生成することができる。画像合成部210で生成された広角画像は、目位置検出部110に出力される構成となっている。なお、画像合成部210は、例えば上述したプロセッサ11(図1参照)において実現されればよい。
 (動作の流れ)
 次に、図9を参照しながら、第3実施形態に係る撮像システム10の動作の流れについて説明する。図9は、第3実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図9では、図3及び図6に示した処理と同様の処理に同一の符号を付している。
 図9に示すように、第3実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々を制御する(ステップS201)。
 次に、画像合成部210が、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23で撮像された複数の第1画像を合成する(ステップS202)。続いて、目位置検出部120は、複数の第1画像を合成した広角画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
 次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。
 (技術的効果)
 次に、第3実施形態に係る撮像システム10によって得られる技術的効果について説明する。
 図8及び図9で説明したように、第3実施形態に係る撮像システム10では、複数の虹彩カメラ20で撮像された画像が合成されて、1枚の広角画像が生成される。ここで特に、虹彩カメラ20は、被写体の虹彩の画像を高精細に撮像することが要求される関係で、画角が比較的狭く設定されることが多い。しかるに第3実施形態に係る撮像システム10によれば、複数の虹彩カメラ20で撮像された第1画像から広角画像が生成される。よって、1つ1つの虹彩カメラの画角が狭い場合であっても、目位置を検出するのに適した広角画像を取得することができる。
 <第4実施形態>
 第4実施形態に係る撮像システム10について、図10及び図11を参照して説明する。なお、第4実施形態は、上述した第1から第3実施形態と比べて一部の構成や動作が異なるのみで、その他の部分は概ね同様である。このため、以下では、第1から第3実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
 (ハードウェア構成)
 第4実施形態に係る撮像システム10のハードウェア構成は、図1で説明した第1実施形態のハードウェア構成と同一であってよい。このため、第4実施形態に係る撮像システム10のハードウェア構成に関する説明は省略する。
 (機能的構成)
 次に、図10を参照しながら、第4実施形態に係る撮像システム10の機能的構成について説明する。図10は、第4実施形態に係る撮像システムの機能的構成を示すブロック図である。なお、図10では、図2、図5及び図8に示した構成要素と同様のものに同一の符号を付している。
 図10に示すように、第4実施形態に係る撮像システム10は、その機能を実現するための処理ブロックとして、第1制御部110と、目位置検出部120と、ROI設定部130と、第2制御部140と、目領域判定部220とを備えている。即ち、第4実施形態に係る撮像システム10は、第2実施形態の構成(図5参照)に加えて、目領域判定部220を更に備えて構成されている。
 目領域判定部220は、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々で撮像された第1画像に、それぞれ目領域が含まれているか否かを判定可能に構成されている。言い換えれば、目領域判定部220は、第2虹彩カメラ22及び第3虹彩カメラ23で撮像された複数の第1画像のうち、どの画像に目領域が含まれているか否かを判定可能に構成されている。目領域判定部220の判定結果(即ち、目領域を含む第1画像に関する情報)は、目位置検出部110に出力される構成となっている。なお、目領域判定部220は、例えば上述したプロセッサ11(図1参照)において実現されればよい。
 (動作の流れ)
 次に、図11を参照しながら、第4実施形態に係る撮像システム10の動作の流れについて説明する。図11は、第4実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図11では、図3、図6、及び図9に示した処理と同様の処理に同一の符号を付している。
 図11に示すように、第4実施形態に係る撮像システム10が動作する際には、まず第1制御部110が被写体の第1画像を撮像するように第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々を制御する(ステップS201)。
 次に、目領域判定部が、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23で撮像された複数の第1画像について、目領域の有無を判定する(ステップS203)。続いて、目位置検出部120は、目領域が含まれていると判定された第1画像から被写体の目位置を検出する(ステップS102)。そして、ROI設定部130が、検出された目位置に基づいてROIを設定する(ステップS103)。
 次に、第2制御部140が、設定されたROIにおいて第2画像を撮像するように虹彩カメラ20を制御する(ステップS104)。
 (技術的効果)
 次に、第4実施形態に係る撮像システム10によって得られる技術的効果について説明する。
 図10及び図11で説明したように、第4実施形態に係る撮像システム10では、複数の虹彩カメラ20で撮像された第1画像に目領域が含まれているか否かが判定され、目領域が含まれている第1画像から目位置が検出される。このため、すべての第1画像から目位置を検出する場合と比べると、効率的に目位置を検出することが可能である。
 <第5実施形態>
 第5実施形態に係る撮像システム10について、図12を参照して説明する。なお、第5実施形態は、第1画像を撮像する際の他の手法を具体的に説明するものであり、システムのハードウェア構成、機能的構成、動作の流れについては、上述した第1から第5実施形態と同一であってよい。このため、以下では、第1から第5実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
 (第1画像の複数回撮像)
 まず、図12を参照して、第5実施形態に係る撮像システム10による第1画像の撮像タイミングについて詳しく説明する。図12は、第5実施形態に係る第1画像及び第2画像の撮像タイミングと撮像範囲とを示す概念図である。なお、図12では、図4及び図7で示した構成要素と同様のものに同一の参照符号を付している。
 図12に示すように、第5実施形態に係る撮像システムでは、第1虹彩カメラ21、第2虹彩カメラ22及び第3虹彩カメラ23の各々で、互いにタイミングをずらして第1画像が撮像される。具体的には、第1虹彩カメラ21は、被写体500が第1トリガ地点に到達したタイミングで第1画像を撮像する。第2虹彩カメラ22は、被写体500が第2トリガ地点に到達したタイミングで第1画像を撮像する。第3虹彩カメラ23は、被写体500が第3トリガ地点に到達したタイミングで第1画像を撮像する。このように、複数のトリガ地点をずらして設置しておけば、異なるタイミングで複数の第1画像が撮像されることになる。
 被写体500の目位置は、上述したように撮像された複数の第1画像の各々から検出されればよい。例えば、複数の第1画像のすべてを用いて目位置を検出してもよいし、複数の第1画像の中から目領域を含む第1画像を判定して、目領域を含む第1画像のみを用いて目位置を検出してもよい。
 なお、複数の虹彩カメラ20は、互いの撮像範囲が重なる部分が十分に大きくなるように設定されることが好ましい。このようにすれば、被写体500の身長が異なる場合であっても、少なくとも1台の虹彩カメラ20が、被写体500の顔を途切れることなく撮像することができる。
 (技術的効果)
 次に、第5実施形態に係る撮像システム10によって得られる技術的効果について説明する。
 図12で説明したように、第5実施形態に係る撮像システム10では、異なるタイミングで複数の第1画像が撮像される。この場合でも、複数の第1画像を同時に撮像する場合と同様に、被写体500の目位置を検出することが可能である。
 <第6実施形態>
 第6実施形態に係る撮像システム10について、図13を参照して説明する。なお、第3実施形態は、第1画像を撮像する際の低解像度化の手法を具体的に説明するものであり、システムのハードウェア構成、機能的構成、動作の流れについては、上述した第1から第5実施形態と同一であってよい。このため、以下では、第1から第5実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
 (画素の間引きによる低解像度化)
 まず、図13を参照して、第6実施形態に係る撮像システム10における第1画像の低下像度化について説明する。図13は、画素を間引いて低解像度の第1画像を撮像する際の動作を示す概念図である。
 図13に示すように、第6実施形態に係る撮像システム10では、虹彩カメラ20の画素を間引くことによって第1画像の低解像度化が実現される。具体的には、第1制御部110は、例えばビニング等の手法を用いて、第1画像の撮像時に読み出す画素数を減らす。これにより、第1画像の画素密度は低下する。一方で、第2制御部140は、第2画像の撮像時に画素を間引かないようにする(ただし、撮像領域はROIに限定される)。このようにすれば、第1画像と比較して、第2画像の画素密度が高くなる。
 なお、画素の間引き量は、撮像領域の場所によって変化させてもよい。即ち、画素の間引き量は、撮像領域全体で均一となっていなくともよい。例えば、目領域が存在する可能性が高い領域については間引き量を小さくして、目領域が存在する可能性が低い領域については間引き量を大きくしてもよい。
 (技術的効果)
 次に、第6実施形態に係る撮像システム10によって得られる技術的効果について説明する。
 図13で説明したように、第6実施形態に係る撮像システム10では、画素を間引くことによって第1画像の低解像度化が実現される。よって、第1画像のデータ量が大きなものになってしまうことを防止して、第1画像の通信や処理にかかる期間を短縮することが可能である。
 <第7実施形態>
 第7実施形態に係る撮像システム10について、図14を参照して説明する。なお、第7実施形態は、第1画像を撮像する際のデータ量縮小の手法を具体的に説明するものであり、システムのハードウェア構成、機能的構成、動作の流れについては、上述した第1から第6実施形態と同一であってよい。このため、以下では、第1から第6実施形態と異なる部分について詳細に説明し、他の重複する部分については適宜説明を省略するものとする。
 (撮像領域の制限)
 まず、図14を参照して、第7実施形態に係る撮像システム10における第1画像のデータ量縮小について説明する。図14は、撮像領域を小さく制限して第1画像を撮像する際の動作を示す概念図である。
 図14に示すように、第7実施形態に係る撮像システム10では、虹彩カメラ20の撮像領域を小さく制限する(即ち、狭める)ことによって第1画像のデータ量縮小が実現される。具体的には、第1制御部110は、第1画像の撮像時に、撮像領域の上端部分及び下端部分(例えば、被写体の目が位置する可能性が低いと推定される領域)の少なくとも一方の画素を読み出さないようにしている。これにより、第1画像のデータ量が縮小されることになる。なお、第1画像は、第6実施形態でも説明したように画素が間引かれた状態で撮像されるため、画素密度も小さくなっている。よって、第1画像のデータ量は顕著に小さくなる。
 また、上述した上端部分及び下端部分に加えて又は代えて、撮像領域の右端部分及び左端部分の少なくとも一方の画素を読み出さないようにしてもよい。例えば、被写体が通路の中心を通るような場合(床に矢印がペイントされており被写体が通路中心に誘導されている場合等)には、撮像領域の右端部分及び左端部分に被写体の目が含まれる可能性は低くなる。よって、撮像領域の右端部分及び左端部分の少なくとも一方の画素を読み出さないようにすることで、効率的に第1画像のデータ量を小さくすることができる。
 (技術的効果)
 次に、第7実施形態に係る撮像システム10によって得られる技術的効果について説明する。
 図14で説明したように、第7実施形態に係る撮像システム10では、虹彩カメラ20の撮像領域を狭めることによって第1画像のさらなるデータ量縮小が実現される。よって、第1画像のデータ量が大きなものになってしまうことを防止して、第1画像の通信や処理にかかる期間を短縮することが可能である。
 <付記>
 以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 付記1に記載の撮像システムは、第1の画素密度で被写体の第1画像を撮像するように前記撮像手段を制御する第1制御手段と、前記第1画像から前記被写体の目の位置を検出する検出手段と、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定する設定手段と、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する第2制御手段とを備えることを特徴とする撮像システムである。
 (付記2)
 付記2に記載の撮像システムは、前記第1制御手段は、前記撮像手段の画素を間引くように処理することにより、前記第1の画素密度が前記第2の画素密度よりも低くなるようすることを特徴とする付記1に記載の撮像システムである。
 (付記3)
 付記3に記載の撮像システムは、前記第1制御手段は、前記撮像手段の撮像領域を小さく制限することにより、前記第1画像のデータ量を小さくすることを特徴とする付記1又は2に記載の撮像システムである。
 (付記4)
 付記4に記載の撮像システムは、前記撮像手段は、複数のカメラを含んでおり、前記第1制御手段は、前記複数のカメラの各々で前記第1画像を撮像するように前記撮像手段を制御することを特徴とする付記1から3のいずれか一項に記載の撮像システムである。
 (付記5)
 付記5に記載の撮像システムは、前記検出手段は、複数の前記第1画像を合成した合成画像から、前記被写体の目の位置を検出することを特徴とする付記1から4のいずれか一項に記載の撮像システムである。
 (付記6)
 付記6に記載の撮像システムは、前記第1制御手段は、前記被写体が所定のトリガ位置に到達した場合に、前記第1画像を撮像するように前記撮像手段を制御することを特徴とする付記1から5のいずれか一項に記載の撮像システムである。
 (付記7)
 付記7に記載の撮像システムは、前記第2撮像手段は、前記被写体が予め設定された合焦地点に到達した場合に、前記第2画像を撮像するように前記撮像手段を制御することを特徴とする付記1から6のいずれか一項に記載の撮像システムである。
 (付記8)
 付記8に記載の撮像システムは、前記第2画像を用いて、前記被写体の虹彩認証を実行する認証手段を更に備えることを特徴とする請求項1から7のいずれか一項に記載の撮像システムである。
 (付記9)
 付記9に記載の撮像方法は、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御することを特徴とする撮像方法である。
 (付記10)
 付記10に記載のコンピュータプログラムは、第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、前記第1画像から前記被写体の目の位置を検出し、前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
 この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像システム、撮像方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。
 10 撮像システム
 20 虹彩カメラ
 21 第1虹彩カメラ
 22 第2虹彩カメラ
 23 第3虹彩カメラ
 110 第1制御部
 120 目位置検出部
 130 ROI設定部
 140 第2制御部
 210 画像合成部
 220 目領域判定部
 500 被写体

Claims (10)

  1.  第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御する第1制御手段と、
     前記第1画像から前記被写体の目の位置を検出する検出手段と、
     前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定する設定手段と、
     前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する第2制御手段と
     を備えることを特徴とする撮像システム。
  2.  前記第1制御手段は、前記撮像手段の画素を間引くように処理することにより、前記第1の画素密度が前記第2の画素密度よりも低くなるようすることを特徴とする請求項1に記載の撮像システム。
  3.  前記第1制御手段は、前記撮像手段の撮像領域を小さく制限することにより、前記第1画像のデータ量を小さくすることを特徴とする請求項1又は2に記載の撮像システム。
  4.  前記撮像手段は、複数のカメラを含んでおり、
     前記第1制御手段は、前記複数のカメラの各々で前記第1画像を撮像するように前記撮像手段を制御する
     ことを特徴とする請求項1から3のいずれか一項に記載の撮像システム。
  5.  前記検出手段は、複数の前記第1画像を合成した合成画像から、前記被写体の目の位置を検出することを特徴とする請求項1から4のいずれか一項に記載の撮像システム。
  6.  前記第1制御手段は、前記被写体が所定のトリガ位置に到達した場合に、前記第1画像を撮像するように前記撮像手段を制御することを特徴とする請求項1から5のいずれか一項に記載の撮像システム。
  7.  前記第2撮像手段は、前記被写体が予め設定された合焦地点に到達した場合に、前記第2画像を撮像するように前記撮像手段を制御することを特徴とする請求項1から6のいずれか一項に記載の撮像システム。
  8.  前記第2画像を用いて、前記被写体の虹彩認証を実行する認証手段を更に備えることを特徴とする請求項1から7のいずれか一項に記載の撮像システム。
  9.  第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、
     前記第1画像から前記被写体の目の位置を検出し、
     前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、
     前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する
     ことを特徴とする撮像方法。
  10.  第1の画素密度で被写体の第1画像を撮像するように撮像手段を制御し、
     前記第1画像から前記被写体の目の位置を検出し、
     前記目の位置に基づいて、前記被写体の目周辺である周辺領域を設定し、
     前記第1の画素密度よりも高い第2の画素密度で、前記周辺領域の第2画像を撮像するように前記撮像手段を制御する
     ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
PCT/JP2020/018151 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム WO2021220412A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022518498A JP7364059B2 (ja) 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム
US17/920,908 US20230171481A1 (en) 2020-04-28 2020-04-28 Imaging system, imaging method, and computer program
PCT/JP2020/018151 WO2021220412A1 (ja) 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム
JP2023173512A JP2023174759A (ja) 2020-04-28 2023-10-05 撮像システム、撮像方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018151 WO2021220412A1 (ja) 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2021220412A1 true WO2021220412A1 (ja) 2021-11-04

Family

ID=78332316

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018151 WO2021220412A1 (ja) 2020-04-28 2020-04-28 撮像システム、撮像方法、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20230171481A1 (ja)
JP (2) JP7364059B2 (ja)
WO (1) WO2021220412A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292542A (ja) * 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 目画像撮像装置および携帯端末装置
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
WO2009016846A1 (ja) * 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
JP2012129709A (ja) * 2010-12-14 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
US20130088583A1 (en) * 2011-10-07 2013-04-11 Aoptix Technologies, Inc. Handheld Iris Imager
WO2018038158A1 (ja) * 2016-08-24 2018-03-01 日本電気株式会社 虹彩撮像装置、虹彩撮像方法および記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2005292542A (ja) * 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 目画像撮像装置および携帯端末装置
WO2009016846A1 (ja) * 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
JP2012129709A (ja) * 2010-12-14 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
US20130088583A1 (en) * 2011-10-07 2013-04-11 Aoptix Technologies, Inc. Handheld Iris Imager
WO2018038158A1 (ja) * 2016-08-24 2018-03-01 日本電気株式会社 虹彩撮像装置、虹彩撮像方法および記録媒体

Also Published As

Publication number Publication date
JP7364059B2 (ja) 2023-10-18
JP2023174759A (ja) 2023-12-08
JPWO2021220412A1 (ja) 2021-11-04
US20230171481A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
JP5906028B2 (ja) 画像処理装置、画像処理方法
JP4814375B2 (ja) 検出装置、検出方法および検出用集積回路
US9460337B2 (en) Information processor and information processing method
KR102399017B1 (ko) 이미지 생성 방법 및 장치
US10244163B2 (en) Image processing apparatus that generates a virtual viewpoint image, image generation method, and non-transitory computer-readable storage medium
US20130021490A1 (en) Facial Image Processing in an Image Capture Device
US10127456B2 (en) Information processing apparatus that corrects image distortion to set a passage detection line, information processing method, and medium
US10070043B2 (en) Image processing system, image processing method, and program
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
US10223031B2 (en) Memory control apparatus and memory control method
US20220417382A1 (en) Buffer management for plug-in architectures in computation graph structures
US20190197660A1 (en) Information processing device, system, information processing method, and storage medium
WO2021220412A1 (ja) 撮像システム、撮像方法、及びコンピュータプログラム
US20150326830A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP2009246917A (ja) 映像表示装置及び映像処理装置
US20110090340A1 (en) Image processing apparatus and image processing method
US11763596B2 (en) Image capturing support apparatus, image capturing support method, and computer-readable recording medium
JP2016076853A (ja) 画像処理装置、画像処理方法、撮像装置
US9826163B2 (en) Image processing apparatus, control method, and recording medium
JP2013153392A5 (ja)
JP7472482B2 (ja) 情報処理装置、範囲決定方法、プログラム
KR102029140B1 (ko) 감시영상 생성장치
KR102434428B1 (ko) 합성 영상 생성 방법, 합성 영상 생성 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
US11272099B2 (en) Image capturing apparatus, method of controlling the same, and storage medium
US12033433B2 (en) Iris recognition apparatus, iris recognition method, computer program and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20934049

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022518498

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20934049

Country of ref document: EP

Kind code of ref document: A1