WO2021053969A1 - 撮像装置、撮像装置の制御方法、プログラム - Google Patents

撮像装置、撮像装置の制御方法、プログラム Download PDF

Info

Publication number
WO2021053969A1
WO2021053969A1 PCT/JP2020/028539 JP2020028539W WO2021053969A1 WO 2021053969 A1 WO2021053969 A1 WO 2021053969A1 JP 2020028539 W JP2020028539 W JP 2020028539W WO 2021053969 A1 WO2021053969 A1 WO 2021053969A1
Authority
WO
WIPO (PCT)
Prior art keywords
electromagnetic wave
imaging
subject
surface position
light
Prior art date
Application number
PCT/JP2020/028539
Other languages
English (en)
French (fr)
Inventor
文昭 水谷
潤 伊庭
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2021053969A1 publication Critical patent/WO2021053969A1/ja
Priority to US17/675,822 priority Critical patent/US20220171259A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G01V8/12—Detecting, e.g. by using light barriers using one transmitter and one receiver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to an imaging device, a control method of the imaging device, and a program.
  • a terahertz wave is typically an electromagnetic wave having a component in an arbitrary frequency band in the range of 0.3 THz or more and 30 THz or less.
  • Millimeter waves are typically electromagnetic waves having components in any frequency band within the range of 30 GHz or more and 300 GHz or less.
  • these frequency bands there are many characteristic absorptions derived from the structures and states of various substances such as biomolecules and resins.
  • these electromagnetic waves have a longer wavelength than visible light and infrared light, they are not easily affected by scattering and have strong transparency to many substances.
  • application to safe transmission imaging technology that replaces X-rays is expected, and application to inspection technology for concealed objects such as body checks and surveillance cameras in public places is being considered. There is. Further, in recent years, it is a big problem in crime prevention that a dangerous object such as a knife is brought into a moving body, and a technique for detecting a concealed object which is a dangerous substance in a subject such as a person is strongly required.
  • Patent Document 1 describes a method of irradiating terahertz waves from a wall or the like. Further, Patent Document 2 describes a processing system capable of advantageously performing detection of an inspection region by combining illumination lights having different wavelengths.
  • focusing is required based on the distance information from the camera device to the concealed object.
  • terahertz waves or millimeter waves which are transmitted light for concealed objects blocked by the subject's clothing
  • the contrast and signal intensity of the detected signal are low, so focusing is highly accurate. It is difficult to convert and it takes time to focus.
  • an object of the present invention is to provide a technique for realizing the focus position adjustment of a subject at high speed and with high accuracy in transmission imaging.
  • the first aspect of the present invention is A detection means for detecting the surface position of a subject by receiving a second electromagnetic wave having a wavelength shorter than that of the first electromagnetic wave. Focusing means for condensing the first electromagnetic wave reflected by the subject, and A control means that controls the focusing means so as to focus on a position based on the surface position, and a control means. An imaging means for photographing the subject by the first electromagnetic wave focused by the focusing means, and an imaging means. It is an image pickup apparatus characterized by having.
  • a second aspect of the present invention is It is a control method of an image pickup apparatus having a focusing means for condensing a first electromagnetic wave reflected by a subject.
  • FIG. 1 is a diagram showing an imaging device according to the first embodiment.
  • FIG. 2 is a flowchart showing an imaging operation according to the first embodiment.
  • 3A and 3B are diagrams for explaining the image pickup apparatus according to the second embodiment.
  • FIG. 4A is a flowchart showing the imaging operation according to the second embodiment, and
  • FIG. 4B is a flowchart showing the imaging operation according to the first modification.
  • FIG. 5 is a diagram illustrating an image pickup apparatus according to the third embodiment.
  • 6A and 6B are diagrams showing an image pickup apparatus according to the fourth embodiment.
  • FIG. 7 is a flowchart showing an imaging operation according to the fourth embodiment.
  • terahertz waves electromagnétique waves in the range of 0.3 THz or more and 30 THz or less
  • millimeter waves electromagnétique waves in the range of 30 GHz or more and 300 GHz or less
  • transmission imaging technology is being studied for both terahertz waves and millimeter waves, but terahertz waves have a shorter wavelength than millimeter waves, so their measurement resolution is high. Therefore, the use of terahertz waves is effective when a transmission image that is more detailed than millimeter waves is required.
  • the frequency band of 0.275 GHz or less is finely allocated according to the purpose of use.
  • the millimeter wave band is also used for astronomical observation, there is a strong limitation on the electric field strength that can be output. As a result, it is now difficult to build devices that use high-power millimeter-wave sources.
  • the terahertz wave it can be expected that a light source having a higher output than the millimeter wave can be used, the selectability of available frequencies is high, and the entire device can be made smaller due to the short wavelength.
  • a semiconductor element that is relatively easy to handle and is small in scale may be used.
  • a quantum cascade laser Quantum Cascade Laser: QCL
  • a resonant tunneling diode Resonant Tunnelin g Diode: RTD
  • the detector a MEMS (Micro Electro Mechanical Systems) type thermal detector (bolometer), a Schottky barrier diode (SBD), or the like is used.
  • the image pickup apparatus 1001 performs focusing processing in imaging by the second light 20 (second electromagnetic wave) reflected by the subject 1002. After that, the image pickup apparatus 1001 acquires an image by irradiating the subject 1002 with the first light 10 (first electromagnetic wave), and determines (inspects) the presence or absence of a concealed object in the subject 1002.
  • the first light 10 is a terahertz wave or a millimeter wave.
  • the concealed object is an object to be inspected (object to be inspected), and is, for example, an object that cannot be determined by the human eye whether or not the subject 1002 has it.
  • FIG. 1 is a schematic view of the image pickup apparatus 1001 of the present embodiment.
  • the image pickup apparatus 1001 includes a detection unit 101, an irradiation unit 102, a focus lens 103, a control unit 104, and an image pickup unit 105.
  • the subject 1002 has a concealed object 200 inside the clothes 202.
  • the position of the surface of the subject 1002 is set to the surface position 201.
  • the surface position 201 is the position of the surface of the garment 202.
  • the detection unit 101 receives the second light 20 reflected by the subject 1002 and detects the surface position 201 of the subject 1002.
  • the second light 20 is an electromagnetic wave having a shorter wavelength (higher frequency) than the first light 10, and is visible light or infrared light.
  • Visible light is typically an electromagnetic wave having a wavelength of about 380 nm to 800 nm.
  • Infrared light is typically an electromagnetic wave having a wavelength of about 800 nm to 1 mm. Since the second light 20 is generated in the natural world on a daily basis, in the present embodiment, the image pickup apparatus 1001 does not perform the process of irradiating the subject 1002 with the second light 20.
  • the image pickup apparatus 1001 may have a functional unit that irradiates the subject 1002 with the second light 20.
  • the image pickup apparatus 1001 may have one detection unit 101, or may have two or more detection units 101.
  • the irradiation unit 102 irradiates the subject 1002 with the first light 10.
  • a semiconductor element type generating element such as a resonance tunnel diode or a photoexcited generating element using optical switching or differential frequency light can be applied as each point light source. It is desirable that each light source has an antenna structure in order to match impedance with the atmosphere and improve the efficiency of terahertz wave generation.
  • the size of the antenna should be designed to be as large as the wavelength to be irradiated.
  • the image pickup apparatus 1001 may have one irradiation unit 102, or may have two or more irradiation units 102.
  • the skin structure of the human body has irregularities of several tens of ⁇ m to several hundreds of ⁇ m.
  • the wavelength of the terahertz wave is several tens of ⁇ m to several hundreds of ⁇ m, which is the same as or larger than that of the skin structure. Therefore, when the subject includes a human body, the imaging using the terahertz wave is not the scattered light imaging typified by visible light, but the specular reflection light imaging.
  • the skin structure of the human body can be regarded as a smooth reflector with respect to the terahertz wave
  • the direction of the specularly reflected light of the terahertz wave is determined by the incident position of the terahertz wave with respect to the curved surface of the human body. it can. Therefore, depending on the incident angle of the irradiation unit 102, sufficient reflected light may not reach the image pickup unit 105. Therefore, it is effective to increase the irradiation unit 102 in order to increase the information for estimating the shape of the concealed object 200. ..
  • the focus lens 103 is a focusing portion that collects the first light 10 reflected by the subject 1002. Although the focus lens 103 is shown with only one optical element in FIG. 1, it may be composed of a plurality of optical elements.
  • the control unit 104 controls the position of the focus lens 103 so that the first light 10 is focused on the surface position 201 of the subject 1002 detected by the detection unit 101.
  • the imaging unit 105 images the subject 1002 with the first light 10 focused by the focus lens 103.
  • the imaging unit 105 further determines whether or not the concealed object 200 is present in the subject 1002.
  • the determination may be executed by a determination unit (CPU) or the like, which is a functional unit different from the imaging unit 105.
  • the first light 10 passes through the fibers of the garment 202 and is reflected by the concealed object 200 such as metal.
  • the concealed substance 200 is a specific substance (for example, RDX (trimethylenetrinitroamine) which is an explosive)
  • the reflected wave absorbs a specific wavelength (for example, a terahertz wave near 0.8 THz). Change.
  • RDX titanium trinitroamine
  • the image pickup unit 105 takes an image to perform image processing. From this, it is possible to determine whether or not the secret object 200 exists.
  • the terahertz wave image or the millimeter wave image that has undergone image processing may be displayed on a monitor or the like.
  • the control unit 104, the irradiation unit 102, and the detection unit 101 are fixed and integrated, but the image pickup apparatus 1001 may have a sensor for detecting the relative position and orientation of these configurations ( Not shown).
  • the control unit 104 considers the position and posture after the change.
  • the position of the focus lens 103 may be controlled.
  • FIG. 2 shows a flowchart of the imaging operation of the imaging device 1001 according to the present embodiment.
  • the irradiation unit 102 irradiates the subject 1002 with the first light 10.
  • the detection unit 101 receives the second light 20 reflected by the subject 1002.
  • the second light 20 is visible light or infrared light having a wavelength shorter than that of the first light 10. Since the second light 20 has a short wavelength, the resolution of the image to be acquired and the resolution in the optical axis direction can be increased as compared with the case where the first light 10 is used. Therefore, focusing is possible with higher accuracy and faster when the second light 20 is used than when the first light 10 is used. For example, sunlight can be used for visible light.
  • the detection unit 101 detects the surface position 201 by performing a focusing operation using the received second light 20.
  • a focusing operation for example, a general camera autofocus system can be adopted.
  • the surface position 201 may be detected by an infrared sensor.
  • control unit 104 controls the position of the focus lens 103 so as to focus on the surface position 201 in the imaging using the first light 10.
  • the imaging unit 105 images the subject 1002 with the first light 10.
  • the image pickup unit 105 stores the captured image in a storage unit (not shown). If the concealed object 200 such as metal or ceramic is present inside the clothes 202, the image capturing unit 105 can obtain an image of the concealed object 200 from the reflected wave of the first light 10. Therefore, the imaging unit 105 can detect the shape of the concealed object 200 by performing an imaging process on the first light 10.
  • the imaging unit 105 determines whether or not the concealed object 200 exists based on the captured image.
  • the presence or absence of the concealed object 200 may be determined not only based on the signal strength and the data acquired in advance, but also based on the shape that can be estimated as a dangerous object from the contour by the machine learning model.
  • AI artificial intelligence
  • a discriminator subjected to deep learning which is an example of AI (artificial intelligence) technology, is incorporated in the imaging unit 105, feature information is extracted by the discriminator, and the presence or absence of a concealed object 200 is determined. Will be.
  • the determination in S305 does not need to be performed by the imaging unit 105. For example, the user may look at the image captured (acquired) in S304 and determine the presence or absence of the concealed object 200.
  • the first light 10 may have an arbitrary frequency band or a single frequency in a frequency range of 30 GHz or more and 30 THz or less, which is called a terahertz wave or a millimeter wave.
  • a terahertz wave or a millimeter wave When the subject 1002 includes a human body, electromagnetic waves having a frequency as high as 1 THz have transparency in the clothes 202. Therefore, when used for inspection of the concealed object 200 or the like, a frequency range of 0.275 THz or more and 1 THz or less, which is not assigned in the current Radio Law in Japan, is suitable for the first light 10.
  • the transmitted image of the terahertz wave or millimeter wave captured by the first light 10 and the image captured by visible light are superimposed on the monitor unit (display unit). It can also be displayed (or displayed side by side). With this display, the user can also inspect by seeing both the transparent image and the visible image as the inspection result. Even when the second light 20 is infrared light, highly accurate inspection can be performed by displaying two images as in the case of visible light.
  • the concealed object 200 may be inspected in combination with the image of the thermoviewer by infrared rays having a certain transparency.
  • the first light 10 is a terahertz wave or a millimeter wave
  • the second light 20 is visible light or infrared light
  • the present invention is not limited to this. That is, if the wavelength of the second light 20 is shorter than the wavelength of the first light 10, the present embodiment is applicable.
  • the first light 10 may be infrared light and the second light may be visible light.
  • the focusing position of the first light having transparency to the subject is determined based on the surface position detected from the second light having high focusing accuracy, so that the focusing alignment with high accuracy can be performed at high speed. Can be realized with. Therefore, it becomes easy to estimate the shape of the concealed object from the captured image, and the accuracy of the inspection of the concealed object such as a body check and a surveillance camera can be improved.
  • the image pickup apparatus 1001 according to the second embodiment will be described with reference to FIG.
  • the image pickup apparatus 1001 that makes the inspection of the concealed object more accurate than the first embodiment will be described.
  • the configuration of the image pickup apparatus 1001 is the same as that of the first embodiment.
  • the detection unit 101 receives the second light 20 and detects the surface position 201 of the subject 1002.
  • the control unit 104 controls the position of the focus lens 103 so as to focus on a position separated from the surface position 201 by a predetermined distance L from the image pickup apparatus 1001.
  • the predetermined distance L is a value larger than 0 in the present embodiment, and is a distance from the surface position 201 to the concealed object 200 inside the subject 1002 in consideration of the thickness of the clothes 202 of the subject 1002.
  • the control unit 104 focuses on a position 5 to 30 mm away from the surface position 201.
  • FIG. 4A A flowchart of the imaging operation of the imaging device 1001 according to the present embodiment is shown in FIG. 4A. Since only S403 is different from the processing of the flowchart shown in FIG. 2 in the processing of this flowchart, only the processing of S403 will be described in detail.
  • control unit 104 focuses on a position L away from the image pickup apparatus 1001 by a predetermined distance L (a position separated by a predetermined distance) from the surface position 201 detected by the detection unit 101 in S302.
  • a predetermined distance L a position separated by a predetermined distance
  • the focus position is on a straight line connecting the focus lens 103 and the surface position 201.
  • the predetermined distance L is, for example, a value preset by the user.
  • the reflected first light can be effectively focused by focusing the first light at a position closer to the concealed position than when the first light is focused at the surface position of the subject, so that the accuracy is high. Imaging becomes possible, and the accuracy of inspection of concealed objects can be improved.
  • the predetermined distance L for determining the focusing position is set in advance. However, when the distance from the surface position 201 to the concealed object 200 cannot be assumed, the image pickup apparatus 1001 changes the focusing position by changing the predetermined distance L described above, and the first light 10 is used a plurality of times. May be imaged by. Then, the imaging unit 105 may determine the in-focus position when the image having the highest signal intensity such as contrast is captured from among the plurality of captured images as the position where the concealed object 200 can exist.
  • FIG. 4B A flowchart of the imaging operation of the imaging device 1001 according to this modification is shown in FIG. 4B.
  • the predetermined distance L is set to 0 at the start of this flowchart. That is, when the first processing of S403 is performed, the control unit 104 controls the position of the focus lens 103 so as to focus on the surface position 201.
  • the imaging unit 105 determines whether or not to re-image the subject 2001 with the first light 10.
  • the imaging unit 105 determines, for example, whether or not to perform imaging again, depending on whether or not imaging has been executed a preset number of times by the user.
  • the imaging unit 105 performs a process corresponding to the determination of the concealed object 200 in S305, and if it is determined that the concealed object 200 does not exist, it is determined that the image is taken again. If it is determined in S506 that the image is to be imaged again, the transition to S507 is performed, and in other cases, the transition to S508 is performed.
  • the control unit 104 changes the value of the predetermined distance L.
  • the control unit 104 adds a predetermined value to the current predetermined distance L, or increases the current predetermined distance L by a predetermined time.
  • the predetermined distance L before processing of S507 when the transition to S507 is first made is 0, but in S507, the control unit 104 sets the predetermined distance L to a value larger than 0, and each time the transition to S507 is performed, the predetermined distance L is set to a predetermined distance. Increase the value of L.
  • the imaging unit 105 acquires an image used for determining (inspecting) the concealed object 200 based on the plurality of captured images. For example, the imaging unit 105 compares the obtained plurality of images and selects an image to be used for determining (inspecting) the concealed object 200 from the plurality of images. Contrast or brightness may be used as a selection criterion, or data obtained by imaging the concealed object 200 in advance may be acquired and selected (matching) based on the data. Further, in S508, the imaging unit 105 may add (synthesize) a plurality of captured images to generate an image for determining the presence or absence of the concealed object 200.
  • the image pickup apparatus 1001 according to the third embodiment will be described with reference to FIG.
  • the image pickup apparatus 1001 according to the third embodiment makes it possible to determine the presence or absence of the concealed object 200 with respect to the moving subject 2001 by tracking (tracking) the subject 2001.
  • the image pickup apparatus 1001 is arranged above the subject 2001 in FIG. 5, the image pickup apparatus 1001 may be arranged at the same height as or below the subject 2001, and is in a structure that cannot be seen from the subject 2001. It may be installed in.
  • the detection unit 101 uses visible light or infrared light as the second light 20, and applies the technology used in the autofocus system of existing cameras, surveillance systems, etc. to automatically track the subject 1002 and the angle of view. To control. As a result, the detection unit 101 can continue to update (detect) the surface position 201 by receiving the second light 20 again even when the subject 1002 is moving. In the autofocus system, the detection unit 101 can detect the surface position by a method using at least one of the contrast and the phase difference in the detected visible light signal. Further, when infrared light is used as the second light 20, the image pickup apparatus 1001 may have a second irradiation unit (not shown) for irradiating the infrared light. The detection unit 101 may detect the surface position 201 by selecting any of a distance measuring method such as a phase difference detection method, a TOF method (Time Of Flight method), and a triangular distance measuring method.
  • a distance measuring method such as a phase difference detection method, a TOF method (Time Of Flight method
  • the control unit 104 controls the position of the focus lens 103 based on the surface position 201 each time the detection unit 101 detects (updates) the surface position 201. Further, the irradiation unit 102 may change (update) the irradiation position every time the surface position 201 is detected so that the surface position 201 is irradiated with the first light 10.
  • the detection unit 101 tracks the surface position 201 and continues imaging with the first light 10, so that highly accurate inspection becomes possible.
  • the image pickup device 1001 when a person is assumed as the subject 1002, it is preferable that the image pickup device 1001 is installed at a ticket gate of a station, a boarding gate of an airport, an entrance gate of an event, or the like. This is because in these facilities, there are places where people make certain movements, such as moving in one direction. Since the range of movement of a person is limited if there is a place where a predetermined movement is made, the range in which the image pickup apparatus 1001 irradiates the first light 10, the range in which the second light 20 is received, and the area to be image-processed are limited. it can. Therefore, the processing of the image pickup apparatus 100 can be speeded up. Further, according to the third embodiment, since the subject 1002 does not need to stop, the burden on the subject 1002 when undergoing the inspection can be reduced.
  • the image pickup apparatus 1001 according to the fourth embodiment will be described with reference to FIG.
  • the image pickup apparatus 1001 has an illumination optical system that converges the first light 10 emitted from the irradiation unit 102 and irradiates the subject 1002 with the first light 10.
  • the illumination optical system is an optical element having an imaging function. Even if the illumination optical system is a transmissive illumination optical system 107 that transmits the first light 10 like the lens shown in FIG. 6A, the illumination optical system reflects the first light 10 like the mirror shown in FIG. 6B. It may be a reflection type illumination optical system 108. In FIGS. 6A and 6B, the illumination optical system is composed of one optical element, but the illumination optical system may be configured by combining a plurality of lenses or mirrors. When the illumination optical system includes a lens, it is preferable to use a material having a small loss with respect to the terahertz wave used. For example, polytetrafluoroethylene or high-density polyethylene (High Density Polyethylene) can be used for the lens.
  • a plurality of light sources are installed in the irradiation unit 102 in order to increase the output of the first light 10.
  • a plurality of light sources may be arranged on the same plane, or a plurality of light sources may be arranged with a curved surface.
  • the illumination optical system converges the first light 10 emitted from each light source.
  • the irradiation unit 102, the illumination optical system 107, and the subject 1002 are arranged coaxially. Therefore, the arrangement is easy, and the installation space can be made small and compact.
  • a reflective optical element that is a mirror can also be used for the illumination optical system. Since the reflection type optical element can be easily increased in size as compared with the transmission type optical element, it is easy to increase the area received from the light source of the irradiation unit 102, and it is easy to increase the amount of light to be converged.
  • FIG. 7 shows a flowchart of the imaging operation of the imaging device 1001 according to the present embodiment.
  • the predetermined distance L is set to 0 at the start of this flowchart. That is, when the first processing of S403 is performed, the control unit 104 controls the position of the focus lens 103 so as to focus on the surface position 201. Further, when the first processing of S609 is performed, the illumination optical system converges the first light 10 at the surface position 201.
  • the posture or position of the illumination optical system is controlled, and the illumination optical system converges the first light 10 at a position L away from the image pickup apparatus 1001 from the surface position 201 by a predetermined distance L.
  • the control is performed by, for example, a position control unit (not shown) in the image pickup apparatus 1001.
  • the signal intensity of the first light reaching the image pickup unit can be increased, so that the concealed object can be determined with higher accuracy from the captured image.
  • each function of the detection unit 101, the image pickup unit 105, etc. is performed based on the program stored in the storage unit (not shown) by the CPU (not shown) in the image pickup apparatus 1001. This can be achieved by controlling the unit.
  • each functional unit of each of the above embodiments may or may not be individual hardware.
  • the functions of two or more functional units may be realized by common hardware.
  • Each of the plurality of functions of one functional unit may be realized by individual hardware.
  • Two or more functions of one functional unit may be realized by common hardware.
  • each functional unit may or may not be realized by hardware such as ASIC, FPGA, and DSP.
  • the device may have a processor and a memory (storage medium) in which a control program is stored. Then, the function of at least a part of the functional parts of the device may be realized by the processor reading the control program from the memory and executing it.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC
  • Imaging device 1001: Imaging device, 1002: Subject, 101: Detection unit, 103: Focus lens, 104: Control unit, 105: Imaging unit, 200: Concealed object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Focusing (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

撮像装置は、第１の電磁波よりも波長の短い第２の電磁波を受信することによって、被写体の表面位置を検出する検出手段と、前記被写体において反射した前記第１の電磁波を集光する合焦手段と、前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する制御手段と、前記合焦手段によって集光された前記第１の電磁波によって前記被写体を撮像する撮像手段とを有する。

Description

撮像装置、撮像装置の制御方法、プログラム
　本発明は、撮像装置、撮像装置の制御方法、プログラムに関する。
　テラヘルツ波は、典型的には０．３ＴＨｚ以上３０ＴＨｚ以下の範囲のうち、任意の周波数帯域の成分を有する電磁波である。ミリ波は、典型的には３０ＧＨｚ以上３００ＧＨｚ以下の範囲のうち、任意の周波数帯域の成分を有する電磁波である。これらの周波数帯には、生体分子や樹脂をはじめとする様々な物質の構造や状態に由来する特徴的な吸収が多く存在する。また、これらの電磁波は、可視光や赤外光と比較して波長が長いため、散乱の影響を受け難く、多くの物質に対し強い透過性を有している。また、このような特徴によって、Ｘ線に代替する安全な透過イメージング技術などへの応用が期待され、公共の場所でのボディチェックや監視カメラなどの秘匿物の検査技術への応用が検討されている。また、昨今、移動体にナイフなどの危険物が持ち込まれることが防犯上の大きな問題であり、人などの被写体における危険物である秘匿物を検出する技術が強く求められている。
　テラヘルツ波を利用した検査技術としては、特許文献１には、壁などからテラヘルツ波を照射する方法が記載されている。また、特許文献２には、異なる波長の照明光を組み合わせて、検査領域の検出を有利に実行することができる処理システムの記載がある。
特開２００６－２３４５８７号公報 特開２０１８－１５６５８６号公報
　ここで、秘匿物を検出するための透過イメージングを行うカメラ装置の検出精度を上げるためには、カメラ装置から秘匿物までの距離情報に基づき合焦させるフォーカシングが必要である。しかし、被写体の衣服などに遮られた秘匿物に対する透過光であるテラヘルツ波やミリ波を用いてフォーカシングを行う場合には、検出される信号のコントラストや信号強度が低いため、合焦の高精度化が難しく、合焦させるまでに時間を要する。
　そこで本発明は、透過イメージングにおいて、被写体の焦点位置調整を高速かつ高精度に実現する技術を提供することを目的とする。
　本発明の第１の態様は、
　第１の電磁波よりも波長の短い第２の電磁波を受信することによって、被写体の表面位置を検出する検出手段と、
　前記被写体において反射した前記第１の電磁波を集光する合焦手段と、
　前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する制御手段と、
　前記合焦手段によって集光された前記第１の電磁波によって前記被写体を撮像する撮像手段と、
を有することを特徴とする撮像装置である。
　本発明の第２の態様は、
　被写体において反射した第１の電磁波を集光する合焦手段を有する撮像装置の制御方法であって、
　前記第１の電磁波よりも波長の短い第２の電磁波を受信することによって、前記被写体の表面位置を検出する検出ステップと、
　前記表面位置に基づいた位置に合焦するように、前記合焦手段を制御する制御ステップと、
　前記合焦手段によって集光された前記第１の電磁波によって前記被写体を撮像する撮像ステップと、
を有することを特徴とする撮像装置の制御方法である。
　本発明によれば、透過イメージングにおいて、被写体の焦点位置調整を高速かつ高精度に実現する技術を提供することができる。
図１は、実施形態１に係る撮像装置を示す図である。 図２は、実施形態１に係る撮像動作を示すフローチャートである。 図３Ａおよび図３Ｂは、実施形態２に係る撮像装置を説明する図である。 図４Ａは実施形態２に係る撮像動作を示すフローチャートであり、図４Ｂは変形例１に係る撮像動作を示すフローチャートである。 図５は、実施形態３に係る撮像装置を説明する図である。 図６Ａおよび図６Ｂは、実施形態４に係る撮像装置を示す図である。 図７は、実施形態４に係る撮像動作を示すフローチャートである。
　以下、添付の図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わされてもよい。さらに、添付の図面においては、同一の参照番号を付し、重複した説明は省略する。
　なお、以下では、テラヘルツ波（０．３ＴＨｚ以上３０ＴＨｚ以下の範囲の電磁波）またはミリ波（３０ＧＨｚ以上３００ＧＨｚ以下の範囲の電磁波）を用いた秘匿物の判定（検査）について説明する。ここで、テラヘルツ波とミリ波は、どちらも透過イメージング技術が検討されているが、テラヘルツ波はミリ波と比較して波長が短いため測定分解能が高い。したがって、ミリ波よりも詳細な透過画像が求められる場合には、テラヘルツ波の利用が有効である。また、電波法では、０．２７５ＧＨｚ以下の周波数帯は、利用目的に応じて細かく割り当てが行われている。さらに、ミリ波帯は、天体観測にも使用される帯域であるため、出力できる電界強度に強い制限が設けられている。結果として、現在では、高出力のミリ波源を用いた装置は組み難い。一方、テラヘルツ波には、ミリ波よりも高い出力の光源を用いることができること、利用可能な周波数の選択性が高いこと、波長が短いため装置全体も小さくできることが期待できる。
　テラヘルツ波源およびテラヘルツ波検出素子として、比較的扱いが容易であり、かつ小規模な半導体素子を用いることがある。例えば、テラヘルツ波源には、量子カスケードレーザー（Ｑｕａｎｔｕｍ　Ｃａｓｃａｄｅ　Ｌａｓｅｒ：ＱＣＬ）、共鳴トンネルダイオード（Ｒｅｓｏｎａｎｔ　Ｔｕｎｎｅｌｉｎ　ｇ　Ｄｉｏｄｅ：ＲＴＤ）などが用いられる。また、検出器には、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）型の熱検出器（ボロメータ）、ショットキーバリアダイオード（Ｓｃｈｏｔｔｋｙ　Ｂａｒｒｉｅｒ　Ｄｉｏｄｅ：ＳＢＤ）などが用いられる。
＜実施形態１＞
　以下では、実施形態１に係る撮像装置１００１について図面を参照して説明する。本実施形態では、撮像装置１００１は、被写体１００２において反射した第２の光２０（第２の電磁波）によって撮像における合焦の処理を行う。その後、撮像装置１００１は、被写体１００２に対して第１の光１０（第１の電磁波）を照射することによって画像を取得して、被写体１００２における秘匿物の有無を判定（検査）する。ここで、第１の光１０は、テラヘルツ波またはミリ波である。また、秘匿物とは、検査の対象の物体（検査対象物）であり、例えば、人の目では被写体１００２が有しているか否かを判定できない物体である。
［撮像装置の概略］
　図１は、本実施形態の撮像装置１００１の概略図である。撮像装置１００１は、検出部１０１、照射部１０２、フォーカスレンズ１０３、制御部１０４、撮像部１０５を有する。なお、図１の例では、被写体１００２は、衣服２０２の内部に秘匿物２００を有している。また、被写体１００２の表面の位置を、表面位置２０１とする。本実施形態では、表面位置２０１は、衣服２０２の表面の位置である。
　検出部１０１は、被写体１００２において反射した第２の光２０を受信し、被写体１００２における表面位置２０１を検出する。ここで、第２の光２０は、第１の光１０よりも波長の短い（周波数の高い）電磁波であり、可視光または赤外光である。可視光とは、典型的には、波長が３８０ｎｍ～８００ｎｍ程度の電磁波である。赤外光（赤外線）とは、典型的には、波長が８００ｎｍ～１ｍｍ程度の電磁波である。なお、第２の光２０は、自然界において日常に発生するものであるため、本実施形態では、撮像装置１００１によって被写体１００２に第２の光２０を照射する処理は行わない。なお、撮像装置１００１は、被写体１００２に対して第２の光２０を照射する機能部を有していてもよい。撮像装置１００１は、１つの検出部１０１を有していてもよいし、２以上の検出部１０１を有していてもよい。
　照射部１０２は、第１の光１０を被写体１００２に照射する。照射部１０２の光源には、各点光源として、共鳴トンネルダイオードのような半導体素子型発生素子や光スイッチングや差周波光を利用する光励起型発生素子が適用できる。大気とのインピーダンス整合やテラヘルツ波の発生効率改善のため、光源はそれぞれアンテナ構造を有していることが望ましい。アンテナの大きさは、照射する波長と同程度の大きさに設計されるとよい。
　なお、撮像装置１００１が、１つの照射部１０２を有する構成であってもよいし、２つ以上の照射部１０２を有する構成であってもよい。人体の皮膚構造は、数十μｍから数百μｍの凹凸を有している。これに対し、テラヘルツ波の波長は、数十μｍから数百μｍであり、皮膚構造と同じか、大きな値を示す。このため、被写体に人体が含まれる場合、テラヘルツ波を用いたイメージングは、可視光に代表される散乱光イメージングではなく、正反射光イメージングである。より詳細には、人体の皮膚構造はテラヘルツ波に対して滑らかな反射物であるとみなすことができるため、人体が有する曲面に対するテラヘルツ波の入射位置によって、テラヘルツ波の正反射光の方向が決定できる。そのため、照射部１０２による入射角度によっては、撮像部１０５まで十分な反射光が届かない場合があるので、秘匿物２００の形状を推定する情報を増やすために照射部１０２を増やすことは有効である。
　フォーカスレンズ１０３は、被写体１００２において反射した第１の光１０を集光する合焦部である。図１においてフォーカスレンズ１０３は、１つの光学素子しか記載していないが、複数の光学素子から構成されていてもよい。
　制御部１０４は、検出部１０１が検出した被写体１００２の表面位置２０１に第１の光１０が合焦（フォーカス）するように、フォーカスレンズ１０３を位置制御する。
　撮像部１０５は、フォーカスレンズ１０３が集光した第１の光１０によって被写体１００２を撮像する。また、撮像部１０５は、さらに、被写体１００２において秘匿物２００が存在するか否かの判定を実施する。なお、当該判定は、撮像部１０５とは異なる機能部である判定部（ＣＰＵ）などが実行してもよい。
　ここで、被写体１００２において衣服２０２の内側に秘匿物２００が存在する場合、第１の光１０は、衣服２０２の繊維を透過し、例えば金属などの秘匿物２００により反射する。また、秘匿物２００が特定の物質（例えば、爆発物であるＲＤＸ（トリメチレントリ　ニトロアミン））である場合は、特定の波長（例えば０．８ＴＨｚ付近のテラヘルツ波）を吸収するために反射波が変化する。これらの反射光は、フォーカスレンズ１０３によって集光されて、撮像部１０５が撮像して画像処理を行う。このことによって、秘匿物２００が存在するか否かの判定ができる。また、画像処理が行われたテラヘルツ波像、もしくはミリ波像は、モニタ部などにおいて表示されてもよい。
　図１では、制御部１０４、照射部１０２、検出部１０１はそれぞれ固定され一体化しているが、撮像装置１００１は、これらの構成の相対位置や姿勢を検出するセンサを有していてもよい（不図示）。撮像装置１００１がセンサを有する場合には、被写体１００２の動きにあわせて、照射部１０２、検出部１０１の位置や姿勢が変化すると、変化した後の位置や姿勢を考慮して、制御部１０４はフォーカスレンズ１０３の位置を制御してもよい。
［撮像装置の撮像動作］
　本実施形態に係る撮像装置１００１の撮像動作のフローチャートを図２に示す。なお、本フローチャートの処理の開始時点において、照射部１０２は、第１の光１０を被写体１００２に照射している。
　Ｓ３０１において、検出部１０１は、被写体１００２において反射した第２の光２０を受信する。第２の光２０は、第１の光１０よりも波長の短い可視光や赤外光である。第２の光２０は波長が短いため、第１の光１０を用いる場合よりも、取得する画像の解像度や光軸方向の分解能を高くすることができる。このため、第１の光１０を用いる場合よりも、第２の光２０を用いる場合の方が、精度が高くかつ素早く合焦が可能である。例えば、可視光には、太陽光が利用できる。
　Ｓ３０２において、検出部１０１は、受信した第２の光２０を用いて、合焦動作をすることにより表面位置２０１を検出する。なお、合焦動作には、例えば、一般的なカメラのオートフォーカスシステムを採用することができる。なお、赤外センサによって表面位置２０１を検出してもよい。
　Ｓ３０３において、制御部１０４は、第１の光１０を用いる撮像において、表面位置２０１に合焦するようにフォーカスレンズ１０３の位置を制御する。
　Ｓ３０４において、撮像部１０５は、第１の光１０によって被写体１００２を撮像する。なお、撮像部１０５は、撮像した画像を、不図示の記憶部に記憶する。撮像部１０５は、衣服２０２の内側に金属やセラミックなどの秘匿物２００が存在すれば、第１の光１０の反射波から、秘匿物２００の画像を得ることができる。したがって、撮像部１０５は、第１の光１０を撮像処理することにより、秘匿物２００の形状を検出することができる。
　Ｓ３０５において、撮像部１０５は、撮影した画像に基づき、秘匿物２００が存在するか否かを判定する。秘匿物２００の有無に関して、信号強度や事前に取得したデータを基準に判定されるだけでなく、機械学習モデルにより輪郭から危険物として推定できる形状を基準に判定がされてもよい。秘匿物２００の有無の判定には、ＡＩ（人工知能）が利用されえる。より具体的には、ＡＩ（人工知能）技術の一例であるディープラーニングが行われた識別器が撮像部１０５に組み込まれ、識別器によって特徴情報が抽出され、秘匿物２００の有無の判定が行われる。なお、Ｓ３０５における判定は、撮像部１０５が実施する必要はなく、例えば、Ｓ３０４において撮像（取得）された画像をユーザが見て、秘匿物２００の有無の判定を行ってもよい。
　なお、第１の光１０は、テラヘルツ波、もしくはミリ波と呼ばれる３０ＧＨｚ以上３０ＴＨｚ以下の周波数範囲のうち、任意の周波数帯域を有するか、或いは単一の周波数でありえる。被写体１００２が人体を含む場合には、１ＴＨｚまで高い周波数の電磁波が透過性を衣服２０２に有する。このため、秘匿物２００の検査などに用いる場合には、日本における現在の電波法において割り当てのない０．２７５ＴＨｚ以上１ＴＨｚ以下の周波数範囲が第１の光１０に好適である。
　さらに、第２の光２０が可視光である場合には、第１の光１０によって撮像したテラヘルツ波やミリ波の透過画像と、可視光によって撮像した画像とをモニタ部（表示部）に重ねて表示（もしくは並べて表示）することもできる。この表示により、ユーザは、検査結果として透過画像と可視画像の両方を見て検査をすることもできる。第２の光２０が赤外光の場合も、可視光の場合と同様に、２つの画像を表示することで精度の高い検査が可能である。なお、一定の透過性を有する赤外線によるサーモビュアーの画像と組み合わせて、秘匿物２００の検査をしてもよい。
　また、本実施形態において、第１の光１０をテラヘルツ波またはミリ波とし、第２の光２０を可視光または赤外光としたが、これには限らない。つまり、第２の光２０の波長が第１の光１０の波長よりも短ければ本実施形態は適用可能である。例えば、第１の光１０が赤外光であり、第２の光が可視光であってもよい。
　以上により、合焦精度の高い第２の光から検出した表面位置に基づいて、被写体に対して透過性を有する第１の光の合焦位置を決めることによって、精度の高い焦点位置合わせが高速で実現できる。このため、撮像した画像から秘匿物の形状を推定し易くなり、ボディチェックや監視カメラなどの秘匿物の検査の精度を高めることができる。
＜実施形態２＞
　実施形態２に係る撮像装置１００１について図３を参照して説明する。本実施形態では、実施形態１よりも、秘匿物の検査をより高精度にする撮像装置１００１を説明する。なお、撮像装置１００１の構成は、実施形態１の場合と同様である。
　本実施形態に係る撮像装置１００１において、図３Ａが示すように、検出部１０１は、第２の光２０を受信して、被写体１００２の表面位置２０１を検出する。制御部１０４は、図３Ｂが示すように、表面位置２０１よりも撮像装置１００１から所定距離Ｌだけ離れた位置に合焦するように、フォーカスレンズ１０３の位置を制御する。所定距離Ｌとは、本実施形態では０よりも大きな値であり、被写体１００２の衣服２０２の厚みを考慮した、表面位置２０１から被写体１００２の内側にある秘匿物２００までの距離である。例えば、制御部１０４は、表面位置２０１から５～３０ｍｍ離れた位置に合焦させる。
［撮像装置の撮像動作］
　本実施形態に係る撮像装置１００１の撮像動作のフローチャートを図４Ａに示す。本フローチャートの処理では、Ｓ４０３のみ、図２が示すフローチャートの処理と異なるため、Ｓ４０３の処理のみ詳細に説明する。
　Ｓ４０３において、制御部１０４は、Ｓ３０２にて検出部１０１が検出した表面位置２０１よりも撮像装置１００１から所定距離Ｌ離れた位置（所定の距離離れた位置）に合焦するように、フォーカスレンズ１０３の位置を制御する。なお、合焦する位置は、フォーカスレンズ１０３と表面位置２０１とを結んだ直線上に位置する。ここで、所定距離Ｌは、例えば、ユーザによって予め設定された値である。
　以上により、第１の光を被写体の表面位置で合焦させた場合よりも、秘匿位置に近い位置で合焦させることにより、反射した第１の光を効果的に集光できるため精度の高い撮像が可能になり、秘匿物の検査の精度を高めることができる。
［変形例１］
　なお、実施形態２に係る撮像装置１００１では、合焦位置を決定するための所定距離Ｌは、予め設定されているものとした。しかし、表面位置２０１から秘匿物２００までの距離が想定できない場合には、撮像装置１００１は、上述の所定距離Ｌを変更することによって合焦位置を変更しながら、複数回、第１の光１０による撮像をしてもよい。そして、撮像部１０５は、撮像した複数の画像の中から、コントラストなど信号強度が最も大きい画像が撮像されたときの合焦位置を、秘匿物２００が存在しえる位置と判定してもよい。
（撮像装置の撮像動作）
　本変形例に係る撮像装置１００１の撮像動作のフローチャートを図４Ｂに示す。本フローチャートの処理では、Ｓ５０６～Ｓ５０８のみが、図４Ａが示すフローチャートの処理と異なるため、Ｓ５０６～Ｓ５０８の処理のみを詳細に説明する。なお、本フローチャートの開始時点において、所定距離Ｌは０に設定されているものとする。つまり、最初のＳ４０３の処理が行われる場合には、制御部１０４は、表面位置２０１に合焦するようにフォーカスレンズ１０３の位置を制御する。
　Ｓ５０６において、撮像部１０５は、第１の光１０による被写体２００１の撮像を再度行うか否かを判定する。撮像部１０５は、例えば、ユーザが予め設定した回数、撮像が実行されたか否かによって、再度撮像するか否かを判定する。または、例えば、撮像部１０５は、Ｓ３０５における秘匿物２００の判定に相当する処理を行い、秘匿物２００が存在しないと判定された場合には、再度撮像すると判定する。Ｓ５０６において、再度の撮像を行うと判定された場合には、Ｓ５０７に遷移して、それ以外の場合にはＳ５０８に遷移する。
　Ｓ５０７において、制御部１０４は、所定距離Ｌの値を変更する。ここでは、例えば、制御部１０４は、現在の所定距離Ｌに所定の数値を加えたり、または、現在の所定距離Ｌを所定倍にする。例えば、最初にＳ５０７に遷移した場合のＳ５０７の処理前の所定距離Ｌは０であるが、Ｓ５０７において制御部１０４は、所定距離Ｌを０より大きな値にして、Ｓ５０７に遷移するごとに所定距離Ｌの値を大きくする。
　Ｓ５０８において、撮像部１０５は、撮像した複数の画像に基づき、秘匿物２００の判定（検査）に用いる画像を取得する。例えば、撮像部１０５は、得られた複数の画像を比較して、当該複数の画像の中から秘匿物２００の判定（検査）に用いる画像を選択する。選択の基準として、コントラストや輝度を用いてもよいし、事前に秘匿物２００を撮像したデータを取得しておき、そのデータを基準に選択（マッチング）してもよい。また、Ｓ５０８において、撮像部１０５は、撮像した複数の画像を加算処理（合成）して、秘匿物２００の有無を判定するための画像を生成してもよい。
　本変形例によれば、表面位置から秘匿物の位置までの距離が想定できない場合においても、実施形態２と同様により精度の高い合焦が実現できる。このため、より精度の高い秘匿物の検査が可能になる。
＜実施形態３＞
　実施形態３に係る撮像装置１００１について図５を用いて説明する。実施形態３に係る撮像装置１００１は、被写体２００１を追尾（追跡）することによって、動いている被写体２００１に対する秘匿物２００の有無の判定を可能にする。なお、図５において、被写体２００１に対して上方に撮像装置１００１を配置しているが、撮像装置１００１は、被写体２００１と同じ高さや下方に配置されてもよく、被写体２００１から目視できない構造物中に設置してもよい。
　検出部１０１は、第２の光２０として可視光もしくは赤外光を用い、既存のカメラのオートフォーカスシステムや、監視システムなどで利用されている技術を適用し、被写体１００２の自動追尾や画角の制御を行う。これによって、検出部１０１は、被写体１００２が移動している場合も、第２の光２０を再度受信して、表面位置２０１を更新（検出）し続けることが可能である。検出部１０１は、オートフォーカスシステムにおいて、検出した可視光の信号におけるコントラストと位相差の少なくともいずれかを用いた方式によって表面位置を検出することができる。また、第２の光２０として赤外光を用いる場合には、撮像装置１００１は、赤外光を照射する第２の照射部（不図示）を有してもよい。検出部１０１は、位相差検出方式、ＴОＦ方式（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ方式）、三角測距方式などの測距方式のいずれかの方式を選択して表面位置２０１を検出してもよい。
　制御部１０４は、検出部１０１が表面位置２０１を検出（更新）するごとに、表面位置２０１に基づいてフォーカスレンズ１０３の位置を制御する。また、表面位置２０１に、第１の光１０が照射されるように、表面位置２０１が検出されるごとに、照射部１０２は照射位置を変更（更新）してもよい。
　第１の光１０による撮像がされることによって、秘匿物２００、もしくは秘匿物２００として疑わしい物が存在すると判定された場合、被写体１００２が移動してしまうと再度の撮像が難しいため当該判定の正誤が確認できない。そこで、秘匿物２００の存在が疑わしいと判定された場合には、検出部１０１が表面位置２０１を追尾し、第１の光１０による撮像を続けることによって、精度の高い検査が可能となる。
　例えば、被写体１００２として人を想定した場合には、駅の改札口や空港の搭乗口、イベントの入場ゲートなどに撮像装置１００１が設置されることが好適である。これらの施設では、一方向に移動するなど、人が決められた動きをする場所があるためである。決められた動きをする場所があれば人の移動範囲が限られるため、撮像装置１００１が第１の光１０を照射する範囲や第２の光２０を受信する範囲や画像処理すべき領域が限定できる。このため、撮像装置１００の処理を高速化できる。また、実施形態３によると、被写体１００２は立ち止まる必要がないため、検査を受ける場合の被写体１００２の負担を軽減できる。
＜実施形態４＞
　実施形態４に係る撮像装置１００１について図６を参照して説明する。撮像装置１００１は、照射部１０２から照射される第１の光１０を収束させて、第１の光１０を被写体１００２に照射する照明光学系を有する。
　照明光学系は、結像機能を有した光学素子である。照明光学系は、図６Ａにあるレンズのような、第１の光１０を透過する透過型の照明光学系１０７であっても、図６Ｂにあるミラーのような第１の光１０を反射する反射型の照明光学系１０８であってもよい。図６Ａおよび図６Ｂでは、１枚の光学素子によって照明光学系を構成しているが、複数のレンズ、もしくはミラーを組み合わせて照明光学系を構成してもよい。また、照明光学系がレンズを含む場合には、使用するテラヘルツ波に対する損失が小さい材料を使用するとよい。例えば、レンズには、ポリテトラフルオロエチレンや高密度ポリエチレン（Ｈｉｇｈ　Ｄｅｎｓｉｔｙ　Ｐｏｌｙｅｔｈｙｌｅｎｅ）が使用できる。
　照射部１０２には、第１の光１０の出力を高めるため、複数の光源を設置する。光源は、同一平面に複数並べてもよいし、曲面をもたせて複数並べてもよい。照明光学系は、それぞれの光源から照射された第１の光１０を収束させる。
　図６Ａが示すように、照明光学系に透過型光学素子を用いた場合には、照射部１０２と照明光学系１０７と被写体１００２とが同軸上に配置される。このため配置が容易であり、設置スペースを小さく小型化できる。
　一方、図６Ｂが示すように、照明光学系にミラーである反射型の光学素子を用いることもできる。反射型の光学素子は、透過型の光学素子に比べ大型化が容易であるため、照射部１０２の光源から受光する面積を大きくすることが容易であり、収束させる光量を増やし易い。
［撮像装置の撮像動作］
　本実施形態に係る撮像装置１００１の撮像動作のフローチャートを図７に示す。本フローチャートの処理では、Ｓ６０９のみが、図４Ｂが示すフローチャートの処理と異なるため、Ｓ６０９の処理のみを詳細に説明する。なお、本フローチャートの開始時点において、所定距離Ｌは０に設定されているものとする。つまり、最初のＳ４０３の処理が行われる場合には、制御部１０４は、表面位置２０１に合焦するようにフォーカスレンズ１０３の位置を制御する。また、最初のＳ６０９の処理が行われる場合には、照明光学系は、表面位置２０１に第１の光１０を収束させる。
　Ｓ６０９において、照明光学系の姿勢、もしくは位置が制御されて、照明光学系は、表面位置２０１より撮像装置１００１から所定距離Ｌ離れた位置に第１の光１０を収束させる。なお、当該制御は、例えば、撮像装置１００１における不図示の位置制御部によって行われる。
　このように第１の光が収束されることによって、撮像部に届く第１の光の信号強度を高めることができるため、撮像した画像から秘匿物の判定をより高精度に行うことができる。
　なお、各実施形態におけるフローチャートの各処理は、撮像装置１００１におけるＣＰＵ（不図示）などが、記憶部（不図示）に記憶されたプログラムに基づいて、検出部１０１や撮像部１０５などの各機能部を制御することによって実現できる。
　なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
（その他の実施形態）
　本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１９年９月２０日提出の日本国特許出願特願２０１９－１７１５７３を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
１００１：撮像装置、１００２：被写体、１０１：検出部、１０３：フォーカスレンズ、１０４：制御部、１０５：撮像部、２００：秘匿物

Claims (19)

  1. 　第１の電磁波よりも波長の短い第２の電磁波を受信することによって、被写体の表面位置を検出する検出手段と、
    　前記被写体において反射した前記第１の電磁波を集光する合焦手段と、
    　前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する制御手段と、
    　前記合焦手段によって集光された前記第１の電磁波によって前記被写体を撮像する撮像手段と、
    を有することを特徴とする撮像装置。
  2. 　前記第１の電磁波は、テラヘルツ波またはミリ波であることを特徴とする請求項１に記載の撮像装置。
  3. 　前記制御手段は、前記検出手段が検出した前記表面位置に合焦するように前記合焦手段を制御する処理を少なくとも行う、
    　ことを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記制御手段は、前記検出手段が検出した前記表面位置よりも前記撮像装置から所定の距離離れた位置に合焦するように、前記合焦手段を制御する処理を少なくとも行い、
    　前記所定の距離は、０よりも大きな値である、
    　ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
  5. 　前記被写体が検査対象物を有するか否かの判定をする判定手段をさらに有し、
    　前記撮像手段は、前記判定に用いる画像を取得する、
    　ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
  6. 　前記制御手段は、前記表面位置に基づいて、それぞれ異なる位置に合焦するように複数回、前記合焦手段を制御し、
    　前記撮像手段は、前記第１の電磁波によって、当該合焦する位置が異なる複数回の撮像をして、撮像した複数の画像から前記判定に用いる画像を選択する、
    　ことを特徴とする請求項５に記載の撮像装置。
  7. 　前記制御手段は、前記表面位置に基づいて、それぞれ異なる位置に合焦するように複数回、前記合焦手段を制御し、
    　前記撮像手段は、前記第１の電磁波によって、当該合焦する位置が異なる複数回の撮像をして、撮像した複数の画像を合成することによって前記判定に用いる画像を生成する、
    　ことを特徴とする請求項５に記載の撮像装置。
  8. 　前記検出手段は、前記被写体を追尾することによって前記表面位置を更新し、
    　前記制御手段は、更新された前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する、
    　ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
  9. 　前記第２の電磁波は、可視光であり、
    　前記検出手段は、検出した前記可視光のコントラストと位相差との少なくともいずれかを用いた方式によって前記表面位置を検出する、
    　ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記第２の電磁波は、赤外光であり、
    　前記検出手段は、前記赤外光を用いた位相差検出方式とＴОＦ方式と三角測距方式のうちいずれかの方式によって前記表面位置を検出する、
    　ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
  11. 　前記第１の電磁波を前記被写体に照射する照射手段をさらに有する、
    　ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
  12. 　前記照射手段から照射される前記第１の電磁波を収束させて、前記第１の電磁波を前記被写体に照射させる照明光学系をさらに有する、
    　ことを特徴とする請求項１１に記載の撮像装置。
  13. 　前記照明光学系は、前記第１の電磁波を透過する透過型の光学系である、
    　ことを特徴とする請求項１２に記載の撮像装置。
  14. 　前記照明光学系は、前記第１の電磁波を反射する反射型の光学系である、
    　ことを特徴とする請求項１２に記載の撮像装置。
  15. 　前記照明光学系は、前記表面位置または、前記表面位置よりも前記撮像装置から所定の距離離れた位置に前記第１の電磁波を収束させ、
    　前記所定の距離は、０よりも大きな値である、
    　ことを特徴とする請求項１２から１４のいずれか１項に記載の撮像装置。
  16. 　前記第１の電磁波は、３０ＧＨｚ以上３０ＴＨｚ以下の周波数範囲に含まれる電磁波である、
    　ことを特徴とする請求項１から１５のいずれか１項に記載の撮像装置。
  17. 　前記第１の電磁波は、０．２７５ＴＨｚ以上１ＴＨｚ以下の周波数範囲に含まれる電磁波である、
    　ことを特徴とする請求項１６に記載の撮像装置。
  18. 　被写体において反射した第１の電磁波を集光する合焦手段を有する撮像装置の制御方法であって、
    　前記第１の電磁波よりも波長の短い第２の電磁波を受信することによって、前記被写体の表面位置を検出する検出ステップと、
    　前記表面位置に基づいた位置に合焦するように前記合焦手段を制御する制御ステップと、
    　前記合焦手段によって集光された前記第１の電磁波によって前記被写体を撮像する撮像ステップと、
    を有することを特徴とする撮像装置の制御方法。
  19. 　請求項１８に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2020/028539 2019-09-20 2020-07-22 撮像装置、撮像装置の制御方法、プログラム WO2021053969A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/675,822 US20220171259A1 (en) 2019-09-20 2022-02-18 Imaging apparatus, method for controlling imaging apparatus, and non-transitory computer readable storage

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-171573 2019-09-20
JP2019171573A JP2021047377A (ja) 2019-09-20 2019-09-20 撮像装置、撮像装置の制御方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/675,822 Continuation US20220171259A1 (en) 2019-09-20 2022-02-18 Imaging apparatus, method for controlling imaging apparatus, and non-transitory computer readable storage

Publications (1)

Publication Number Publication Date
WO2021053969A1 true WO2021053969A1 (ja) 2021-03-25

Family

ID=74876260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028539 WO2021053969A1 (ja) 2019-09-20 2020-07-22 撮像装置、撮像装置の制御方法、プログラム

Country Status (3)

Country Link
US (1) US20220171259A1 (ja)
JP (1) JP2021047377A (ja)
WO (1) WO2021053969A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058265A1 (ja) * 2021-10-04 2023-04-13 パナソニックＩｐマネジメント株式会社 判定装置および判定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11295826A (ja) * 1998-04-15 1999-10-29 Univ Tokyo 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置
JP2006234587A (ja) * 2005-02-25 2006-09-07 Canon Inc 電磁波イメージングシステム
JP2011214874A (ja) * 2010-03-31 2011-10-27 Sony Corp イメージング装置およびイメージング装置におけるフォーカシング方法
WO2012073722A1 (ja) * 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
JP2016035394A (ja) * 2014-08-01 2016-03-17 パイオニア株式会社 テラヘルツ波撮像装置及びテラヘルツ波撮像方法
WO2017141746A1 (ja) * 2016-02-19 2017-08-24 ソニー株式会社 撮像装置、撮像制御方法、およびプログラム
CN109655931A (zh) * 2018-12-29 2019-04-19 清华大学 毫米波/太赫兹波成像设备及对人体或物品的检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11295826A (ja) * 1998-04-15 1999-10-29 Univ Tokyo 複数画像を用いる画像処理方法およびそれに用いる複数画像同時撮像型カメラ装置
JP2006234587A (ja) * 2005-02-25 2006-09-07 Canon Inc 電磁波イメージングシステム
JP2011214874A (ja) * 2010-03-31 2011-10-27 Sony Corp イメージング装置およびイメージング装置におけるフォーカシング方法
WO2012073722A1 (ja) * 2010-12-01 2012-06-07 コニカミノルタホールディングス株式会社 画像合成装置
JP2016035394A (ja) * 2014-08-01 2016-03-17 パイオニア株式会社 テラヘルツ波撮像装置及びテラヘルツ波撮像方法
WO2017141746A1 (ja) * 2016-02-19 2017-08-24 ソニー株式会社 撮像装置、撮像制御方法、およびプログラム
CN109655931A (zh) * 2018-12-29 2019-04-19 清华大学 毫米波/太赫兹波成像设备及对人体或物品的检测方法

Also Published As

Publication number Publication date
JP2021047377A (ja) 2021-03-25
US20220171259A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
RU2510036C2 (ru) Адаптивная система обнаружения
CN106353834B (zh) 一种太赫兹成像系统及太赫兹安检装置
US7763868B2 (en) Object information acquisition apparatus and object information acquisition method
US8520074B2 (en) Determining a total number of people in an IR image obtained via an IR imaging system
US20220066065A1 (en) Portable terahertz security inspection apparatus
TWI722353B (zh) 雷射測距之方法及裝置
CN103575654B (zh) 一种提高太赫兹扫描成像速度的方法和系统
US20100002912A1 (en) Facial feature evaluation based on eye location
KR20120116882A (ko) Ｉｒ 이미지 내 객체들의 수 결정
JP2008151618A (ja) テラヘルツ波を用いた対象物の情報取得装置及び方法
WO2021053969A1 (ja) 撮像装置、撮像装置の制御方法、プログラム
CN108540691B (zh) 相机装置和用于拍摄至少两种波段光线的方法
CN206114926U (zh) 一种太赫兹成像系统及太赫兹安检装置
WO2017020402A1 (zh) 一种邮件检测装置和方法
EP2980561A1 (en) Imaging system
JP2021139682A (ja) テラヘルツ波カメラシステム、入出管理装置、テラヘルツ波カメラシステムの制御方法
CN111257960A (zh) 一种自动跟踪扫描快速通道式太赫兹安检设备
US11808699B2 (en) Imaging system
WO2021070428A1 (ja) 撮影装置
KR101832364B1 (ko) 재귀 반사 필름을 이용한 거리 측정 장치 및 방법
Trofimov et al. Real-time computer treatment of THz passive device images with the high image quality
Laurenzis Non-line-of-sight sensing with time correlated single photon counting and ordinary cameras
KR101584128B1 (ko) 시료 집합체 및 이를 이용한 광학 상수 측정 장치
US20230119179A1 (en) Inspection system and method for controlling the same, and storage medium
Drewes et al. Design of a high-resolution passive millimeter-wavelength camera for security applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20866131

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20866131

Country of ref document: EP

Kind code of ref document: A1