WO2022024612A1 - 撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置 - Google Patents

撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置 Download PDF

Info

Publication number
WO2022024612A1
WO2022024612A1 PCT/JP2021/023987 JP2021023987W WO2022024612A1 WO 2022024612 A1 WO2022024612 A1 WO 2022024612A1 JP 2021023987 W JP2021023987 W JP 2021023987W WO 2022024612 A1 WO2022024612 A1 WO 2022024612A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filter
control device
difference
unit
Prior art date
Application number
PCT/JP2021/023987
Other languages
English (en)
French (fr)
Inventor
臣一 下津
雅彦 杉本
哲也 藤川
敏浩 青井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022540075A priority Critical patent/JP7430801B2/ja
Publication of WO2022024612A1 publication Critical patent/WO2022024612A1/ja
Priority to US18/152,117 priority patent/US20230171474A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the technology of the present disclosure relates to an image pickup control device, an operation method and a program of the image pickup control device, and an image pickup device.
  • Patent Document 1 is a lens system for visible light / infrared light photography that enables simultaneous photography of the same subject with visible light and infrared light, and is out of the visible light region and the infrared light region.
  • a first imaging means and a second image pickup means in which one of the wavelength regions is defined as the first wavelength region and the other wavelength region is defined as the second wavelength region, and the subject image formed by the subject light in the first wavelength region is imaged.
  • the second imaging means for capturing the subject image formed by the subject light in the wavelength region and the first subject light for capturing the subject by the first imaging means are connected to the imaging surface of the first imaging means.
  • An optical system that images and is equipped with a focus lens that can move in the optical axis direction to focus on a subject with a desired subject distance, and an optical system that is placed in the optical system and behind the focus lens.
  • An arrangement of light dividing means which is an optical dividing means for dividing the subject light incident on the optical system into a first subject light and a second subject light for capturing the subject by the second imaging means. It is a relay optical system that is divided by the optical dividing means and re-images the second subject light after the image is formed by the action of the optical system, and can be moved in the optical axis direction to adjust the image formation position.
  • a relay optical system equipped with a correction lens, a subject distance of a subject that is in focus with respect to the image pickup surface of the first imaging means, and a subject distance of a subject that is in focus with respect to the image pickup surface of the second image pickup means.
  • a lens system for visible light / infrared light photographing which comprises a correction lens control means for controlling the position of the correction lens based on the position of the focus lens so as to match.
  • Patent Document 2 describes in an image pickup device that captures electromagnetic waves of two predetermined different wavelength bands emitted by a subject and converts them into a video signal of the subject, and reflects electromagnetic waves of one of the wavelength bands and the other.
  • An optical system that transmits electromagnetic waves in the wavelength band of the above, a first camera that captures reflected reflected electromagnetic waves and converts them into video signals, and a second camera that captures transmitted transmitted electromagnetic waves and captures images and converts them into video signals.
  • An image pickup apparatus characterized by being composed of a camera of the above is described.
  • Patent Document 3 describes light that separates incident light incident from an optical lens system into visible light and infrared light in a TV camera monitoring device that displays and monitors an image of a monitored device captured by a TV camera on a display device.
  • a TV camera is provided with a separator and an image pickup tube for capturing each image formed by these separated visible rays and infrared rays, and a visible light image is received from each image signal from the image pickup tube of the TV camera.
  • a TV camera monitoring device is described in which an image signal processing circuit for superimposing and displaying an infrared image on a display device is provided.
  • One embodiment according to the technique of the present disclosure provides an image pickup control device, an operation method of the image pickup control device, a program, and an image pickup device capable of presenting a radiation image of a subject to a user in an easy-to-understand manner.
  • the imaging control device of the present disclosure controls the operation of an imaging device including a processor and a memory connected to or built in the processor, and having a first filter, a second filter, a correction lens, a zoom function, and an image sensor.
  • the first filter transmits visible light
  • the second filter transmits infrared rays
  • the processor selectively inserts the first filter and the second filter into the optical path to insert the first filter.
  • the axial chromatic aberration between the transmitted visible light and the infrared ray transmitted through the second filter is corrected by moving the correction lens along the optical axis, and the visible light transmitted through the first filter is imaged by the image sensor.
  • the first image including the reflected image of the subject is acquired, and the infrared rays transmitted through the second filter are imaged by the image sensor to acquire the second image including the reflected image and the radiated image of the subject, and the correction lens is used.
  • the angle of view difference between the first image and the second image caused by moving along the optical axis is corrected by operating the zoom function, and the angle of view difference is corrected with the first image acquired.
  • a third image including a radiation image based on the second image is output.
  • the processor outputs the third image only when the preset execution conditions are satisfied.
  • the execution condition includes the content that the brightness level of the reflected image included in the first image is equal to or higher than a preset threshold value.
  • the processor obtains the first image acquired and stored in advance when the luminance level is equal to or higher than the threshold value, and the second image acquired in a state where the angle of view difference is corrected. Is preferable to output.
  • the execution condition includes the content that the instruction to execute the output of the third image has been accepted.
  • the processor preferably generates a difference image between the first image and the second image as the third image.
  • the processor generates a difference image after matching the luminance level of the reflected image included in the first image with the luminance level of the reflected image included in the second image.
  • the processor generates a difference image in a state where the luminance level of the reflected image included in the first image and the luminance level of the reflected image included in the second image are different.
  • the image pickup device has a zoom lens, and the processor moves the zoom lens along the optical axis to move the angle of view difference between the first image and the second image caused by moving the correction lens along the optical axis. It is preferable to correct it by making it.
  • the processor changes the amount of movement of the zoom lens required for correcting the angle of view difference according to the position of the zoom lens when the axial chromatic aberration is corrected.
  • the processor adjusts the focus shifted by moving the zoom lens when correcting the angle of view difference by moving the correction lens.
  • the image pickup apparatus of the present disclosure includes the image pickup control device according to any one of the above.
  • the method of operating the image pickup control device of the present disclosure is a method of operating an image pickup control device that controls the operation of an image pickup device having a first filter that transmits visible light, a second filter that transmits infrared rays, a correction lens, a zoom function, and an image sensor.
  • the operation method is to selectively insert the first filter and the second filter into the optical path, and to correct the axial chromatic aberration between the visible light transmitted through the first filter and the infrared rays transmitted through the second filter. Is corrected by moving along the optical axis, the first image including the reflected image of the subject is acquired by having the image sensor image the visible light transmitted through the first filter, and the second filter is transmitted.
  • the first image and the second image generated by acquiring the second image including the reflected image and the radiated image of the subject by making the image sensor image the infrared rays generated, and moving the correction lens along the optical axis.
  • the angle of view difference is corrected by operating the zoom function, and the third image including the radiation image based on the first image and the second image acquired in the state where the angle of view difference is corrected is output. That includes.
  • the program of the present disclosure is a program that controls the operation of an image pickup apparatus having a first filter that transmits visible light, a second filter that transmits infrared rays, a correction lens, a zoom function, and an image sensor, and is a program that controls the operation of the image sensor.
  • the computer is made to execute a process including correction by making the lens correct and outputting a third image including a radiation image based on the first image and the second image acquired in a state where the angle of view difference is corrected. ..
  • FIG. 5A shows the state when the 1st filter is inserted into an optical path
  • FIG. 5B is a state when a 2nd filter is inserted into an optical path. Is shown.
  • FIG. 5B shows the zoom lens movement amount information. It is a flowchart which shows the movement of a focus lens and a zoom lens when the 2nd filter is inserted in an optical path.
  • the camera 10 is a surveillance camera installed in, for example, a factory, and includes a lens barrel 11 and a main body 12.
  • the lens barrel 11 is provided with a lens barrel side mount 13, and the main body 12 is provided with a main body side mount 14.
  • the lens barrel 11 is attached to the main body 12 by the lens barrel side mount 13 and the main body side mount 14.
  • the image pickup optical system 20 is built in the lens barrel 11, and the image sensor 21 is built in the main body 12.
  • the camera 10 is an example of an "imaging device" according to the technique of the present disclosure.
  • the image pickup optical system 20 has a plurality of types of lenses for forming a subject light SL (see FIG. 5) on the image sensor 21.
  • the imaging optical system 20 includes an objective lens 25, a focus lens 26, a zoom lens 27, and a master lens 28.
  • Each of these lenses 25 to 28 is arranged in the order of the objective lens 25, the focus lens 26, the zoom lens 27, and the master lens 28 from the object side (subject side) toward the imaging side (image sensor 21 side).
  • Each lens 25 to 28 transmits light in the wavelength band from 400 nm to 1700 nm, that is, light in the wavelength band from the visible light region to the near infrared region.
  • each lens 25 to 28 is actually a lens group in which a plurality of lenses are combined.
  • the image pickup optical system 20 also has a diaphragm 30 and a filter unit 31.
  • the aperture 30 is arranged between the zoom lens 27 and the filter unit 31.
  • the filter unit 31 is arranged between the aperture 30 and the master lens 28.
  • the lens barrel 11 is provided with a focus lens drive mechanism 35, a zoom lens drive mechanism 36, an aperture drive mechanism 37, and a filter unit drive mechanism 38.
  • the focus lens drive mechanism 35 holds the focus lens 26 and rotates the focus cam ring having a cam groove formed on the outer periphery thereof and the focus cam ring around the optical axis OA for focusing. Includes a focus motor or the like that moves the cam ring along the optical axis OA.
  • the zoom lens drive mechanism 36 holds the zoom lens 27, and the zoom cam ring having a cam groove formed on the outer periphery thereof and the zoom cam ring are rotated around the optical axis OA to form a zoom cam ring.
  • the direction parallel to the optical axis OA and from the object side to the image forming side is referred to as the image forming side direction ID
  • the direction parallel to the optical axis OA and directed from the image forming side to the object side is the object. Notated as lateral OD.
  • parallel refers to parallelism in the sense of including an error generally allowed in the technical field to which the technique of the present disclosure belongs, in addition to perfect parallelism.
  • the diaphragm drive mechanism 37 includes a motor for opening and closing a plurality of diaphragm blades of the diaphragm 30.
  • the filter unit drive mechanism 38 includes a motor or the like that rotates the filter unit 31 in one direction about the center thereof.
  • the focus motor and the zoom motor are, for example, stepping motors.
  • the positions of the focus lens 26 and the zoom lens 27 on the optical axis OA can be derived from the driving amounts of the focus motor and the zoom motor. It should be noted that the positions of the focus lens 26 and the zoom lens 27 may be detected by providing a position sensor instead of the driving amount of the motor.
  • the filter unit drive mechanism 38 is provided with a rotation position sensor that detects the rotation position of the filter unit 31.
  • the rotation position sensor is, for example, a rotary encoder.
  • a main body side contact 41 is provided at a position corresponding to the lens barrel side contact 40 of the main body side mount 14.
  • a control unit 45 is connected to the main body side contact 41.
  • the control unit 45 is an example of the “imaging control device” according to the technique of the present disclosure.
  • each drive mechanism 35 to 38 are driven under the control of the control unit 45. More specifically, the control unit 45 emits a drive signal according to an instruction from the user input via the monitor device 50 to drive the electric components of the drive mechanisms 35 to 38. For example, when an instruction to change the angle of view to the telephoto side is input via the monitor device 50, the control unit 45 sends a drive signal to the zoom motor of the zoom lens drive mechanism 36 to move the zoom lens 27 to the telephoto side. Move to.
  • the monitor device 50 is composed of, for example, a touch panel. Alternatively, the monitor device 50 is composed of, for example, a display, a keyboard, and a mouse. The monitor device 50 is installed in a remote location away from the camera 10, for example, in a control room, and is connected to the main body 12 via a connector 51.
  • the focus motor and the zoom motor output the drive amount to the control unit 45.
  • the control unit 45 derives the positions of the focus lens 26 and the zoom lens 27 on the optical axis OA from the driving amount. Further, the rotation position sensor outputs the rotation position of the filter unit 31 to the control unit 45. As a result, the control unit 45 grasps the rotation position of the filter unit 31.
  • the image sensor 21 has a light receiving surface that receives the subject light SL.
  • the image sensor 21 is arranged so that the center of the light receiving surface coincides with the optical axis OA and the light receiving surface is orthogonal to the optical axis OA.
  • the light receiving surface of the image sensor 21 is formed of indium gallium arsenide (InGaAs). Therefore, the image sensor 21 can detect a subject image based on the light in the wavelength band from 400 nm to 1700 nm transmitted through the imaging optical system 20, that is, the light in the wavelength band from the visible light region to the near infrared region. ..
  • the term “orthogonal” as used herein means not only a perfect orthogonality but also an orthogonality in the sense of including an error generally allowed in the technical field to which the technique of the present disclosure belongs.
  • the filter unit 31 is a circle in which two filters F1 and F2 of the first filter F1 and the second filter F2 are arranged in an annular shape at equal intervals (every 180 ° in FIG. 2). It is a board.
  • the filter unit 31 is rotated clockwise by the filter unit drive mechanism 38 in order to switch the filters F1 and F2 for each frame.
  • the term "equal spacing" as used herein means not only perfect equal spacing but also equal spacing in the sense of including errors generally allowed in the technical field to which the technique of the present disclosure belongs.
  • the filter unit 31 may be rotated counterclockwise. Further, the filter unit 31 does not have to be a disk, and may have a rectangular shape or another shape.
  • the filter unit 31 is arranged so that the center of the second filter F2 and the optical axis OA coincide with each other from the first position in the figure arranged so that the center of the first filter F1 and the optical axis OA coincide with each other. After passing through the position, it returns to the first position again. That is, the filters F1 and F2 are sequentially inserted into the optical path as the filter unit 31 rotates clockwise.
  • the first filter F1 and the second filter F2 selectively transmit light in a preset wavelength band, respectively.
  • the first filter F1 transmits visible light VR (see FIG. 5).
  • the visible light VR transmitted through the first filter F1 is, for example, light having a wavelength band of 400 nm to 770 nm.
  • the second filter F2 transmits infrared IR (see FIG. 5).
  • the infrared IR transmitted through the second filter F2 is, for example, light having a wavelength band of 1550 ⁇ 100 nm (1450 nm to 1650 nm).
  • the numerical range represented by using "-" as described above means a range including the numerical values before and after "-" as the lower limit value and the upper limit value.
  • the image sensor 21 captures the visible light VR transmitted through the first filter F1 to obtain the first image 60 including the reflected image RFI of the subject. Further, the image sensor 21 captures the infrared IR transmitted through the second filter F2 to obtain the second image 61 including the reflected image RFI and the radiation image RDI of the subject.
  • the radiation image RDI represents the temperature of the subject.
  • the temperature range of the subject represented by the radiation image RDI is, for example, 200 ° C to 2000 ° C.
  • the control unit 45 is realized by a computer including a CPU (Central Processing Unit) 65, a memory 66, and a storage 67.
  • the memory 66 is, for example, a RAM (Random Access Memory) or the like, and temporarily stores various information.
  • the storage 67 which is a non-temporary storage medium, is, for example, a hard disk drive, a solid state drive, or the like, and stores various parameters and various programs.
  • the CPU 65 comprehensively controls the operation of each part of the camera 10 by loading the program stored in the storage 67 into the memory 66 and executing the processing according to the program.
  • the memory 66 may be built in the CPU 65.
  • the program may be recorded and distributed on an external recording medium (not shown) and installed by the CPU 65 from the recording medium.
  • the program may be stored in a server or the like connected to the network in a state accessible from the outside, downloaded to the memory 66 or the storage 67 by the CPU 65 as requested, and installed and executed.
  • the operation program 70 is stored in the storage 67.
  • the operation program 70 is an application program for making the computer constituting the control unit 45 function as an image pickup control device. That is, the operation program 70 is an example of a "program" according to the technique of the present disclosure.
  • the storage 67 also stores the threshold value TH, the first image for superimposition 60SP, and the zoom lens movement amount information 71.
  • the CPU 65 When the operation program 70 is activated, the CPU 65 cooperates with the memory 66 and the like to form an image sensor drive control unit 80, an image processing unit 81, a transfer control unit 82, a focus lens drive control unit 83, and a zoom lens drive control unit. It functions as 84, an aperture drive control unit 85, and a filter unit drive control unit 86.
  • the CPU 65 is an example of a "processor" according to the technique of the present disclosure.
  • the image sensor drive control unit 80 controls the drive of the image sensor 21.
  • the image sensor drive control unit 80 applies the subject light SL to the image sensor 21 at a preset frame rate, for example, 30 fps (frames per second) when an instruction to start imaging is input via the monitor device 50. Have an image taken.
  • the image sensor 21 outputs the image obtained by capturing the subject light SL to the image processing unit 81.
  • the image processing unit 81 performs various image processing on the image from the image sensor 21.
  • the image processing unit 81 outputs the image after image processing to the transfer control unit 82.
  • the transfer control unit 82 transfers the image from the image processing unit 81 to the monitor device 50.
  • the focus lens drive control unit 83 controls the drive of the focus lens drive mechanism 35.
  • the focus lens drive control unit 83 transfers the on-axis chromatic aberration of two types of light transmitted through the first filter F1 and the second filter F2 of the filter unit 31 to the optical axis of the focus lens 26 via the focus lens drive mechanism 35. It is corrected by moving it along the OA. That is, the focus lens 26 is an example of the "correction lens" according to the technique of the present disclosure.
  • the zoom lens drive control unit 84 controls the drive of the zoom lens drive mechanism 36.
  • the zoom lens drive control unit 84 transmits the angle of view difference between the first image 60 and the second image 61 caused by moving the focus lens 26 along the optical axis OA via the zoom lens drive mechanism 36.
  • the correction is made by moving the zoom lens 27 along the optical axis OA.
  • the zoom lens 27, the zoom lens drive mechanism 36, the zoom lens drive control unit 84, and the like constitute an optical zoom function 90.
  • the optical zoom function 90 is an example of the "zoom function" according to the technique of the present disclosure.
  • the aperture drive control unit 85 controls the drive of the aperture drive mechanism 37 so that the amount of light of the subject light SL is appropriate.
  • the filter unit drive control unit 86 controls the drive of the filter unit drive mechanism 38 so that the filters F1 and F2 are selectively inserted into the optical path for each frame.
  • the focus lens drive control unit 83 sets the focus lens 26 from the position when the second filter F2 of FIG. 5B is inserted into the optical path.
  • the zoom lens drive control unit 84 corrects the angle of view difference by moving the zoom lens 27 in the object side direction OD from the position when the second filter F2 in FIG. 5B is inserted into the optical path.
  • the focus lens drive control unit 83 sets the focus lens 26 from the position when the first filter F1 of FIG. 5A is inserted into the optical path.
  • the zoom lens drive control unit 84 corrects the angle of view difference by moving the zoom lens 27 from the position when the first filter F1 of FIG. 5A is inserted into the optical path to the image forming side direction ID.
  • the image sensor 21 includes the reflected image RFI by capturing the visible light VR transmitted through the first filter F1 in the case of FIG. 5A.
  • the first image 60 is output.
  • the image sensor 21 captures the infrared IR transmitted through the second filter F2 to output the second image 61 including the reflected image RFI and the radiation image RDI.
  • the on-axis chromatic aberration increases as the position of the zoom lens 27 becomes closer to the telephoto side. Therefore, the amount of movement of the focus lens 26 required for correcting the axial chromatic aberration increases as the position of the zoom lens 27 becomes closer to the telephoto side. Therefore, the amount of movement of the zoom lens 27 required for correcting the angle of view difference also changes depending on the position of the zoom lens 27 when the axial chromatic aberration is corrected.
  • the zoom lens drive control unit 84 refers to the zoom lens movement amount information 71, and the movement amount of the zoom lens 27 required for correcting the angle of view difference according to the position of the zoom lens 27 when the axial chromatic aberration is corrected. To change.
  • the zoom lens movement amount information 71 is the movement amount of the zoom lens 27 required for correcting the angle of view difference, and corresponds to the position of the zoom lens 27 when the axial chromatic aberration is corrected.
  • the amount of movement of the zoom lens 27 to be moved is registered.
  • a value is registered so that the position of the zoom lens 27 becomes larger toward the telephoto side. For example, the maximum value of 0.25 mm is registered in Z1 which is the most telephoto position.
  • Each lens 25 to 28 included in the image pickup optical system 20 is designed for infrared IR. Therefore, when the second filter F2 is inserted into the optical path, it cannot be out of focus by moving the zoom lens 27 in order to correct the angle of view difference. Therefore, as shown in FIG. 7, when the second filter F2 is inserted into the optical path, after the focus lens drive control unit 83 moves the focus lens 26 to correct the axial chromatic aberration (step ST10), The zoom lens drive control unit 84 may move the zoom lens 27 once to correct the angle of view difference (step ST11).
  • the focus lens drive control unit 83 moves the focus lens 26 to correct the axial chromatic aberration (step ST10) and zoom.
  • the focus lens drive control unit 83 moves the focus lens 26 again to adjust the out-of-focus (step ST12). .. Then, these steps ST11 and ST12 are repeated until the angle of view difference becomes an allowable range (YES in step ST13).
  • the image processing unit 81 includes an image acquisition unit 100, a brightness level calculation unit 101, an executionability determination unit 102, a brightness level normalization unit 103, a difference image generation unit 104, and an image output unit 105.
  • an image acquisition unit 100 a brightness level calculation unit 101
  • an executionability determination unit 102 a brightness level normalization unit 103
  • a difference image generation unit 104 a difference image generation unit 104
  • an image output unit 105 a difference image generation unit 105.
  • the image acquisition unit 100 acquires the first image 60 from the image sensor 21.
  • the image acquisition unit 100 performs various image processing such as gradation conversion processing on the acquired first image 60, and then outputs the first image 60 to the luminance level calculation unit 101 and the image output unit 105.
  • the image acquisition unit 100 acquires the second image 61 from the image sensor 21, performs various image processing on the second image 61, and then outputs the second image 61 to the luminance level calculation unit 101 and the image output. Output to unit 105.
  • the first image 60 and the second image 61 acquired by the image acquisition unit 100 are images in which the angle of view difference is corrected.
  • the luminance level calculation unit 101 calculates the first luminance level 110, which is the luminance level of the reflected image RFI included in the first image 60.
  • the luminance level calculation unit 101 outputs the calculated first luminance level 110 to the execution enablement determination unit 102. Further, the luminance level calculation unit 101 outputs the calculated first luminance level 110 and the first image 60 to the luminance level normalization unit 103.
  • the luminance level calculation unit 101 calculates the second luminance level 111, which is the luminance level of the reflected image RFI included in the second image 61.
  • the luminance level calculation unit 101 outputs the calculated second luminance level 111 and the second image 61 to the luminance level normalization unit 103.
  • the area of the second image 61 whose pixel value is equal to or higher than the preset threshold value is the area where the radiation image RDI is captured, and the area of the second image 61 whose pixel value is less than the threshold value is the reflection image RFI. Extract as an area to be reflected. Then, the luminance level calculation unit 101 calculates the representative value of the luminance value of the pixel in the region where the reflected image RFI of the second image 61 is captured as the second luminance level 111. Further, the luminance level calculation unit 101 extracts the region of the first image 60 corresponding to the region where the reflected image RFI of the second image 61 is captured as the region where the reflected image RFI of the first image 60 is captured.
  • the luminance level calculation unit 101 calculates the representative value of the luminance value of the pixel in the region where the reflected image RFI of the first image 60 is captured as the first luminance level 110.
  • the representative value is one of the maximum value, the mode value, the median value, and the average value.
  • the area where the reflected image RFI of the first image 60 is captured and the region where the reflected image RFI of the second image 61 is captured may be designated by the user via the monitor device 50.
  • the executionability determination unit 102 determines whether or not the process of outputting the difference image 115 between the first image 60 and the second image 61 can be executed based on whether or not the execution conditions related to the threshold value TH and the first luminance level 110 are satisfied. judge.
  • the executionability determination unit 102 outputs the executionability determination result 112 to the luminance level normalization unit 103, the difference image generation unit 104, and the image output unit 105.
  • Executionability determination unit 102 determines executionability at preset time intervals.
  • the preset time interval is, for example, every frame, every few minutes, or every few hours.
  • the luminance level normalization unit 103 operates only when the execution condition is satisfied and the determination result 112 from the execution possibility determination unit 102 is "execute".
  • the luminance level normalization unit 103 normalizes the first luminance level 110 of the first image 60 according to the second luminance level 111 of the second image 61, thereby normalizing the first image 60 with the first image 60N. do.
  • the luminance level normalization unit 103 outputs the normalized first image 60N and the second image 61 to the difference image generation unit 104.
  • the difference image generation unit 104 operates only when the execution condition is satisfied and the determination result 112 from the execution possibility determination unit 102 is "execution".
  • the difference image generation unit 104 generates the difference image 115 by taking the difference between the pixel values for each corresponding pixel of the normalized first image 60N and the second image 61.
  • the difference image generation unit 104 outputs the generated difference image 115 to the image output unit 105.
  • the difference image 115 is an example of the "third image" according to the technique of the present disclosure.
  • the image output unit 105 transfers the first image 60, the second image 61, and the difference image 115. Output to the control unit 82.
  • the transfer control unit 82 transfers the first image 60, the second image 61, and the difference image 115 to the monitor device 50.
  • the image output unit 105 transfers the first image 60SP for superimposition and the second image 61. Output to the control unit 82.
  • the transfer control unit 82 transfers the first image 60SP for superimposition and the second image 61 to the monitoring device 50. That is, the image output unit 105 outputs the difference image 115 only when the execution condition is satisfied.
  • the first image 60SP for superimposition is an image acquired by capturing the reflected image RFI by the image sensor 21 when the first luminance level 110 is equal to or higher than the threshold value TH.
  • the first image 60SP for superimposition is acquired by a user's instruction via, for example, the monitoring device 50, and is stored in the storage 67.
  • the case where the first luminance level 110 is equal to or higher than the threshold value TH is, for example, daytime.
  • the first image 60SP for superimposition may be acquired and stored at a time specified in advance by the user.
  • the execution possibility determination unit 102 determines that the execution condition is satisfied, and outputs a determination result 112A having the content of "execute". do.
  • the execution possibility determination unit 102 determines that the execution condition is not satisfied, and determines that the execution is not executed.
  • the result 112B is output.
  • the threshold TH is set to the radiation image RDI depending on the brightness of the reflected image RFI of the second image 61 corresponding to the reflected image RFI of the first image 60 when the first luminance level 110 is a value higher than that. A value is set that makes it difficult to observe.
  • FIG. 12 shows a specific example of normalization by the luminance level normalization unit 103.
  • the luminance level normalizing unit 103 multiplies the pixel value of each pixel of the first image 60 by 0.8. Then, the first image 60 is defined as the normalized first image 60N.
  • FIG. 13 shows the formation of the difference image 115.
  • the difference image generation unit 104 generates the difference image 115 by subtracting the normalized first image 60N from the second image 61.
  • the second luminance level 111 of the reflected image RFI included in the second image 61 coincides with the first luminance level 110 of the reflected image RFI included in the normalized first image 60N. Therefore, the difference image 115 is an image in which the reflection image RFI of the second image 61 is almost removed and the radiation image RDI is almost the only image.
  • the monitor device 50 when the difference image 115 or the like is transferred from the transfer control unit 82, the monitor device 50 generates a superimposed image 120 of the first image 60 and the difference image 115, and the superimposed image 120 is generated. It is presented to the user by being displayed on a display (not shown).
  • the superimposed image 120 may be generated by the image processing unit 81 and transferred to the monitoring device 50 by the transfer control unit 82.
  • the transfer control unit 82 transfers the first image 60SP for superimposition and the like instead of the difference image 115
  • the monitor device 50 transfers the first image 60SP for superimposition and the second image.
  • the superimposed image 121 of 61 is generated, and the superimposed image 121 is displayed on the display and presented to the user.
  • edge extraction may be performed on the first image 60 and the difference image 115, and the edges of the first image 60 and the difference image 115 may be superimposed so as to be aligned with each other.
  • the area of the radiation image RDI of the superimposed images 120 and 121 may be blinked or colored.
  • the edge extraction image of the reflected image RFI of the first image 60 or the first image 60SP for superimposition may be superposed with the difference image 115 or the second image 61.
  • the subject light SL passes through the objective lens 25 of the imaging optical system 20, the focus lens 26, the zoom lens 27, the aperture 30, any of the filters F1 and F2 of the filter unit 31, and the master lens 28, and passes through the image sensor 21.
  • the image sensor 21 captures the subject light SL and outputs an image.
  • the filter unit 31 is rotated clockwise by the filter unit drive mechanism 38 driven under the control of the filter unit drive control unit 86.
  • the filters F1 and F2 are sequentially inserted into the optical path every frame.
  • the first filter F1 is inserted into the optical path (step ST100).
  • the focus lens 26 is moved to the object side OD by the focus lens drive mechanism 35 driven under the control of the focus lens drive control unit 83.
  • axial chromatic aberration is corrected (step ST110).
  • the zoom lens 27 is moved in the object side direction OD by the zoom lens drive mechanism 36 driven under the control of the zoom lens drive control unit 84.
  • the angle of view difference is corrected (step ST120).
  • the movement of the zoom lens 27 for correcting the angle of view difference and the movement of the focus lens 26 for focusing are performed until the angle of view difference becomes an allowable range. Repeated.
  • the visible light VR transmitted through the first filter F1 is imaged by the image sensor 21, and the first image 60 including the reflected image RFI is output from the image sensor 21.
  • the first image 60 is sent from the image sensor 21 to the image acquisition unit 100 of the image processing unit 81, and is acquired by the image acquisition unit 100 (step ST130).
  • the second filter F2 is inserted into the optical path (step ST140).
  • the focus lens 26 is moved to the image formation side direction ID by the focus lens drive mechanism 35 driven under the control of the focus lens drive control unit 83.
  • axial chromatic aberration is corrected (step ST150).
  • the zoom lens 27 is moved to the image formation side direction ID by the zoom lens drive mechanism 36 driven under the control of the zoom lens drive control unit 84.
  • the angle of view difference is corrected (step ST160).
  • the infrared IR transmitted through the second filter F2 is imaged by the image sensor 21, and the second image 61 including the reflected image RFI and the radiation image RDI is output from the image sensor 21. ..
  • the second image 61 is sent from the image sensor 21 to the image acquisition unit 100 of the image processing unit 81, and is acquired by the image acquisition unit 100 (step ST170).
  • the first image 60 is output from the image acquisition unit 100 to the luminance level calculation unit 101. Then, the luminance level calculation unit 101 calculates the first luminance level 110 of the first image 60. The first luminance level 110 is output to the executionability determination unit 102, and is compared with the threshold value TH in the executionability determination unit 102.
  • the determination result 112A having the content of "execute” is obtained from the execution possibility determination unit 102 to the luminance level normalization unit 103 and the difference image generation. It is output to the unit 104 and the image output unit 105 (YES in step ST180).
  • the first image 60 is designated as the normalized first image 60N in the luminance level normalizing unit 103.
  • the difference image generation unit 104 generates the normalized first image 60N and the difference image 115 of the second image 61.
  • the difference image 115 is output from the image output unit 105 to the transfer control unit 82 together with the first image 60 and the second image 61 (step ST190).
  • the determination result 112B having the content of "do not execute" is the difference between the luminance level normalization unit 103 and the execution possibility determination unit 102. It is output to the image generation unit 104 and the image output unit 105 (NO in step ST180). In this case, the luminance level normalization unit 103 and the difference image generation unit 104 are not operated, and therefore the difference image 115 is not generated. From the image output unit 105, the first image 60SP for superimposition and the second image 61 are output to the transfer control unit 82. The series of processes of steps ST100 to ST190 is repeated until an image pickup end instruction is input via the monitor device 50.
  • the filter unit drive control unit 86 of the CPU 65 selectively inserts the first filter F1 that transmits visible light VR and the second filter F2 that transmits infrared IR into the optical path.
  • the focus lens drive control unit 83 moves the focus lens 26 along the optical axis OA to move the on-axis chromatic aberration of the visible light VR transmitted through the first filter F1 and the infrared IR transmitted through the second filter F2. to correct.
  • the image sensor drive control unit 80 acquires the first image 60 including the reflected image RFI of the subject by causing the image sensor 21 to image the visible light VR transmitted through the first filter F1.
  • the image sensor drive control unit 80 acquires the second image 61 including the reflected image RFI and the radiation image RDI of the subject by causing the image sensor 21 to image the infrared IR transmitted through the second filter F2.
  • the zoom lens drive control unit 84 causes the angle of view difference between the first image 60 and the second image 61 caused by moving the focus lens 26 along the optical axis OA, and causes the zoom lens 27 to move the zoom lens 27 along the optical axis OA. Correct by moving.
  • the image processing unit 81 outputs a difference image 115 as a third image based on the first image 60 and the second image 61 acquired in a state where the angle of view difference is corrected. Therefore, for example, as shown in FIG.
  • the superimposed image 120 of the first image 60 and the difference image 115 can be presented to the user. Therefore, it is possible to present the radiation image RDI to the user in an easy-to-understand manner as compared with the case where the reflection image RFI that hinders the observation of the radiation image RDI is not removed.
  • the image processing unit 81 outputs the difference image 115 only when the preset execution conditions are satisfied.
  • the execution condition includes the content that the first luminance level 110, which is the luminance level of the reflected image RFI included in the first image 60, is equal to or higher than the preset threshold value TH. Therefore, when the radiation image RDI can be sufficiently observed without removing the reflected image RFI, such as at night, it is possible to save the trouble of generating and outputting the difference image 115. In other words, the difference image 115 can be generated and output only when necessary. Even at night, when the illumination light is irradiated and the first luminance level 110 is equal to or higher than the threshold value TH, the difference image 115 is generated and output.
  • the image processing unit 81 acquires and stores in advance when the first luminance level 110 is less than the threshold value TH and when the first luminance level 110 is equal to or higher than the threshold value TH.
  • the first image 60SP for use and the second image 61 acquired in a state where the angle of view difference is corrected are output. Therefore, for example, as shown in FIG. 15, the superimposed image 121 of the first image 60SP for superimposition and the second image 61 can be presented to the user. Therefore, even when it is difficult to visually recognize the reflected image RFI, such as at night, it is possible to grasp which part of the subject has a high temperature.
  • the image processing unit 81 has a first luminance level 110 of the reflected image RFI included in the first image 60 and a second luminance level 111 of the reflected image RFI included in the second image 61. After matching with, the difference image 115 is generated. Therefore, the reflected image RFI included in the second image 61 can be almost eliminated, and the radiation image RDI can be observed without being disturbed by the reflected image RFI.
  • the zoom lens drive control unit 84 changes the amount of movement of the zoom lens 27 required for correcting the angle of view difference according to the position of the zoom lens 27 when the axial chromatic aberration is corrected. Therefore, the angle of view difference can be appropriately corrected according to the position of the zoom lens 27.
  • the focus lens drive control unit 83 adjusts the focus shifted by moving the zoom lens 27 when correcting the angle of view difference by moving the focus lens 26. Therefore, it is possible to acquire the first image 60 in which the difference in angle of view is corrected and the image is in focus.
  • the imaging optical system 20 may include other optical elements such as a half mirror or a polarizing element.
  • the filter unit 31 is not limited to the space between the aperture 30 and the master lens 28, and may be arranged, for example, between the zoom lens 27 and the aperture 30, or in the rear stage of the master lens 28. Further, the filter unit 31 may be arranged in front of the image sensor 21 of the main body 12 instead of the lens barrel 11.
  • the camera 10 in which the lens barrel 11 and the main body 12 can be removed is illustrated, but the present invention is not limited to this.
  • the lens barrel 11 and the main body 12 may not be removable and may be an integrated camera.
  • the filter unit 31 may include an optical path length adjusting filter or a dimming filter in addition to the first filter F1 and the second filter F2. Further, the wavelength band of the visible light VR transmitted through the first filter F1 is not limited to the exemplified 400 nm to 770 nm. The wavelength band of the infrared IR transmitted through the second filter F2 is also not limited to the exemplified 1450 nm to 1650 nm.
  • the execution condition is that the first luminance level 110 is equal to or higher than the threshold value TH, but the execution condition is not limited to this.
  • the CPU of the second embodiment functions as an instruction receiving unit 130 in addition to each unit of the first embodiment.
  • the instruction receiving unit 130 receives an instruction input by the user via the monitoring device 50.
  • the instruction includes an instruction to execute the output of the difference image 115 (hereinafter referred to as an execution instruction) and an instruction to cancel the execution instruction (hereinafter referred to as a cancellation instruction).
  • an execution instruction an instruction to execute the output of the difference image 115
  • a cancellation instruction an instruction to cancel the execution instruction
  • the instruction receiving unit 130 outputs to the execution possibility determination unit 131 that the execution instruction has been accepted.
  • the instruction receiving unit 130 outputs to the executionability determination unit 131 that the cancellation instruction has been accepted.
  • the executionability determination unit 131 determines the executionability determination result 132 of the process of outputting the difference image 115 of the first image 60 and the second image 61, the luminance level normalization unit 103, the difference image generation unit 104, and the difference image generation unit 104, which are not shown. It is output to the image output unit 105.
  • the execution possibility determination unit 131 determines that the execution condition is satisfied, and outputs a determination result 132A having the content of "execute".
  • the execution possibility determination unit 131 does not satisfy the execution condition when the instruction receiving unit 130 does not receive the execution instruction or when the instruction receiving unit 130 receives the cancellation instruction. It is determined that the result is 132B, and the determination result 132B with the content of "do not execute" is output.
  • the execution condition includes the content that the instruction to execute the output of the difference image 115 is accepted. Therefore, it is possible to determine whether or not the process of outputting the difference image 115 can be executed according to the user's intention.
  • the execution condition is the embodiment of the first embodiment in which the first luminance level 110 is equal to or higher than the threshold value TH, and the execution condition is that the instruction to execute the output of the difference image 115 is accepted.
  • the aspect of the second embodiment may be configured to be selectable by the user.
  • the execution enablement determination unit 131 outputs the difference image 115 when the first luminance level 110 is equal to or higher than the threshold value TH.
  • the difference image 115 is generated after matching the first luminance level 110 and the second luminance level 111, but the present invention is not limited to this.
  • the image processing unit 140 of the third embodiment is different from the image processing unit 81 of the first embodiment in that the brightness level normalization unit 103 is not provided. Further, the image acquisition unit 100 outputs only the first image 60 to the luminance level calculation unit 101, and the luminance level calculation unit 101 calculates only the first luminance level 110.
  • the image acquisition unit 100 directly outputs the first image 60 and the second image 61 to the difference image generation unit 104.
  • the difference image generation unit 104 generates the difference image 145 of the first image 60 and the second image 61, and outputs the generated difference image 145 to the image output unit 105.
  • the difference image generation unit 104 generates the difference image 145 by subtracting the first image 60 from the second image 61.
  • the second luminance level 111 of the reflected image RFI included in the second image 61 and the first luminance level 110 of the reflected image RFI included in the first image 60 are the first luminance level 110 as in the first embodiment. It is different because it has not been normalized. Therefore, the difference image 145 is an image in which the reflected image RFI of the second image 61 remains to some extent as compared with the difference image 115 of the first embodiment.
  • the first luminance level 110 of the reflected image RFI included in the first image 60 and the second luminance level 111 of the reflected image RFI included in the second image 61 do not match.
  • the difference image 145 is generated. Therefore, as shown in FIG. 22 as an example, when the superposed image 150 of the first image 60 and the difference image 145 is generated in the monitor device 50, the first image is determined by the reflected image RFI remaining in the difference image 145. The alignment between the 60 and the difference image 145 can be performed accurately.
  • the master lens 28 is used to correct the axial chromatic aberration in addition to the focus lens 26.
  • the camera 200 of the fourth embodiment includes a lens barrel 201 and a main body 12.
  • the lens barrel 201 has substantially the same configuration as the lens barrel 11 of the first embodiment, except that the master lens drive mechanism 202 is connected to the master lens 28.
  • the same parts as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
  • the master lens drive mechanism 202 holds the master lens 28, and has a master cam ring having a cam groove formed on the outer periphery and a master cam ring as an optical axis. It includes a master motor and the like that move the master cam ring along the optical axis OA by rotating around the OA.
  • the master motor is driven under the control of the control unit 205.
  • the master motor is a stepping motor, and the control unit 205 derives the position of the master lens 28 on the optical axis OA from the driving amount of the master motor.
  • the control unit 205 corrects the axial chromatic aberration of a plurality of types of light transmitted through the filters F1 and F2 by moving the focus lens 26 along the optical axis OA via the focus lens drive mechanism 35. Further, the control unit 205 corrects the axial chromatic aberration of a plurality of types of light transmitted through the filters F1 and F2 by moving the master lens 28 along the optical axis OA via the master lens drive mechanism 202. That is, in the fourth embodiment, the master lens 28 in addition to the focus lens 26 is also an example of the “correction lens” according to the technique of the present disclosure.
  • the control unit 205 first detects the position of the zoom lens 27 (step ST500).
  • the detected position of the zoom lens 27 is on the telephoto side of the preset threshold value, that is, when the zoom lens 27 is located on the telephoto side of the preset threshold value (YES in step ST510).
  • the control unit 205 corrects the axial chromatic aberration by moving the focus lens 26 along the optical axis OA via the focus lens drive mechanism 35 (step ST520).
  • the control unit 205 determines. By moving the master lens 28 along the optical axis OA via the master lens drive mechanism 202, axial chromatic aberration is corrected (step ST530).
  • the zoom lens 27 when the zoom lens 27 is located on the telephoto side of the preset threshold value, the focus lens 26 moves to correct the axial chromatic aberration and the zoom lens is closer to the threshold value.
  • the master lens 28 moves to correct axial chromatic aberration.
  • the zoom lens 27 is located on the telephoto side, the amount of movement required for correcting the axial chromatic aberration is smaller in the focus lens 26 than in the master lens 28. Therefore, when the zoom lens 27 is located on the telephoto side of the preset threshold value, the focus lens 26 moves, so that the time required for correcting the axial chromatic aberration can be shortened.
  • the zoom lens 27 when the zoom lens 27 is located on the wide-angle side, the amount of movement required for correcting the axial chromatic aberration is smaller in the master lens 28 than in the focus lens 26. Therefore, when the zoom lens 27 is located on the wide-angle side of the preset threshold value, the time required for correcting the axial chromatic aberration can be shortened by moving the master lens 28.
  • the axial chromatic aberration may be corrected by moving the focus lens 26 and the master lens 28 in parallel.
  • the difference images 115 and 145 are exemplified as the third image, but the present invention is not limited to this.
  • the zoom function is not limited to the illustrated optical zoom function 90.
  • An electronic zoom function may be used in addition to or instead of the optical zoom function 90.
  • the first image 60SP for superimposition may be transferred to the monitor device 50 for each frame, or may be transferred to the monitor device 50 only once. When transferring only once, the first image 60SP for superimposition is stored in the monitoring device 50 and reused.
  • the cameras 10 and 200 which are surveillance cameras installed in factories and the like, are shown as an example of the "imaging device" according to the technique of the present disclosure, but the present invention is not limited to this.
  • a digital camera used by a general user, a smart device, or the like may be used.
  • control units 45 and 205 corresponding to the image pickup control device of the present disclosure are mounted on the cameras 10 and 200 are exemplified, but the present invention is not limited to this.
  • the image pickup control device of the present disclosure may be mounted on the monitor device 50.
  • the image sensor drive control unit 80 for example, the image sensor drive control unit 80, the image processing units 81 and 140, the transfer control unit 82, the focus lens drive control unit 83, the zoom lens drive control unit 84, the aperture drive control unit 85, and the filter unit drive.
  • Various processes such as a control unit 86, an image acquisition unit 100, a brightness level calculation unit 101, an executeability determination unit 102 and 131, a brightness level normalization unit 103, a difference image generation unit 104, an image output unit 105, and an instruction reception unit 130.
  • various processors (Processors) shown below can be used as the hardware structure of the processing unit (Processing Unit) that executes the above.
  • processor 65 which is a general-purpose processor that executes software (operation program 70) and functions as various processing units, after manufacturing an FPGA (Field Programgable Gate Array) or the like.
  • FPGA Field Programgable Gate Array
  • Dedicated processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed. Includes electrical circuits and the like.
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC system On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • the technique of the present disclosure can be appropriately combined with the various embodiments described above and / or various modifications. Further, it is of course not limited to each of the above embodiments, and various configurations can be adopted as long as they do not deviate from the gist. Further, the technique of the present disclosure extends to a storage medium for storing the program non-temporarily in addition to the program.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be A alone, B alone, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.
  • Control unit 50 Monitor device 51 Connector 60 1st image 60N Normalization 1st image 60SP 1st image for superimposition 61st 2 image 65 CPU 66 Memory 67 Storage 70 Operation program 71 Zoom lens movement amount information 80 Image sensor drive control unit 81, 140 Image processing unit 82 Transfer control unit 83 Focus lens drive control unit 84 Zoom lens drive control unit 85 Aperture drive control unit 86 Filter unit drive Control unit 90 Optical zoom function 100 Image acquisition unit 101 Brightness level calculation unit 102, 131 Executability determination unit 103 Brightness level normalization unit 104 Difference image generation unit 105 Image output unit 110 First brightness level 111 Second brightness level 112, 112A , 112B, 132,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)

Abstract

被写体の輻射像をユーザに分かりやすく提示することが可能な撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置を提供する。イメージセンサ駆動制御部（８０）は、可視光線（ＶＲ）をイメージセンサ（２１）に撮像させることで、被写体の反射像（ＲＦＩ）を含む第１画像（６０）を取得する。イメージセンサ駆動制御部（８０）は、赤外線（ＩＲ）をイメージセンサ（２１）に撮像させることで、被写体の反射像（ＲＦＩ）および輻射像（ＲＤＩ）を含む第２画像（６１）を取得する。ズームレンズ駆動制御部（８４）は、第１画像（６０）と第２画像（６１）との画角差を、ズームレンズ（２７）を光軸（ＯＡ）に沿って移動させることで補正する。画像処理部（８１、１４０）は、画角差が補正された状態において取得した第１画像（６０）と第２画像（６１）の差分画像（１１５、１４５）を出力する。

Description

撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置
　本開示の技術は、撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置に関する。
　特許文献１には、同一被写体に対する可視光及び赤外光での撮影を同時に行うことを可能にする可視光・赤外光撮影用レンズシステムであって、可視光領域と赤外光領域のうちいずれか一方の波長領域を第１波長領域とし、他方の波長領域を第２波長領域とし、第１波長領域の被写体光により結像された被写体像を撮像する第１の撮像手段と、第２波長領域の被写体光により結像された被写体像を撮像する第２の撮像手段と、第１の撮像手段により被写体を撮像するための第１の被写体光を第１の撮像手段の撮像面に結像する光学系であって、所望の被写体距離の被写体にピントを合わせるために光軸方向に移動可能なフォーカスレンズを備えた光学系と、光学系に配置されると共にフォーカスレンズよりも後側に配置される光分割手段であって、光学系に入射した被写体光を第１の被写体光と、第２の撮像手段により被写体を撮像するための第２の被写体光に分割する光分割手段と、光分割手段によって分割され、光学系の作用により結像した後の第２の被写体光を再度結像させるためのリレー光学系であって、結像位置を調整するために光軸方向に移動可能な補正レンズを備えたリレー光学系と、第１の撮像手段の撮像面に対してピントが合う被写体の被写体距離と、第２の撮像手段の撮像面に対してピントが合う被写体の被写体距離とが一致するようにフォーカスレンズの位置に基づいて補正レンズの位置を制御する補正レンズ制御手段と、を備えたことを特徴とする可視光・赤外光撮影用レンズシステムが記載されている。
　特許文献２には、被写体の発する所定の二つの相異なる波長帯の電磁波を各々にとらえて撮像して被写体の映像信号に変換する撮像装置において、いずれか一方の波長帯の電磁波を反射し他方の波長帯の電磁波を透過する光学系と、反射した反射電磁波をとらえて撮像して映像信号に変換する第一のカメラと、透過した透過電磁波をとらえて撮像して映像信号に変換する第二のカメラとから構成されることを特徴とする撮像装置が記載されている。
　特許文献３には、ＴＶカメラにより撮像した被監視機器の画像を表示装置に表示して監視するＴＶカメラ監視装置において、光学レンズ系より入射される入射光を可視光線と赤外線とに分離する光分離器と、これら分離された可視光線および赤外線によりそれぞれ結像される各画像をそれぞれ撮像する撮像管とをＴＶカメラに設け、このＴＶカメラの撮像管からの各画像信号を受けて可視光線像と赤外線像とを重畳して表示装置に表示させる画像信号処理回路を設けたことを特徴とするＴＶカメラ監視装置が記載されている。
特開２００４－３５４７１４号公報 特開２００２－２０９１２６号公報 特開昭６２－０１１３８４号公報
　本開示の技術に係る１つの実施形態は、被写体の輻射像をユーザに分かりやすく提示することが可能な撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置を提供する。
　本開示の撮像制御装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、第１フィルタ、第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置であって、第１フィルタは可視光線を透過し、第２フィルタは赤外線を透過し、プロセッサは、第１フィルタと第２フィルタとを選択的に光路に挿入し、第１フィルタを透過した可視光線と、第２フィルタを透過した赤外線との軸上色収差を、補正レンズを光軸に沿って移動させることで補正し、第１フィルタを透過した可視光線をイメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得し、第２フィルタを透過した赤外線をイメージセンサに撮像させることで、被写体の反射像および輻射像を含む第２画像を取得し、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズーム機能を動作させることで補正し、画角差が補正された状態において取得した第１画像と第２画像に基づく、輻射像を含む第３画像を出力する。
　プロセッサは、予め設定された実行条件が満たされた場合に限り、第３画像を出力することが好ましい。
　実行条件は、第１画像に含まれる反射像の輝度レベルが、予め設定された閾値以上である、という内容を含むことが好ましい。
　プロセッサは、輝度レベルが閾値未満であった場合、輝度レベルが閾値以上の場合に取得して予め記憶しておいた第１画像と、画角差が補正された状態において取得した第２画像とを出力することが好ましい。
　実行条件は、第３画像の出力を実行する指示を受け付けた、という内容を含むことが好ましい。
　プロセッサは、第３画像として、第１画像と第２画像の差分画像を生成することが好ましい。
　プロセッサは、第１画像に含まれる反射像の輝度レベルと第２画像に含まれる反射像の輝度レベルを一致させたうえで、差分画像を生成することが好ましい。
　プロセッサは、第１画像に含まれる反射像の輝度レベルと第２画像に含まれる反射像の輝度レベルが異なった状態で、差分画像を生成することが好ましい。
　撮像装置は、ズームレンズを有し、プロセッサは、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズームレンズを光軸に沿って移動させることにより補正することが好ましい。
　プロセッサは、軸上色収差を補正した際のズームレンズの位置に応じて、画角差の補正に要するズームレンズの移動量を変更することが好ましい。
　プロセッサは、画角差を補正する場合にズームレンズを移動させることでずれたピントを、補正レンズを移動させることで合わせることが好ましい。
　本開示の撮像装置は、上記のいずれかに記載の撮像制御装置を備える。
　本開示の撮像制御装置の作動方法は、可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置の作動方法であって、第１フィルタと第２フィルタとを選択的に光路に挿入すること、第１フィルタを透過した可視光線と、第２フィルタを透過した赤外線との軸上色収差を、補正レンズを光軸に沿って移動させることで補正すること、第１フィルタを透過した可視光線をイメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、第２フィルタを透過した赤外線をイメージセンサに撮像させることで、被写体の反射像および輻射像を含む第２画像を取得すること、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズーム機能を動作させることで補正すること、および、画角差が補正された状態において取得した第１画像と第２画像に基づく、輻射像を含む第３画像を出力すること、を含む。
　本開示のプログラムは、可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御するプログラムであって、第１フィルタと第２フィルタとを選択的に光路に挿入すること、第１フィルタを透過した可視光線と、第２フィルタを透過した赤外線との軸上色収差を、補正レンズを光軸に沿って移動させることで補正すること、第１フィルタを透過した可視光線をイメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、第２フィルタを透過した赤外線をイメージセンサに撮像させることで、被写体の反射像および輻射像を含む第２画像を取得すること、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズーム機能を動作させることで補正すること、および、画角差が補正された状態において取得した第１画像と第２画像に基づく、輻射像を含む第３画像を出力すること、を含む処理をコンピュータに実行させる。
カメラを示す図である。 フィルタユニットを示す図である。 制御部を構成するコンピュータを示すブロック図である。 ＣＰＵのブロック図である。 各フィルタが光路に挿入された場合の様子を示す図であり、図５Ａは第１フィルタが光路に挿入された場合の様子を示し、図５Ｂは第２フィルタが光路に挿入された場合の様子を示す。 ズームレンズ移動量情報を示す図である。 第２フィルタが光路に挿入された場合のフォーカスレンズとズームレンズの動きを示すフローチャートである。 第１フィルタが光路に挿入された場合のフォーカスレンズとズームレンズの動きを示すフローチャートである。 画像処理部の詳細を示すブロック図である。 第１輝度レベルが閾値以上であった場合の判定結果を示す図である。 第１輝度レベルが閾値未満であった場合の判定結果を示す図である。 輝度レベル正規化部による正規化の具体例を示す図である。 差分画像の成り立ちを示す図である。 第１画像と差分画像の重畳画像を生成する様子を示す図である。 重畳用第１画像と第２画像の重畳画像を生成する様子を示す図である。 制御部の動作手順を示すフローチャートである。 第２実施形態の制御部を示す図である。 実行指示を受け付けた場合の判定結果を示す図である。 実行指示を受け付けなかった場合、あるいは取り消し指示を受け付けた場合の判定結果を示す図である。 第３実施形態の画像処理部の詳細を示すブロック図である。 第３実施形態の差分画像の成り立ちを示す図である。 第１画像と差分画像の重畳画像を生成する様子を示す図である。 第４実施形態のカメラを示す図である。 第４実施形態の制御部の動作手順を示すフローチャートである。
　［第１実施形態］
　一例として図１に示すように、カメラ１０は、例えば工場等に設置される監視カメラであり、鏡筒１１と本体１２とを備える。鏡筒１１には鏡筒側マウント１３が設けられており、本体１２には本体側マウント１４が設けられている。これら鏡筒側マウント１３および本体側マウント１４によって、鏡筒１１が本体１２に取り付けられる。鏡筒１１には撮像光学系２０が内蔵されており、本体１２にはイメージセンサ２１が内蔵されている。カメラ１０は、本開示の技術に係る「撮像装置」の一例である。
　撮像光学系２０は、イメージセンサ２１に被写体光ＳＬ（図５参照）を結像させるための複数種のレンズを有する。具体的には、撮像光学系２０は、対物レンズ２５、フォーカスレンズ２６、ズームレンズ２７、およびマスターレンズ２８を有する。これら各レンズ２５～２８は、対物レンズ２５、フォーカスレンズ２６、ズームレンズ２７、マスターレンズ２８の順に、物体側（被写体側）から結像側（イメージセンサ２１側）に向かって配置されている。各レンズ２５～２８は、４００ｎｍから１７００ｎｍまでの波長帯域の光、すなわち可視光域から近赤外域までの波長帯域の光を透過する。図１では簡略化しているが、各レンズ２５～２８は、実際には複数枚のレンズが組み合わされたレンズ群である。
　撮像光学系２０は、絞り３０およびフィルタユニット３１も有する。絞り３０はズームレンズ２７とフィルタユニット３１との間に配置されている。フィルタユニット３１は絞り３０とマスターレンズ２８との間に配置されている。
　鏡筒１１には、フォーカスレンズ駆動機構３５、ズームレンズ駆動機構３６、絞り駆動機構３７、およびフィルタユニット駆動機構３８が設けられている。フォーカスレンズ駆動機構３５は、周知のように、フォーカスレンズ２６を保持し、外周にカム溝が形成されたフォーカス用カム環、およびフォーカス用カム環を光軸ＯＡ周りに回転させることで、フォーカス用カム環を光軸ＯＡに沿って移動させるフォーカス用モータ等を含む。ズームレンズ駆動機構３６も同様に、ズームレンズ２７を保持し、外周にカム溝が形成されたズーム用カム環、およびズーム用カム環を光軸ＯＡ周りに回転させることで、ズーム用カム環を光軸ＯＡに沿って移動させるズーム用モータ等を含む。なお、以下では、光軸ＯＡと平行で、かつ物体側から結像側に向かう方向を結像側方向ＩＤと表記し、光軸ＯＡと平行で、結像側から物体側に向かう方向を物体側方向ＯＤと表記する。ここでいう平行とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。
　絞り駆動機構３７は、これも周知のように、絞り３０の複数枚の絞り羽根を開閉するモータ等を含む。フィルタユニット駆動機構３８は、フィルタユニット３１を、その中心を軸として一方向に回転させるモータ等を含む。
　フォーカス用モータおよびズーム用モータは、例えばステッピングモータである。この場合、フォーカス用モータおよびズーム用モータの駆動量から、光軸ＯＡ上のフォーカスレンズ２６およびズームレンズ２７の位置を導き出すことができる。なお、モータの駆動量ではなく、位置センサを設けて、フォーカスレンズ２６およびズームレンズ２７の位置を検出してもよい。
　フィルタユニット駆動機構３８には、フィルタユニット３１の回転位置を検出する回転位置センサが設けられている。回転位置センサは、例えばロータリーエンコーダである。
　各駆動機構３５～３８のモータ等の電気部品は、鏡筒側マウント１３に設けられた鏡筒側接点４０に接続されている。本体側マウント１４の鏡筒側接点４０と対応する位置には、本体側接点４１が設けられている。本体側接点４１には、制御部４５が接続されている。制御部４５は、本開示の技術に係る「撮像制御装置」の一例である。鏡筒側マウント１３および本体側マウント１４を介して鏡筒１１が本体１２に取り付けられた場合、鏡筒側接点４０と本体側接点４１とが接触する。これにより、各駆動機構３５～３８の電気部品と制御部４５とが電気的に接続される。
　各駆動機構３５～３８の電気部品は、制御部４５の制御の下で駆動される。より詳しくは、制御部４５は、モニタ装置５０を介して入力されたユーザからの指示に応じた駆動信号を発して、各駆動機構３５～３８の電気部品を駆動させる。例えば、モニタ装置５０を介して画角を望遠側に変更する指示が入力された場合、制御部４５は、ズームレンズ駆動機構３６のズーム用モータに駆動信号を発して、ズームレンズ２７を望遠側に移動させる。モニタ装置５０は、例えば、タッチパネルで構成される。または、モニタ装置５０は、例えば、ディスプレイ、キーボードおよびマウスで構成される。なお、モニタ装置５０は、カメラ１０とは離れた遠隔地、例えば管制室に設置されており、コネクタ５１を介して本体１２に接続されている。
　フォーカス用モータおよびズーム用モータは、駆動量を制御部４５に出力する。制御部４５は、駆動量から光軸ＯＡ上のフォーカスレンズ２６およびズームレンズ２７の位置を導き出す。また、回転位置センサは、フィルタユニット３１の回転位置を制御部４５に出力する。これにより制御部４５は、フィルタユニット３１の回転位置を把握する。
　イメージセンサ２１は、被写体光ＳＬを受光する受光面を有している。イメージセンサ２１は、受光面の中心が光軸ＯＡと一致し、かつ受光面が光軸ＯＡと直交するよう配されている。イメージセンサ２１は、受光面がヒ化インジウムガリウム（ＩｎＧａＡｓ）により形成されている。このためイメージセンサ２１は、撮像光学系２０を透過した４００ｎｍから１７００ｎｍまでの波長帯域の光、すなわち可視光域から近赤外域までの波長帯域の光に基づく被写体像を検出することが可能である。なお、ここでいう直交とは、完全な直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの直交を指す。
　一例として図２に示すように、フィルタユニット３１は、第１フィルタＦ１および第２フィルタＦ２の２つのフィルタＦ１およびＦ２が円環状に等間隔（図２においては１８０°毎）で並べられた円板である。フィルタユニット３１は、各フィルタＦ１およびＦ２を１フレーム毎に切り替えるために、フィルタユニット駆動機構３８によって時計回りに回転する。ここでいう等間隔とは、完全な等間隔の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの等間隔を指す。なお、フィルタユニット３１を反時計回りに回転させてもよい。また、フィルタユニット３１は円板でなくてもよく、矩形またはその他の形状でもよい。
　フィルタユニット３１は、第１フィルタＦ１の中心と光軸ＯＡとが一致するよう配置された図示の第１位置から、第２フィルタＦ２の中心と光軸ＯＡとが一致するよう配置された第２位置を経て、再び第１位置に戻る。つまりフィルタＦ１およびＦ２は、フィルタユニット３１の時計回りの回転に伴って、順次光路に挿入される。
　第１フィルタＦ１および第２フィルタＦ２はそれぞれ、予め設定された波長帯域の光を選択的に透過させる。第１フィルタＦ１は可視光線ＶＲ（図５参照）を透過する。第１フィルタＦ１を透過する可視光線ＶＲは、例えば４００ｎｍ～７７０ｎｍの波長帯域の光である。第２フィルタＦ２は赤外線ＩＲ（図５参照）を透過する。第２フィルタＦ２を透過する赤外線ＩＲは、例えば１５５０±１００ｎｍ（１４５０ｎｍ～１６５０ｎｍ）の波長帯域の光である。なお、上記のように「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
　第１フィルタＦ１を透過した可視光線ＶＲをイメージセンサ２１が撮像することによって、被写体の反射像ＲＦＩを含む第１画像６０が得られる。また、第２フィルタＦ２を透過した赤外線ＩＲをイメージセンサ２１が撮像することによって、被写体の反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１が得られる。輻射像ＲＤＩは、被写体の温度を表す。輻射像ＲＤＩで表される被写体の温度の範囲は、例えば２００℃～２０００℃である。
　一例として図３に示すように、制御部４５は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６５、メモリ６６、およびストレージ６７を含むコンピュータよって実現される。メモリ６６は例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等であり、各種情報を一時的に記憶する。非一時的記憶媒体であるストレージ６７は例えばハードディスクドライブ、またはソリッドステートドライブ等であり、各種パラメータおよび各種プログラムを記憶する。ＣＰＵ６５は、ストレージ６７に記憶されたプログラムをメモリ６６へロードして、プログラムにしたがった処理を実行することにより、カメラ１０の各部の動作を統括的に制御する。なお、メモリ６６は、ＣＰＵ６５に内蔵されていてもよい。なお、プログラムは、図示しない外部記録媒体に記録されて配布され、その記録媒体からＣＰＵ６５によりインストールされてもよい。または、プログラムは、ネットワークに接続されたサーバ等に、外部からアクセス可能な状態で記憶され、要求に応じてＣＰＵ６５によりメモリ６６やストレージ６７にダウンロードされ、インストールおよび実行されてもよい。
　一例として図４に示すように、ストレージ６７には、作動プログラム７０が記憶されている。作動プログラム７０は、制御部４５を構成するコンピュータを撮像制御装置として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム７０は、本開示の技術に係る「プログラム」の一例である。ストレージ６７には、作動プログラム７０の他に、閾値ＴＨ、重畳用第１画像６０ＳＰ、およびズームレンズ移動量情報７１も記憶されている。
　作動プログラム７０が起動されると、ＣＰＵ６５は、メモリ６６等と協働して、イメージセンサ駆動制御部８０、画像処理部８１、転送制御部８２、フォーカスレンズ駆動制御部８３、ズームレンズ駆動制御部８４、絞り駆動制御部８５、およびフィルタユニット駆動制御部８６として機能する。ＣＰＵ６５は、本開示の技術に係る「プロセッサ」の一例である。
　イメージセンサ駆動制御部８０は、イメージセンサ２１の駆動を制御する。イメージセンサ駆動制御部８０は、モニタ装置５０を介して撮像開始の指示が入力された場合に、予め設定されたフレームレート、例えば３０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）にて、イメージセンサ２１に被写体光ＳＬを撮像させる。イメージセンサ２１は、被写体光ＳＬを撮像することにより得られた画像を画像処理部８１に出力する。
　画像処理部８１は、イメージセンサ２１からの画像に対して各種画像処理を施す。画像処理部８１は、画像処理後の画像を転送制御部８２に出力する。転送制御部８２は、画像処理部８１からの画像をモニタ装置５０に転送する。
　フォーカスレンズ駆動制御部８３は、フォーカスレンズ駆動機構３５の駆動を制御する。例えばフォーカスレンズ駆動制御部８３は、フィルタユニット３１の第１フィルタＦ１および第２フィルタＦ２を各々透過した２種の光の軸上色収差を、フォーカスレンズ駆動機構３５を介してフォーカスレンズ２６を光軸ＯＡに沿って移動させることで補正する。すなわち、フォーカスレンズ２６は、本開示の技術に係る「補正レンズ」の一例である。
　ズームレンズ駆動制御部８４は、ズームレンズ駆動機構３６の駆動を制御する。ここで、軸上色収差を補正するためにフォーカスレンズ２６を光軸ＯＡに沿って移動させることによって、第１画像６０と第２画像６１とには画角差が生じる。このため、ズームレンズ駆動制御部８４は、フォーカスレンズ２６を光軸ＯＡに沿って移動させることで生じた第１画像６０と第２画像６１との画角差を、ズームレンズ駆動機構３６を介してズームレンズ２７を光軸ＯＡに沿って移動させることで補正する。なお、ズームレンズ２７、ズームレンズ駆動機構３６、およびズームレンズ駆動制御部８４等は、光学ズーム機能９０を構成する。光学ズーム機能９０は、本開示の技術に係る「ズーム機能」の一例である。
　絞り駆動制御部８５は、被写体光ＳＬの光量が適切となるよう絞り駆動機構３７の駆動を制御する。フィルタユニット駆動制御部８６は、各フィルタＦ１およびＦ２が１フレーム毎に選択的に光路に挿入されるようフィルタユニット駆動機構３８の駆動を制御する。
　一例として図５Ａに示すように、第１フィルタＦ１が光路に挿入された場合、フォーカスレンズ駆動制御部８３は、図５Ｂの第２フィルタＦ２が光路に挿入された場合の位置からフォーカスレンズ２６を物体側方向ＯＤに移動させることで、軸上色収差を補正する。また、ズームレンズ駆動制御部８４は、図５Ｂの第２フィルタＦ２が光路に挿入された場合の位置からズームレンズ２７を物体側方向ＯＤに移動させることで、画角差を補正する。
　一例として図５Ｂに示すように、第２フィルタＦ２が光路に挿入された場合、フォーカスレンズ駆動制御部８３は、図５Ａの第１フィルタＦ１が光路に挿入された場合の位置からフォーカスレンズ２６を結像側方向ＩＤに移動させることで、軸上色収差を補正する。また、ズームレンズ駆動制御部８４は、図５Ａの第１フィルタＦ１が光路に挿入された場合の位置からズームレンズ２７を結像側方向ＩＤに移動させることで、画角差を補正する。
　こうして軸上色収差が補正され、かつ画角差が補正された状態において、イメージセンサ２１は、図５Ａの場合は第１フィルタＦ１を透過した可視光線ＶＲを撮像することで、反射像ＲＦＩを含む第１画像６０を出力する。また、イメージセンサ２１は、図５Ｂの場合は第２フィルタＦ２を透過した赤外線ＩＲを撮像することで、反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１を出力する。
　軸上色収差は、ズームレンズ２７の位置が望遠側となるほど大きくなる。このため、軸上色収差の補正に要するフォーカスレンズ２６の移動量は、ズームレンズ２７の位置が望遠側となるほど大きくなる。したがって、画角差の補正に要するズームレンズ２７の移動量も、軸上色収差を補正した際のズームレンズ２７の位置に応じて変わる。ズームレンズ駆動制御部８４は、ズームレンズ移動量情報７１を参照することで、軸上色収差を補正した際のズームレンズ２７の位置に応じて、画角差の補正に要するズームレンズ２７の移動量を変更する。
　一例として図６に示すように、ズームレンズ移動量情報７１には、画角差の補正に要するズームレンズ２７の移動量であって、軸上色収差を補正した際のズームレンズ２７の位置に対応するズームレンズ２７の移動量が登録されている。ズームレンズ２７の移動量は、ズームレンズ２７の位置が望遠側となるほど大きい値が登録されている。例えば最も望遠側の位置であるＺ１には、最大値の０．２５ｍｍが登録されている。
　撮像光学系２０に含まれる各レンズ２５～２８は、赤外線ＩＲ用に設計されている。このため、第２フィルタＦ２が光路に挿入された場合は、画角差を補正するためにズームレンズ２７を移動させたことでピントはずれない。したがって、一例として図７に示すように、第２フィルタＦ２が光路に挿入された場合、フォーカスレンズ駆動制御部８３がフォーカスレンズ２６を移動させて軸上色収差を補正した後（ステップＳＴ１０）は、ズームレンズ駆動制御部８４がズームレンズ２７を１回移動させて画角差を補正（ステップＳＴ１１）すれば済む。
　対して第１フィルタＦ１が光路に挿入された場合は、画角差を補正するためにズームレンズ２７を移動させたことでピントがずれる。したがって、一例として図８に示すように、第１フィルタＦ１が光路に挿入された場合は、フォーカスレンズ駆動制御部８３がフォーカスレンズ２６を移動させて軸上色収差を補正（ステップＳＴ１０）し、ズームレンズ駆動制御部８４がズームレンズ２７を移動させて画角差を補正（ステップＳＴ１１）した後、フォーカスレンズ駆動制御部８３がフォーカスレンズ２６を再び移動させて、ずれたピントを合わせる（ステップＳＴ１２）。そして、これらステップＳＴ１１およびＳＴ１２を、画角差が許容範囲となる（ステップＳＴ１３でＹＥＳ）まで繰り返す。
　一例として図９に示すように、画像処理部８１は、画像取得部１００、輝度レベル算出部１０１、実行可否判定部１０２、輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５を有する。
　画像取得部１００は、イメージセンサ２１からの第１画像６０を取得する。画像取得部１００は、取得した第１画像６０に対して階調変換処理等の各種画像処理を施した後、第１画像６０を輝度レベル算出部１０１および画像出力部１０５に出力する。同様に、画像取得部１００は、イメージセンサ２１からの第２画像６１を取得し、第２画像６１に対して各種画像処理を施した後、第２画像６１を輝度レベル算出部１０１および画像出力部１０５に出力する。画像取得部１００で取得される第１画像６０および第２画像６１は、画角差が補正された画像である。
　輝度レベル算出部１０１は、第１画像６０に含まれる反射像ＲＦＩの輝度レベルである第１輝度レベル１１０を算出する。輝度レベル算出部１０１は、算出した第１輝度レベル１１０を実行可否判定部１０２に出力する。また、輝度レベル算出部１０１は、算出した第１輝度レベル１１０、および第１画像６０を、輝度レベル正規化部１０３に出力する。同様に、輝度レベル算出部１０１は、第２画像６１に含まれる反射像ＲＦＩの輝度レベルである第２輝度レベル１１１を算出する。輝度レベル算出部１０１は、算出した第２輝度レベル１１１、および第２画像６１を、輝度レベル正規化部１０３に出力する。
　輝度レベル算出部１０１は、例えば、画素値が予め設定された閾値以上の第２画像６１の領域を輻射像ＲＤＩが写る領域、画素値が閾値未満の第２画像６１の領域を反射像ＲＦＩが写る領域として抽出する。そして、輝度レベル算出部１０１は、第２画像６１の反射像ＲＦＩが写る領域の画素の輝度値の代表値を、第２輝度レベル１１１として算出する。また、輝度レベル算出部１０１は、第２画像６１の反射像ＲＦＩが写る領域に対応する第１画像６０の領域を、第１画像６０の反射像ＲＦＩが写る領域として抽出する。そして、輝度レベル算出部１０１は、第１画像６０の反射像ＲＦＩが写る領域の画素の輝度値の代表値を、第１輝度レベル１１０として算出する。代表値は、最大値、最頻値、中央値、および平均値のうちのいずれかである。なお、第１画像６０の反射像ＲＦＩが写る領域と、第２画像６１の反射像ＲＦＩが写る領域とが、モニタ装置５０を介してユーザに指定されてもよい。
　実行可否判定部１０２は、閾値ＴＨおよび第１輝度レベル１１０に関連する実行条件を満たすか否かに基づいて、第１画像６０と第２画像６１の差分画像１１５を出力する処理の実行可否を判定する。実行可否判定部１０２は、実行可否の判定結果１１２を、輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力する。
　実行可否判定部１０２は、予め設定された時間間隔で実行可否を判定する。予め設定された時間間隔とは、例えば１フレーム毎、数分毎、または数時間毎である。
　輝度レベル正規化部１０３は、実行条件が満たされ、実行可否判定部１０２からの判定結果１１２が「実行する」という内容であった場合に限り動作する。輝度レベル正規化部１０３は、第２画像６１の第２輝度レベル１１１に合わせて第１画像６０の第１輝度レベル１１０を正規化することで、第１画像６０を正規化第１画像６０Ｎとする。輝度レベル正規化部１０３は、正規化第１画像６０Ｎおよび第２画像６１を差分画像生成部１０４に出力する。
　差分画像生成部１０４は、輝度レベル正規化部１０３と同じく、実行条件が満たされ、実行可否判定部１０２からの判定結果１１２が「実行する」という内容であった場合に限り動作する。差分画像生成部１０４は、正規化第１画像６０Ｎと第２画像６１の対応する画素毎に画素値の差分をとることで、差分画像１１５を生成する。差分画像生成部１０４は、生成した差分画像１１５を画像出力部１０５に出力する。なお、差分画像１１５は、本開示の技術に係る「第３画像」の一例である。
　実行条件が満たされ、実行可否判定部１０２からの判定結果１１２が「実行する」という内容であった場合、画像出力部１０５は、第１画像６０、第２画像６１、および差分画像１１５を転送制御部８２に出力する。転送制御部８２は、第１画像６０、第２画像６１、および差分画像１１５をモニタ装置５０に転送する。対して、実行条件が満たされず、実行可否判定部１０２からの判定結果１１２が「実行しない」という内容であった場合、画像出力部１０５は、重畳用第１画像６０ＳＰおよび第２画像６１を転送制御部８２に出力する。転送制御部８２は、重畳用第１画像６０ＳＰおよび第２画像６１をモニタ装置５０に転送する。すなわち、画像出力部１０５は、実行条件が満たされた場合に限り、差分画像１１５を出力する。
　ここで、重畳用第１画像６０ＳＰは、第１輝度レベル１１０が閾値ＴＨ以上の場合に、イメージセンサ２１によって反射像ＲＦＩが撮像されて取得された画像である。重畳用第１画像６０ＳＰは、例えばモニタ装置５０を介したユーザの指示によって取得され、ストレージ６７に記憶される。第１輝度レベル１１０が閾値ＴＨ以上の場合とは、例えば日中である。なお、ユーザにより予め指定された時刻に重畳用第１画像６０ＳＰを取得して記憶してもよい。
　一例として図１０に示すように、実行可否判定部１０２は、第１輝度レベル１１０が閾値ＴＨ以上であった場合、実行条件を満たしたと判定し、「実行する」という内容の判定結果１１２Ａを出力する。対して、一例として図１１に示すように、実行可否判定部１０２は、第１輝度レベル１１０が閾値ＴＨ未満であった場合、実行条件を満たさなかったと判定し、「実行しない」という内容の判定結果１１２Ｂを出力する。なお、閾値ＴＨには、第１輝度レベル１１０がそれ以上の値であった場合に、第１画像６０の反射像ＲＦＩに対応する第２画像６１の反射像ＲＦＩの明るさによって、輻射像ＲＤＩを観察することが困難となる値が設定されている。
　図１２は、輝度レベル正規化部１０３による正規化の具体例を示す。第１輝度レベル１１０が「１００」、第２輝度レベル１１１が「８０」であった場合、輝度レベル正規化部１０３は、第１画像６０の各画素の画素値に０．８を乗算することで、第１画像６０を正規化第１画像６０Ｎとする。
　図１３は、差分画像１１５の成り立ちを示す。差分画像生成部１０４は、第２画像６１から正規化第１画像６０Ｎを減算することで差分画像１１５を生成する。第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１と、正規化第１画像６０Ｎに含まれる反射像ＲＦＩの第１輝度レベル１１０とは一致している。このため差分画像１１５は、第２画像６１の反射像ＲＦＩがほとんど取り除かれ、ほぼ輻射像ＲＤＩのみの画像となる。
　一例として図１４に示すように、転送制御部８２から差分画像１１５等が転送された場合、モニタ装置５０においては、第１画像６０と差分画像１１５の重畳画像１２０が生成され、重畳画像１２０がディスプレイ（図示省略）に表示される等してユーザに提示される。なお、重畳画像１２０は、画像処理部８１により生成され、転送制御部８２によりモニタ装置５０へ転送されてもよい。一方、一例として図１５に示すように、転送制御部８２から差分画像１１５ではなく重畳用第１画像６０ＳＰ等が転送された場合、モニタ装置５０においては、重畳用第１画像６０ＳＰと第２画像６１の重畳画像１２１が生成され、重畳画像１２１がディスプレイに表示される等してユーザに提示される。なお、重畳画像１２０を生成する場合に、第１画像６０と差分画像１１５に対してエッジ抽出を施し、第１画像６０と差分画像１１５のエッジ同士を合わせ込むように重畳してもよい。重畳画像１２１を生成する場合についても同様である。また、重畳画像１２０、１２１の輻射像ＲＤＩの領域を点滅表示させたり、色を付けたりしてもよい。さらに、第１画像６０または重畳用第１画像６０ＳＰの反射像ＲＦＩのエッジ抽出画像と差分画像１１５または第２画像６１を重畳してもよい。
　次に、上記構成による作用について、図１６のフローチャートを参照しつつ説明する。被写体光ＳＬは、撮像光学系２０の対物レンズ２５、フォーカスレンズ２６、ズームレンズ２７、絞り３０、フィルタユニット３１の各フィルタＦ１およびＦ２のいずれか、およびマスターレンズ２８を透過して、イメージセンサ２１の受光面に至る。イメージセンサ２１は、制御部４５の制御の下、被写体光ＳＬを撮像して画像を出力する。
　フィルタユニット駆動制御部８６の制御の下で駆動されるフィルタユニット駆動機構３８によって、フィルタユニット３１が時計回りに回転される。これによりフィルタＦ１およびＦ２が１フレーム毎に順次光路に挿入される。
　まず、第１フィルタＦ１が光路に挿入される（ステップＳＴ１００）。この場合、図５Ａで示したように、フォーカスレンズ駆動制御部８３の制御の下で駆動されるフォーカスレンズ駆動機構３５によって、フォーカスレンズ２６が物体側方向ＯＤに移動される。これにより軸上色収差が補正される（ステップＳＴ１１０）。また、ズームレンズ駆動制御部８４の制御の下で駆動されるズームレンズ駆動機構３６によって、ズームレンズ２７が物体側方向ＯＤに移動される。これにより画角差が補正される（ステップＳＴ１２０）。なお、実際には図８で示したように、画角差が許容範囲となるまで、画角差を補正するためのズームレンズ２７の移動と、ピントを合わせるためのフォーカスレンズ２６の移動とが繰り返される。
　イメージセンサ駆動制御部８０の制御の下、第１フィルタＦ１を透過した可視光線ＶＲがイメージセンサ２１にて撮像され、反射像ＲＦＩを含む第１画像６０がイメージセンサ２１から出力される。第１画像６０は、イメージセンサ２１から画像処理部８１の画像取得部１００に送られ、画像取得部１００にて取得される（ステップＳＴ１３０）。
　続いて、第２フィルタＦ２が光路に挿入される（ステップＳＴ１４０）。この場合、図５Ｂで示したように、フォーカスレンズ駆動制御部８３の制御の下で駆動されるフォーカスレンズ駆動機構３５によって、フォーカスレンズ２６が結像側方向ＩＤに移動される。これにより軸上色収差が補正される（ステップＳＴ１５０）。また、ズームレンズ駆動制御部８４の制御の下で駆動されるズームレンズ駆動機構３６によって、ズームレンズ２７が結像側方向ＩＤに移動される。これにより画角差が補正される（ステップＳＴ１６０）。
　イメージセンサ駆動制御部８０の制御の下、第２フィルタＦ２を透過した赤外線ＩＲがイメージセンサ２１にて撮像され、反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１がイメージセンサ２１から出力される。第２画像６１は、イメージセンサ２１から画像処理部８１の画像取得部１００に送られ、画像取得部１００にて取得される（ステップＳＴ１７０）。
　図９で示したように、第１画像６０は、画像取得部１００から輝度レベル算出部１０１に出力される。そして、輝度レベル算出部１０１において第１画像６０の第１輝度レベル１１０が算出される。第１輝度レベル１１０は実行可否判定部１０２に出力され、実行可否判定部１０２において閾値ＴＨと比較される。
　図１０で示したように、第１輝度レベル１１０が閾値ＴＨ以上であった場合、「実行する」という内容の判定結果１１２Ａが、実行可否判定部１０２から輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力される（ステップＳＴ１８０でＹＥＳ）。この場合、輝度レベル正規化部１０３において第１画像６０が正規化第１画像６０Ｎとされる。そして、差分画像生成部１０４において正規化第１画像６０Ｎと第２画像６１の差分画像１１５が生成される。差分画像１１５は、第１画像６０および第２画像６１と併せて画像出力部１０５から転送制御部８２に出力される（ステップＳＴ１９０）。
　一方、図１１で示したように、第１輝度レベル１１０が閾値ＴＨ未満であった場合、「実行しない」という内容の判定結果１１２Ｂが、実行可否判定部１０２から輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力される（ステップＳＴ１８０でＮＯ）。この場合、輝度レベル正規化部１０３および差分画像生成部１０４は動作されず、したがって差分画像１１５は生成されない。画像出力部１０５からは、重畳用第１画像６０ＳＰおよび第２画像６１が転送制御部８２に出力される。これらステップＳＴ１００～ＳＴ１９０の一連の処理は、モニタ装置５０を介して撮像終了指示が入力されるまで繰り返し続けられる。
　以上説明したように、ＣＰＵ６５のフィルタユニット駆動制御部８６は、可視光線ＶＲを透過する第１フィルタＦ１と、赤外線ＩＲを透過する第２フィルタＦ２とを選択的に光路に挿入する。フォーカスレンズ駆動制御部８３は、第１フィルタＦ１を透過した可視光線ＶＲと、第２フィルタＦ２を透過した赤外線ＩＲとの軸上色収差を、フォーカスレンズ２６を光軸ＯＡに沿って移動させることで補正する。イメージセンサ駆動制御部８０は、第１フィルタＦ１を透過した可視光線ＶＲをイメージセンサ２１に撮像させることで、被写体の反射像ＲＦＩを含む第１画像６０を取得する。また、イメージセンサ駆動制御部８０は、第２フィルタＦ２を透過した赤外線ＩＲをイメージセンサ２１に撮像させることで、被写体の反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１を取得する。ズームレンズ駆動制御部８４は、フォーカスレンズ２６を光軸ＯＡに沿って移動させることで生じた第１画像６０と第２画像６１との画角差を、ズームレンズ２７を光軸ＯＡに沿って移動させることで補正する。画像処理部８１は、画角差が補正された状態において取得した第１画像６０と第２画像６１に基づく第３画像としての差分画像１１５を出力する。このため、例えば図１４で示したように、第１画像６０と差分画像１１５の重畳画像１２０をユーザに提示することができる。したがって、輻射像ＲＤＩの観察の妨げになる反射像ＲＦＩが除かれない場合と比べて、輻射像ＲＤＩをユーザに分かりやすく提示することが可能となる。
　図１０および図１１で示したように、画像処理部８１は、予め設定された実行条件が満たされた場合に限り、差分画像１１５を出力する。実行条件は、第１画像６０に含まれる反射像ＲＦＩの輝度レベルである第１輝度レベル１１０が、予め設定された閾値ＴＨ以上である、という内容を含む。このため、夜間等、反射像ＲＦＩを除かなくても輻射像ＲＤＩの観察が十分に可能な場合に、わざわざ差分画像１１５を生成して出力する手間を省くことができる。言い換えれば、必要な場合に限って差分画像１１５を生成して出力することができる。なお、夜間等においても、照明光が照射されて第１輝度レベル１１０が閾値ＴＨ以上であった場合は、差分画像１１５が生成されて出力される。
　図１１で示したように、画像処理部８１は、第１輝度レベル１１０が閾値ＴＨ未満であった場合、第１輝度レベル１１０が閾値ＴＨ以上の場合に取得して予め記憶しておいた重畳用第１画像６０ＳＰと、画角差が補正された状態において取得した第２画像６１とを出力する。このため、例えば図１５で示したように、重畳用第１画像６０ＳＰと第２画像６１の重畳画像１２１をユーザに提示することができる。したがって、夜間等、反射像ＲＦＩの視認が困難な場合においても、被写体のどの部分が高温となっているか等を把握することができる。
　図１２および図１３で示したように、画像処理部８１は、第１画像６０に含まれる反射像ＲＦＩの第１輝度レベル１１０と第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１とを一致させたうえで、差分画像１１５を生成する。このため、第２画像６１に含まれる反射像ＲＦＩをほとんど除くことができ、より反射像ＲＦＩに邪魔されずに輻射像ＲＤＩを観察することができる。
　図６で示したように、ズームレンズ駆動制御部８４は、軸上色収差を補正した際のズームレンズ２７の位置に応じて、画角差の補正に要するズームレンズ２７の移動量を変更する。このため、ズームレンズ２７の位置に応じて、適切に画角差を補正することができる。
　図８で示したように、フォーカスレンズ駆動制御部８３は、画角差を補正する場合にズームレンズ２７を移動させることでずれたピントを、フォーカスレンズ２６を移動させることで合わせる。このため、画角差が補正され、かつピントが合った第１画像６０を取得することができる。
　なお、撮像光学系２０は、ハーフミラー、または偏光素子といった他の光学素子を含んでいてもよい。また、フィルタユニット３１は、絞り３０とマスターレンズ２８との間に限らず、例えばズームレンズ２７と絞り３０との間、あるいはマスターレンズ２８の後段等に配置されていてもよい。さらに、フィルタユニット３１は、鏡筒１１ではなく、本体１２のイメージセンサ２１の前段に配置されていてもよい。
　鏡筒１１と本体１２とが取り外し可能なカメラ１０を例示したが、これに限らない。鏡筒１１と本体１２とが取り外し不可で一体のカメラであってもよい。
　フィルタユニット３１は、第１フィルタＦ１および第２フィルタＦ２に加えて、光路長調整用フィルタ、あるいは減光フィルタを含んでいてもよい。また、第１フィルタＦ１を透過する可視光線ＶＲの波長帯域は、例示の４００ｎｍ～７７０ｎｍに限らない。第２フィルタＦ２を透過する赤外線ＩＲの波長帯域も、例示の１４５０ｎｍ～１６５０ｎｍに限らない。
　［第２実施形態］
　上記第１実施形態では、実行条件は、第１輝度レベル１１０が閾値ＴＨ以上である、という内容であったが、これに限らない。
　一例として図１７に示すように、第２実施形態のＣＰＵは、上記第１実施形態の各部に加えて、指示受付部１３０として機能する。指示受付部１３０は、モニタ装置５０を介してユーザにより入力される指示を受け付ける。指示は、差分画像１１５の出力を実行する指示（以下、実行指示という）、および実行指示を取り消す指示（以下、取り消し指示という）を含む。指示受付部１３０は、実行指示を受け付けた場合、実行指示を受け付けた旨を実行可否判定部１３１に出力する。また、指示受付部１３０は、取り消し指示を受け付けた場合も、取り消し指示を受け付けた旨を実行可否判定部１３１に出力する。実行可否判定部１３１は、第１画像６０と第２画像６１の差分画像１１５を出力する処理の実行可否の判定結果１３２を、図示省略した輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力する。
　一例として図１８に示すように、実行可否判定部１３１は、指示受付部１３０において実行指示を受け付けた場合、実行条件を満たしたと判定し、「実行する」という内容の判定結果１３２Ａを出力する。対して、一例として図１９に示すように、実行可否判定部１３１は、指示受付部１３０において実行指示を受け付けなかった場合、あるいは指示受付部１３０において取り消し指示を受け付けた場合、実行条件を満たさなかったと判定し、「実行しない」という内容の判定結果１３２Ｂを出力する。
　このように、第２実施形態においては、実行条件は、差分画像１１５の出力を実行する指示を受け付けた、という内容を含む。このため、差分画像１１５を出力する処理の実行可否を、ユーザの意向に沿って決めることができる。
　なお、実行条件が、第１輝度レベル１１０が閾値ＴＨ以上である、という内容の上記第１実施形態の態様と、実行条件が、差分画像１１５の出力を実行する指示を受け付けた、という内容の本第２実施形態の態様とを、ユーザが選択可能な構成としてもよい。この構成は、第１輝度レベル１１０が閾値ＴＨ以上である、という内容の上記第１実施形態の態様と、実行条件が、差分画像１１５の出力を実行する指示を受け付けた、という内容の本第２実施形態の態様の両方を選択する場合も含む。上記第１実施形態の態様と本第２実施形態の態様の両方を選択した場合、実行可否判定部１３１は、第１輝度レベル１１０が閾値ＴＨ以上であった場合、および差分画像１１５の出力を実行する指示を受け付けた場合に、実行条件を満たしたと判定する。
　［第３実施形態］
　上記第１実施形態では、第１輝度レベル１１０と第２輝度レベル１１１とを一致させたうえで差分画像１１５を生成しているが、これに限らない。
　一例として図２０に示すように、第３実施形態の画像処理部１４０は、輝度レベル正規化部１０３が設けられていない点が、上記第１実施形態の画像処理部８１と異なる。また、画像取得部１００は、第１画像６０のみを輝度レベル算出部１０１に出力し、輝度レベル算出部１０１は、第１輝度レベル１１０のみを算出する点が異なる。
　画像取得部１００は、第１画像６０および第２画像６１を直接差分画像生成部１０４に出力する。差分画像生成部１０４は、第１画像６０と第２画像６１の差分画像１４５を生成し、生成した差分画像１４５を画像出力部１０５に出力する。
　差分画像１４５の成り立ちを示す図２１において、差分画像生成部１０４は、第２画像６１から第１画像６０を減算することで差分画像１４５を生成する。第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１と、第１画像６０に含まれる反射像ＲＦＩの第１輝度レベル１１０とは、上記第１実施形態のように第１輝度レベル１１０の正規化を行っていないので、異なっている。このため差分画像１４５は、上記第１実施形態の差分画像１１５と比べて、第２画像６１の反射像ＲＦＩがある程度残存した画像となる。
　このように、第３実施形態においては、第１画像６０に含まれる反射像ＲＦＩの第１輝度レベル１１０と、第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１とを一致させずに、差分画像１４５を生成する。このため、一例として図２２に示すように、モニタ装置５０において第１画像６０と差分画像１４５の重畳画像１５０を生成する場合に、差分画像１４５に残存している反射像ＲＦＩによって、第１画像６０と差分画像１４５との位置合わせを精度よく行うことができる。
　［第４実施形態］
　図２３および図２４に示す第４実施形態では、フォーカスレンズ２６に加えてマスターレンズ２８が軸上色収差の補正に用いられる。
　図２３において、第４実施形態のカメラ２００は、鏡筒２０１と本体１２とを備える。鏡筒２０１は、上記第１実施形態の鏡筒１１とほぼ同じ構成であるが、マスターレンズ２８にマスターレンズ駆動機構２０２が接続されている点が異なる。その他、上記第１実施形態と同じ部品については同じ符号を付し、説明を省略する。
　マスターレンズ駆動機構２０２は、フォーカスレンズ駆動機構３５およびズームレンズ駆動機構３６と同様に、マスターレンズ２８を保持し、外周にカム溝が形成されたマスター用カム環、およびマスター用カム環を光軸ＯＡ周りに回転させることで、マスター用カム環を光軸ＯＡに沿って移動させるマスター用モータ等を含む。マスター用モータは、制御部２０５の制御の下で駆動される。マスター用モータはステッピングモータであり、制御部２０５は、マスター用モータの駆動量から、光軸ＯＡ上のマスターレンズ２８の位置を導き出す。
　制御部２０５は、フィルタＦ１およびＦ２を各々透過した複数種の光の軸上色収差を、フォーカスレンズ駆動機構３５を介してフォーカスレンズ２６を光軸ＯＡに沿って移動させることで補正する。また、制御部２０５は、フィルタＦ１およびＦ２を各々透過した複数種の光の軸上色収差を、マスターレンズ駆動機構２０２を介してマスターレンズ２８を光軸ＯＡに沿って移動させることで補正する。すなわち、第４実施形態においては、フォーカスレンズ２６に加えてマスターレンズ２８も、本開示の技術に係る「補正レンズ」の一例である。
　一例として図２４のフローチャートに示すように、制御部２０５は、まず、ズームレンズ２７の位置を検出する（ステップＳＴ５００）。検出したズームレンズ２７の位置が、予め設定された閾値よりも望遠側であった場合、すなわち、予め設定された閾値よりもズームレンズ２７が望遠側に位置していた場合（ステップＳＴ５１０でＹＥＳ）、制御部２０５は、フォーカスレンズ駆動機構３５を介してフォーカスレンズ２６を光軸ＯＡに沿って移動させることで、軸上色収差を補正する（ステップＳＴ５２０）。対して、検出したズームレンズ２７の位置が閾値よりも広角側であった場合、すなわち、閾値よりもズームレンズ２７が広角側に位置していた場合（ステップＳＴ５１０でＮＯ）、制御部２０５は、マスターレンズ駆動機構２０２を介してマスターレンズ２８を光軸ＯＡに沿って移動させることで、軸上色収差を補正する（ステップＳＴ５３０）。
　このように、第４実施形態では、予め設定された閾値よりもズームレンズ２７が望遠側に位置していた場合は、フォーカスレンズ２６が移動して軸上色収差を補正し、閾値よりもズームレンズ２７が広角側に位置していた場合は、マスターレンズ２８が移動して軸上色収差を補正する。ズームレンズ２７が望遠側に位置していた場合は、軸上色収差の補正に要する移動量は、マスターレンズ２８よりもフォーカスレンズ２６のほうが小さい。このため、予め設定された閾値よりもズームレンズ２７が望遠側に位置していた場合は、フォーカスレンズ２６が移動することにより、軸上色収差の補正に掛かる時間を短縮することができる。一方、ズームレンズ２７が広角側に位置していた場合は、軸上色収差の補正に要する移動量は、フォーカスレンズ２６よりもマスターレンズ２８のほうが小さい。このため、予め設定された閾値よりもズームレンズ２７が広角側に位置していた場合は、マスターレンズ２８が移動することにより、軸上色収差の補正に掛かる時間を短縮することができる。なお、フォーカスレンズ２６とマスターレンズ２８を並行して移動させることで、軸上色収差が補正されてもよい。
　上記各実施形態では、第３画像として差分画像１１５および１４５を例示したが、これに限らない。
　ズーム機能は、例示の光学ズーム機能９０に限らない。光学ズーム機能９０に加えて、あるいは代えて、電子ズーム機能を用いてもよい。また、重畳用第１画像６０ＳＰは、１フレーム毎にモニタ装置５０に転送してもよいし、１回だけモニタ装置５０に転送してもよい。１回だけ転送する場合、重畳用第１画像６０ＳＰは、モニタ装置５０に記憶されて使い回される。
　上記各実施形態では、工場等に設置される監視カメラであるカメラ１０および２００が、本開示の技術に係る「撮像装置」の一例として示されているが、これに限らない。カメラ１０および２００に代えて、一般ユーザが用いるデジタルカメラ、またはスマートデバイス等でもよい。
　上記各実施形態では、本開示の撮像制御装置に相当する制御部４５および２０５が、カメラ１０および２００に搭載された態様を例示したが、これに限らない。本開示の撮像制御装置は、モニタ装置５０に搭載されていてもよい。
　上記各実施形態において、例えば、イメージセンサ駆動制御部８０、画像処理部８１および１４０、転送制御部８２、フォーカスレンズ駆動制御部８３、ズームレンズ駆動制御部８４、絞り駆動制御部８５、フィルタユニット駆動制御部８６、画像取得部１００、輝度レベル算出部１０１、実行可否判定部１０２および１３１、輝度レベル正規化部１０３、差分画像生成部１０４、画像出力部１０５、および指示受付部１３０といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム７０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ６５に加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０、２００　カメラ
１１、２０１　鏡筒
１２　本体
１３　鏡筒側マウント
１４　本体側マウント
２０　撮像光学系
２１　イメージセンサ
２５　対物レンズ
２６　フォーカスレンズ
２７　ズームレンズ
２８　マスターレンズ
３０　絞り
３１　フィルタユニット
３５　フォーカスレンズ駆動機構
３６　ズームレンズ駆動機構
３７　絞り駆動機構
３８　フィルタユニット駆動機構
４０　鏡筒側接点
４１　本体側接点
４５、２０５　制御部
５０　モニタ装置
５１　コネクタ
６０　第１画像
６０Ｎ　正規化第１画像
６０ＳＰ　重畳用第１画像
６１　第２画像
６５　ＣＰＵ
６６　メモリ
６７　ストレージ
７０　作動プログラム
７１　ズームレンズ移動量情報
８０　イメージセンサ駆動制御部
８１、１４０　画像処理部
８２　転送制御部
８３　フォーカスレンズ駆動制御部
８４　ズームレンズ駆動制御部
８５　絞り駆動制御部
８６　フィルタユニット駆動制御部
９０　光学ズーム機能
１００　画像取得部
１０１　輝度レベル算出部
１０２、１３１　実行可否判定部
１０３　輝度レベル正規化部
１０４　差分画像生成部
１０５　画像出力部
１１０　第１輝度レベル
１１１　第２輝度レベル
１１２、１１２Ａ、１１２Ｂ、１３２、１３２Ａ、１３２Ｂ　判定結果
１１５、１４５　差分画像
１２０、１２１、１５０　重畳画像
１３０　指示受付部
２０２　マスターレンズ駆動機構
Ｆ１　第１フィルタ
Ｆ２　第２フィルタ
ＩＤ　結像側方向
ＩＲ　赤外線
ＯＡ　光軸
ＯＤ　物体側方向
ＲＤＩ　輻射像
ＲＦＩ　反射像
ＳＬ　被写体光
ＳＴ１０～ＳＴ１３、ＳＴ１００、ＳＴ１１０、ＳＴ１２０、ＳＴ１３０、ＳＴ１４０、ＳＴ１５０、ＳＴ１６０、ＳＴ１７０、ＳＴ１８０、ＳＴ１９０、ＳＴ２００、ＳＴ５００、ＳＴ５１０、ＳＴ５２０、ＳＴ５３０　ステップ
ＴＨ　閾値
ＶＲ　可視光線

Claims (14)

  1. 　プロセッサと、
    　前記プロセッサに接続または内蔵されたメモリと、を備え、
    　第１フィルタ、第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置であって、
    　前記第１フィルタは可視光線を透過し、
    　前記第２フィルタは赤外線を透過し、
    　前記プロセッサは、
    　前記第１フィルタと前記第２フィルタとを選択的に光路に挿入し、
    　前記第１フィルタを透過した可視光線と、前記第２フィルタを透過した赤外線との軸上色収差を、前記補正レンズを光軸に沿って移動させることで補正し、
    　前記第１フィルタを透過した可視光線を前記イメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得し、
    　前記第２フィルタを透過した赤外線を前記イメージセンサに撮像させることで、前記被写体の反射像および輻射像を含む第２画像を取得し、
    　前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、前記ズーム機能を動作させることで補正し、
    　前記画角差が補正された状態において取得した前記第１画像と前記第２画像に基づく、輻射像を含む第３画像を出力する、
    撮像制御装置。
  2. 　前記プロセッサは、
    　予め設定された実行条件が満たされた場合に限り、前記第３画像を出力する請求項１に記載の撮像制御装置。
  3. 　前記実行条件は、前記第１画像に含まれる反射像の輝度レベルが、予め設定された閾値以上である、という内容を含む請求項２に記載の撮像制御装置。
  4. 　前記プロセッサは、
    　前記輝度レベルが前記閾値未満であった場合、前記輝度レベルが前記閾値以上の場合に取得して予め記憶しておいた前記第１画像と、前記画角差が補正された状態において取得した前記第２画像とを出力する請求項３に記載の撮像制御装置。
  5. 　前記実行条件は、前記第３画像の出力を実行する指示を受け付けた、という内容を含む請求項２から請求項４のいずれか１項に記載の撮像制御装置。
  6. 　前記プロセッサは、
    　前記第３画像として、前記第１画像と前記第２画像の差分画像を生成する請求項１から請求項５のいずれか１項に記載の撮像制御装置。
  7. 　前記プロセッサは、
    　前記第１画像に含まれる反射像の輝度レベルと前記第２画像に含まれる反射像の輝度レベルを一致させたうえで、前記差分画像を生成する請求項６に記載の撮像制御装置。
  8. 　前記プロセッサは、
    　前記第１画像に含まれる反射像の輝度レベルと前記第２画像に含まれる反射像の輝度レベルが異なった状態で、前記差分画像を生成する請求項６に記載の撮像制御装置。
  9. 　前記撮像装置は、ズームレンズを有し、
    　前記プロセッサは、前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、前記ズームレンズを光軸に沿って移動させることにより補正する請求項１から請求項８のいずれか１項に記載の撮像制御装置。
  10. 　前記プロセッサは、
    　前記軸上色収差を補正した際の前記ズームレンズの位置に応じて、前記画角差の補正に要する前記ズームレンズの移動量を変更する請求項９に記載の撮像制御装置。
  11. 　前記プロセッサは、
    　前記画角差を補正する場合に前記ズームレンズを移動させることでずれたピントを、前記補正レンズを移動させることで合わせる請求項９または請求項１０に記載の撮像制御装置。
  12. 　請求項１から請求項１１のいずれか１項に記載の撮像制御装置を備える撮像装置。
  13. 　可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置の作動方法であって、
    　前記第１フィルタと前記第２フィルタとを選択的に光路に挿入すること、
    　前記第１フィルタを透過した可視光線と、前記第２フィルタを透過した赤外線との軸上色収差を、前記補正レンズを光軸に沿って移動させることで補正すること、
    　前記第１フィルタを透過した可視光線を前記イメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、
    　前記第２フィルタを透過した赤外線を前記イメージセンサに撮像させることで、前記被写体の反射像および輻射像を含む第２画像を取得すること、
    　前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、ズーム機能を動作させることで補正すること、および、
    　前記画角差が補正された状態において取得した前記第１画像と前記第２画像に基づく、輻射像を含む第３画像を出力すること、
    を含む撮像制御装置の作動方法。
  14. 　可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御するプログラムであって、
    　前記第１フィルタと前記第２フィルタとを選択的に光路に挿入すること、
    　前記第１フィルタを透過した可視光線と、前記第２フィルタを透過した赤外線との軸上色収差を、前記補正レンズを光軸に沿って移動させることで補正すること、
    　前記第１フィルタを透過した可視光線を前記イメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、
    　前記第２フィルタを透過した赤外線を前記イメージセンサに撮像させることで、前記被写体の反射像および輻射像を含む第２画像を取得すること、
    　前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、ズーム機能を動作させることで補正すること、および、
    　前記画角差が補正された状態において取得した前記第１画像と前記第２画像に基づく、輻射像を含む第３画像を出力すること、
    を含む処理をコンピュータに実行させるためのプログラム。
PCT/JP2021/023987 2020-07-29 2021-06-24 撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置 WO2022024612A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022540075A JP7430801B2 (ja) 2020-07-29 2021-06-24 撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置
US18/152,117 US20230171474A1 (en) 2020-07-29 2023-01-09 Imaging control device, operation method and program of imaging control device, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-128580 2020-07-29
JP2020128580 2020-07-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/152,117 Continuation US20230171474A1 (en) 2020-07-29 2023-01-09 Imaging control device, operation method and program of imaging control device, and imaging device

Publications (1)

Publication Number Publication Date
WO2022024612A1 true WO2022024612A1 (ja) 2022-02-03

Family

ID=80035489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023987 WO2022024612A1 (ja) 2020-07-29 2021-06-24 撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置

Country Status (3)

Country Link
US (1) US20230171474A1 (ja)
JP (1) JP7430801B2 (ja)
WO (1) WO2022024612A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836825B1 (en) * 2022-05-23 2023-12-05 Dell Products L.P. System and method for detecting postures of a user of an information handling system (IHS) during extreme lighting conditions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033716A (ja) * 2004-07-21 2006-02-02 Hitachi Maxell Ltd 撮像装置
WO2016171088A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
JP2018195085A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2019205180A (ja) * 2019-07-02 2019-11-28 株式会社四国総合研究所 水素火炎監視装置および水素取扱施設

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033716A (ja) * 2004-07-21 2006-02-02 Hitachi Maxell Ltd 撮像装置
WO2016171088A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
JP2018195085A (ja) * 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2019205180A (ja) * 2019-07-02 2019-11-28 株式会社四国総合研究所 水素火炎監視装置および水素取扱施設

Also Published As

Publication number Publication date
JP7430801B2 (ja) 2024-02-13
JPWO2022024612A1 (ja) 2022-02-03
US20230171474A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
EP3346897B1 (en) Image pickup device, microscope image pickup system, and endoscope image pickup system
US20230270320A1 (en) Methods and apparatus for calibration of a sensor associated with an endoscope
JP5677864B2 (ja) 顕微鏡用撮像装置および顕微鏡観察方法
US11389060B2 (en) Dynamic eye fixation for retinal imaging
WO2022024612A1 (ja) 撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置
US10785402B2 (en) Imaging device and focusing control method of imaging device
JP2010160312A (ja) 可視光・赤外光撮影用レンズアダプタ
US20180088688A1 (en) Projector system
JP2010245870A (ja) マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
JP2010258669A (ja) 全方位撮像装置
CN109475281B (zh) 电子内窥镜系统
JP4716801B2 (ja) 内視鏡撮像システム
US11290634B2 (en) Imaging apparatus, imaging method, and program
JP7483368B2 (ja) 画像処理装置、制御方法およびプログラム
WO2020213595A1 (ja) 交換レンズ、情報処理装置、情報処理方法、及び、プログラム
JP2005148265A (ja) カメラ装置
JP2010102281A (ja) 可視光・赤外光撮影用レンズアダプタ
JP6309489B2 (ja) 画像検出装置及び画像検出システム
JP2022027195A (ja) ３板式カメラ
US9671281B2 (en) Imaging systems with digital micromirror devices (DMD)
JP2011150203A (ja) レンズバレルのフォーカス調整装置およびフォーカス調整方法
WO2022024619A1 (ja) 光学装置、および撮像装置
US11660072B2 (en) Probe and system for imaging dental structure comprising the same
WO2007034525A2 (en) Device for taking digital photographs, especially for use in medical dermatology
JP6632314B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21849064

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022540075

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21849064

Country of ref document: EP

Kind code of ref document: A1