WO2021065367A1 - 撮像装置、撮像システムおよび撮像方法 - Google Patents

撮像装置、撮像システムおよび撮像方法 Download PDF

Info

Publication number
WO2021065367A1
WO2021065367A1 PCT/JP2020/033860 JP2020033860W WO2021065367A1 WO 2021065367 A1 WO2021065367 A1 WO 2021065367A1 JP 2020033860 W JP2020033860 W JP 2020033860W WO 2021065367 A1 WO2021065367 A1 WO 2021065367A1
Authority
WO
WIPO (PCT)
Prior art keywords
period
subject
sensitivity
imaging
image sensor
Prior art date
Application number
PCT/JP2020/033860
Other languages
English (en)
French (fr)
Inventor
克弥 能澤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202080063796.9A priority Critical patent/CN114365478B/zh
Priority to JP2021550508A priority patent/JPWO2021065367A1/ja
Publication of WO2021065367A1 publication Critical patent/WO2021065367A1/ja
Priority to US17/695,728 priority patent/US11968457B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure

Definitions

  • This application relates to an imaging device, an imaging system, and an imaging method.
  • An image sensor is a device in which photoelectric conversion elements that convert light into signal charges are arranged in two dimensions. Since it is difficult to measure the amount of signal charge output by all photoelectric conversion elements at the same time, in the imaging element, after accumulating the signal charge generated by the photoelectric conversion element in the charge storage unit during a period called exposure time, Sequentially measure with a charge meter.
  • Patent Document 1 includes an image recording unit that records image information adjacent to a photoelectric conversion element, accumulates signal charges in this image recording unit during imaging, and sequentially extracts image information after imaging at a high speed. The image sensor is disclosed.
  • the present disclosure provides an imaging device, an imaging system, and an imaging method for acquiring information on changes in a subject that occur in a short time.
  • the image pickup device includes an image pickup element having a variable sensitivity and acquiring an image with a sample period Tf, and a control circuit for controlling the image pickup device.
  • the control circuit changes the sensitivity of the image pickup device in a period Ts1 shorter than the sample period Tf. Based on the control by the control circuit, the image pickup device acquires a plurality of images of the subject at the sample period Tf.
  • the subject contains a first component that changes at a period Tt1 different from the period Ts1.
  • FIG. 1 is a block diagram showing an example of the first embodiment of the imaging device of the present disclosure.
  • FIG. 2 is a schematic cross-sectional view showing an example of the structure of the pixel cell of the image sensor.
  • FIG. 3 is a schematic diagram illustrating the movement of the subject.
  • FIG. 4 is a schematic view showing an example of an image when the subject is imaged by a general imaging device.
  • FIG. 5 is a schematic diagram showing a timing example of sensitivity modulation of the image sensor of the image pickup device of the first embodiment.
  • FIG. 6 is a schematic diagram illustrating the timing at which the subject is exposed when the image is captured by the imaging device of the first embodiment.
  • FIG. 7 is a block diagram showing an example of the first embodiment of the imaging system of the present disclosure.
  • FIG. 8 is a flowchart showing an operation example of the imaging system of the first embodiment.
  • FIG. 9 is a flowchart showing another operation example of the imaging system of the first embodiment.
  • FIG. 10 is a flowchart showing another operation example of the imaging system of the first embodiment.
  • FIG. 11 is a block diagram showing an example of a second embodiment of the imaging system of the present disclosure.
  • FIG. 12 is a block diagram showing a configuration example of a light source used in the imaging system of the second embodiment.
  • FIG. 13 is a flowchart showing an operation example of the imaging system of the second embodiment.
  • FIG. 14 is a flowchart showing another operation example of the imaging system of the second embodiment.
  • FIG. 15 is a diagram showing a frame configuration in the image pickup apparatus of the first embodiment of the present disclosure.
  • FIG. 16 is a schematic diagram showing a timing example of sensitivity modulation of the image sensor of the image pickup apparatus of the first embodiment.
  • FIG. 17 is a schematic diagram showing a timing example of
  • a high-speed image sensor generally has a special structure for photographing a subject at a high speed, and the circuit configuration tends to be complicated. Further, when the image recording unit is arranged close to the photoelectric conversion element as in the high-speed image pickup device disclosed in Patent Document 1, for example, the image recording unit cannot be made sufficiently large due to its configuration. The number of frames or pixels that can be imaged at one time may be limited.
  • the present disclosure provides an imaging device, an image system, and an imaging method capable of acquiring information on changes in a subject that occur in a short time with a simple configuration.
  • the outline of the imaging device, the image system, and the imaging method of the present disclosure is as follows.
  • the imaging device is An image sensor that has variable sensitivity and acquires an image with a sample period Tf, A control circuit that controls the image sensor and To be equipped.
  • the control circuit changes the sensitivity of the image sensor in a period Ts1 shorter than the sample period Tf.
  • the image sensor Based on the control by the control circuit, the image sensor acquires a plurality of images of the subject at the sample period Tf.
  • the subject contains a first component that changes at a period Tt1 different from the period Ts1.
  • the position or brightness of the first component may change in the period Tt1.
  • the plurality of images are difference period components and may include the first information obtained by Tt1 ⁇ Ts1 /
  • Tf 2Tf ⁇ Tt1 ⁇ Ts1 /
  • the relationship may be satisfied.
  • the subject further contains a second component that changes at a period Tt2 different from the period Tt1.
  • the control circuit changes the sensitivity of the image sensor in the period Ts2, which is shorter than the period Ts1 and different from the period Ts1.
  • the plurality of images are differential frequency components and further include second information obtained by Tt2 ⁇ Ts2 /
  • the relationship may be satisfied.
  • the position or brightness of the second component may change in the period Tt2.
  • the subject further contains a second component that changes at a period Tt2 different from the period Tt1.
  • the plurality of images are differential frequency components and further include third information obtained by Tt2 ⁇ Ts1 /
  • the relationship may be satisfied.
  • the position or brightness of the second component may change in the period Tt2.
  • the image sensor is configured to switch between a high-sensitivity state and a low-sensitivity state during an exposure period. In the low sensitivity state, the image sensor does not have to have substantially sensitivity.
  • the image sensor is The upper electrode, the lower electrode, and the photoelectric conversion film located between the upper electrode and the lower electrode may be included.
  • the image sensor is A voltage supply circuit that supplies a voltage to at least one of the upper electrode and the lower electrode is further included.
  • the control circuit may control the voltage supply circuit and periodically change the sensitivity of the image pickup device.
  • the image pickup device may acquire an image by a global shutter method.
  • the imaging system according to item 11 of the present disclosure is The imaging device according to any one of items 1 to 10 and Signal processing circuit and To be equipped.
  • the signal processing circuit obtains the period Tt1 of the first component based on the data of the plurality of images stored in the above.
  • the imaging system according to item 12 of the present disclosure is The imaging device according to item 6 and An actuator that periodically applies stress to the subject, To be equipped.
  • the actuator changes at least one selected from the group consisting of the position of the subject and the shape of the subject.
  • the imaging system according to item 13 of the present disclosure is The imaging device according to item 7 and An illumination device that irradiates the subject with first light having a first wavelength whose intensity changes in the period Tt1. To be equipped.
  • the brightness of the first component of the subject changes in the period Ts1.
  • the lighting device may further irradiate the subject with a second light having a wavelength different from the first wavelength, the intensity of which changes in a cycle different from the cycle Tt1.
  • the imaging method according to item 15 of the present disclosure is Using an image sensor whose sensitivity is modulated by the period Ts1, a plurality of images of a subject including a first component that changes in a period Tt1 different from the period Ts1 are imaged in a sample period Tf, and the plurality of images. To be equipped with.
  • the position or brightness of the first component may change in the period Tt1.
  • the plurality of images are difference frequency components and may include the first information obtained by Tt1 ⁇ Ts1 /
  • the subject further contains a second component that changes at a period Tt2 different from the period Tt1.
  • the image sensor captures the subject by changing the sensitivity at a period Ts2 shorter than the period Ts1 and different from the period Ts1.
  • the plurality of images are difference frequency components and further include second information obtained by Tt2 ⁇ Ts2 /
  • the relationship may be satisfied.
  • the position or brightness of the second component may change in the period Tt2.
  • the subject further contains a second component that changes at a period Tt2 different from the period Tt1.
  • the plurality of images are difference frequency components and further include the third information obtained by Tt2 ⁇ Ts1 /
  • the relationship may be satisfied.
  • the position or brightness of the second component may change in the period Tt2.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (Large Scale Integration). It may be executed by one or more electronic circuits including.
  • the LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than the storage element may be integrated on one chip.
  • it is called an LSI or an IC, but the name changes depending on the degree of integration, and it may be called a system LSI, a VLSI (Very Large Scale Integration), or a ULSI (Ultra Large Scale Integration).
  • Field Programmable Gate Array (FPGA) which is programmed after the LSI is manufactured, or reconfigurable logistic device, which can reconfigure the junction relationship inside the LSI or set up the circuit partition inside the LSI, can also be used for the same purpose.
  • FPGA Field Programmable Gate
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more ROMs, optical disks, non-temporary recording media such as hard disk drives, and when the software is executed by a processor, the functions identified by the software It is performed by a processor and peripherals.
  • the system or device may include one or more non-temporary recording media on which the software is recorded, a processor, and the required hardware device, such as an interface.
  • the image pickup apparatus and the like of the first embodiment are particularly effective when the subject is periodically moving within a short time within the image pickup range.
  • the position of the subject is changed within the imaging range due to vibration, reciprocating motion, rotational motion, controlled repetitive motion, etc., and the position is periodically moved. , Angles, etc. are almost the same. It is not necessary that all of the subjects are in periodic motion, and it is sufficient that some of the subjects are in periodic motion. Further, when a plurality of subjects are in periodic motion, the period may be single or may not be single. Further, the period of the moving subject may be single, or the motions of a plurality of cycles may be mixed.
  • the periodic movement of the subject may be spontaneous, or the subject may move periodically by driving the subject from the outside of the subject.
  • the subject may be vibrated by the driving device.
  • the drive from the outside may be driven by the actuator of the imaging system as described later.
  • the subject may be an organism that vibrates.
  • the motion may be due to local thermal expansion induced by irradiation with a periodic pulse laser or the like.
  • An example of spontaneous periodic motion is vibration of structures such as bridges. Structures such as bridges vibrate due to the influence of wind, passing vehicles, etc., and the vibration has a specific period determined by the natural frequency. Since the natural frequency includes information such as deterioration of the structure, the period of vibration also includes information on deterioration.
  • the periodic motion of the subject includes the periodic motion of a drive device such as an engine or a motor, or the periodic motion such as vibration of a mechanical element driven by these.
  • a drive device such as an engine or a motor
  • the periodic motion such as vibration of a mechanical element driven by these.
  • an explosion occurs at intervals determined by that speed.
  • the engine vibrates according to the number of revolutions, mainly due to the explosion.
  • Manufacturing equipment used in manufacturing processes in various fields such as an inkjet device that ejects ink at regular intervals, laser ablation that irradiates a pulse laser at regular intervals, and printing performed at a constant rotation speed, also operates in a periodic motion.
  • examples of the periodic movement of the subject include periodic movements such as vibration of a bacterial flag motor and insect wings.
  • an alternating magnetic field is applied to a subject to which magnetic beads are attached, the subject moves periodically.
  • FIG. 1 is a block diagram showing a first embodiment of the imaging device of the present disclosure.
  • the image pickup device 101 includes an image pickup element 12 and a control circuit 14.
  • the image pickup apparatus 101 may further include an image pickup optical system 11 and a memory 15.
  • the image pickup optical system 11 converges the light from the subject and forms an image on the light receiving surface of the image pickup device 12, which will be described later.
  • the image pickup optical system 11 is used in a general image pickup apparatus, and a known optical system composed of one or a plurality of lenses including an objective lens and the like can be used.
  • the imaging optical system 11 may be calibrated using a reflective optical system such as a concave mirror instead of the lens.
  • the image sensor 12 converts an image of a subject formed on a light receiving surface in which a plurality of pixels are arranged two-dimensionally into an electric signal by photoelectric conversion, and outputs image data at a sample period Tf, which is a frame period.
  • the sample period Tf means that the interval between the start time of a certain frame and the start time of the next frame is 1 / Tf.
  • each frame may be composed of a plurality of steps such as initialization, exposure, and transfer.
  • the exposure time may be shorter than the interval between the start time of one frame and the start time of the next frame.
  • the sensitivity of the image sensor 12 can be changed.
  • the sensitivity of the image sensor 12 can be changed during the exposure period.
  • the change in sensitivity may be, for example, binary. That is, the image sensor 12 only needs to be able to switch the sensitivity between the high-sensitivity state and the low-sensitivity state, and may not be set to an intermediate sensitivity. In the low sensitivity state, the image sensor 12 does not have to have practical sensitivity.
  • the image sensor 12 may switch the sensitivity to two or more values between high sensitivity and low sensitivity, and for example, the sensitivity can be continuously or steplessly changed between high sensitivity and low sensitivity. You may.
  • the sensitivity can be changed by two or more values in the image sensor, one value on the high sensitivity side and one value on the low sensitivity side may be selected from the plurality of values.
  • the sensitivity of the image sensor may be changed at high speed or by an electronic sensitivity variable function. Further, the sensitivity of each pixel may be changed all at once.
  • the image sensor 12 may perform a shutter operation in a global shutter system to acquire an image.
  • image pickup devices whose sensitivity can be changed during the exposure period include image pickup devices such as a CCD image sensor having a charge disposal mechanism and an image sensor with an image intensifier. Further, an imaging device using a stacked image sensor may be used.
  • FIG. 2 shows an outline of an exemplary configuration of the image sensor 201.
  • the image pickup device 201 includes a plurality of image pickup cells 210 having a plurality of pixels. In FIG. 2, one of those imaging cells 210 is shown on behalf of them.
  • Each image pickup cell 210 of the image pickup element 201 has a semiconductor substrate 216 on which a charge storage region 217 is formed, and an interlayer insulating layer 218 that covers the semiconductor substrate 216. Further, each imaging cell 210 has a photoelectric conversion unit 211 supported by a semiconductor substrate 216 and an interlayer insulating layer 218.
  • the photoelectric conversion unit 211 includes a photoelectric conversion film 213, a pixel electrode 212 sandwiching the photoelectric conversion film 213, and a counter electrode 214.
  • the counter electrode 214 may have a property of transmitting light having a wavelength to be detected, and may be made of, for example, a conductive transparent material such as ITO.
  • the photoelectric conversion film 213 is, for example, an organic semiconductor film.
  • the image sensor 201 further includes a first voltage supply circuit 221 and a second voltage supply circuit 222.
  • the first voltage supply circuit 221 and the second voltage supply circuit 222 are connected to the pixel electrode 212 and the counter electrode 214 via the first signal line 231 and the second signal line 232.
  • the image sensor 201 includes a first voltage supply circuit 221 and a second voltage supply circuit 222, but one of them may be included and the other may be connected to a reference voltage.
  • the first voltage supply circuit 221 and the second voltage supply circuit 222 supply a predetermined voltage to the pixel electrode 212 and the counter electrode 214 at a timing based on an external command.
  • the photoelectric conversion film 213 is provided with a potential difference according to the voltage applied to the pixel electrode 212 and the counter electrode 214 by the first voltage supply circuit 221 and the second voltage supply circuit 222.
  • the first voltage supply circuit 221 is electrically disconnected from the charge storage region 217 at a timing based on an external command. After blocking, the potential of the charge storage region 217 changes depending on the amount of charge generated in the photoelectric conversion film 213.
  • the light transmitted through the counter electrode 214 and incident on the photoelectric conversion film 213 generates holes and electrons by photoelectric conversion.
  • a potential difference is applied between the pixel electrode 212 and the counter electrode 214, holes and electrons move according to the electric field formed between the pixel electrode 212 and the counter electrode 214.
  • one of the holes and electrons is collected by the pixel electrode 212 and the other by the counter electrode 214, depending on the direction of the generated electric field, and the holes or electrons collected in the pixel electrode 212 are used.
  • the signal charge is accumulated in the charge storage region 217 via the connection portion 219.
  • the control circuit 14 controls the image sensor 12 so as to change the sensitivity of the image sensor in a period Ts1 which is a sensitivity modulation cycle shorter than the exposure period of the image sensor 12.
  • the control circuit 14 has the first voltage supply circuit 221 and the second voltage supply circuit 221 so that the potential difference applied between the pixel electrode 212 and the counter electrode 214 is switched between a large high-sensitivity state and a small low-sensitivity state. It controls the voltage supply circuit 222.
  • the control circuit 14 may control the phase of the sensitivity change of the image sensor 12.
  • the part (a) shows the first example of the sensitivity change of the image sensor 12
  • the part (b) shows the second example of the sensitivity change of the image sensor 12
  • the part (c) shows the change of the position of the subject. ..
  • the vertical axis represents sensitivity and the horizontal axis represents time.
  • the vertical axis represents the position coordinates and the horizontal axis represents the time.
  • the phases may always be controlled to be the same.
  • the phase may be changed according to the start time of the exposure period.
  • the sensitivity changes of the image sensor 12 have the same period.
  • the period of the frame is an integral multiple of the period of the periodic motion of the subject.
  • the relative relationship between the phase of the periodic motion of the subject and the phase of the sensitivity change of the image sensor 12 changes for each frame.
  • the cycle of the sensitivity change of the image sensor 12 is changed according to the start time of the exposure period, the phase of the periodic motion of the subject and the phase of the sensitivity change of the image sensor 12 are always changed as in the second example. It can be kept in a certain relationship.
  • part (a) shows a third example of the sensitivity change of the image sensor 12
  • part (b) shows a fourth example of the sensitivity change of the image sensor 12.
  • the vertical axis represents sensitivity and the horizontal axis represents time.
  • the signal charge is accumulated in the charge storage region 217 and is read out from all the pixels of the image sensor 12 in the sample period Tf.
  • the memory 15 stores image data output from the image sensor.
  • This image data includes a plurality of images output with a sample period Tf.
  • the captured image data includes a subject that changes with a period Tv1 longer than the sample period Tf.
  • the change in the first component is the displacement of the subject as described above.
  • FIG. 3 shows an example of a subject that is periodically moving within the imaging range.
  • the subject located at the left end at time 0 ms moves to the right side, reaches the right end at time 0.6 ms, then reverses the moving direction, and returns to the same position as time 0 ms at time 1.2 ms.
  • the same exercise is repeated. That is, this subject is in periodic motion with a period of 1.2 ms.
  • the subject is imaged while periodically changing the sensitivity during the exposure period.
  • An example of sensitivity is shown in FIG.
  • the sensitivity is composed of a single high-sensitivity section 301 and other low-sensitivity sections 302.
  • the position of the high-sensitivity section 301 in each period, that is, the phase is constant.
  • the sensitivity may be as low as possible, at least 1/10 or less of the sensitivity in the high sensitivity section.
  • the image sensor 12 does not have to have substantially sensitivity in the low sensitivity section. Appropriate values can be selected for the sensitivity cycle and phase according to the subject cycle and the purpose of imaging.
  • the sensitivity cycle Ts1 is 1.205 ms.
  • the length of one high-sensitivity section 301 is 10 ⁇ s. That is, the ratio (time) of the high-sensitivity section in one cycle is 1/100 or less.
  • the sensitivity of the low sensitivity section 302 is substantially zero.
  • the ratio of the high-sensitivity section 301 the smaller the blurring can be taken.
  • the ratio of the high-sensitivity section 301 is small, the actual exposure time is shortened even with the same exposure time, so that higher sensitivity and light intensity are required.
  • the ratio of the high-sensitivity section 301 can be determined according to the moving speed of the subject, the period of periodic motion, the purpose of imaging, the imaging environment including brightness, and the like.
  • the number of cycles Tt1 of the periodic motion of the subject included in one exposure time is 25 cycles.
  • the number of sensitivity cycles Ts1 included in one exposure time is 24.9 cycles.
  • FIG. 6 schematically shows the position of the subject in each of the cycles Ts1 which is the sensitivity modulation cycle included a plurality of times in each frame.
  • the position of the subject in the first, thirteenth, and twenty-fourth cycles Ts1 of the cycle Ts1 which is the sensitivity modulation cycle in each frame is shown in the horizontal direction, and each frame is shown in the vertical direction.
  • the amount of displacement of the subject moving during the period Ts1 which is the sensitivity modulation cycle is small, and the subject is imaged at substantially the same position. Therefore, as shown at the right end, the image of the subject captured in all the sensitivity modulation cycles in each frame is captured with almost no blur.
  • the positions (phases) of the subjects are shifted by 0.1 cycle between the frames. That is, in a plurality of consecutive frames, the positions of the subjects are slightly shifted and the images are taken.
  • this phase shift is equivalent to one cycle in 10 frames. That is, the periodic motion of the subject having a period of 10 frames (33.3 ms) is recorded in the images of a plurality of consecutive frames.
  • the motion of the subject which originally has a period of 1.2 ms, is converted into a moving image showing a change every 33.3 ms.
  • Tv1 Tt1 ⁇ Ts1 /
  • Ts1 Tt1 ⁇ Ts1 /
  • the cycle Ts1 which is the sensitivity modulation cycle can be determined by the operator, and the cycle Tv1 of the movement of the subject in the image can be acquired from the captured image data. Therefore, it is possible to obtain the motion cycle Tt1 of the subject from these values.
  • the exercise cycle Tv1 may be determined by the operator by visually confirming the image or by means such as image recognition by a computer. For example, a reference frame may be selected, a frame having the highest similarity to the frame may be searched, and the period may be determined from the time difference between the reference frame and the searched frame. Alternatively, the period Tv1 of the motion may be calculated by performing a Fourier transform on the pixel value of each pixel of the captured image data.
  • the image data is a plurality of frame images acquired in the sample period Tf, it can be said that the periodic motion of the subject is digitized in the sample period Tf. Therefore, according to the sampling theorem, if the motion period Tv1 of the subject in the image and the sample period Tf satisfy the relationship of 2Tf ⁇ Tv1, the motion of the subject in the image can be analyzed. That is, the sample period Tf may satisfy the following equation (2). 2Tf ⁇ Tt1 ⁇ Ts1 /
  • Tf the number of recorded frames
  • Tf the frame period
  • Tf the number of frames or the sensitivity modulation period Ts1 may be adjusted so as to satisfy the above conditions.
  • Tv1 Tt1 ⁇ Ts1 /
  • Tv2 Tt2 ⁇ Ts1 /
  • Imaging may be performed including. in this case, 2Tf ⁇ Tt1 ⁇ Ts1 /
  • Tv1 Tt1 ⁇ Ts1 /
  • Tv2 Tt2 ⁇ Ts2 /
  • the image pickup device of the present disclosure it is possible to acquire information on changes in the subject that occur in a short time even if the image pickup device does not have a special structure such as a high-speed image pickup device.
  • the image acquired by the image pickup apparatus of the present embodiment is seemingly similar to the slow motion image acquired by a high-speed camera or the like. However, there are differences as described below.
  • One cycle of the subject in normal slow motion imaging is one cycle of the subject in real time.
  • one cycle of a subject performing periodic motion with a cycle of 1.2 ms is imaged over 10 frames, the exposure time of one frame cannot exceed 0.12 ms. Therefore, in normal slow motion imaging, it is necessary to use illumination with higher intensity than usual or an image sensor with high sensitivity.
  • high-intensity lighting may be difficult depending on the subject, such as deterioration of the subject due to high-intensity lighting.
  • Even when a high-sensitivity image sensor is used there is a problem of optical shot noise, so that there is a limit to good imaging.
  • one cycle of the movement of the subject in the captured image data is longer than one cycle of real time.
  • One cycle of the imaging result of normal slow motion imaging is one cycle of the periodic motion of the subject. Therefore, when the motion of a certain subject is imaged for one cycle, the motion information in that cycle can be acquired, but the motion information in another cycle is not included in the captured image data.
  • images for a plurality of cycles of a real-time subject are integrated in one cycle of the subject's movement in the obtained image data. Therefore, when the period of the periodic motion of the subject is completely constant, the imaging data of each frame is the sum of the phases of the periodic motion of the subject in a specific range.
  • the imaging data of a certain frame is integrated with a wider phase range than when the period of the periodic motion is completely constant. This is recorded as a blur of the subject image on the image data. That is, when the period fluctuates, the image data includes a blurred subject image as compared with the case where the period is constant. This blurring increases as the fluctuation range of the period increases. Therefore, it is possible to obtain information on the fluctuation range of the period from the blurring on the image data.
  • One cycle on the image data of normal slow motion imaging includes a periodic motion for one cycle in the real time of the subject. Therefore, a phenomenon that suddenly occurs in a certain imaging period is imaged as it is. For example, if opaque smoke, sparks, etc. happen to occur in the cycle, they are imaged as they are, which hinders the image of the subject behind them. For example, in a particular frame, the subject may be hidden by such smoke.
  • images for a plurality of cycles of a real-time subject are integrated in one cycle of the subject's movement in the obtained image data. Therefore, the phenomena that occur suddenly in a certain cycle are averaged and the influence becomes small.
  • the integrated frame image correctly includes the image of the subject. That is, according to the present disclosure, since the subject is integrated and imaged over a plurality of sensitivity modulation cycles, objects that are randomly generated or whose position is randomly changed and reflected are averaged as noise. , The influence can be suppressed.
  • FIG. 7 is a block diagram showing a configuration example of the imaging system 111 of the present embodiment.
  • the image pickup system 111 includes an image pickup device 101, a signal processing circuit 16, and an actuator 17.
  • the signal processing circuit 16 and the actuator 17 are optional, and depending on the usage mode, the imaging system 111 may not include the signal processing circuit 16 and the actuator 17.
  • the signal processing circuit 16 reads a plurality of image data recorded in the memory 15, and searches for a frame having the highest similarity to the reference frame by, for example, image recognition. Further, the period Tv1 of the motion of the subject in the plurality of frame images is obtained from the time difference between the reference frame and the searched frame.
  • the actuator 17 periodically applies stress to the subject 31.
  • the actuator 17 is effectively used when the subject 31 does not spontaneously perform a periodic motion. For example, by applying stress from the outside to a subject 31 that is not spontaneously performing a periodic motion, the subject 31 performs a periodic motion such as vibration reflecting the shape and internal structure of the subject 31, internal elastic characteristics, and the like. ..
  • the periodic stress period generated by the actuator 17 is controlled by the control circuit 14.
  • the control circuit 14 controls each component of the imaging system 111.
  • the imaging system 111 can be operated in various modes. Hereinafter, as an example, (1) when the cycle of the subject moving periodically is known in advance (2) when the movement cycle of the subject is unknown (3) the operation of the imaging system 111 when analyzing the movement of the subject. To explain.
  • FIG. 8 is a flowchart showing the operation of the imaging system 111 when imaging a subject whose motion cycle is known in advance.
  • the initial value of the sensitivity modulation cycle is set in advance in the memory or the like in the control circuit 14.
  • the actuator 17 is driven to apply periodic stress to the subject 31 to move the subject 31 periodically (S51).
  • the image of 31 is captured by the image sensor 12 (S53).
  • the captured image is recorded in the memory 15 (S54).
  • the control circuit 14 counts the number of images to be imaged and determines whether or not the number of frame images has reached the intended number (S55). If the intended number has not been reached, steps S53 to S55 are repeated.
  • the signal processing circuit 16 reads out the intended number of captured image data from the memory 15 as necessary, and the subject in the frame image is read from the plurality of image data read out.
  • the period Tv1 of the movement of (S56) is obtained. Further, based on the equation (1), the accurate motion cycle Ts1 of the subject 31 may be obtained.
  • the signal processing circuit 16 outputs the determined motion cycle Tv1 of the subject and / or the accurate motion cycle Ts1 of the subject 31 (S57).
  • FIG. 9 is a flowchart showing the operation of the imaging system 111 when the subject whose motion cycle is unknown is imaged.
  • the initial value of the sensitivity modulation cycle is set in advance in the memory or the like in the control circuit 14.
  • the actuator 17 is driven to apply periodic stress to the subject 31 to move the subject 31 periodically (S61).
  • the image of 31 is imaged by the image sensor 12 (S63).
  • the captured image is recorded in the memory 15 (S64).
  • the control circuit 14 counts the number of images to be imaged and determines whether or not the number of frame images has reached the intended number (S65). If the intended number has not been reached, steps S63 to S65 are repeated. When the intended number is reached, the signal processing circuit 16 reads out the intended number of captured image data from the memory 15, and the cycle of movement of the subject in the frame image Tv1 is obtained from the plurality of image data read out. (S66).
  • the calculation result of the period Tv1 is determined (S67).
  • the cycle Tv1 cannot be determined, the sensitivity modulation cycle set in the image sensor 12 is changed (S68) by, for example, a predetermined increase / decrease value, and steps S63 to S67 are repeated.
  • the case where the period Tv1 cannot be determined is the case where the periodicity of the movement of the subject cannot be found in the plurality of captured image data. This is a case where the period Tv1 of the movement of the subject on the captured image data is longer than the entire period in which the plurality of image data are acquired, or the case where the relationship of 2Tf ⁇ Tv1 is not satisfied.
  • the signal processing circuit 16 When it is determined that the motion cycle Tv1 of the subject is correctly obtained, the signal processing circuit 16 outputs the determined motion cycle Tv1 of the subject (S69). In step S66, if the period Ts1 of the accurate movement of the subject 31 is also obtained, the period Ts1 is output (S69).
  • FIG. 10 is a flowchart showing the operation of the imaging system 111 when analyzing the motion of the subject.
  • the initial value of the sensitivity modulation cycle is set in advance in the memory or the like in the control circuit 14.
  • the actuator 17 is driven to apply periodic stress to the subject 31 to move the subject 31 periodically (S71).
  • the image of 31 is imaged by the image sensor 12 (S73).
  • the captured image is recorded in the memory 15 (S74).
  • the control circuit 14 counts the number of images to be imaged and determines whether or not the number of frame images has reached the intended number (S75). If the intended number has not been reached, steps S73 to S75 are repeated.
  • the sensitivity modulation cycle used for imaging is changed within a predetermined range (S76). If it has not been changed, the sensitivity modulation cycle set in the image sensor 12 is changed by, for example, a predetermined increase / decrease value (S77), and steps S73 to S76 are repeated. When the sensitivity modulation cycle is changed within a predetermined range (S76), the result is output (S78), and the imaging is terminated.
  • the image pickup apparatus and the like of the present embodiment are particularly effective when the subject is not moving and the brightness at each position of the subject changes periodically.
  • the brightness of the subject may be such that the subject emits self-luminous light and the intensity of the self-luminous emission may change periodically, or the intensity of the light emitted from the outside changes periodically, so that the reflected light from the subject is reflected.
  • the intensity of the light may change periodically, or a part or all of the subject may be excited and the intensity of light due to photoluminescence may change periodically.
  • FIG. 11 is a block diagram of the imaging system 112 of the present embodiment.
  • the image pickup system 112 includes an image pickup device 102, a signal processing circuit 16, and a lighting device 21.
  • the image pickup apparatus 102 includes an image pickup optical system 11, an image pickup element 120, a control circuit 14, and a memory 15.
  • the image sensor 120 can continuously or steplessly change the sensitivity between high sensitivity and low sensitivity.
  • the other components of the image pickup apparatus 102 have the same configurations and functions as the components of the image pickup apparatus 101 of the first embodiment.
  • the lighting device 21 includes an illumination optical system 22 and a light source 23.
  • the illumination optical system 22 irradiates the subject 31 with light by changing the state of the light incident from the light source.
  • the illumination optical system 22 may include a deflection filter and the like.
  • the light source 23 outputs at least two lights having different wavelengths. That is, the light source 23 outputs light having a first wavelength and at least one light having a wavelength different from that of the first wavelength.
  • the intensity of light of the first wavelength changes in the first period Tt1.
  • At least one light is, for example, light having a second wavelength, and the intensity changes in the second period Tt2.
  • the first period Tt1 and the second period Tt2 are different from each other.
  • the at least one light may further include light having a third wavelength and a third period.
  • the intensities of the light having the first wavelength and the light other than the light having the second wavelength may change with time or may be constant.
  • Such a light source 23 can be configured by using, for example, an interferometer.
  • FIG. 12 shows an example of the light source 23.
  • the light source 23 is a Michelson interferometer, and includes a light emitting unit 24, a half mirror 25, a moving mirror 26, a fixed mirror 27, and a movement control device (not shown) for the fixed mirror 27.
  • the light source 23 may include an optical system 28 or the like that converts the light flux emitted from the light emitting unit 24 into parallel light.
  • the light emitted from the light emitting unit 24 may be coherent.
  • a part of the light L1 emitted from the light emitting unit 24 is reflected by the half mirror 25 and incident on the fixed mirror 27.
  • the light reflected by the fixed mirror 27 passes through the half mirror 25, travels straight ahead, and is emitted to the outside of the light source 23.
  • the other part of the light L2 emitted from the light emitting unit 24 passes through the half mirror 25 and is incident on the moving mirror 26.
  • the incident light is reflected by the moving mirror 26, is incident on the half mirror 25 again, is reflected by the half mirror 25, is combined with the light L1 and is emitted to the outside.
  • Ls be the distance from the half mirror 25 to the fixed mirror 27, and Lm be the distance from the half mirror 25 to the moving mirror 26.
  • the path difference between the light L1 and the light L2 is
  • the path difference (optical path difference) considering the refractive index of the medium in which the light source 23 is arranged becomes an integral multiple of the wavelength, the light L1 and the light L2 strengthen each other, and the light output from the light source 23 becomes stronger.
  • it becomes a half integer multiple the light L1 and the light L2 weaken each other, and the light output from the light source 23 becomes weak.
  • the moving mirror 26 when the moving mirror 26 is arranged at a certain position, whether the light emitted from the light emitting unit 24 is strongly output or weakened is the wavelength of the light emitted from the light emitting unit 24. Depends on. Therefore, for example, when the moving mirror 26 is moving at a predetermined speed, the period of intensity modulation of the light emitted from the light source 23 is different. For example, when the moving mirror 26 is moved at 1 mm / s, the intensity of light having a wavelength of X nm changes in a period of about X / 2 ⁇ s.
  • light having wavelengths of 686 nm, 687 nm, and 688 nm changes in periods of about 343 ⁇ s, about 343.5 ⁇ s, and about 344 ⁇ s, respectively.
  • the modulation period of the light intensity of each wavelength is proportional to the wavelength, and the intensity change is a sinusoidal function.
  • the light source 23 can emit light whose intensity changes at different cycles for each wavelength.
  • a light source including a Michelson interferometer incorporating such a movable mirror and having a different period of time change of intensity for each wavelength is widely used in a Fourier transform infrared spectrometer. Therefore, the detailed description thereof will be omitted.
  • the light source 23 can be similarly configured by using not only a Michelson interferometer but also another interferometer such as a Fabry Perot interferometer.
  • the period of the light having the wavelength ⁇ is T ( ⁇ ) (corresponding to Tt1 of the first embodiment).
  • the light intensity I ( ⁇ , t) of the wavelength ⁇ is represented by the following equation (11) at time t.
  • I 0 ( ⁇ ) is the amplitude
  • ⁇ ( ⁇ ) has the relationship between the period T ( ⁇ ) and the following equation (12).
  • ⁇ ( ⁇ ) is the initial phase.
  • the light generated by the light source 23 is applied to the subject 31 via the illumination optical system 22.
  • An optical filter may be used before irradiating the subject 31, and the wavelength range of the light to be irradiated may be limited to the wavelength range intended for imaging.
  • the image sensor 120 images the subject 31 irradiated with light by the lighting device 21 over a plurality of frames while changing the sensitivity over time.
  • Ts1 the sensitivity change period
  • ⁇ s the initial phase
  • the subject 31 has a different reflectance or transmittance for each wavelength. Therefore, when receiving the illumination of the light according to the equation (11), assuming that the brightness of the image formed by the subject 31 on the i-th pixel is B (i, t), B (i, t) is the following equation (15). Indicated by.
  • the first term of the equation (18) is a component that does not depend on the frame (time).
  • the second, third, and fourth terms are the period T ( ⁇ ) of the brightness of the subject, the sensitivity period Ts, and the terms that change in a period shorter than these.
  • the exposure time T is longer than T ( ⁇ ) and Ts and is 10 times or more of them, the second, third, and fourth terms are averaged by the exposure and are not so frame-dependent. It becomes.
  • the fifth term is a term that fluctuates with a frequency ⁇ h ( ⁇ ) / 2 ⁇ and a period Th ( ⁇ ) (corresponding to Tf1 of the first embodiment) according to the following equations (19) and (20).
  • Th ( ⁇ ) when the difference between T ( ⁇ ) and Ts is small, Th ( ⁇ ) can be set to a value larger than the exposure time. Assuming that the frame imaging interval is Tf, the fifth term can be determined from the Nyquist sampling theorem when the following equation (21) is satisfied.
  • R (i, ⁇ ) can be determined by performing a Fourier transform on the imaging data of a plurality of frames. Even if the illuminating device 21 contains a plurality of lights having different wavelengths and periods, R (i, ⁇ ) for each wavelength can be separated within the range in which the equation (21) is satisfied.
  • R (i, ⁇ ) is a value obtained for each pixel as described above, R (i, ⁇ ) is each part of the subject shown on the obtained image (for example, each pixel on the image). Includes structural information such as molecules, atoms and their compositions and film thicknesses of substances constituting the subject. Therefore, the imaging system 112 can acquire an image showing the distribution of substances constituting the subject, the amount thereof (for example, the film thickness), and the like by imaging.
  • the imaging device of the present embodiment can be used for various purposes such as inspection of industrial products, measurement of distribution of specific chemical substances, and detection of lesions in medical applications.
  • the light source 23 of the illumination device 21 shown in the above example emits light having wavelengths of 686 nm, 687 nm, and 688 nm and an intensity modulation period of about 343 ⁇ s, about 343.5 ⁇ s, and about 344 ⁇ s, and the image sensor 120 emits light.
  • the sensitivity changes in a cycle of 344.8 ⁇ s and imaging is performed at 60 fps.
  • the brightness of the image changes every time the light having a wavelength of 686 nm has a period of about 66.7 ms, the light having a wavelength of 687 nm has a period of about 90.9 ms, and the light having a wavelength of 688 nm has a period of about 142.9 ms.
  • the sample period of the moving image is 60 fps, the brightness changes every about 4 frames, about 5.4 frames, and about 8.6 frames, respectively. Therefore, by Fourier transforming the imaging result and decomposing R (i, ⁇ ) for each cycle of brightness change, R (i, ⁇ ) having a wavelength of 686 nm and R (i, ⁇ ) having a wavelength of 687 nm of each pixel are decomposed.
  • R (i, ⁇ ) 688 nm R (i, ⁇ ) can be obtained respectively. That is, the distribution of R (i, ⁇ ) at 686 nm, 687, and 687 nm in the subject 31 can be obtained.
  • appropriate image data can be acquired by one imaging.
  • imaging is performed two or three times with different periods of sensitivity modulation of the image sensor 120. Appropriate image data can be acquired by.
  • oxygen molecules show relatively strong absorption at 687 nm and weak absorption at 686 nm and 688 nm. Therefore, by comparing the intensity distribution of R (i, ⁇ ) at 687 nm and the intensity distribution of R (i, ⁇ ) at 686 nm or 688 nm of the subject 31, the distribution and concentration of oxygen molecules can be estimated.
  • the concentration distributions of different molecules can be estimated by changing the wavelength of the light emitted from the light source 23 of the lighting device 21, the moving speed of the moving mirror 26, the period of sensitivity modulation of the image sensor 120, and the like.
  • the present embodiment by using a plurality of lights having different intensity modulation periods and wavelengths as illumination light and imaging the subject, information on changes in the subject occurring in a short time can be obtained, that is, It is possible to take an image without losing the information of the emission intensity cycle for each wavelength of the illumination light by exposure, and it is possible to perform multispectral analysis of the subject.
  • the imaging system 112 can be operated in various modes. Hereinafter, as an example, the operation of the image pickup system 112 when (1) the sensitivity modulation cycle of the image sensor is not changed and (2) the sensitivity modulation cycle of the image sensor is changed will be described.
  • FIG. 13 is a flowchart showing the operation of the image pickup system 112 when the subject is imaged without changing the sensitivity modulation cycle of the image sensor. This operation is used, for example, when analyzing only light having one wavelength, or when the difference between the cycles of intensity modulation of a plurality of lights is small as illustrated.
  • the initial value of the sensitivity modulation cycle is set in advance in the memory or the like in the control circuit 14.
  • the lighting device 21 emits light whose intensity changes periodically (S81) and irradiates the subject 31 (S82).
  • the image of 31 is imaged by the image sensor 120 (S84).
  • the captured image is recorded in the memory 15 (S85).
  • the control circuit 14 counts the number of images to be imaged and determines whether or not the number of frame images has reached the intended number (S86). If the intended number has not been reached, steps S84 to S86 are repeated.
  • the signal processing circuit 16 reads the intended number of captured image data from the memory 15 and performs the above calculation using the read plurality of image data (S87). .. The signal processing circuit 16 outputs the calculation result (S88).
  • FIG. 14 is a flowchart showing the operation of the image pickup system 112 when the sensitivity modulation cycle of the image sensor is changed to image a subject. This operation is used when analyzing light having a plurality of wavelengths and when the periods of intensity modulation are significantly different from each other.
  • the initial value of the sensitivity modulation cycle is set in advance in the memory or the like in the control circuit 14.
  • the lighting device 21 emits light whose intensity changes periodically (S91) and irradiates the subject 31 (S92).
  • the image of 31 is imaged by the image sensor 120 (S94).
  • the captured image is recorded in the memory 15 (S95).
  • the control circuit 14 counts the number of images to be imaged and determines whether or not the number of frame images has reached the intended number (S96). If the intended number has not been reached, steps S94 to S96 are repeated. When the number of frame images reaches the intended number, it is determined whether or not the sensitivity modulation period used for imaging has been changed within a predetermined range (S97). If it has not been changed, the sensitivity modulation cycle set in the image sensor 120 is changed by, for example, a predetermined increase / decrease value (S98), and steps S94 to S97 are repeated. When the sensitivity modulation cycle is changed within a predetermined range (S97), the signal processing circuit 16 reads out the intended number of imaged image data from the memory 15 and reads out a plurality of image data. The above-mentioned calculation is performed using (S99). The signal processing circuit 16 outputs the calculation result (S100).
  • the embodiment in which the imaging system 112 includes the lighting device 21 is illustrated.
  • the lighting device 21 may not be necessary, and in this case, the image pickup device 102 alone can take a picture.
  • the modulation of the emission intensity of the subject in the captured images of a plurality of frames is performed. Assuming that the period of is Tv1, the relationship of the equations (1) and (2) is established between the intensity modulation cycle Tt1 of the subject and the sensitivity modulation cycle Ts1 as described in the first embodiment.
  • the modulation period Tv1 of the emission intensity of the subject in the images of the captured plurality of frames from the captured image data, and further, the intensity modulation of the subject.
  • Period Tt1 can be obtained. That is, as described in the first embodiment, even if the image sensor does not have a special structure such as a high-speed image sensor, information such as a light emission cycle of a change in the subject whose light emission intensity changes at high speed is acquired. It is possible to do.
  • the imaging device, imaging system and imaging method of the present disclosure can be used in various fields in which a subject is analyzed by imaging, and can be used, for example, for inspection of structures and industrial products, medical applications, and the like.
  • Imaging optical system 12 120 Imaging element 14 Control circuit 15 Memory 16 Signal processing circuit 17 Actuator 21 Illumination device 22 Illumination optical system 23 Light source 24 Light emitting unit 25 Half mirror 26 Moving mirror 27 Fixed mirror 28 Optical system 31 Subject 101, 102 Imaging Devices 111, 112 Imaging system 201 Imaging element 210 Imaging cell 211 Photoconverter 212 Pixel electrode 213 Photoconverter 214 Opposite electrode 216 Semiconductor substrate 217 Charge storage region 218 Interlayer insulation layer 219 Connection 221 First voltage supply circuit 222 Second voltage Supply circuit 231 1st signal line 232 2nd signal line

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一態様に係る撮像装置は、感度が可変であり、サンプル周期Ｔｆで画像を取得する撮像素子と、前記撮像素子を制御する制御回路と、を備える。前記制御回路は、前記サンプル周期Ｔｆよりも短い周期Ｔｓ１で前記撮像素子の感度を変化させる。前記制御回路による制御に基づき、前記撮像素子は、被写体の複数の画像を、前記サンプル周期Ｔｆで取得する。前記被写体は、前記周期Ｔｓ１と異なる周期Ｔｔ１で変化する第１成分を含む。

Description

撮像装置、撮像システムおよび撮像方法
　本願は撮像装置、撮像システムおよび撮像方法に関する。
　撮像素子（イメージセンサ）は、光を信号電荷に変換する光電変換素子が２次元に配置されたデバイスである。すべての光電変換素子が出力する信号電荷量を同時に測定することは困難であるため、撮像素子では、光電変換素子で発生した信号電荷を露光時間とよばれる期間において電荷蓄積部に蓄積した後、電荷量測定器で順次測定する。
　上述した撮像素子の構成上、露光時間よりも短い時間で生じる被写体の変化は、蓄積により平均化されるため十分な情報量で撮像することができない。早い変化を示す被写体を撮像するためには、露光時間を短くすることが考えられる。このような撮像素子は、一般に高速度撮像素子とよばれる。例えば、特許文献１は、光電変換素子に隣接して、画像情報を記録する画像記録部を備え、撮像中は、この画像記録部に信号電荷を蓄積し、撮像後に画像情報を順次取り出す高速度撮像素子を開示している。
特開２０１４－２０７６４１号公報
　本開示は、短い時間で生じる被写体の変化の情報を取得する撮像装置、撮像システムおよび撮像方法を提供する。
　本開示の、一実施形態に係る撮像装置は、感度が可変であり、サンプル周期Ｔｆで画像を取得する撮像素子と、前記撮像素子を制御する制御回路と、を備える。前記制御回路は、前記サンプル周期Ｔｆよりも短い周期Ｔｓ１で前記撮像素子の感度を変化させる。前記制御回路による制御に基づき、前記撮像素子は、被写体の複数の画像を、前記サンプル周期Ｔｆで取得する。前記被写体は、前記周期Ｔｓ１と異なる周期Ｔｔ１で変化する第１成分を含む。
　本開示によれば、短い時間で生じる被写体の変化の情報を取得することが可能である。
図１は、本開示の撮像装置の第１の実施形態の一例を示すブロック図である。 図２は、撮像素子の画素セルの構造の一例を示す模式的断面図である。 図３は、被写体の動きを説明する模式図である。 図４は、被写体を一般的な撮像装置で撮像した場合の画像例を示す模式図ある。 図５は、第１の実施形態の撮像装置の撮像素子の感度変調のタイミング例を示す模式図である。 図６は、第１の実施形態の撮像装置で撮像した場合において、被写体が露光されるタイミングを説明する模式図である。 図７は、本開示の撮像システムの第１の実施形態の一例を示すブロック図である。 図８は、第１の実施形態の撮像システムの動作例を示すフローチャートである。 図９は、第１の実施形態の撮像システムの他の動作例を示すフローチャートである。 図１０は、第１の実施形態の撮像システムの他の動作例を示すフローチャートである。 図１１は、本開示の撮像システムの第２の実施形態の一例を示すブロック図である。 図１２は、第２の実施形態の撮像システムで用いる光源の構成例を示すブロック図である。 図１３は、第２の実施形態の撮像システムの動作例を示すフローチャートである。 図１４は、第２の実施形態の撮像システムの他の動作例を示すフローチャートである。 図１５は、本開示の第１の実施形態の撮像装置におけるフレームの構成を示す図である。 図１６は、第１の実施形態の撮像装置の撮像素子の感度変調のタイミング例を示す模式図である。 図１７は、第１の実施形態の撮像装置の撮像素子の感度変調のタイミング例を示す模式図である。
　高速度撮像素子は一般に、高速度で被写体を撮像するために特殊な構造を備えており、回路構成が複雑になりやすい。また、例えば特許文献１に開示される高速度撮像素子のように、画像記録部が光電変換素子に近接して配置される場合、構成上、画像記録部を十分に大きくすることができず、一度に撮像撮像できるフレーム数または画素数に制限が生じる場合がある。本開示は、簡単な構成で、短い時間で生じる被写体の変化の情報を取得することが可能な撮像装置、像システムおよび撮像方法を提供する。
　本開示の撮像装置、像システムおよび撮像方法の概要は以下の通りである。
　[項目１]
　本開示の項目１に係る撮像装置は、
　感度が可変であり、サンプル周期Ｔｆで画像を取得する撮像素子と、
　前記撮像素子を制御する制御回路と、
を備える。
　前記制御回路は、前記サンプル周期Ｔｆよりも短い周期Ｔｓ１で前記撮像素子の感度を変化させる。
　前記制御回路による制御に基づき、前記撮像素子は、被写体の複数の画像を、前記サンプル周期Ｔｆで取得する。
　前記被写体は、前記周期Ｔｓ１と異なる周期Ｔｔ１で変化する第１成分を含む。
　前記第１成分の位置または明るさが、前記周期Ｔｔ１で変化してもよい。
　[項目２]
　項目１に記載の撮像装置において、
　前記複数の画像は、差周期成分であり、Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜で求められる第１情報を含んでいてもよい。
　[項目３]
　項目１または２に記載の撮像装置において、
　前記サンプル周期Ｔｆは、
２Ｔｆ　＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
の関係を満たしていてもよい。
　[項目４]
　項目１から３のいずれかに記載の撮像装置において、
　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
　前記制御回路は、前記周期Ｔｓ１よりも短く、前記周期Ｔｓ１とは異なる、周期Ｔｓ２で前記撮像素子の感度を変化させ、
　前記複数の画像は、差周波成分であり、Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜で求められる第２情報をさらに含み、
２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
および
２Ｔｆ＜　Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜
の関係を満たしていてもよい。
　前記第２成分の位置または明るさが、前記周期Ｔｔ２で変化してもよい。
　[項目５]
　項目１から３のいずれかに記載の撮像装置において、
　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
　前記複数の画像は、差周波成分であり、Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜で求められる第３情報をさらに含み、
２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
かつ
２Ｔｆ＜　Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜
の関係を満たしていてもよい。
　前記第２成分の位置または明るさが、前記周期Ｔｔ２で変化してもよい。
　[項目６]
　項目１から５のいずれかに記載の撮像装置において、
　前記撮像素子は、露光期間中に高感度状態と低感度状態とを切り替えるように構成され、
　前記低感度状態では、前記撮像素子は実質的に感度を有しなくてもよい。
　[項目７]
　項目１から６のいずれかに記載の撮像装置において、
　前記撮像素子は、露光期間中に感度を、第１の値と、前記第１の値よりも小さい第２の値との間で、段階的または連続的に変化させるように構成されていてもよい。
　[項目８]
　項目６または７に記載の撮像装置において、
　前記撮像素子は、
　上部電極と、下部電極と、前記上部電極と前記下部電極との間に位置する光電変換膜とを含んでいてもよい。
　[項目９]
　項目８に記載の撮像装置において、
　前記撮像素子は、
　前記上部電極および前記下部電極の少なくとも一方に電圧を供給する電圧供給回路をさらに含み、
　前記制御回路は、前記電圧供給回路を制御し、前記撮像素子の感度を周期的に変化させてもよい。
　[項目１０]
　項目１から９のいずれかに記載の撮像装置において、
　前記撮像素子は、グローバルシャッタ方式で画像を取得してもよい。
　[項目１１]
　本開示の項目１１に係る撮像システムは、
　項目１から１０のいずれかに記載の撮像装置と、
　信号処理回路と、
を備える。
　前記信号処理回路は、前記に記憶された複数画像のデータに基づき、前記第１成分の前記周期Ｔｔ１を求める。
　[項目１２]
　本開示の項目１２に係る撮像システムは、
　項目６に記載の撮像装置と、
　前記被写体に、周期的に応力を与えるアクチュエータと、
を備える。
　前記アクチュエータにより、前記被写体の位置および前記被写体の形状からなる群から選択される少なくとも一方が変化する。
　[項目１３]
　本開示の項目１３に係る撮像システムは、
　項目７に記載の撮像装置と、
　前記周期Ｔｔ１で強度が変化する第１波長の第１の光を前記被写体に照射する照明装置と、
を備える。
　前記複数の画像において、前記被写体の前記第１成分は前記周期Ｔｓ１で輝度が変化する。
　[項目１４]
　項目１３に記載の撮像システムにおいて、
　前記照明装置は、前記周期Ｔｔ１と異なる周期で強度が変化する、前記第１波長と異なる波長の第２の光を、前記被写体にさらに照射してもよい。
　[項目１５]
　本開示の項目１５に係る撮像方法は、
　周期Ｔｓ１で感度が変調される撮像素子を用いて、前記周期Ｔｓ１とは異なる周期Ｔｔ１で変化する第１成分を含む被写体の複数の画像を、サンプル周期Ｔｆで撮像すること、及び
　前記複数の画像を取得すること、を備える。
　前記第１成分の位置または明るさが、前記周期Ｔｔ１で変化してもよい。
　[項目１６]
　項目１５に記載の撮像方法において、
　前記複数の画像は、差周波数成分であり、Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜で求められる第１情報を含んでいてもよい。
　[項目１７]
　項目１５または１６に記載の撮像方法において、
　前記サンプル周期Ｔｆは、
２Ｔｆ　＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
の関係を満たしていてもよい。
　[項目１８]
　項目１５から１７のいずれかに記載の撮像方法において、
　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
　前記撮像素子によって、前記周期Ｔｓ１よりも短く、前記周期Ｔｓ１とは異なる周期Ｔｓ２で感度を変化させて前記被写体を撮像し、
　前記複数の画像は、差周波数成分であり、Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜で求められる第２情報をさらに含み、
２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
および
２Ｔｆ＜　Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜
の関係を満たしていてもよい。
　前記第２成分の位置または明るさが、前記周期Ｔｔ２で変化してもよい。
　[項目１９]
　項目１５から１７のいずれかに記載の撮像方法において、
　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
　前記複数の画像は、差周波数成分であり、Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜で求められる第３情報をさらに含み、
２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
かつ
２Ｔｆ＜　Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜
の関係を満たしていてもよい。
　前記第２成分の位置または明るさが、前記周期Ｔｔ２で変化してもよい。
　本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（Ｕｌｔｒａ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウェアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウェアデバイス、例えばインタフェース、を備えていてもよい。
　（第１の実施形態）
　以下、本開示の撮像装置、撮像システムおよび撮像方法の第１の実施形態を説明する。第１の実施形態の撮像装置等は、被写体が、撮像範囲内において、短い時間内で周期的運動をしている場合において特に有効である。被写体が撮像範囲内において周期的運動をしているとは、被写体が振動、往復運動、回転運動、制御された繰り返し動作などにより、撮像範囲内において位置の変化が生じ、かつ、周期的に位置、角度等がほぼ同一となることを言う。なお、被写体のすべてが周期的運動をしている必要はなく、被写体の一部が周期的運動をしていればよい。また、複数の被写体が周期的運動をしている場合、その周期は単一であってもよいし、単一でなくてもよい。さらに、運動している被写体の周期は単一であってもよいし、複数の周期の運動が混じり合っていてもよい。
　被写体の周期的運動は、自発的なものでもよく、被写体の外部から被写体を駆動することによって、被写体が周期的に運動してもよい。被写体が駆動装置によって振動等していてもよい。外部からの駆動は、後述するように撮像システムのアクチュエータによるものであってもよい。被写体は、振動運動をする生物であってもよい。あるいは、周期的パルスレーザーの照射等により誘起される局所的熱膨張による運動でもよい。
　自発的周期運動の一例は、橋梁等の構造物の振動である。橋梁等の構造物は、風、通行車両などの影響により振動しており、かつその振動は固有振動数で定まる特定の周期を持つ。固有振動数は構造物の劣化などの情報を含むため、振動の周期も劣化に関する情報を含む。
　被写体が駆動装置である場合、被写体の周期的運動として、エンジン、モータなどの駆動装置の周期運動、あるいは、これらによって駆動される機械要素の振動等の周期運動が挙げられる。一定回転数で動作しているエンジンの内部では、その回転数で定まる周期ごとに爆発が発生している。その爆発を主な原因とし、エンジンは回転数に応じた振動をしている。一定間隔でインクを吐出するインクジェット装置、一定間隔でパルスレーザーを照射するレーザーアブレーション、一定の回転数で行う印刷等、種々の分野の製造プロセスで使用される製造装置も周期運動で動作する。
　被写体が生物である場合、被写体の周期的運動として、例えば、細菌のべん毛モータ、昆虫の翅などの振動等の周期運動が挙げられる。あるいは磁性ビーズを付着させた被写体に対し、交流磁場を印加した場合も被写体は周期運動する。
　＜撮像装置の概要＞
　図１は本開示の撮像装置の第１の実施形態を示すブロック図である。撮像装置１０１は、撮像素子１２と、制御回路１４とを備える。撮像装置１０１は、さらに撮像光学系１１およびメモリ１５を備えていてもよい。
　撮像光学系１１は、被写体からの光を収束させ、後述する撮像素子１２の受光面に結像させる。撮像光学系１１は、一般的な撮像装置に用いられ、対物レンズ等を含む１または複数のレンズによって構成される公知の光学系を用いることができる。撮像光学系１１はレンズの代わりに凹面鏡などの反射光学系を用いて較正されてもよい。
　撮像素子１２は、複数の画素が２次元に配列された受光面に形成される被写体の像を光電変換によって電気信号に変換し、フレーム周期であるサンプル周期Ｔｆで画像データを出力する。
　サンプル周期Ｔｆとは、あるフレームの開始時刻と、その次のフレームの開始時刻の間隔が１／Ｔｆであることを意味する。図１５に示すように、各フレームは、たとえば初期化、露光、転送等の複数のステップから構成されていてもよい。露光時間はあるフレームの開始時刻と、その次のフレームの開始時刻との間の間隔より短くてもよい。
　撮像素子１２は、感度を変更することが可能である。撮像素子１２は、露光期間中に感度を変更することが可能である。本実施形態では、感度の変更は、例えば２値であってよい。つまり、撮像素子１２は、高感度状態と低感度状態とで感度を切り替えることができればよく、中間の感度に設定できなくてもよい。低感度状態では、撮像素子１２は実施的に感度を有しなくてもよい。撮像素子１２は、高感度と低感度との間で、２値以上に感度を切り替えられてもよく、例えば高感度と低感度との間で連続的あるいは無段階に感度を変化させることができてもよい。撮像素子において、２値以上の感度変更が可能である場合には、複数の値から、高感度側および低感度側の値をそれぞれ１つずつ選択すればよい。
　撮像素子の感度の変更は、高速で行えてもよく、電子的な感度可変機能により行えてもよい。また、各画素の感度は一斉に変更されてもよい。撮像素子１２は、グローバルシャッタ方式でシャッタ動作を行い、画像を取得してもよい。
　露光期間中に感度が変更できる撮像素子の例としては、電荷廃棄機構を有するＣＣＤイメージセンサ、イメージインテンシファイア付きイメージセンサなどの撮像素子が挙げられる。また、積層型イメージセンサを用いた撮像装置を用いてもよい。
　図２を参照して、積層型イメージセンサの一例を説明する。図２は、撮像素子２０１の例示的な構成の概略を示す。撮像素子２０１は、複数の画素である複数の撮像セル２１０を含む。図２では、それらの撮像セル２１０のうちの１つを代表して示している。
　撮像素子２０１の各撮像セル２１０は、電荷蓄積領域２１７が形成された半導体基板２１６と、半導体基板２１６を覆う層間絶縁層２１８とを有する。また、各撮像セル２１０は、半導体基板２１６および層間絶縁層２１８に支持された光電変換部２１１を有する。光電変換部２１１は、光電変換膜２１３と、光電変換膜２１３を挟む画素電極２１２および対向電極２１４とを含む。対向電極２１４は、検出すべき波長の光を透過する特性を備えていてもよく、例えば、ＩＴＯなどの導電性透明材料によって構成されていてもよい。光電変換膜２１３は例えば、有機半導体膜である。
　撮像素子２０１は、さらに第１電圧供給回路２２１および第２電圧供給回路２２２を含む。第１電圧供給回路２２１および第２電圧供給回路２２２は、第１信号線２３１および第２信号線２３２を介して画素電極２１２および対向電極２１４に接続されている。本実施形態では、撮像素子２０１は、第１電圧供給回路２２１および第２電圧供給回路２２２を含むが、何れか一方を含んでおり、他方は、基準電圧に接続されていてもよい。第１電圧供給回路２２１および第２電圧供給回路２２２は、外部からの指令に基づくタイミングで、所定の電圧を画素電極２１２および対向電極２１４に供給する。光電変換膜２１３には、第１電圧供給回路２２１および第２電圧供給回路２２２により画素電極２１２および対向電極２１４に印加された電圧に応じた電位差が与えられる。
　第１電圧供給回路２２１は外部からの指令に基づくタイミングで、電荷蓄積領域２１７と電気的な接続が遮断される。遮断の後は、電荷蓄積領域２１７の電位は光電変換膜２１３で発生した電荷量に依存して変化する。
　光電変換部２１１において、対向電極２１４を透過して光電変換膜２１３に入射した光は、光電変換により正孔および電子を発生させる。画素電極２１２と対向電極２１４との間に電位差が与えられると、正孔および電子は、画素電極２１２および対向電極２１４の間に形成された電場に従って移動する。電位差がある程度大きい高感度状態では、生成した電場の向きに応じて、正孔および電子の一方が画素電極２１２、他方が対向電極２１４によって集められ、画素電極２１２に集められた正孔または電子による信号電荷は接続部２１９を介して電荷蓄積領域２１７に蓄積される。一方、画素電極２１２と対向電極２１４との間に与えられる電位差が小さい場合には、生成した正孔および電子は、画素電極２１２および対向電極２１４へ移動する前に再結合する。つまり、光を受けても、電荷として検出できない低感度状態が実現する。
　制御回路１４は、撮像素子１２の露光期間よりも短い感度変調周期である周期Ｔｓ１で撮像素子の感度を変化させるように撮像素子１２を制御する。具体的には、制御回路１４は、画素電極２１２と対向電極２１４との間に印加する電位差が、大きい高感度状態と小さい低感度状態とで切り替わるように、第１電圧供給回路２２１および第２電圧供給回路２２２を制御する。
　図１６及び図１７に示すように、制御回路１４は、撮像素子１２の感度変化の位相を制御してもよい。図１６において、部分（ａ）は撮像素子１２の感度変化の第１の例、部分（ｂ）は撮像素子１２の感度変化の第２の例、部分（ｃ）は被写体の位置の変化を示す。図１６の部分（ａ）及び部分（ｂ）において、縦軸は感度を示し、横軸は時間を示す。図１６の部分（ｃ）において、縦軸は位置座標を示し、横軸は時間を示す。図１６の部分（ａ）に示すように、たとえば露光期間の開始において、つねに同一の位相となるように制御してもよい。あるいは、図１６の部分（ｂ）に示すように、露光期間の開始時刻に応じて、位相を変化させてもよい。
　例えば、被写体が一定の周期運動をしており、図１６の部分（ｃ）に示すように、被写体の位置座標が周期的に変化するとする。
　このとき撮像素子１２の感度変化が同じ周期である場合を考える。このとき、撮像素子１２の感度変化の位相が、露光期間の開始において、つねに同一の位相をとる、上記第１の例の場合、フレームの周期が被写体の周期運動の周期の整数倍でない限り、被写体の周期運動の位相と撮像素子１２の感度変化の位相の相対関係はフレームごとに変化する。
　一方、撮像素子１２の感度変化の周期を露光期間の開始時刻に応じて変化させれば、上記第２の例のように被写体の周期運動の位相と撮像素子１２の感度変化の位相とをつねに一定の関係に保つことができる。
　被写体の周期運動の周期と撮像素子１２の感度変化の周期が一致しない場合においても、撮像素子１２の感度変化の位相を露光の開始時刻に応じて変化させるほうが、解析が容易になる、あるいは撮像結果が人の目に自然となる場合がある。
　以上の効果は、図１６に示すような、感度変化が高、低の二値をとる場合に限定されない。図１７の部分（ａ）及び部分（ｂ）に示されるように、撮像素子１２の感度が連続的に変化する場合にも同様の効果が得られる。図１７において、部分（ａ）は撮像素子１２の感度変化の第３の例、及び部分（ｂ）は撮像素子１２の感度変化の第４の例を示す。図１７の部分（ａ）及び部分（ｂ）において、縦軸は感度を示し、横軸は時間を示す。
　露光期間中の１回以上の高感度状態において、信号電荷が電荷蓄積領域２１７に蓄積され、サンプル周期Ｔｆで撮像素子１２の全画素から読みだされる。
　メモリ１５は、撮像素子から出力される画像データを記憶する。この画像データは、サンプル周期Ｔｆで出力される複数の画像を含む。以下において詳細に説明するように、被写体が露光時間よりも短い周期Ｔｔ１で変化する第１成分を含む場合、撮像された複数の画像データには、サンプル周期Ｔｆよりも長い周期Ｔｖ１で変化する被写体の第１成分の情報を含む。つまり、第１成分は周期Ｔｔ１よりも短い周期で変化しているが、サンプル周期Ｔｆよりも長い周期Ｔｖ１を有する変化として記録される。本実施形態では、第１成分の変化は上述したように被写体の変位である。
　以下具体的な例を挙げて本実施形態を説明する。図３は撮像範囲内において周期的運動をしている被写体の一例を示す。この例では、時刻０ｍｓに左端に位置する被写体が、右側へ移動し、時刻０．６ｍｓにおいて右端に達し、その後移動方向を反転させ、時刻１．２ｍｓに時刻０ｍｓと同じ位置に戻る。時刻１．２ｍｓ以降は同じ運動を繰り返す。つまり、この被写体は周期１．２ｍｓで周期的運動をしている。
　この被写体を例えば露光時間３０ｍｓ、毎秒３０フレーム（３０ｆｐｓ、サンプル周期Ｔｆ＝３３．３ｍｓ）で、従来の一般的な撮像をすれば、露光時間が被写体の周期よりも１０倍以上長いため、被写体の周期的運動は平均化される。その結果、図４に示すように、いずれのフレームでも、被写体が移動した軌跡が示された、ほぼ同じ画像が得られる。つまり一般的な撮像では、撮像した画像のフレーム間における被写体の運動の情報は消える。
　これに対し、本実施形態では、露光期間中に感度を周期的に変えながら被写体を撮像する。感度の一例を図５に示す。感度は単一の高感度区間３０１と、それ以外の低感度区間３０２から構成される。各周期における高感度区間３０１の位置、つまり位相は一定とする。低感度区間において、感度はできる限り低くてもよく、少なくとも高感度区間の感度の１／１０以下である。低感度区間において撮像素子１２は実質的に感度を有しなくてもよい。感度の周期および位相は、被写体の周期及び撮像目的に応じて適切な値を選択することができる。
　例えば、図５に示す例において、感度の周期Ｔｓ１は１．２０５ｍｓである。また、ひとつの高感度区間３０１の長さは１０μｓである。つまり、一周期における高感度区間の割合（時間）は１／１００以下である。この例において、低感度区間３０２の感度は実質的に０である。後述するように、高感度区間３０１の割合は小さい方がブレの小さな撮像を行うことができる。一方、高感度区間３０１の割合が小さいと、同じ露光時間でも実質的な露光時間が短くなるため、より高い感度及び光量が必要になる。高感度区間３０１の割合は、被写体の移動速度および周期運動の周期、撮像の目的、明るさを含む撮像環境などに応じて決定することができる。
　上述した感度変調の周期で、露光時間を３０ｍｓとし、毎秒３０フレーム（３０ｆｐｓ、サンプル周期Ｔｆ＝３３．３ｍｓ）で被写体を撮像した場合に取得される画像を説明する。一露光時間に含まれる被写体の周期運動の周期Ｔｔ１の数は２５周期である。また、一露光時間に含まれる感度の周期Ｔｓ１の数は２４．９周期である。
　一露光時間に含まれる被写体の周期運動の周期Ｔｔ１の数と一露光時間に含まれる感度の周期Ｔｓ１の数が一致する場合、つまり、周期Ｔｔ１とＴｓ１が等しい場合、被写体は、一運動周期中にとる変位位置のうち、常に同じ位置で撮像されることになる。このため、一露光時間中において被写体の位置は変化しない。また、複数のフレーム間においても、被写体の位置は変化しない。よって、実際には被写体は周期運動していても、静止しているように撮像される。
　これに対し、一露光時間に含まれる被写体の周期運動の周期Ｔｔ１の数と一露光時間に含まれる感度の周期Ｔｓ１の数がわずかに異なる場合、つまり、周期Ｔｔ１と周期Ｔｓ１が少しずれている場合、各感度の周期Ｔｓ１において撮像される被写体の位置は異なる。ただし、周期Ｔｔ１と周期Ｔｓ１とのずれがわずかであるため、その変位量は小さい。図６に、各フレームに複数回含まれる感度変調周期である周期Ｔｓ１のそれぞれにおける、被写体の位置を模式的に示す。図６において、横方向に各フレームにおける感度変調周期である周期Ｔｓ１の１番目、１３番目、２４番目の周期Ｔｓ１における被写体の位置を示し、縦方向は各フレームを示す。各フレームにおいては、感度変調周期である周期Ｔｓ１間に移動する被写体の変位量は小さく、概ね同じ位置で被写体は撮像される。このため、各フレームにおけるすべての感度変調周期で撮像された被写体の像は右端に示すように、概ねブレのない被写体が撮像される。一方、フレーム間では、被写体の位置（位相）は０．１周期分ずれる。つまり、連続した複数のフレームでは被写体の位置は少しずつずれて撮像される。上述した例では、この位相のずれは、１０フレームで１周期分となる。つまり、連続した複数枚のフレームの画像には、１０フレーム（３３．３ｍｓ）の周期の被写体の周期運動が記録される。本来１．２ｍｓを周期とした被写体の運動が、３３．３ｍｓごとの変化を示す動画に変換される。言い換えれば、１／２７．８倍のスローモーション撮像と類似の撮像結果を得ることができる。撮像された複数枚のフレームの画像から、被写体の周期運動における振幅（変位量）、運動の方向などを解析することが可能である。
　撮像された複数枚のフレームの画像における被写体の運動の周期をＴｖ１とすると、被写体の運動の周期Ｔｔ１および感度変調周期である周期Ｔｓ１との間には以下の式（１）のが成り立つ。Ｔｖ１は、感度の周期Ｔｓ１と写体の周期運動の周期Ｔｔ１との差周期成分である。
Ｔｖ１　＝　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜　・・・（１）
　感度変調周期である周期Ｔｓ１は操作者が決定でき、画像における被写体の運動の周期Ｔｖ１は撮像された画像データから取得できる。したがって、これらの値から被写体の運動の周期Ｔｔ１を求めることが可能になる。運動の周期Ｔｖ１は、操作者が、画像を目視によって確認し決定してもよいし、コンピュータによる画像認識などの手段によっても決定してもよい。たとえば基準となるフレームを選び、そのフレームともっとも類似性の高いフレームを探索し、基準となるフレームと探索したフレームとの時間差から周期を決定してもよい。あるいは、撮像した画像データの各画素の画素値に対してフーリエ変換を行って、運動の周期Ｔｖ１を算出してもよい。
　画像データは、サンプル周期Ｔｆで取得される複数枚のフレーム画像であるため、被写体の周期的運動は、サンプル周期Ｔｆでデジタル化されていると言える。このため、標本化定理に従い、画像における被写体の運動の周期Ｔｖ１とサンプル周期Ｔｆとは２Ｔｆ＜Ｔｖ１の関係を満たしていれば、画像における被写体の運動を解析できる。つまり、サンプル周期Ｔｆは、以下の式（２）を満たしていてもよい。
２Ｔｆ　＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜　・・・（２）
　式（１）、（２）から分かるように、被写体の運動の周期Ｔｔ１および感度変調周期である周期Ｔｓ１の差が大きい場合、画像における被写体の運動の周期Ｔｖ１は小さくなる。周期Ｔｖ１が２Ｔｆよりも小さくなれば、被写体の周期運動の解析が困難となる。したがって、被写体の運動の周期Ｔｔ１と感度変調周期である周期Ｔｓ１との差は小さくてもよい。ただし、被写体の運動の周期Ｔｔ１と感度変調周期である周期Ｔｓ１との差が小さいほど、Ｔｖ１は大きくなる。被写体の解析を精度よく行うためには、撮像された複数枚のフレームの画像における被写体の運動が一周期分以上記録されてもよい。そのため、記録されるフレーム数をＮｆとし、フレームの周期をＴｆとすると
　　　Ｔｆ×Ｎｆ＞Ｔｖ１　・・・（３）
を満たすようにフレーム数、あるいは感度変調の周期Ｔｓ１を調整してもよい。ただし、本開示の技術の実施には必ずしも撮像された複数枚のフレームの画像における被写体の運動が一周期分以上記録される必要はないため、上記式を満たさない形式での実施も可能である。
　撮像する画像内に複数の被写体が存在し、それぞれが異なる周期で運動している場合、式（１）に従って、それぞれの被写体の運動の情報を求めることができる。例えば、被写体が第１成分および第２成分を含んでおり、それぞれ周期Ｔｔ１、Ｔｔ２で運動している場合を考える。周期Ｔｔ１と周期Ｔｔ２との差が小さい場合、一回の撮像によって、つまり、同じ感度変調周期である周期Ｔｓ１で第１成分および第２成分の周期運動を撮像することが可能である。この時、式（２）の関係も満たしていてもよい。つまり、
２Ｔｆ　＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜　
２Ｔｆ　＜　Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜　
を満たしていてもよい。
　この場合、撮像した画像における第１成分および第２成分の運動の周期をＴｖ１、Ｔｖ２とすると、
Ｔｖ１　＝　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜　
Ｔｖ２　＝　Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜　
の関係が成り立つ。したがって、感度変調周期である周期Ｔｓ１で撮像した複数枚のフレーム画像のデータから第１成分および第２成分の周期Ｔｖ１、Ｔｖ２を求めることによって、実際の被写体における第１成分および第２成分の運動の周期Ｔｓ１、Ｔｓ２を求めることができる。
　周期Ｔｔ１と周期Ｔｔ２との差が大きい場合、周期Ｔｔ１、Ｔｔ２に対して、異なる感度変調周期である周期Ｔｓ１、Ｔｓ２を設定し、感度変調周期である周期Ｔｓ１およびＴｓ２でそれぞれ複数枚のフレーム画像を含む撮像を行ってもよい。この場合、
２Ｔｆ　＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜　
２Ｔｆ　＜　Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜　
を満たしていてもよい。
　撮像したが画像における第１成分および第２成分の運動の周期をＴｖ１、Ｔｖ２とすると、
Ｔｖ１　＝　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜　
Ｔｖ２　＝　Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜　
の関係が成り立つ。したがって、感度変調周期である周期Ｔｓ１で撮像した複数枚のフレーム画像のデータから第１成分の周期Ｔｖ１を求め、感度変調周期Ｔｓ２で撮像した複数枚のフレーム画像のデータから第２成分の周期Ｔｖ２を求めることによって、実際の被写体における第１成分および第２成分の運動の周期Ｔｓ１、Ｔｓ２を求めることができる。
　このように本開示の撮像装置によれば、高速度撮像素子等の特殊な構造を撮像素子が備えていなくても、短い時間で生じる被写体の変化の情報を取得することが可能である。本実施形態の撮像装置で取得した画像は、高速度カメラなどで取得したスローモーション画像と一見類似している。しかし、下記に述べるように相違がある。
　（１）通常のスローモーション撮像における被写体の一周期は、被写体の実時間における一周期分である。周期１．２ｍｓで周期運動を行う被写体の一周期を１０フレームにわたり撮像する場合、１フレームの露光時間は０．１２ｍｓを超えることができない。そのため、通常のスローモーション撮像では、通常よりも高強度の照明、または、高感度のイメージセンサを用いる必要がある。しかし、高強度照明による被写体の劣化など、被写体によっては高強度照明が難しい場合がある。また、高感度イメージセンサを用いる場合でも、光ショットノイズの問題が生じるため、良好な撮像には限界が生じる。
　一方、本開示の撮像装置では、撮像された画像データにおける被写体の運動の一周期は、実時間の一周期分よりも長い。上述したように、１フレーム時間に被写体の周期運動の数周期分の像を撮像することが可能であり、露光時間の制限はない。そのため、通常の照明強度での被写体を撮像することが可能であり、特別な高感度撮像素子を用いなくてもよい。
　（２）通常のスローモーション撮像でも本開示の撮像装置による撮像でも、フレームごとに画像データを転送する必要がある。しかし、通常のスローモーション撮像では、被写体の周期運動の周期が短いほど、フレームの時間間隔を短くする必要がある。短いフレームの時間間隔内に転送できるデータ量には制限があるため、一般的な高速度カメラでは、データ量を少なくするために、例えば、撮像素子の画素数を小さくしている。一方、本開示の撮像装置では、被写体の運動周期とは無関係にサンプル周期を決定できる。例えば、一般的な撮像装置と同様、３０ｆｐｓであってもよい。そのため、データ転送に十分な時間をとることができ、撮像素子の画素数に制限は生じない。
　（３）通常のスローモーション撮像の撮像結果の一周期は、被写体の周期運動の一周期分である。そのため、ある被写体の運動を一周期分、撮像した場合、その周期内の運動の情報は取得できるが、別の周期の運動の情報は撮像した画像データには含まれない。これに対し、本開示の撮像装置では、得られた画像データにおける被写体の運動の一周期分には、実時間の被写体の複数周期分の画像が積算されている。そのため、被写体の周期運動の周期が完全に一定である場合、各フレームの撮像データは、被写体の周期運動の特定の範囲の位相が積算されたものとなる。一方、被写体の周期が変動する場合、あるフレームの撮像データは、周期運動の周期が完全に一定の場合に比べ幅広い位相範囲が積算されたものとなる。これは、画像データ上、被写体像のブレとなって記録される。つまり、周期が変動する場合、画像データは、周期が一定の場合に比べ、ぼやけた被写体像を含む。このぼやけは、周期の変動幅が大きいほど大きくなる。したがって、画像データ上のぼやけから、周期の変動幅の情報を取得することが可能である。
　（４）通常のスローモーション撮像の画像データ上の一周期は、被写体の実時間における１周期分の周期運動を含む。そのため、ある撮像期間において突発的に発生した現象は、そのまま撮像される。たとえば不透明な煙、火花などがたまたまその周期に発生すれば、それらはそのまま撮像され、その背後に存在する被写体の撮像を妨げる。例えば、特定のフレームでは、このような煙などによって被写体が隠され得る。これに対し、本開示の撮像装置では、得られた画像データにおける被写体の運動の一周期分には、実時間の被写体の複数周期分の画像が積算されている。そのため、ある周期において突発的に発生した現象は、平均化され影響が小さくなる。たとえば、１フレーム期間中のある感度変調周期において発生した不透明な煙または火花は、その周期においてはその背後に存在する被写体の撮像を妨げる。しかし、同じフレーム期間中の他の感度変調周期において、煙または火花が生じず、あるいは、発生位置が異なっている場合には、積算されたフレーム画像には被写体の像が正しく含まれる。つまり、本開示によれば、複数の感度変調周期にわたって被写体が積算して撮像されるため、ランダムに発生する、もしくは、ランダムに位置が変化して映り込む物体等は、ノイズとして、平均化され、影響を抑制することができる。
　＜撮像システム＞
　本開示の撮像システムの実施形態を説明する。図７は本実施形態の撮像システム１１１の構成例を示すブロック図である。撮像システム１１１は、撮像装置１０１と、信号処理回路１６と、アクチュエータ１７とを備える。信号処理回路１６およびアクチュエータ１７は任意であり、使用態様によって、撮像システム１１１は、信号処理回路１６およびアクチュエータ１７を備えていなくてもよい。
　信号処理回路１６は、メモリ１５に記録された複数枚の画像データを読み込み、例えば、画像認識によって、基準となるフレームともっとも類似性の高いフレームを探索する。さらに、基準となるフレームと探索したフレームとの時間差から、複数枚のフレーム画像における被写体の運動の周期Ｔｖ１を求める。
　アクチュエータ１７は、被写体３１に周期的に応力を与える。アクチュエータ１７は、被写体３１が自発的に周期的運動を行っていない場合に効果的に用いられる。例えば、自発的に周期運動をしていない被写体３１に外部から応力を加えることによって、被写体３１は、被写体３１の形状及び内部の構造、内部の弾性特性等を反映した振動等の周期運動を行う。アクチュエータ１７が発生させる周期的な応力の周期は、制御回路１４によって制御される。制御回路１４は、撮像システム１１１の各構成要素を制御する。
　撮像システム１１１は種々の態様で動作させることができる。以下、一例として、（１）周期的に運動する被写体の周期があらかじめわかっている場合（２）被写体の運動周期が分からない場合（３)被写体の運動を解析する場合における、撮像システム１１１の動作を説明する。
　（１）周期的に運動する被写体のおおよその周期があらかじめわかっている場合
　図８は、運動周期があらかじめ分かっている被写体を撮像する場合の撮像システム１１１の動作を示すフローチャートである。撮像システム１１１の撮像装置１０１において、制御回路１４にはあらかじめメモリ等に感度変調周期の初期値が設定されている。
　被写体３１が自発的に周期運動をしていない場合には、必要に応じて、アクチュエータ１７を駆動し、被写体３１に周期的な応力を与え、被写体３１を周期的に運動させる（Ｓ５１）。
　次に、制御回路１４から撮像素子１２に変調感度周期の初期値を与え（Ｓ５２）、その初期値で、周期的に感度を変化させ、ｉ枚目（ｉ＝１、１フレーム目）の被写体３１の画像を撮像素子１２で撮像する（Ｓ５３）。撮像した画像はメモリ１５に記録される（Ｓ５４）。
　制御回路１４は、撮像枚数をカウントし、フレーム画像の数が意図した数に達したか否かを判断する（Ｓ５５）。意図した数に達していない場合には、ステップＳ５３からステップＳ５５を繰り返す。意図した数に達した場合には、必要に応じて、信号処理回路１６が、撮像された意図した枚数の画像データをメモリ１５から読み出し、読みだした複数枚の画像データからフレームの画像における被写体の運動の周期Ｔｖ１を求める（Ｓ５６）。さらに式（１）に基づき、被写体３１の正確な運動の周期Ｔｓ１を求めてもよい。信号処理回路１６は、決定した被写体の運動の周期Ｔｖ１および／または被写体３１の正確な運動の周期Ｔｓ１を出力する（Ｓ５７）。
　（２）被写体の運動周期が分からない場合
　図９は、運動周期がわからない被写体を撮像する場合の撮像システム１１１の動作を示すフローチャートである。撮像システム１１１の撮像装置１０１において、制御回路１４にはあらかじめメモリ等に感度変調周期の初期値が設定されている。
　被写体３１が自発的に周期運動をしていない場合には、必要に応じて、アクチュエータ１７を駆動し、被写体３１に周期的な応力を与え、被写体３１を周期的に運動させる（Ｓ６１）。
　次に、制御回路１４から撮像素子１２に変調感度周期の初期値を与え（Ｓ６２）、その初期値で、周期的に感度が変化させ、ｉ枚目（ｉ＝１、１フレーム目）の被写体３１の画像を撮像素子１２で撮像する（Ｓ６３）。撮像した画像はメモリ１５に記録される（Ｓ６４）。
　制御回路１４は、撮像枚数をカウントし、フレーム画像の数が意図した数に達したか否かを判断する（Ｓ６５）。意図した数に達していない場合には、ステップＳ６３からステップＳ６５を繰り返す。意図した数に達した場合には、信号処理回路１６が、撮像された意図した枚数の画像データをメモリ１５から読み出し、読みだした複数枚の画像データからフレームの画像における被写体の運動の周期Ｔｖ１を求める（Ｓ６６）。
　周期Ｔｖ１の演算結果を判定する（Ｓ６７）。周期Ｔｖ１が決定できなかった場合には、撮像素子１２に設定する感度変調周期を例えば、所定の増減値で変更（Ｓ６８）し、ステップＳ６３からステップＳ６７を繰り返す。周期Ｔｖ１が決定できなかった場合とは、撮像した複数枚の画像データ内に被写体の運動の周期性が見つけられなかった場合である。複数枚の画像データを取得した全期間よりも、撮像された画像データ上における被写体の運動の周期Ｔｖ１が長い場合、あるいは、２Ｔｆ＜Ｔｖ１の関係を満たさない場合である。
　被写体の運動の周期Ｔｖ１が正しく求められたと判定される場合、信号処理回路１６は、決定した被写体の運動の周期Ｔｖ１を出力する（Ｓ６９）。ステップＳ６６において、被写体３１の正確な運動の周期Ｔｓ１も求めている場合には、周期Ｔｓ１を出力する（Ｓ６９）。
　（３）被写体の運動を解析する場合
　図１０は、被写体の運動を解析する場合の撮像システム１１１の動作を示すフローチャートである。撮像システム１１１の撮像装置１０１において、制御回路１４にはあらかじめメモリ等に感度変調周期の初期値が設定されている。
　被写体３１が自発的に周期運動をしていない場合には、必要に応じて、アクチュエータ１７を駆動し、被写体３１に周期的な応力を与え、被写体３１を周期的に運動させる（Ｓ７１）。
　次に、制御回路１４から撮像素子１２に変調感度周期の初期値を与え（Ｓ７２）、その初期値で、周期的に感度が変化させ、ｉ枚目（ｉ＝１、１フレーム目）の被写体３１の画像を撮像素子１２で撮像する（Ｓ７３）。撮像した画像はメモリ１５に記録される（Ｓ７４）。
　制御回路１４は、撮像枚数をカウントし、フレーム画像の数が意図した数に達したか否かを判断する（Ｓ７５）。意図した数に達していない場合には、ステップＳ７３からステップＳ７５を繰り返す。
　フレーム画像の数が意図した数に達した場合、撮像に使用した感度変調周期が、予め決定された範囲で変更されたか否かを判定する（Ｓ７６）。変更されていない場合には、撮像素子１２に設定する感度変調周期を例えば、所定の増減値で変更し（Ｓ７７）、ステップＳ７３からステップＳ７６を繰り返す。感度変調周期が、予め決定された範囲で変更された場合には（Ｓ７６）、結果を出力し（Ｓ７８）、撮像を終了する。
　（第２の実施形態）
　＜撮像システム＞
　本開示の撮像装置、撮像システムおよび撮像方法の第２の実施形態を説明する。本実施形態の撮像装置等は、被写体が運動しておらず、被写体の各位置における明るさが周期的に変化する場合において特に有効である。被写体の明るさは、被写体が自発光を放出し、自発光の強度が周期的に変化してもよいし、外部から照射する光の強度が周期的に変化することによって、被写体からの反射光の強度が周期的に変化したり、被写体の一部または全部が励起され、フォトルミネッセンスによる光の強度が周期的に変化したりしてもよい。
　まず、外部から照射する光の強度が周期的に変化する例を説明する。図１１は本実施形態の撮像システム１１２のブロック図である。撮像システム１１２は、撮像装置１０２と、信号処理回路１６と、照明装置２１とを備える。撮像装置１０２は、撮像光学系１１、撮像素子１２０、制御回路１４およびメモリ１５を備える。撮像素子１２０は、高感度と低感度との間で、連続的あるいは無段階に感度を変化させることができる。撮像装置１０２の他の構成要素は第１の実施形態の撮像装置１０１の構成要素と同様の構成及び機能を備えている。
　照明装置２１は、照明光学系２２および光源２３を含む。照明光学系２２は、光源から入射する光の状態を変化させて被写体３１に光を照射する。照明光学系２２は、偏向フィルタ等を含んでいてもよい。光源２３は、波長の異なる少なくとも２つの光を出力する。つまり、光源２３は、第１波長の光と、第１波長とは異なる波長の少なくとも１つの光と、を出力する。第１波長の光は、第１周期Ｔｔ１で強度が変化する。少なくとも１つの光は、例えば、第２波長の光であり、第２周期Ｔｔ２で強度が変化する。第１周期Ｔｔ１と第２周期Ｔｔ２とは互いに異なる。少なくとも１つの光はさらに第３波長および第３の周期を有する光を含んでいてもよい。第１波長の光と第２波長の光以外の光の強度は時間的に変化してもよいし、一定でもよい。光源２３が出射する複数の波長の光は、波長ごとに強度の時間変化の周期が異なっていてもよい。
　このような光源２３は、例えば、干渉計を用いて構成できる。図１２は、光源２３の一例を示す。光源２３は、マイケルソン干渉計であり、発光部２４と、ハーフミラー２５と、移動鏡２６と、固定鏡２７と、固定鏡２７の移動制御装置（図示せず）とを含む。このほかに、光源２３は、発光部２４から出射する光束を平行光に変換する光学系２８などを含んでもいてもよい。
　発光部２４から出射される光は、コヒーレントであってもよい。発光部２４から出射される一部の光Ｌ１は、ハーフミラー２５で反射し固定鏡２７に入射する。固定鏡２７で反射した光は、ハーフミラー２５を透過し、そのまま直進して光源２３の外部へ出射する。発光部２４から出射される他の一部の光Ｌ２は、ハーフミラー２５を透過し、移動鏡２６に入射する。入射した光は、移動鏡２６で反射し、ハーフミラー２５に再び入射し、ハーフミラー２５で反射し、光Ｌ１と合わさって外部へ出射する。
　ハーフミラー２５から固定鏡２７までの距離をＬｓ、ハーフミラー２５から移動鏡２６までの距離をＬｍとする。光Ｌ１と光Ｌ２との経路差は｜Ｌｓ－Ｌｍ｜である。光源２３の配置される媒質の屈折率を考慮した経路差（光路差）が、波長の整数倍になったとき、光Ｌ１と光Ｌ２とは強め合い、光源２３から出力される光は強くなり、半整数倍になったとき、光Ｌ１と光Ｌ２とは弱め合い、光源２３から出力される光は弱くなる。
　このため、移動鏡２６がある位置に配置されている場合、発光部２４から出射する光が強め合って出力されるか、弱めあって出力されているかは、発光部２４から出射する光の波長に依存する。したがって、例えば、移動鏡２６が所定の速さで移動している場合、光源２３か出射する光の強度変調の周期が異なる。例えば、移動鏡２６を１ｍｍ／ｓで移動させた場合、波長Ｘｎｍの光は、約Ｘ／２μｓの周期で強度が変化する。具体的には、波長がそれぞれ６８６ｎｍ、６８７ｎｍ、６８８ｎｍの光は周期がそれぞれ約３４３μｓ、約３４３．５μｓ、約３４４μｓで変化する。この場合、各波長の光の強度の変調周期は波長に比例しており、また、強度変化は正弦関数である。
　したがって、発光部２４が波長の異なる複数のコヒーレント光を出射するように発光部２４を構成すれば、光源２３は、波長ごとに異なる周期で強度が変化する光を出射することができる。このような可動鏡を組み込んだマイケルソン干渉計を含み、波長ごとに強度の時間変化の周期が異なる光源は、フーリエ変換赤外分光計に広く用いられている。そのため、その詳細な説明については省略する。光源２３は、マイケルソン干渉計に限らず、ファブリペロ干渉計など他の干渉計を用いても同様に構成することができる。
　光源２３から波長の異なる複数の光が出射され、波長λの光の周期がＴ（λ）（第１の実施形態のＴｔ１に相当）であるとする。このとき、波長λの光の強度Ｉ（λ,ｔ）は時刻ｔにおいて、下記式（１１）で示される。
Figure JPOXMLDOC01-appb-M000001
ただし、Ｉ０（λ）は振幅であり、ω（λ）は周期Ｔ（λ）と以下の式（１２）の関係を有する。φ（λ）は初期位相である。
Figure JPOXMLDOC01-appb-M000002
　光源２３で発生させた光は、照明光学系２２を介して被写体３１に照射される。なお、被写体３１に照射する前に光学フィルタを用いて、照射する光の波長範囲を、撮像を意図する波長範囲等に制限してもよい。
　撮像素子１２０は、照明装置２１により光が照射された被写体３１を、感度を時間変化させながら、複数枚のフレームにわたって撮像する。
　例えば、撮像素子１２０の感度Ａ（ｔ）が下記式（１３）に従って、時間変化する場合を考える。
Figure JPOXMLDOC01-appb-M000003
ただし、Ａ０は振幅であり、ωｓは感度変化の周期Ｔｓ（Ｔｓ１）と以下の式（１４）の関係を有する。Φｓは初期位相である。
Figure JPOXMLDOC01-appb-M000004
　被写体３１は、波長ごとに異なる反射率もしくは透過率を持つ。そのため、式（１１）に従う光の照明を受ける場合、被写体３１がｉ番目の画素につくる像の明るさをＢ（ｉ，ｔ）とすると、Ｂ（ｉ，ｔ）は以下の式（１５）で示される。
　　　Ｂ（ｉ,ｔ）＝Ｒ（ｉ，λ）×Ｉ（λ，ｔ）　　　　（１５）
ただし、Ｒ（ｉ，λ）はｉ番目の画素における被写体の反射率ないしは透過率の波長依存性から現れる項である。このとき、ｉ番目の画素に発生する信号電荷ｑｓ（ｉ，ｔ）は以下の式（１６）で示される。Ｃは撮像素子１２０の種類及び駆動状況などにより決まる定数である。
Figure JPOXMLDOC01-appb-M000005
　時刻ｔ＝０からＴまでの期間、露光したときに電荷蓄積部に蓄積される電荷量Ｑ（ｉ）は、以下の式（１７）で示される。
Figure JPOXMLDOC01-appb-M000006
　式（１７）に式（１１）から式（１６）を代入し、変形すると、以下の式（１８）が得られる。
Figure JPOXMLDOC01-appb-M000007
　ここで、式（１８）の第１項はフレーム（時間）に依存しない成分である。第２項、第３項、第４項は、被写体の明るさの周期Ｔ（λ）、感度周期Ｔｓ、および、それらよりも短い周期で変化する項である。ここで露光時間ＴがＴ（λ）及びＴｓよりも長く、それらの１０倍以上であれば、第２項、第３項、第４項は、露光により平均化され、フレームにあまり依存しない成分となる。
　一方第５項は、下記式（１９）、（２０）にしたがい、周波数ωｈ（λ）／２π、周期Ｔｈ（λ）（第１の実施形態のＴｆ１に相当）で変動する項である。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　式（２０）から明らかなように、Ｔ（λ）とＴｓとの差が小さい場合、Ｔｈ（λ）を露光時間よりも大きな値にすることができる。ここでフレームの撮像間隔をＴｆとすると、以下の式（２１）が満たされる場合、ナイキストの標本化定理より第５項を決定することができる。
Figure JPOXMLDOC01-appb-M000010
　複数のフレームの撮像データに対しフーリエ変換を行うことで、Ｒ（ｉ，λ）を決定することができる。照明装置２１が、波長および周期の異なる複数の光を含んでいても、式（２１）が充足する範囲において、波長ごとのＲ（ｉ，λ）を分離することができる。
　Ｒ（ｉ，λ）は、前述したように画素ごとに求められる値であるため、Ｒ（ｉ，λ）は、得られた画像上に示される被写体の各部（例えば、画像上の各画素）における、被写体を構成する物質の分子、原子およびこれらの組成、膜厚等の構造の情報などを含む。このため、撮像システム１１２は、撮像によって被写体を構成する物質、その量（例えば、膜厚）等の分布を示す画像を取得することができる。例えば、工業製品の検査、特定化学物質の分布の測定、医療用途における病変の発見など、種々の用途に本実施形態の撮像装置は利用することが可能である。
　上述の例で示した照明装置２１の光源２３が、６８６ｎｍ、６８７ｎｍ、６８８ｎｍの波長、および、約３４３μｓ、約３４３．５μｓ、約３４４μｓの強度変調の周期を有する光を出射し、撮像素子１２０が３４４．８μｓの周期で感度が変化し、６０ｆｐｓで撮像を行う場合を考える。
　このとき、波長６８６ｎｍの光は周期約６６．７ｍｓ、波長６８７ｎｍの光は周期約９０．９ｍｓ、波長６８８ｎｍの光は周期約１４２．９ｍｓごとに像の明るさが変化する。動画のサンプル周期が６０ｆｐｓであれば、それぞれ約４フレーム、約５．４フレーム、約８．６フレームごとに明るさが変化する。したがって、撮像結果をフーリエ変換し、明るさの変化の周期ごとにＲ（ｉ，λ）を分解することで、各画素の波長６８６ｎｍのＲ（ｉ，λ）、６８７ｎｍのＲ（ｉ，λ）、６８８ｎｍのＲ（ｉ，λ）をそれぞれ求めることができる。つまり、被写体３１における、６８６ｎｍ、６８７、６８７ｎｍのＲ（ｉ，λ）の分布を得ることができる。この例では、３つの波長の光の強度変調の周期の差が小さいため、１回の撮像で、適切な画像データを取得できる。しかし、３つの波長の光の強度変調の周期が大きい場合には、第１の実施形態で説明したように、撮像素子１２０の感度変調の周期を異ならせて２または３回、撮像を行うことによって適切な画像データを取得することができる。
　例えば、酸素分子は６８７ｎｍに比較的強い吸収を示し、６８６ｎｍと６８８ｎｍの吸収は弱い。そのため、被写体３１の６８７ｎｍのＲ（ｉ，λ）の強度分布と６８６ｎｍもしくは６８８ｎｍのＲ（ｉ，λ）の強度分布を比較すれば、酸素分子の分布および濃度を推定することができる。
　異なる分子は異なる波長の光に特異的な吸収を示す。そのため、照明装置２１の光源２３から出射する光の波長、移動鏡２６の移動速度、撮像素子１２０の感度変調の周期等を変えることにより、異なる分子の濃度分布を推定することができる。
　このように本実施形態によれば、強度の変調周期および波長が互いに異なる複数の光を照明光として用い、被写体を撮像することによって、短い時間で生じる被写体の変化の情報を取得すること、つまり、照明光の波長ごとの発光強度の周期の情報を露光によって失うことなく撮像することが可能であり、被写体のマルチスペクトル分析を行うことが可能である。
　撮像システム１１２は種々の態様で動作させることができる。以下、一例として、（１）撮像素子の感度変調周期を変化させない場合（２）撮像素子の感度変調周期を変化させる場合における、撮像システム１１２の動作を説明する。
　（１）撮像素子の感度変調周期を変化させない場合
　図１３は、撮像素子の感度変調周期を変化させずに被写体を撮像する場合の撮像システム１１２の動作を示すフローチャートである。この動作は、例えば１つの波長の光のみを解析する場合、あるいは、例示したように複数の光の強度変調の周期の差が小さい場合に用いられる。撮像システム１１２の撮像装置１０２において、制御回路１４にはあらかじめメモリ等に感度変調周期の初期値が設定されている。
　まず照明装置２１から、強度が周期的に変化する光を出射させ（Ｓ８１）、被写体３１に照射する（Ｓ８２）。次に、制御回路１４から撮像素子１２０に変調感度周期の初期値を与え（Ｓ８３）、その初期値で、周期的に感度を変化させ、ｉ枚目（ｉ＝１、１フレーム目）の被写体３１の画像を撮像素子１２０で撮像する（Ｓ８４）。撮像した画像はメモリ１５に記録される（Ｓ８５）。
　制御回路１４は、撮像枚数をカウントし、フレーム画像の数が意図した数に達したか否かを判断する（Ｓ８６）。意図した数に達していない場合には、ステップＳ８４からステップＳ８６を繰り返す。意図した数に達した場合には、信号処理回路１６が、撮像された意図した枚数の画像データをメモリ１５から読み出し、読みだした複数枚の画像データを用いて上述の演算を行う（Ｓ８７）。信号処理回路１６は、演算結果を出力する（Ｓ８８）。
　（２）撮像素子の感度変調周期を変化させる場合
　図１４は、撮像素子の感度変調周期を変化させて被写体を撮像する場合の撮像システム１１２の動作を示すフローチャートである。この動作は、複数の波長の光を解析する場合であって、強度変調の周期が互いに大きく異なる場合に用いられる。撮像システム１１２の撮像装置１０２において、制御回路１４にはあらかじめメモリ等に感度変調周期の初期値が設定されている。
　まず照明装置２１から、強度が周期的に変化する光を出射させ（Ｓ９１）、被写体３１に照射する（Ｓ９２）。次に、制御回路１４から撮像素子１２０に変調感度周期の初期値を与え（Ｓ９３）、その初期値で、周期的に感度を変化させ、ｉ枚目（ｉ＝１、１フレーム目）の被写体３１の画像を撮像素子１２０で撮像する（Ｓ９４）。撮像した画像はメモリ１５に記録される（Ｓ９５）。
　制御回路１４は、撮像枚数をカウントし、フレーム画像の数が意図した数に達したか否かを判断する（Ｓ９６）。意図した数に達していない場合には、ステップＳ９４からステップＳ９６を繰り返す。フレーム画像の数が意図した数に達した場合、撮像に使用した感度変調周期が、予め決定された範囲で変更されたか否かを判定する（Ｓ９７）。変更されていない場合には、撮像素子１２０に設定する感度変調周期を例えば、所定の増減値で変更し（Ｓ９８）、ステップＳ９４からステップＳ９７を繰り返す。感度変調周期が、予め決定された範囲で変更された場合には（Ｓ９７）、信号処理回路１６が、撮像された意図した枚数の画像データをメモリ１５から読み出し、読みだした複数枚の画像データを用いて上述の演算を行う（Ｓ９９）。信号処理回路１６は、演算結果を出力する（Ｓ１００）。
　＜撮像装置＞
　上記実施形態では、撮像システム１１２が照明装置２１を備える形態を例示した。しかし、被写体が強度を変化させながら自発的に発光する場合には、照明装置２１はなくてもよく、この場合、撮像装置１０２だけでも撮影を行うことができる。具体的には、第１の実施形態で説明したように被写体３１が、周期Ｔｔ１で強度を周期的に変化させながら発光する場合、撮像された複数枚のフレームの画像における被写体の発光強度の変調の周期をＴｖ１とすると、被写体の強度変調の周期Ｔｔ１および感度変調周期である周期Ｔｓ１との間には第１の実施形態で説明したように式（１）（２）の関係が成り立つ。したがって、第１の実施形態で説明したように、撮像した画像データから、撮像された複数枚のフレームの画像における被写体の発光強度の変調の周期Ｔｖ１を求めることができ、さらに、被写体の強度変調の周期Ｔｔ１を求めることができる。つまり第１の実施形態で説明したように、高速度撮像素子等の特殊な構造を撮像素子が備えていなくても、高速で発光強度が変化する被写体の変化の発光の周期等の情報を取得することが可能である。
　本開示の撮像装置、撮像システムおよび撮像方法は、撮像によって被写体の分析を行う種々の分野に利用可能であり、例えば、構造物及び工業品の検査、医療用途などに用いることができる。
１１　　　撮像光学系
１２、１２０　　撮像素子
１４　　　制御回路
１５　　　メモリ
１６　　　信号処理回路
１７　　　アクチュエータ
２１　　　照明装置
２２　　　照明光学系
２３　　　光源
２４　　　発光部
２５　　　ハーフミラー
２６　　　移動鏡
２７　　　固定鏡
２８　　　光学系
３１　　　被写体
１０１、１０２　　撮像装置
１１１、１１２　　撮像システム
２０１　　撮像素子
２１０　　撮像セル
２１１　　光電変換部
２１２　　画素電極
２１３　　光電変換膜
２１４　　対向電極
２１６　　半導体基板
２１７　　電荷蓄積領域
２１８　　層間絶縁層
２１９　　接続部
２２１　　第１電圧供給回路
２２２　　第２電圧供給回路
２３１　　第１信号線
２３２　　第２信号線

Claims (19)

  1. 　感度が可変であり、サンプル周期Ｔｆで画像を取得する撮像素子と、
    　前記撮像素子を制御する制御回路と、
    を備え、
    　前記制御回路は、前記サンプル周期Ｔｆよりも短い周期Ｔｓ１で前記撮像素子の感度を変化させ、
    　前記制御回路による制御に基づき、前記撮像素子は、被写体の複数の画像を、前記サンプル周期Ｔｆで取得し、
    　前記被写体は、前記周期Ｔｓ１と異なる周期Ｔｔ１で変化する第１成分を含む、
    　撮像装置。
  2. 　前記複数の画像は、差周期成分であり、Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜で求められる第１情報を含む、
    　請求項１に記載の撮像装置。
  3. 　前記サンプル周期Ｔｆは、
    ２Ｔｆ　＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
    の関係を満たしている、
    　請求項１または２に記載の撮像装置。
  4. 　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
    　前記制御回路は、前記周期Ｔｓ１よりも短く、前記周期Ｔｓ１とは異なる、周期Ｔｓ２で前記撮像素子の感度を変化させ、
    　前記複数の画像は、差周波成分であり、Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜で求められる第２情報をさらに含み、
    ２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
    および
    ２Ｔｆ＜　Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜
    の関係を満たしている、
    　請求項１から３のいずれかに記載の撮像装置。
  5. 　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
    　前記複数の画像は、差周波成分であり、Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜で求められる第３情報をさらに含み、
    ２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
    かつ
    ２Ｔｆ＜　Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜
    の関係を満たしている、
    　請求項１から３のいずれかに記載の撮像装置。
  6. 　前記撮像素子は、露光期間中に高感度状態と低感度状態とを切り替えるように構成され、
    　前記低感度状態では、前記撮像素子は実質的に感度を有しない、
    　請求項１から５のいずれかに記載の撮像装置。
  7. 　前記撮像素子は、露光期間中に感度を、第１の値と、前記第１の値よりも小さい第２の値との間で、段階的または連続的に変化させるように構成されている、
    　請求項１から５のいずれかに記載の撮像装置。
  8. 　前記撮像素子は、
    　上部電極と、下部電極と、前記上部電極と前記下部電極との間に位置する光電変換膜とを含む、
    　請求項６または７に記載の撮像装置。
  9. 　前記撮像素子は、
    　前記上部電極および前記下部電極の少なくとも一方に電圧を供給する電圧供給回路をさらに含み、
    　前記制御回路は、前記電圧供給回路を制御し、前記撮像素子の感度を周期的に変化させる、
    　請求項８に記載の撮像装置。
  10. 　前記撮像素子は、グローバルシャッタ方式で画像を取得する、
    　請求項１から９のいずれかに記載の撮像装置。
  11. 　請求項１から１０のいずれかに記載の撮像装置と、
    　信号処理回路と、
    を備え、
    　前記信号処理回路は、前記複数の画像に基づき、前記第１成分の前記周期Ｔｔ１を求める、
    　撮像システム。
  12. 　請求項６に記載の撮像装置と、
    　前記被写体に、周期的に応力を与えるアクチュエータと、
    を備え、
    　前記アクチュエータにより、前記被写体の位置および前記被写体の形状からなる群から選択される少なくとも一方が変化する、
    　撮像システム。
  13. 　請求項７に記載の撮像装置と、
    　前記周期Ｔｔ１で強度が変化する第１波長の第１の光を前記被写体に照射する照明装置と、
    を備え、
    　前記複数の画像において、前記被写体の前記第１成分は前記周期Ｔｓ１で輝度が変化する、
    　撮像システム。
  14. 　前記照明装置は、前記周期Ｔｔ１と異なる周期で強度が変化する、前記第１波長と異なる波長の第２の光を、前記被写体にさらに照射する、
    　請求項１３に記載の撮像システム。
  15. 　周期Ｔｓ１で感度が変調される撮像素子を用いて、前記周期Ｔｓ１とは異なる周期Ｔｔ１で変化する第１成分を含む被写体の複数の画像を、サンプル周期Ｔｆで撮像すること、及び
    　前記複数の画像を取得すること、を備える、
    　撮像方法。
  16. 　前記複数の画像は、差周波数成分であり、Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜で求められる第１情報を含む、
    　請求項１５に記載の撮像方法。
  17. 　前記サンプル周期Ｔｆは、
    ２Ｔｆ　＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
    の関係を満たしている、
    　請求項１５または１６に記載の撮像方法。
  18. 　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
    　前記撮像素子によって、前記周期Ｔｓ１よりも短く、前記周期Ｔｓ１とは異なる周期Ｔｓ２で感度を変化させて前記被写体を撮像し、
    　前記複数の画像は、差周波数成分であり、Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜で求められる第２情報をさらに含み、
    ２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
    および
    ２Ｔｆ＜　Ｔｔ２・Ｔｓ２／｜Ｔｔ２－Ｔｓ２｜
    の関係を満たしている、
    　請求項１５から１７のいずれかに記載の撮像方法。
  19. 　前記被写体は、前記周期Ｔｔ１とは異なる周期Ｔｔ２で変化する第２成分をさらに含み、
    　前記複数の画像は、差周波数成分であり、Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜で求められる第３情報をさらに含み、
    ２Ｔｆ＜　Ｔｔ１・Ｔｓ１／｜Ｔｔ１－Ｔｓ１｜
    かつ
    ２Ｔｆ＜　Ｔｔ２・Ｔｓ１／｜Ｔｔ２－Ｔｓ１｜
    の関係を満たしている、
    　請求項１５から１７のいずれかに記載の撮像方法。
PCT/JP2020/033860 2019-10-03 2020-09-08 撮像装置、撮像システムおよび撮像方法 WO2021065367A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080063796.9A CN114365478B (zh) 2019-10-03 2020-09-08 摄像装置、摄像系统及摄像方法
JP2021550508A JPWO2021065367A1 (ja) 2019-10-03 2020-09-08
US17/695,728 US11968457B2 (en) 2019-10-03 2022-03-15 Imaging apparatus, imaging system, and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019183237 2019-10-03
JP2019-183237 2019-10-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/695,728 Continuation US11968457B2 (en) 2019-10-03 2022-03-15 Imaging apparatus, imaging system, and imaging method

Publications (1)

Publication Number Publication Date
WO2021065367A1 true WO2021065367A1 (ja) 2021-04-08

Family

ID=75337248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033860 WO2021065367A1 (ja) 2019-10-03 2020-09-08 撮像装置、撮像システムおよび撮像方法

Country Status (4)

Country Link
US (1) US11968457B2 (ja)
JP (1) JPWO2021065367A1 (ja)
CN (1) CN114365478B (ja)
WO (1) WO2021065367A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064661A (ja) * 2002-07-31 2004-02-26 Shimadzu Corp 撮像装置およびそれを用いた撮影方法
JP2014207641A (ja) * 2013-04-16 2014-10-30 日本放送協会 トリガ信号生成機能を持つ高速度撮像素子
JP2017208812A (ja) * 2016-05-11 2017-11-24 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システムおよび光検出方法
JP2019125854A (ja) * 2018-01-12 2019-07-25 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6867811B2 (en) * 1999-11-08 2005-03-15 Casio Computer Co., Ltd. Photosensor system and drive control method thereof
JP4589521B2 (ja) 2000-12-07 2010-12-01 Ｈｏｙａ株式会社 電子内視鏡光源装置
JP2007006049A (ja) * 2005-06-23 2007-01-11 Funai Electric Co Ltd 固体撮像装置
JP4293210B2 (ja) * 2006-08-18 2009-07-08 ソニー株式会社 物理量検出装置、物理量検出装置の駆動方法、固体撮像装置、固体撮像装置の駆動方法、及び撮像装置
JP5087304B2 (ja) * 2007-03-30 2012-12-05 富士フイルム株式会社 固体撮像素子の製造方法
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP2010175435A (ja) 2009-01-30 2010-08-12 Nippon Hoso Kyokai <Nhk> 三次元情報検出装置及び三次元情報検出方法
JP5428792B2 (ja) * 2009-11-17 2014-02-26 ソニー株式会社 固体撮像素子およびその駆動方法、カメラシステム、プログラム
JP5516960B2 (ja) * 2010-04-02 2014-06-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、および、電子機器
JP2011244298A (ja) 2010-05-20 2011-12-01 Toshiba Alpine Automotive Technology Corp 動画撮像装置及び車両用画像表示装置
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
CN113079324A (zh) 2015-07-10 2021-07-06 松下知识产权经营株式会社 摄像装置
JP2017116840A (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 撮像装置
EP3576400B1 (en) * 2017-01-25 2024-05-29 Panasonic Intellectual Property Management Co., Ltd. Operation control system and operation control method
KR102641894B1 (ko) * 2017-02-03 2024-02-29 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064661A (ja) * 2002-07-31 2004-02-26 Shimadzu Corp 撮像装置およびそれを用いた撮影方法
JP2014207641A (ja) * 2013-04-16 2014-10-30 日本放送協会 トリガ信号生成機能を持つ高速度撮像素子
JP2017208812A (ja) * 2016-05-11 2017-11-24 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システムおよび光検出方法
JP2019125854A (ja) * 2018-01-12 2019-07-25 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JPWO2021065367A1 (ja) 2021-04-08
CN114365478B (zh) 2024-03-29
US11968457B2 (en) 2024-04-23
CN114365478A (zh) 2022-04-15
US20220210310A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP4249627B2 (ja) 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像
KR100815283B1 (ko) 대상물의 3차원 검사를 위한 다수의 위상 변위 패턴의동시 투사용 시스템
US7260270B2 (en) Image creating device and image creating method
TWI610064B (zh) 配光特性量測裝置以及配光特性量測方法
Sarkar et al. Biologically inspired CMOS image sensor for fast motion and polarization detection
US8587686B1 (en) Hybrid differential optical sensing imager
EP2175232A1 (en) Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP2000270169A (ja) 運動識別方法
JP2022547528A (ja) モアレ要素及び回転対称配列を用いるイメージングオーバレイターゲット
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR20150133082A (ko) 깊이 영상 생성 장치 및 방법
US20220028102A1 (en) Devices and methods for determining confidence in stereo matching using a classifier-based filter
Kim et al. Descattering transmission via angular filtering
WO2006006250A1 (ja) 流体流動計測システム、流体流動計測方法およびコンピュータプログラム
WO2021065367A1 (ja) 撮像装置、撮像システムおよび撮像方法
Sergiyenko et al. Developing and applying optoelectronics in machine vision
CN106663312B (zh) 用于改善计算成像的系统和方法
JP6818487B2 (ja) スペクトルの測定方法
JPH09500206A (ja) 検出された物体の軌道のための図式的な実時間−方向情報を発生させるための方法および装置
Ge et al. Lensless sensing using the event sensor
Mathai et al. Transparent object detection using single-pixel imaging and compressive sensing
US11601607B2 (en) Infrared and non-infrared channel blender for depth mapping using structured light
JP2007071790A (ja) Ｍｅｍｓの動作診断装置及び動作診断方法
KR101269128B1 (ko) 중간시점 영상 생성기를 갖는 표면 거칠기 측정 장치 및 방법
JP2010117253A (ja) 画像不変光斑点の捕獲装置と方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20871856

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550508

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20871856

Country of ref document: EP

Kind code of ref document: A1