WO2011104819A1 - 撮像用トリガ信号生成方法及び装置 - Google Patents
撮像用トリガ信号生成方法及び装置 Download PDFInfo
- Publication number
- WO2011104819A1 WO2011104819A1 PCT/JP2010/052771 JP2010052771W WO2011104819A1 WO 2011104819 A1 WO2011104819 A1 WO 2011104819A1 JP 2010052771 W JP2010052771 W JP 2010052771W WO 2011104819 A1 WO2011104819 A1 WO 2011104819A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- trigger signal
- correlation value
- imaging
- signal generation
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims description 50
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000009499 grossing Methods 0.000 claims abstract description 26
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000009864 tensile test Methods 0.000 abstract description 5
- 238000012935 Averaging Methods 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 6
- 230000009172 bursting Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 241000709701 Human poliovirus 1 Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/02—Details
- G01N3/06—Special adaptations of indicating or recording means
- G01N3/068—Special adaptations of indicating or recording means with optical indicating or recording means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/02—Details not specific for a particular testing method
- G01N2203/06—Indicating or recording means; Sensing means
- G01N2203/0641—Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
- G01N2203/0647—Image analysis
Definitions
- the present invention relates to a method and apparatus for generating a trigger signal that determines the timing of starting and stopping recording of a captured image obtained by an imaging apparatus, and particularly, for example, bursting, explosion, combustion, collision, discharge, or high-speed movement of an object.
- the present invention relates to a trigger signal generation method and apparatus suitable for a high-speed imaging apparatus for imaging a high-speed phenomenon that is difficult to capture with a normal imaging apparatus.
- Non-Patent Document 1 In order to continuously photograph high-speed phenomena such as explosion, destruction, combustion, collision, and discharge, a high-speed imaging device (high-speed video camera) described in Non-Patent Document 1 has been developed. Such a high-speed imaging device requires a very high-speed shooting of about 1 million frames / second or more, and can operate at a high speed with a special structure that is different from an image sensor used for a general video camera or the like. A solid-state image sensor is used.
- an imaging device called a pixel peripheral recording type imaging device As the solid-state imaging device, an imaging device called a pixel peripheral recording type imaging device (IS-CCD) described in Patent Document 1 is known.
- This image sensor is equipped with a storage CCD that doubles the number of recordings (number of frames) for each photodiode that is a light receiving section, and for storing pixel signals photoelectrically converted by the photodiode during shooting. It is sequentially transferred to the CCD and stored. Then, pixel signals for the number of recording frames stored in the storage CCD are read out together after the photographing is completed, and an image for the number of recording frames is reconstructed outside the imaging device.
- a storage CCD that doubles the number of recordings (number of frames) for each photodiode that is a light receiving section, and for storing pixel signals photoelectrically converted by the photodiode during shooting. It is sequentially transferred to the CCD and stored. Then, pixel signals for the number of recording frames stored in the storage C
- Pixel signals that exceed the number of recording frames during shooting are discarded in the oldest order, and the latest predetermined number of pixel signals for the number of frames are always held in the storage CCD. For this reason, if the transfer of the pixel signal to the storage CCD is stopped at the end of photographing, the latest image after the time pointed back by the number of recording frames from that point can be obtained.
- an image sensor having a CMOS structure that enables high-speed shooting by providing the same function as the IS-CCD has been proposed (see Patent Documents 3 and 4).
- this image sensor memory elements corresponding to the number of recording frames are provided in parallel for each photodiode.
- the photoelectric charge signal photoelectrically converted by the photodiode is converted into a voltage signal by the floating diffusion amplifier, and is sequentially distributed and stored in a plurality of memory elements.
- the pixel signal recorded in the memory element is read, and an image for the number of recording frames is reconstructed outside the imaging element.
- CMOS image sensor In the case of this CMOS image sensor, pixel signals for a plurality of frames are stored in a memory element at a high speed without reading the pixel signals outside the image sensor, and the pixel signals for a plurality of frames are read later together.
- the shooting mode it is possible to execute a shooting mode in which a pixel signal for one frame is stored in each memory element and then the pixel signal is read from the memory element to the outside of the imaging element (patent). (Ref. 4, [0068]-[0070]). Therefore, it is suitable for performing various kinds of signal processing almost in real time with respect to an image signal acquired by imaging in an imaging trigger signal generation device outside the imaging device.
- this trigger signal generation method should be used when it is difficult to bring such a sensor close to or attached to an observation target or when a change that can be detected by the above sensor does not occur in the first place. I can't.
- wearing a sensor may adversely affect the measurement system, and there is a possibility that the state of a phenomenon to be observed changes depending on whether the sensor is not attached.
- Patent Literature 1 and Non-Patent Literature 2 disclose a method of detecting the occurrence of a specific phenomenon using an average luminance value in a monitoring area set in a captured image and generating a trigger signal.
- the method using the change of the average luminance value as described above has the following problems.
- a phenomenon that occurs at an unspecified position in an image such as the bursting of dense bubbles
- the area where the change occurs is considerably narrower than the size of the monitored area. It is difficult for large changes to occur in the value, and accurate detection is difficult.
- the trigger signal is not necessarily generated at an appropriate timing, and the target phenomenon cannot be reliably and stably captured.
- JP 2001-345441 A Japanese Patent Laid-Open No. 5-76004 International Publication No. 2009/031301 Pamphlet International Publication No. 2009/031302 Pamphlet
- the present invention has been made in view of the above problems, and the purpose of the present invention is to accurately capture even the occurrence of a specific phenomenon to be observed locally in an image and trigger it. It is an object of the present invention to provide a trigger signal generation method and apparatus capable of generating a signal.
- Another object of the present invention is to distinguish between occurrence of a phenomenon to be observed and a continuous change such as movement and deformation of an object different from that, and generate a trigger signal according to the former. It is an object to provide a trigger signal generation method and apparatus.
- Still another object of the present invention is to provide a trigger signal generation method and apparatus capable of generating a trigger signal at an appropriate timing by processing with a relatively small amount of calculation so as not to impair the real-time property. .
- An imaging trigger signal generation method for generating a trigger signal for recording control based on images sequentially obtained by imaging. , a) a correlation value calculating step for obtaining a correlation value between frames using pixels of the whole image or a partial area in the newly obtained image and the past image; b) a correlation value determination step of detecting occurrence of a specific phenomenon by determining a temporal change amount of the inter-frame correlation value and generating a trigger signal; It is characterized by having.
- An imaging trigger signal generation apparatus is an apparatus for embodying the imaging trigger signal method described above.
- the imaging trigger signal generation apparatus generates a trigger signal for recording control based on images sequentially obtained by imaging.
- Trigger signal generating device a) Correlation value calculating means for obtaining a correlation value between frames using the pixels of the entire image or a part of the area of the newly obtained image and the past image; b) correlation value determination means for detecting occurrence of a specific phenomenon by determining a temporal change amount of the inter-frame correlation value and generating a trigger signal; It is characterized by having.
- correlation value determining step for example, every time a new image is obtained, that is, for each frame, the inter-frame correlation value reflecting the latest image and the frame calculated one frame before Calculate the difference with the correlation value, determine whether the difference is greater than or equal to the threshold, and determine that the desired specific phenomenon has occurred when the difference in inter-frame correlation value is greater than or equal to the threshold A trigger signal can be generated.
- the past image for calculating the inter-frame correlation value is typically an image one frame before, but may not necessarily be one frame before or more.
- the correlation value between frames is generally used for motion detection or compression coding of an object in an image.
- the correlation value is easily obtained by the sum of squares of the difference between corresponding pixel values.
- a calculation formula for obtaining a correlation value more precisely is also known in the past, but in any case, the inter-frame correlation value corresponds to two images (frames) or a predetermined area in each image. Differences in pixel values are reflected by being squared. Therefore, compared with the average luminance value used in the prior art, a small change in the value of the corresponding pixel in the two images or a small area corresponding thereto is reflected relatively greatly. Therefore, in the trigger signal generation method and apparatus for imaging according to the present invention, a phenomenon that occurs locally in a partial region in an image can be easily detected, and a trigger signal can be generated reliably.
- the image processing apparatus further includes a preprocessing step for performing a smoothing process on an image obtained by imaging, and the entire smoothed image or a part thereof It is preferable to obtain the inter-frame correlation value using the pixels in this area.
- the smoothing processing here refers to a processing for averaging (or smoothing, flattening) filtering for a certain pixel with respect to the value of the pixel and the values of a plurality of adjacent pixels in the same image. It is.
- the edge of the object in the image is blurred (that is, the influence of the pixel value of a certain pixel spreads to surrounding pixels). Therefore, for example, a continuous change such as movement or deformation of an object increases the correlation between frames in which the change occurs, whereas a sudden change hardly affects the correlation between frames before and after the change. Absent. Therefore, by performing the smoothing process, there is a difference in the rate of change of the inter-frame correlation value between the continuous change and the sudden change. Thereby, it is possible to distinguish a phenomenon accompanied by a continuous change such as movement or deformation of an object from the occurrence of a sudden phenomenon to be observed, and generate a trigger signal for the latter.
- a projection image is created by integrating pixel values of a plurality of pixels arranged in a one-dimensional direction for the entire image or a partial region in the image. It is preferable to further include a projection image creation step, and to obtain a frame correlation value using the projection image.
- the one-dimensional direction can be, for example, the horizontal direction or the vertical direction of the image.
- using a projection image in a direction corresponding to the directionality causes a clearer change in the correlation value between frames when the phenomenon to be observed occurs. .
- This increases the certainty and stability of trigger signal generation.
- the influence of noise is reduced when the pixel values are integrated to create a projection image. For this reason, the influence of noise hardly appears in the inter-frame correlation value, which is effective in preventing the generation of an erroneous trigger signal.
- the projection image has a much smaller amount of information than the original image (or a partial area in the image)
- the calculation amount when calculating the inter-frame correlation value is also reduced, and the processing time for generating the trigger signal is reduced. It can be shortened. Thereby, it is possible to reduce the time delay from the occurrence of the specific phenomenon to be observed to the output of the trigger signal.
- the real time property of trigger signal generation can be further improved by increasing the frame rate of the image to be processed for generating the trigger signal.
- the imaging trigger signal generation method and apparatus it is possible to reliably detect a phenomenon that occurs locally in a small portion of an image, as compared with the conventional detection method of occurrence of a specific phenomenon by image processing. It becomes possible. Thereby, for example, high-speed imaging of a phenomenon that has been difficult to record in the past, such as bursting of dense bubbles, can be stably performed.
- the imaging trigger signal generation method and apparatus that employs the smoothing process, sudden occurrence of a specific phenomenon that is an observation target is not continuously observed such as movement or deformation of an object. Since it can be detected separately from a change, a trigger signal can be generated reliably even when a specific phenomenon occurs in a subject in which a continuous change occurs.
- the inter-frame correlation value is obtained using a projection image created by integrating pixel values in a certain direction, the amount of calculation required to generate the trigger signal is reduced, and the time delay of trigger signal generation is reduced. And the frame rate of image acquisition used for image processing can be increased. Furthermore, it is possible to reduce the influence of random noise, spike noise, etc., and to increase the certainty and stability of trigger signal generation.
- FIG. 3 is a schematic timing diagram for explaining the operation of the high-speed imaging device according to the present embodiment.
- 7 is a flowchart of trigger signal generation processing in the high-speed imaging device of the present embodiment.
- FIG. 5 is a schematic time chart of a continuous readout mode and a burst readout mode that can be executed by the imaging device shown in FIG. 4. Explanatory drawing of the effect
- the figure which shows the example of a setting of the monitoring area
- the graph which shows the result of having calculated the change of the difference of the brightness average value by a prior art, and the change of the difference of the correlation value between frames based on the actual picked-up image shown in FIG.
- FIG. 1 is a configuration diagram of a main part of the high-speed imaging apparatus according to the present embodiment
- FIG. 2 is a schematic timing diagram for explaining the operation of the high-speed imaging apparatus of the present embodiment
- FIG. 3 is a trigger signal in the high-speed imaging apparatus of the present embodiment
- FIG. 4 is a principle configuration diagram of an image pickup device (CCD image sensor for high-speed shooting) used in the high-speed shooting apparatus of the present embodiment
- FIG. 5 can be executed by the image pickup device shown in FIG. 4 is a schematic time chart of a continuous read mode and a burst read mode.
- the high-speed imaging device 1 includes an imaging lens 10 that collects incident light coming from a subject to be imaged, an imaging element 13 that converts an optical image into an electrical signal, and a captured electrical signal (pixel signal). ) To a digital value, an image processing unit 15 that processes image data, a storage unit 16 that stores processed image data, and a trigger that generates a trigger signal using the image data A signal generator 17, a timing controller 18 that supplies various control signals and clock signals to control each unit to execute imaging, an operation unit 19 that is operated by a photographer, and an image sensor 13. And a shutter 11 driven by a shutter driving unit 12 that shields light.
- Image data processed by the image processing unit 15 or stored in the storage unit 16 is output from the high-speed photographing device 1 and reproduced by the monitor 2.
- the timing control unit 18 includes not only a CPU and a ROM storing a control program, but also a circuit that generates various clock signals necessary for operating the image sensor 13 and the like.
- the imaging device 13 is a CMOS image sensor for high-speed imaging disclosed in Patent Documents 3 and 4 described above, and includes a photoelectric conversion unit 131, a storage memory unit 132, and a reading register 133 as a basic configuration. .
- the configuration and operation of this CMOS image sensor will be briefly described.
- the photoelectric conversion unit 131 includes photodiodes 13 a arranged in a two-dimensional array, and a floating unit that converts a photoelectric charge signal generated by photoelectric conversion by each photodiode 13 a into a voltage signal.
- the readout register 133 has a function of sequentially reading out the pixel signals held in the memory elements 13c of the storage memory unit 132.
- a plurality of memory devices 13c are provided in parallel to one photodiode 13a and a floating diffusion amplifier 13b, and the memory devices 13c can discharge signals to the read register 133 independently. It has become. Therefore, it is possible to operate in two different modes shown in FIG.
- the memory elements of the memory unit 132 for accumulation are collectively processed for all the pixels.
- the signal charge is transferred and held in 13c.
- one frame of pixel signal held in the memory element 13 c immediately before is read out in order by the read register 133 and output to the outside of the image sensor 13.
- Photoelectric charge can be stored in the photoelectric conversion unit 131 when pixel signals are sequentially read from the storage memory unit 132. Therefore, it is possible to repeatedly perform imaging, and the captured image signal is output from the imaging device 13 in almost real time.
- the photographer first sets shooting conditions such as the speed (frame rate) at the time of high-speed shooting from the operation unit 19.
- the fastest frame rate that can be set is 1 Mfps (1 million frames / second) or more, which is much faster than a normal photographing apparatus.
- the photographer gives a shooting standby instruction through the operation unit 19.
- the timing control unit 18 controls the shutter driving unit 12 to open the shutter 11 and instructs the image sensor 13 and the image processing unit 15 to perform low-speed shooting.
- the image sensor 13 is driven in the above-described continuous readout mode, and the pixel signal for one frame generated by the photoelectric conversion unit 131 according to the incident light coming from the subject is stored in the memory of the storage memory unit 132.
- the readout register 133 reads out from the image sensor 13. That is, every time pixel signals for one frame are obtained, all the pixel signals are read from the image sensor 13 and input to the image processing unit 15 via the A / D converter 14 and processed by the image processing unit 15.
- the displayed image is displayed on the monitor 2. Therefore, the displayed image can be regarded as substantially real time with almost no time delay.
- the photographer can set a phenomenon occurrence monitoring area for generating a trigger signal at an arbitrary position and an arbitrary size while viewing the display image on the monitor 2. Of course, the entire image may be set as the monitoring area.
- the trigger signal generation unit 17 starts a trigger signal generation process as shown in FIG. 3 based on the image data.
- a projection image of a frame number N ′ (N ′ ⁇ N), which will be described later, and the inter-frame correlation value of the previous frame are already stored in the internal temporary memory. Assuming that the situation is.
- the trigger signal generation unit 17 When image data of frame number N is obtained from the image sensor 13 driven in the continuous readout mode (step S1), the trigger signal generation unit 17 first executes a smoothing process using an averaging filter (step S2).
- a pixel value at a certain position in an image is an average value of a plurality of pixel values including a pixel value and a plurality of adjacent pixels around the pixel value (an appropriate weighted average is preferable instead of a simple average).
- an appropriate weighted average is preferable instead of a simple average.
- an edge such as an outline of an object in an image is blurred. The reason for performing the smoothing process will be described later.
- the pixel range for smoothing processing, averaging parameters, and the like may be appropriately determined in advance according to, for example, an allowable value of the moving speed of an object that is not considered to cause the target phenomenon.
- the trigger signal generation unit 17 creates a correlation value calculation projection image for calculating the inter-frame correlation value for the smoothed image (step S3).
- the calculation of the inter-frame correlation value which will be described later, may be performed on a pixel-by-pixel basis. Therefore, here, a projected image with a smaller amount of data is created from this image, not the image itself after the smoothing process, and the inter-frame correlation value is calculated using the projected image.
- a projection image such as P1 can be created by performing the process of integrating pixel values for one line (line) arranged in the horizontal direction of the image for each line.
- a projection image such as P2 can be created by performing processing for integrating the pixel values for one column arranged in the vertical direction of the image for each column. Any one projection image may be used, or two projection images obtained by integrating pixel values in different directions may be used. Random noise is canceled or spiked noise is suppressed by the integration of pixel values when creating a projection image as described above. Thereby, erroneous detection of occurrence of the target phenomenon can be reduced.
- a case is assumed in which a tensile test is performed in which a load for pulling a specimen piece in the vertical direction as shown in FIG. 7 is applied.
- a projection image P1 obtained by integrating pixel values in a horizontal direction orthogonal to the load direction may be used.
- a monitoring area is set not in the entire image but in a part of the image, a projection image using pixel values included in the monitoring area may be used.
- the projection image of frame number N ′ is read from the internal temporary memory (step S4).
- the correlation value between frames is calculated using the newly obtained projection image of frame number N and the projection image of frame number N ′ (step S5).
- N ′ N ⁇ 1. That is, the frame number N ′ is one frame before the frame number N, and the inter-frame correlation value is calculated from the projection image of a certain frame and the projection image of the previous frame as shown in FIG.
- the correlation value between the frames can be, for example, the sum of squares of the differences for the corresponding pixels of the two images.
- the difference between the integrated values of the corresponding horizontal lines is calculated for the two projection images of the frame number N and the projection image of the previous frame. Find the sum of squares.
- the calculation method of the inter-frame correlation value is not limited to this, but an operation similar to the sum of squares of the inter-frame difference of the signal value of a certain pixel or a small area corresponding thereto is incorporated.
- the movement of the object as described above is a continuous change, and the inter-frame correlation value is relatively increased by performing a smoothing process on such a continuous change.
- many of the phenomena that are desired to be observed by the high-speed photographing apparatus are suddenly generated, and the correlation between frames is low before and after such a sudden change. That is, if smoothing processing is not performed, it may be difficult to distinguish between continuous changes and sudden changes in that the correlation between frames is low.
- the smoothing process as described above is performed, the correlation between frames is increased in a continuous change, so that it is easy to distinguish from a sudden change in which the correlation between frames is low. This is the main reason for performing the smoothing process before calculating the inter-frame correlation value.
- the projection image of the frame number N used for calculating the inter-frame correlation value in step S5 is stored in the internal temporary memory (step S6).
- a projection image to be read out in step S4 is prepared in the internal temporary memory (see [1] in FIG. 3).
- the trigger signal generation unit 17 calculates the difference between the two inter-frame correlation values (step S8), and the inter-frame correlation value obtained from the projection image with the frame number N and the projection image with the frame number N ′ is stored internally. It is saved in a temporary memory (step S9). As a result, when the trigger signal generation process is executed on the newly acquired image next time, the inter-frame correlation value to be read out in step S7 is prepared in the internal temporary memory (see [2] in FIG. 3). ).
- the trigger signal generation unit 17 compares the inter-frame correlation value difference obtained in step S8 with a determination threshold given in advance (step S10), and if the correlation value difference exceeds the determination threshold, It is determined that a specific phenomenon to be observed has occurred, and a trigger signal is generated (step S11). On the other hand, if the correlation value difference is equal to or smaller than the determination threshold, the frame numbers N and N ′ are incremented (step S12), and the process returns to step S1. That is, in this case, the trigger signal is not generated, and if the image of the next frame is acquired, the processing after step S1 is repeated.
- step S11 When a trigger signal is generated in step S11, the trigger signal is input from the trigger signal generation unit 17 to the timing control unit 18, and the timing control unit 18 switches the image sensor 13 to the burst readout mode, and the operation of the image processing unit 15 is changed.
- the mode is switched to the high-speed shooting mode (step S13).
- the image sensor 13 stores each memory element of the storage memory unit 132 for n frames without reading out the pixel signal for one frame acquired by photoelectric conversion by the photoelectric conversion unit 131 to the outside. 13c is stored while being sequentially sorted. During this time, since it is not necessary to read out pixel signals from the image sensor 13, continuous shooting can be performed at a very high frame rate.
- the determination threshold value is changed as appropriate in accordance with the type of phenomenon to be observed and shooting conditions. Therefore, the photographer may be allowed to input and set a threshold value in advance from the operation unit 19, or the determination threshold value may be adaptively determined based on an image actually obtained in the low-speed shooting mode. For example, start shooting in low-speed shooting mode well before the occurrence of the phenomenon you want to observe, find the maximum value of the correlation value between frames within a predetermined time, and use the constant multiple of this maximum value as the decision threshold. Can be determined.
- FIG. 8A For the case of the specimen breakage by the tensile test shown in FIG. 7, a specific comparison result between the detection method of the specific phenomenon (breakage in this example) according to the present invention and the detection method using the luminance value which is the prior art is shown. Show.
- FIG. 8B is an actual image immediately before the sample piece breaks, and it can be seen that the monitoring region B includes a portion where the breakage occurs.
- FIG. 9A is a plot of the difference in average brightness values in the monitoring areas A and B using images that were actually taken at high speed continuously. It can be seen that the break as shown in FIG. 8B actually starts to occur at the 63rd frame, and that in the monitoring area B, there is indeed a large change near the 63rd frame. However, the change is not so steep, and since a relatively large change occurs in the vicinity of the 30th frame before that, it is difficult to determine which time point is the start of fracture. It can be inferred that such a mode of change is because the deformation of the sample piece before the breakage appears in the difference in the average brightness value.
- FIG. 9B is a graph in which the difference between the inter-frame correlation values in the monitoring areas A and B is plotted using the images actually taken at high speed continuously. It can be seen that there is a steep change around the 63rd frame where breakage begins, and no noticeable change is seen before breakage occurs. This is considered to be because, unlike the prior art, the influence of the deformation of the specimen before the breakage is removed. Thus, it can be seen that the method for detecting a specific phenomenon (breakage in this example) according to the present invention can accurately grasp the start point of breakage by comparing the difference between inter-frame correlation values with an appropriate determination threshold.
- a trigger signal can be generated at an appropriate timing corresponding to the occurrence of a sudden specific phenomenon by clearly distinguishing a sudden change from a sudden change such as a break. As a result, high-speed imaging that captures the phenomenon of the observation object becomes possible.
- the trigger signal generation unit 17 receives the image signal.
- the trigger signal generation processing calculation can be executed almost in real time, that is, with almost no time delay. Therefore, there is an advantage that when a change that should generate a trigger signal occurs in the subject, the trigger signal can be generated promptly and reliably, and high-speed shooting can be performed without missing the target phenomenon.
- the image sensor 13 is not limited to the high-speed shooting CMOS image sensor described in the above embodiment, and may be, for example, the pixel peripheral recording image sensor (IS-CCD) described above.
- IS-CCD pixel peripheral recording image sensor
- the electrical signal generated by the photodiode or the like is read after the storage CCD for a predetermined number of frames is sequentially forwarded. Even if it is executed, it is disadvantageous compared with the CMOS image sensor in terms of real-time output image signals. Therefore, in a high-speed imaging device using such an image sensor, a time delay from the occurrence of a characteristic phenomenon in a subject to the start of execution of high-speed imaging can be taken into account and used for purposes and purposes where the time delay does not become a problem. preferable.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
Abstract
被写体の撮影により順次得られる画像に対し平均化フィルタなどによるスムージング処理を施した上で、最新の画像と過去（１フレーム前）の画像とのフレーム間相関値を計算する。新たな画像を取得する毎にフレーム間相関値を計算し、最新のフレーム間相関値と１フレーム前のフレーム間相関値との差分を計算する。この差分が判定閾値を超えた場合に、引張り試験における試料の破断などの突発的な特定現象が生起したと判断し、トリガ信号を発生する。このトリガ信号に応じて撮像素子は、高速撮影された画像の記録を開始する。スムージング処理により、試料の移動や変形といった、観察対象ではない連続的な変化の影響が除かれるため、確実且つ安定的に、観察対象の現象の生起を検知してトリガ信号を生成することができる。また、フレーム間相関値を用いることで、画像中で局所的に発生する現象を捉えたトリガ信号発生も行える。
Description
本発明は、撮像装置により得られる撮影画像の記録の開始や停止などのタイミングを決めるトリガ信号を生成する方法及び装置に関し、特に、破裂、爆発、燃焼、衝突、放電、或いは物体の高速移動といった通常の撮像装置では捉えることが困難である高速の現象を撮影するための高速撮影装置に好適なトリガ信号生成方法及び装置に関する。
爆発、破壊、燃焼、衝突、放電といった高速の現象を連続的に撮影するために、非特許文献１などに記載の高速撮影装置（高速ビデオカメラ）が従来開発されている。こうした高速撮影装置では、１００万フレーム／秒程度以上もの、きわめて高速度の撮影が必要であり、一般的なビデオカメラなどに利用されている撮像素子とは異なる、特殊な構造を有する高速動作可能な固体撮像素子が利用されている。
上記固体撮像素子として、特許文献１などに記載の、画素周辺記録型撮像素子（ＩＳ－ＣＣＤ）と呼ばれる撮像素子が知られている。この撮像素子は、受光部である各フォトダイオード毎にそれぞれ記録枚数（フレーム数）分の転送を兼ねた蓄積用ＣＣＤを備えており、撮影中、フォトダイオードで光電変換された画素信号を蓄積用ＣＣＤに順次転送して記憶する。そして、撮影終了後に蓄積用ＣＣＤに記憶してある記録フレーム数分の画素信号をまとめて読み出し、撮像素子の外部で記録フレーム数分の画像を再構成する。撮影中に記録フレーム数分を越えた画素信号は古い順に廃棄され、常に最新の所定フレーム数分の画素信号が蓄積用ＣＣＤに保持される。そのため、撮影終了時に蓄積用ＣＣＤへの画素信号の転送を中止すれば、その時点から記録フレーム数分だけ時間的に遡った時点以降の最新の画像を得ることができる。
また、上記ＩＳ－ＣＣＤと同様の機能を持たせることで高速撮影を可能としたＣＭＯＳ構造の撮像素子も提案されている（特許文献３、４など参照）。この撮像素子では、各フォトダイオード毎にそれぞれ記録フレーム数分のメモリ素子が並列に設けられている。撮影中、フォトダイオードで光電変換された光電荷信号はフローティングディフュージョンアンプにより電圧信号に変換され、複数のメモリ素子に順次振り分けて記憶される。撮影終了後にメモリ素子に記録してある画素信号を読み出し、撮像素子の外部で記録フレーム数分の画像を再構成する。このＣＭＯＳ構造の撮像素子の場合には、撮像素子の外部に画素信号を読み出さずに高速で複数フレーム分の画素信号をメモリ素子に保存し、あとでまとめて複数フレーム分の画素信号を読み出すという撮影モードのほか、１フレーム分の画素信号を各メモリ素子に記憶させた後に、直ぐにその各メモリ素子から画素信号を撮像素子の外部に読み出すような撮影モードを実行することが可能である（特許文献４の［００６８］－［００７０］参照）。そのため、撮影により取得された画像信号に対し、撮像素子の外部にある撮像用トリガ信号生成装置において、ほぼリアルタイムで各種信号処理を行うのに好適である。
上述したような撮像素子を用いた高速撮影装置では、高速度で撮影した画像を記録可能なフレーム数が限られている。そのため、観察対象とする特定現象の生起タイミングに同期した画像の記録制御を行うことが重要であり、トリガ信号が与えられるとそれに応じて画像の記録を開始したり終了したりする制御が行われている。このようなトリガ信号を生成して撮影装置に与えるために、接触センサ、位置センサ、振動センサ、圧力センサといったセンサを用い、観察対象物の物理的変化から特定現象の生起を検知することが一般に行われている。
しかしながら、こうしたセンサを観察対象物に近付けたり装着したりすることが困難である場合や、そもそも上記のようなセンサで検知可能な変化が起こらない場合には、こうしたトリガ信号生成方法は利用することができない。また、撮影対象物毎にセンサの種類を変更したりセンサを装着し直したりする必要がある場合があり、撮影時に手間が掛かり面倒であるという問題もある。またセンサを装着したことで測定系へ悪影響を及ぼす場合があり、センサを装着しない場合とで観察したい現象の状態が変わるおそれもある。
一方、上記のような物理的変化を検知するセンサを用いる代わりに、被写体の撮影画像に対しリアルタイムの画像処理を行うことで、その被写体に起こる特定現象を検知しトリガ信号を生成するトリガ信号生成装置も提案されている。例えば特許文献１、非特許文献２には、撮影した画像中に設定された監視領域中の平均輝度値を用いて特定現象の生起を検知し、トリガ信号を発生する手法が開示されている。
しかしながら、上記のような平均輝度値の変化を用いた方法でも次のような問題がある。即ち、密集した泡が破裂するなど、画像中の不特定位置で発生する現象を検知したい場合に、監視対象の領域の大きさに比べて変化が起こる領域はかなり狭い範囲であるため、平均輝度値には大きな変化が生じにくく正確な検知が行われにくい。また、或る物体が移動しているような画像に対し特定の現象の生起を検知しようとしても、その移動と特定現象の生起とを区別することは困難であるため、正確な検知がなされない。さらにまた、引張り試験による試料の破断のような事例では、破断が生じる前に試料の変形が起こるため、この変形と破断とを区別することが難しい。そのため、トリガ信号が必ずしも適切なタイミングで発生せず、目的とする現象を確実に且つ安定的に捉えることができない。
もちろん、複雑で高度な画像処理を行うことにより、目的とする現象発生の検知の精度や発生タイミングの適切性を向上させることは可能である。しかしながら、リアルタイムでの検知には処理の高速性も要求されるため、膨大な計算量を必要とする複雑な処理は採用できないという制約もある。
近藤ほか５名、「高速度ビデオカメラHyperVision HPV-1の開発」、島津評論、島津評論編集部、２００５年９月３０日発行、第６２巻、第１・２号、ｐ．７９－８６
初木ほか３名、「超高速ビデオカメラ用画像トリガーの開発」、社団法人映像情報メディア学会、２００３年映像情報メディア学会年次大会講演予稿集
本発明は上記課題に鑑みて成されたものであり、その目的とするところは、観察対象である特定の現象の生起が画像中で局所的に発生した場合でも、それを正確に捉えてトリガ信号を発生することができるトリガ信号生成方法及び装置を提供することにある。
また、本発明の別の目的は、観察対象である現象の発生と、それとは異なる物体の移動や変形等の連続的な変化とを区別し、前者に応じてトリガ信号を生成することができるトリガ信号生成方法及び装置を提供することにある。
また本発明のさらに別の目的は、リアルタイム性を損なわないために、比較的少ない計算量の処理によって適切なタイミングでトリガ信号を生成することができるトリガ信号生成方法及び装置を提供することにある。
上記課題を解決するために成された本発明に係る撮像用トリガ信号生成方法は、撮像により順次得られる画像に基づいて記録制御のためのトリガ信号を生成する撮像用トリガ信号生成方法であって、
a)新たに得られた画像と過去の画像とについて、画像全体又はその中の一部の領域の画素を用いフレーム間相関値を求める相関値算出ステップと、
b)前記フレーム間相関値の時間的な変化量を判定することにより特定の現象の生起を検知しトリガ信号を発生する相関値判定ステップと、
を有することを特徴としている。
a)新たに得られた画像と過去の画像とについて、画像全体又はその中の一部の領域の画素を用いフレーム間相関値を求める相関値算出ステップと、
b)前記フレーム間相関値の時間的な変化量を判定することにより特定の現象の生起を検知しトリガ信号を発生する相関値判定ステップと、
を有することを特徴としている。
また本発明に係る撮像用トリガ信号生成装置は、上記の撮像用トリガ信号方法を具現化するための装置であり、撮像により順次得られる画像に基づいて記録制御のためのトリガ信号を生成する撮像用トリガ信号生成装置であって、
a)新たに得られた画像と過去の画像とについて、画像全体又はその中の一部の領域の画素を用いフレーム間相関値を求める相関値算出手段と、
b)前記フレーム間相関値の時間的な変化量を判定することにより特定の現象の生起を検知しトリガ信号を発生する相関値判定手段と、
を備えることを特徴としている。
a)新たに得られた画像と過去の画像とについて、画像全体又はその中の一部の領域の画素を用いフレーム間相関値を求める相関値算出手段と、
b)前記フレーム間相関値の時間的な変化量を判定することにより特定の現象の生起を検知しトリガ信号を発生する相関値判定手段と、
を備えることを特徴としている。
上記相関値判定ステップ（相関値判定手段）では、例えば、新たな画像が得られる毎に、つまり１フレーム毎に、その最新の画像を反映したフレーム間相関値と１フレーム前に求めたフレーム間相関値との差分を計算し、その差分が閾値以上であるか否かを判定して、フレーム間相関値の差分が閾値以上であるときに目的とする特定の現象が生起したと判断してトリガ信号を発生するようにすることができる。
また、フレーム間相関値を計算するための過去の画像は、典型的には１フレーム前の画像とするが、必ずしも１フレーム前でなくてもそれ以上前の画像でもよい。
フレーム間の相関値は、一般に、画像中の物体の動き検出や圧縮符号化などに利用されるものであり、例えば簡易的には、対応する画素の値の差分の二乗和などにより求まる。もちろん、より厳密に相関値を求める計算式も従来知られているが、いずれにしても、フレーム間相関値には、２枚の画像（フレーム）又は各画像中の所定領域の中で対応する画素の値の差異がほぼ二乗されて反映される。そのため、従来技術で用いられていた平均輝度値などに比べて、２枚の画像中の対応する画素やそれに準じた小領域における値の小さな変化が相対的に大きく反映される。それ故に、本発明に係る撮像用トリガ信号生成方法及び装置では、画像中の一部領域で局所的に生じる現象も容易に検知することができ、確実にトリガ信号を生成することができる。
また、本発明に係る撮像用トリガ信号生成方法の一態様として、撮像により得られた画像に対しスムージング処理を行う前処理ステップをさらに有し、スムージング処理された画像の全体又はその中の一部の領域の画素を用いてフレーム間相関値を求めるようにすることが好ましい。
ここで言うスムージング処理とは、或る１つの画素について、該画素の値と同一画像内で近接する複数の画素の値とに対し、平均化（又は平滑化、平坦化）フィルタリング処理を行うものである。こうしたスムージング処理によって画像中の物体のエッジはぼける（つまり或る画素の画素値の影響がその周囲の画素に拡がる）ことになる。そのため、例えば物体の移動や変形等の連続的な変化ではその変化が生じているフレーム間の相関性が高まるのに対し、突発的な変化ではその変化の前後のフレーム間相関性に影響が殆どない。したがって、スムージング処理を行うことにより、連続的な変化と突発的な変化とではフレーム間相関値の変化の速さに相違が生じるようになる。それにより、物体の移動や変形などの連続的な変化を伴う現象と観察したい突発的な現象の生起とを区別し、後者に対しトリガ信号を生成することが可能となる。
また、本発明に係る撮像用トリガ信号生成方法の一態様として、画像全体又はその中の一部の領域について一次元方向に配列された複数の画素の画素値を積算して投影像を作成する投影像作成ステップをさらに有し、その投影像を用いてフレーム相関値を求めるようにすることが好ましい。
一次元方向とは例えば画像の水平方向又は垂直方向とすることができる。特に観察対象の現象の発生に方向性がある場合には、その方向性に応じた方向の投影像を用いると、観察対象の現象が生起したときにフレーム間相関値の変化がより明瞭に現れる。それにより、トリガ信号生成の確実性や安定性が増す。また、画素値を積算して投影像を作成する際に、ノイズの影響が軽減される。そのため、フレーム間相関値にノイズの影響が現れにくく、誤ったトリガ信号の発生などを防止するのに有効である。また、投影像は元の画像（又は画像中の一部領域）よりも情報量が大幅に減るので、フレーム間相関値を計算する際の計算量も減り、トリガ信号生成のための処理時間を短縮することができる。それにより、観察対象である特定現象が発生してからトリガ信号が出力されるまでの時間遅れを短縮することができる。また、トリガ信号を生成するための処理対象の画像のフレームレートを上げることにより、トリガ信号生成のリアルタイム性を一層向上させることができる。
本発明に係る撮像用トリガ信号生成方法及び装置によれば、従来の画像処理による特定現象の生起の検知手法に比べて、画像中のごく一部に局所的に発生する現象を確実に検知することが可能となる。それにより、例えば密集した泡の破裂など、従来は記録することが難しかった現象の高速撮影が安定的に行える。
また、スムージング処理を採用した本発明に係る撮像用トリガ信号生成方法及び装置によれば、観察対象である特定現象の突発的な発生を、物体の移動や変形などの観察対象ではない連続的な変化とは区別して検知することができるので、連続的な変化が生じている被写体に起こる特定現象の生起に対しても確実にトリガ信号を生成することができる。
また、一定方向に画素値を積算して作成した投影像を用いてフレーム間相関値を求めるようにすれば、トリガ信号を生成するために必要な計算量が減り、トリガ信号の生成の時間遅れが短縮されるとともに、画像処理のために利用する画像取得のフレームレートを上げることもできる。さらにまた、ランダムノイズやスパイクノイズなどの影響を軽減して、トリガ信号の生成の確実性や安定性を増すことができる。
本発明に係るトリガ信号生成方法及び装置を用いた高速撮影装置の一実施例について、図面を参照して詳細に説明する。図１は本実施例による高速撮影装置の要部の構成図、図２は本実施例の高速撮影装置の動作説明のための概略タイミング図、図３は本実施例の高速撮影装置におけるトリガ信号生成処理のフローチャート、図４は本実施例の高速撮影装置で用いられている撮像素子（高速撮影用ＣＣＤイメージセンサ）の原理構成図、図５は図４に示した撮像素子で実行可能である連続読み出しモードとバースト読み出しモードの概略タイムチャート、である。
本実施例による高速撮影装置１は、撮影対象である被写体から到来する入射光を集光する撮像レンズ１０と、光学像を電気信号に変換する撮像素子１３と、撮影された電気信号（画素信号）をデジタル値に変換するＡ／Ｄ変換器１４と、画像データを処理する画像処理部１５と、処理された画像データを保存する記憶部１６と、画像データを用いてトリガ信号を生成するトリガ信号生成部１７と、撮影を実行するために各部を制御するべく種々の制御信号やクロック信号を供給するタイミング制御部１８と、撮影者により操作される操作部１９と、撮像素子１３に入射する光を遮蔽するシャッタ駆動部１２により駆動されるシャッタ１１と、を備える。画像処理部１５で処理された又は記憶部１６に記憶された画像データはこの高速撮影装置１から出力され、モニタ２により再生される。タイミング制御部１８はＣＰＵや制御プログラムを格納したＲＯＭなどのほか、撮像素子１３などを動作させるのに必要な各種のクロック信号を生成する回路を含む。
撮像素子１３は前述した特許文献３、４などに開示されている高速撮像用のＣＭＯＳイメージセンサであり、基本的な構成として、光電変換部１３１、蓄積用メモリ部１３２、読出しレジスタ１３３、を含む。このＣＭＯＳイメージセンサの構成と動作を簡単に説明する。
図４に概略的に示すように、光電変換部１３１は、二次元アレイ状に配列されたフォトダイオード１３ａと、各フォトダイオード１３ａで光電変換により生成された光電荷信号を電圧信号に変換するフローティングディフュージョンアンプ１３ｂとを含み、蓄積用メモリ部１３２は、各フローティングディフュージョンアンプ１３ｂから出力される画素信号を所定フレーム数ｎ（ここでは一例としてｎ＝１００とする）分蓄積するべく、フォトダイオード１３ａ毎に並列に複数設けられたメモリ素子１３ｃを含み、読出しレジスタ１３３は、蓄積用メモリ部１３２の各メモリ素子１３ｃに保持されている画素信号を順次読み出す機能を有する。
この撮像素子１３では、１個のフォトダイオード１３ａ及びフローティングディフュージョンアンプ１３ｂに対し複数のメモリ素子１３ｃが並列に設けられ、しかもそれらメモリ素子１３ｃは独立に読出しレジスタ１３３に信号を吐き出すことができる構成となっている。そのため、図５に示した２つの異なるモードでの動作が可能である。
図５（ａ）に示した連続読み出しモードでは、全画素のフォトダイオード１３ａ及びフローティングディフュージョンアンプ１３ｂにて１フレーム分の光電荷蓄積を実行した後に、全画素一斉に蓄積用メモリ部１３２のメモリ素子１３ｃに信号電荷を転送して保持させる。そして、引き続いて、直前にメモリ素子１３ｃに保持した１フレームの画素信号を読出しレジスタ１３３により順番に読み出し、撮像素子１３の外部へと出力する。蓄積用メモリ部１３２から画素信号の逐次読み出しを行っているときに、光電変換部１３１では光電荷の蓄積が可能である。したがって、連続的に撮影を繰り返し行うことができ、撮影した画像信号がほぼリアルタイムで撮像素子１３から出力される。
一方、図５（ｂ）に示したバースト読み出しモードでは、撮像素子１３の外部への画素信号の読み出しを行うことなしに、各画素において１フレーム分の光電荷蓄積を実行した後に、全画素一斉に蓄積用メモリ部１３２のメモリ素子１３ｃに信号電荷を転送して保持させる、という動作を繰り返す。このとき、１フレームずつ順番に、ｎフレーム分用意されたメモリ素子１３ｃに順番に信号を振り分ける。その後に、そのｎフレーム数分の画素信号を読出しレジスタ１３３により逐次的に読み出して撮像素子１３の外部へと出力する。このバースト読み出しモードでは撮影中に外部への信号読み出しを行わないため、信号読み出しのための速度の制約は受けず、非常に短いサイクルでの連続撮影が可能である。
次に、本実施例による高速撮影装置１の特徴的な動作であるトリガ信号生成部１７を中心とする撮影動作を説明する。撮影者はまず操作部１９から、高速撮影時の速度（フレームレート）などの撮影条件を設定する。設定可能な最も速いフレームレートは１Mfps（１００万コマ／秒）以上であり、通常の撮影装置に比べると遙かに高速である。上記の基本的な撮影条件設定が終わると、撮影者は操作部１９により撮影待機指示を与える。タイミング制御部１８はこの指示を受けて、シャッタ１１を開放するようにシャッタ駆動部１２を制御し、撮像素子１３及び画像処理部１５に対し低速撮影の実行を指示する。
低速撮影モードでは、撮像素子１３は上述した連続読み出しモードで駆動され、被写体から到来する入射光に応じて光電変換部１３１で生成された１フレーム分の画素信号が、蓄積用メモリ部１３２のメモリ素子１３ｃに保持された後に直ちに読出しレジスタ１３３により撮像素子１３から読み出される。即ち、１フレーム分の画素信号が得られる毎に、その画素信号が全て撮像素子１３から読み出されてＡ／Ｄ変換器１４を経て画像処理部１５へと入力され、画像処理部１５で処理された画像がモニタ２に表示される。そのため、表示される画像は時間遅れの殆どない、実質的にリアルタイムとみなせるものである。撮影者はモニタ２上の表示画像を見ながら、トリガ信号発生のための現象生起の監視領域を任意の位置に任意の大きさで設定することができる。もちろん、画像全体を監視領域として設定してもよい。
上記監視領域が設定されると、トリガ信号生成部１７は画像データに基づいて、図３に示すようなトリガ信号生成処理を開始する。いま、ここでは、処理開始から或る程度の時間が経過して、後述するフレーム番号Ｎ’（Ｎ’＜Ｎ）の投影像と１フレーム前のフレーム間相関値が既に内部の一時メモリに保存されている状況を想定する。
連続読み出しモードで駆動される撮像素子１３からフレーム番号Ｎの画像データが得られると（ステップＳ１）、トリガ信号生成部１７では、まず、平均化フィルタによるスムージング処理が実行される（ステップＳ２）。
スムージング処理は、画像中の或る位置の画素値を、その画素値とその周囲に隣接する複数の画素を含めた複数の画素値の平均値（単純平均でなく適宜の重み付け平均が好ましい）で置き換えるものである。一般的に、スムージング処理を行うと画像中の物体の輪郭などのエッジがぼやけることになる。スムージング処理を行う理由については後述する。なお、スムージング処理のための画素範囲や平均化のパラメータなどは、例えば目的現象の生起とみなされない物体の移動速度の許容値などに応じて予め適宜に決めておくのがよい。
次にトリガ信号生成部１７では、上記のスムージング処理済みの画像に対し、フレーム間相関値を計算するための相関値計算用投影像が作成される（ステップＳ３）。後述するフレーム間相関値の計算は各画素単位で行ってもよいが、その場合、画像の画素数にもよるが計算量がかなり多くなる。そこで、ここでは、スムージング処理した後の画像そのものではなく、この画像から、よりデータ量が少ない投影像を作成し、その投影像を用いてフレーム間相関値を算出するようにしている。
例えば、図７に示すように、画像の水平方向に配列された１行（ライン）分の画素値を積算する処理を各行毎に行うことで、Ｐ１のような投影像を作成することができる。また、画像の垂直方向に配列された１列分の画素値を積算する処理を各列毎に行うことで、Ｐ２のような投影像を作成することもできる。いずれか１つの投影像を用いることもできるし、互いに異なる方向に画素値を積算した２つの投影像を用いてもよい。上記のような投影像を作成する際の画素値の積算により、ランダム状のノイズが相殺されたりスパイク状のノイズが抑制されたりする。それによって、目的現象の生起の誤検知を軽減することができる。
特に、引張り試験における試料の破断のような現象は、多くの場合、負荷の方向と同方向に大きな変化が現れる。このように、発生する現象に方向性があり、その方向が既知である場合には、その方向に応じた投影像を利用するとフレーム間相関値の変化が顕著に現れるため、特定現象の検知精度の向上が期待できる。なお、撮像素子１３から各水平ライン単位で画素値が読み出される場合、その読み出しのタイミングに合わせてライン毎に信号値を積算するハードウエアを設けておくことにより、投影像の作成に要する時間を節約することが可能である。この場合には、投影像の移動平均をとることにより、投影方向と直角の動きに対してスムージングをかけることができる。
いまここでは一例として、図７に示すような試料片を上下方向に引張る負荷を加える引張り試験を行う場合を想定する。この場合には、その負荷方向と直交する水平方向に画素値を積算した投影像Ｐ１を用いるとよい。画像全体ではなく、画像中の一部分に監視領域が設定されている場合には、この監視領域に含まれる画素値を用いた投影像を用いればよい。
後述するように現時点でのフレーム番号Ｎの投影像よりも前の（過去の）投影像は内部一時メモリに保存されているため、フレーム番号Ｎ’の投影像を内部一時メモリから読み出し（ステップＳ４）、新たに求めたフレーム番号Ｎの投影像とフレーム番号Ｎ’の投影像とを用いてフレーム間の相関値を計算する（ステップＳ５）。いまここで、Ｎ’＝Ｎ－１であるものとする。即ち、フレーム番号Ｎ’はフレーム番号Ｎよりも１フレーム前であり、図２に示すように、或るフレームの投影像と１フレーム前の投影像とからフレーム間相関値を計算する。
フレーム間の相関値は、例えば２枚の画像の対応する画素毎の差分の二乗和とすることができる。この例では、上述したように元の画像から投影像が作成されているので、フレーム番号Ｎの投影像と１フレーム前の投影像の２枚に対し、対応する水平ラインの積算値の差分の二乗和を求めればよい。フレーム間相関値の算出方法はこれに限らないが、或る画素又はそれに準じる小領域の信号値のフレーム間差分の二乗和に類似した演算が組み込まれる。
上記のスムージング処理の有無によって、フレーム相関値に相違が生じる場合がある。このことを図６を参照して説明する。ここでは、円形状の或る物体が水平方向（右方向）に移動している場合を考える。フレーム番号Ｎ’の画像上とそれよりも後のフレーム番号Ｎの画像上とでは、移動により物体の位置が相違する。スムージング処理を行わない場合、図６（ａ）に示すように、フレーム番号Ｎ’の画像上とフレーム番号Ｎの画像上とでは物体の位置の重なりの面積が相対的に小さい。したがって、この物体に関して言えば、両画像の間の相関は相対的に低い。これに対し、スムージング処理を行うと、前述したように物体の輪郭はぼけ、図６（ｂ）に示すように物体の占める領域が拡がる。そのため、フレーム番号Ｎ’の画像上とフレーム番号Ｎの画像上とでは物体の位置の重なりの面積が相対的に大きくなる。その結果、この物体に関して、両画像の間の相関性が高くなる。
上記のような物体の移動は連続的な変化であり、こうした連続的な変化に対し、スムージング処理を行うことによりフレーム間相関値は相対的に高くなる。一方、高速撮影装置により観察したい現象の多くは突発的に発生するものであり、そうした突発的な変化の前後ではフレーム間の相関性は低い。つまり、スムージング処理を行わないと、フレーム間の相関性が低いという点で、連続的な変化と突発的な変化とを区別することが困難となる場合がある。これに対し、上記のようなスムージング処理を行えば、連続的な変化ではフレーム間の相関性が高くなるため、フレーム間の相関性が低い突発的な変化との区別が容易になる。これが、フレーム間相関値を計算する前にスムージング処理を施す主たる理由である。
ステップＳ５でフレーム間相関値の算出に利用されたフレーム番号Ｎの投影像は内部一時メモリに保存される（ステップＳ６）。これにより、次に新たに取得された画像に対してトリガ信号生成処理を実行する際に、ステップＳ４で読み出すべき投影像が内部一時メモリに用意される（図３中の［１］参照）。次いで、１フレーム前に計算されたフレーム間相関値を内部一時メモリから読み出す（ステップＳ７）。即ち、ステップＳ５においてフレーム番号Ｎの投影像とフレーム番号Ｎ’（＝Ｎ－１）の投影像とからフレーム間相関値が求められた直後には、フレーム番号Ｎ－１の投影像とフレーム番号Ｎ’－１（＝Ｎ－２）の投影像とから既に計算されているフレーム間相関値が、内部一時メモリから読み出される。
そして、トリガ信号生成部１７では、２つのフレーム間相関値の差分が計算され（ステップＳ８）、フレーム番号Ｎの投影像とフレーム番号Ｎ’の投影像とから求められたフレーム間相関値が内部一時メモリに保存される（ステップＳ９）。これにより、次に新たに取得された画像に対してトリガ信号生成処理を実行する際に、ステップＳ７で読み出すべきフレーム間相関値が内部一時メモリに用意される（図３中の［２］参照）。
その後、トリガ信号生成部１７では、ステップＳ８で求めたフレーム間相関値の差分が、予め与えられた判定閾値と比較され（ステップＳ１０）、相関値の差分が判定閾値を超えている場合に、観察対象の特定現象が発生したと判断されてトリガ信号が生成される（ステップＳ１１）。一方、相関値の差分が判定閾値以下である場合には、フレーム番号Ｎ、Ｎ’をそれぞれインクリメントした上で（ステップＳ１２）、ステップＳ１へと戻る。即ち、この場合には、トリガ信号は発生せず、次のフレームの画像が取得されたならば上記のステップＳ１以降の処理を繰り返すことになる。
ステップＳ１１でトリガ信号が発生すると、このトリガ信号はトリガ信号生成部１７からタイミング制御部１８へと入力され、タイミング制御部１８は撮像素子１３をバースト読み出しモードに切り替え、画像処理部１５の動作を高速撮影モードに切り替える（ステップＳ１３）。上述したようにバースト読み出しモードでは、撮像素子１３は、光電変換部１３１で光電変換により取得した１フレーム分の画素信号を、外部に読み出すことなくｎフレーム分だけ蓄積用メモリ部１３２の各メモリ素子１３ｃに順次振り分けながら記憶する。この間、撮像素子１３から画素信号を読み出す必要がないため、非常に速いフレームレートでもって連続撮影を行うことができる。
上記判定閾値は、観察対象の現象の種類や撮影の条件などに応じて適宜に変更することが好ましい。したがって、撮影者が操作部１９から予め閾値を入力設定できるようにしてもよいし、或いは、低速撮影モードで実際に得られた画像に基づいて適応的に判定閾値を決めるようにしてもよい。例えば、観察したい現象が発生するよりも十分に前から低速撮影モードでの撮影を開始し、所定時間内のフレーム間相関値の差分の最大値を求め、この最大値の定数倍を判定閾値に定めるようにすることができる。
図７に示した引張り試験による試料片の破断の事例について、本発明による特定現象（この例では破断）の検知方法と従来技術である輝度値を利用した検知方法との具体的な比較結果を示す。ここでは図８（ａ）に示すように、２つの監視領域Ａ、Ｂを画像中に設定する。図８（ｂ）は試料片が破断する直前の実画像であり、監視領域Ｂは破断を生じる箇所を含んでいることが分かる。
実際に連続的に高速撮影された画像を用いて、監視領域Ａ、Ｂにおける輝度平均値の差分をプロットしたのが図９（ａ）である。図８（ｂ）に示したような破断が実際に起こり始めるのは６３番目のフレームであり、監視領域Ｂでは確かに６３番目のフレーム付近で大きな変化が生じていることが分かる。しかしながら、その変化はあまり急峻ではなく、しかもそれよりも前の３０番目のフレーム付近でも比較的大きな変化が生じているため、いずれの時点を破断の始まりとするかの判断は困難である。このような変化の態様は、破断が起こる以前の試料片の変形が輝度平均値の差分に現れているためであると推測できる。
これに対し、実際に連続的に高速撮影された画像を用いて、監視領域Ａ、Ｂにおけるフレーム間相関値の差分をプロットしたのが図９（ｂ）である。破断が起こり始める６３番目のフレーム付近の前後で急峻な変化が生じており、破断が起こる以前には目立った変化はみられないことが分かる。これは、従来技術とは異なり、破断が起こる以前の試料片の変形の影響が除去されているためであると考えられる。これにより、本発明における特定現象（この例では破断）の検知方法では、フレーム間相関値の差分を適切な判定閾値と比較することにより、破断の開始時点を的確に捉えることができることが分かる。
以上説明した事例から、本発明に係るトリガ信号生成方法及び装置によれば、観察対象の現象が起こるよりも前に被写体に変形等の連続的な変化が生じる場合であっても、この連続的な変化と破断などの突発的な変化とを明確に区別し、突発的な特定現象の生起に対応した適切なタイミングでトリガ信号を発生することができることが分かる。それにより、そうした観察対象の現象を捉えた高速撮影が可能となる。
特に、上記実施例のように、撮影した画像を構成する信号をほぼリアルタイムで連続的に外部に出力可能な撮像素子１３を用いた高速撮影装置においては、トリガ信号生成部１７が画像信号を受けてほぼリアルタイムに、つまり殆ど時間遅れなくトリガ信号生成処理演算を実行することができる。そのため、トリガ信号を発生させるべき変化が被写体に生起したときに、速やかに且つ確実にトリガ信号を発生させ、目的とする現象を逃すことなく高速撮影することができるという利点がある。
もちろん、撮像素子１３は上記実施例で説明した高速撮影用ＣＭＯＳイメージセンサに限るものではなく、例えば前述した画素周辺記録型撮像素子（ＩＳ－ＣＣＤ）でもよい。但し、従来の一般的なＩＳ－ＣＣＤでは、フォトダイオード等で生成された電気信号は所定フレーム数分の蓄積用ＣＣＤを順送りされたあとに読み出される構成となっているため、その順送りを高速に実行したとしても、出力される画像信号のリアルタイム性という点では上記ＣＭＯＳイメージセンサに比較すると不利である。したがって、こうした撮像素子を用いた高速撮影装置では、被写体における特徴的な現象の発現から高速撮影の実行開始までの時間遅れを考慮し、その時間遅れが問題とならない用途や目的に使用することが好ましい。
なお、上記実施例は本発明の一例であり、本発明の趣旨の範囲で適宜修正、変形、追加を行っても本願請求の範囲に包含されることは当然である。
１…高速撮影装置
１０…撮像レンズ
１１…シャッタ
１２…シャッタ駆動部
１３…撮像素子
１３１…光電変換部
１３ａ…フォトダイオード
１３ｂ…フローティングディフュージョンアンプ
１３２…蓄積用メモリ部
１３ｃ…メモリ素子
１３３…読出しレジスタ
１４…Ａ／Ｄ変換器
１５…画像処理部
１６…記憶部
１７…トリガ信号生成部
１８…タイミング制御部
１９…操作部
２…モニタ
１０…撮像レンズ
１１…シャッタ
１２…シャッタ駆動部
１３…撮像素子
１３１…光電変換部
１３ａ…フォトダイオード
１３ｂ…フローティングディフュージョンアンプ
１３２…蓄積用メモリ部
１３ｃ…メモリ素子
１３３…読出しレジスタ
１４…Ａ／Ｄ変換器
１５…画像処理部
１６…記憶部
１７…トリガ信号生成部
１８…タイミング制御部
１９…操作部
２…モニタ
Claims (6)
- 撮像により順次得られる画像に基づいて記録制御のためのトリガ信号を生成する撮像用トリガ信号生成方法であって、
a)新たに得られた画像と過去の画像とについて、画像全体又はその中の一部の領域の画素を用いフレーム間相関値を求める相関値算出ステップと、
b)前記フレーム間相関値の時間的な変化量を判定することにより特定の現象の生起を検知しトリガ信号を発生する相関値判定ステップと、
を有することを特徴とする撮像用トリガ信号生成方法。 - 請求項１に記載の撮像用トリガ信号生成方法であって、
撮像により得られた画像に対しスムージング処理を行う前処理ステップをさらに有し、スムージング処理された画像の全体又はその中の一部の領域の画素を用いてフレーム間相関値を求めることを特徴とする撮像用トリガ信号生成方法。 - 請求項１又は２に記載の撮像用トリガ信号生成方法であって、
画像全体又はその中の一部の領域について一次元方向に配列された複数の画素の画素値を積算して投影像を作成する投影像作成ステップをさらに有し、その投影像を用いてフレーム相関値を求めることを特徴とする撮像用トリガ信号生成方法。 - 撮像により順次得られる画像に基づいて記録制御のためのトリガ信号を生成する撮像用トリガ信号生成装置であって、
a)新たに得られた画像と過去の画像とについて、画像全体又はその中の一部の領域の画素を用いフレーム間相関値を求める相関値算出手段と、
b)前記フレーム間相関値の時間的な変化量を判定することにより特定の現象の生起を検知しトリガ信号を発生する相関値判定手段と、
を備えることを特徴とする撮像用トリガ信号生成装置。 - 請求項４に記載の撮像用トリガ信号生成装置であって、
撮像により得られた画像に対しスムージング処理を行うスムージング処理手段をさらに備え、前記相関値算出手段はスムージング処理された画像の全体又はその中の一部の領域の画素を用いてフレーム間相関値を求めることを特徴とする撮像用トリガ信号生成装置。 - 請求項４又は５に記載の撮像用トリガ信号生成装置であって、
画像全体又はその中の一部の領域について一次元方向に配列された複数の画素の画素値を積算して投影像を作成する投影像作成手段をさらに備え、前記相関値算出手段は、前記投影像を用いてフレーム相関値を求めることを特徴とする撮像用トリガ信号生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2010/052771 WO2011104819A1 (ja) | 2010-02-23 | 2010-02-23 | 撮像用トリガ信号生成方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2010/052771 WO2011104819A1 (ja) | 2010-02-23 | 2010-02-23 | 撮像用トリガ信号生成方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2011104819A1 true WO2011104819A1 (ja) | 2011-09-01 |
Family
ID=44506266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2010/052771 WO2011104819A1 (ja) | 2010-02-23 | 2010-02-23 | 撮像用トリガ信号生成方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2011104819A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111387966A (zh) * | 2020-03-20 | 2020-07-10 | 中国科学院深圳先进技术研究院 | 信号波重构方法及心率变异性信息的检测设备 |
| CN114175611A (zh) * | 2019-07-24 | 2022-03-11 | 索尼集团公司 | 成像设备和成像方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03138595A (ja) * | 1989-10-25 | 1991-06-12 | Ikegami Tsushinki Co Ltd | 監視システム |
| JPH08265633A (ja) * | 1995-03-20 | 1996-10-11 | Sharp Corp | 画面移動検出装置および映像記録装置 |
| JP2005143052A (ja) * | 2003-11-10 | 2005-06-02 | Victor Co Of Japan Ltd | 背景画像変化検出機能を有する監視装置 |
| JP2008244550A (ja) * | 2007-03-26 | 2008-10-09 | Mitsubishi Electric Corp | 遠隔監視装置 |
-
2010
- 2010-02-23 WO PCT/JP2010/052771 patent/WO2011104819A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03138595A (ja) * | 1989-10-25 | 1991-06-12 | Ikegami Tsushinki Co Ltd | 監視システム |
| JPH08265633A (ja) * | 1995-03-20 | 1996-10-11 | Sharp Corp | 画面移動検出装置および映像記録装置 |
| JP2005143052A (ja) * | 2003-11-10 | 2005-06-02 | Victor Co Of Japan Ltd | 背景画像変化検出機能を有する監視装置 |
| JP2008244550A (ja) * | 2007-03-26 | 2008-10-09 | Mitsubishi Electric Corp | 遠隔監視装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114175611A (zh) * | 2019-07-24 | 2022-03-11 | 索尼集团公司 | 成像设备和成像方法 |
| EP3993393A4 (en) * | 2019-07-24 | 2022-08-24 | Sony Group Corporation | IMAGE CAPTURE DEVICE AND IMAGE CAPTURE METHOD |
| US11895407B2 (en) | 2019-07-24 | 2024-02-06 | Sony Group Corporation | Imaging device and imaging method |
| CN111387966A (zh) * | 2020-03-20 | 2020-07-10 | 中国科学院深圳先进技术研究院 | 信号波重构方法及心率变异性信息的检测设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6220225B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体 | |
| JP2007300595A (ja) | 静止画像撮影の手ブレ回避方法 | |
| JP2006245784A (ja) | 固体撮像装置及びその駆動方法並びに撮像システム | |
| JP5484617B2 (ja) | 撮像装置 | |
| EP1892952A2 (en) | Electronic camera | |
| JP5279638B2 (ja) | 撮像装置 | |
| JP2009284136A (ja) | 電子カメラ | |
| US8928799B2 (en) | Imaging device and imaging method to perform autofocus operation to a subject | |
| JP5387341B2 (ja) | 撮像装置 | |
| WO2011104819A1 (ja) | 撮像用トリガ信号生成方法及び装置 | |
| JP2006245815A (ja) | 撮像装置 | |
| JP2004309739A (ja) | 焦点検出装置 | |
| JP5629533B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
| US9661204B2 (en) | Image capturing apparatus and control method thereof | |
| JP5263023B2 (ja) | 撮像装置 | |
| CN111131667B (zh) | 进行闪烁检测的摄像设备及其控制方法和存储介质 | |
| JP2010016469A (ja) | 電子カメラ | |
| JP2006243745A (ja) | 自動焦点検出装置 | |
| JP2014207641A (ja) | トリガ信号生成機能を持つ高速度撮像素子 | |
| JP2008005273A (ja) | トリガ信号出力装置 | |
| JP2008219712A (ja) | カメラ | |
| JP2004336108A (ja) | 撮像装置 | |
| JP6278688B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| JP2009200982A (ja) | 高速撮像装置 | |
| JP2013072988A (ja) | 複眼カメラおよびこれを用いた連続自動合焦制御方法、制御プログラム、可読記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10846486 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 10846486 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |