WO2019016994A1 - 画像処理装置及び方法、並びに、プログラム - Google Patents

画像処理装置及び方法、並びに、プログラム Download PDF

Info

Publication number
WO2019016994A1
WO2019016994A1 PCT/JP2018/006808 JP2018006808W WO2019016994A1 WO 2019016994 A1 WO2019016994 A1 WO 2019016994A1 JP 2018006808 W JP2018006808 W JP 2018006808W WO 2019016994 A1 WO2019016994 A1 WO 2019016994A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
correlation function
scattering
image processing
target
Prior art date
Application number
PCT/JP2018/006808
Other languages
English (en)
French (fr)
Inventor
修 廣田
Original Assignee
学校法人玉川学園
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2017/037843 external-priority patent/WO2019016968A1/ja
Application filed by 学校法人玉川学園 filed Critical 学校法人玉川学園
Priority to US16/632,839 priority Critical patent/US10718868B2/en
Priority to JP2018529188A priority patent/JP6412673B1/ja
Publication of WO2019016994A1 publication Critical patent/WO2019016994A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the present invention relates to an image processing apparatus and method, and a program.
  • Patent Document 1 it is difficult to detect an obstacle in an environment with bad weather, particularly in an environment where scattering phenomena such as fog occur, in order to ensure the accuracy required for realizing "automatic driving". there were.
  • the present invention has been made in view of such a situation, and an object thereof is to realize detection of an obstacle with high accuracy even in a bad weather environment, particularly in an environment where a scattering phenomenon such as fog occurs. .
  • an image processing apparatus for calculating a cross-correlation function of the reflected light from the target due to the signal light split from the light source and the reference light split from the light source;
  • Propagation path characteristic estimating means for estimating scattering characteristics of propagation paths of the signal light and the reflected light;
  • Correction means for executing a predetermined correction process on the cross correlation function calculated by the correlation function calculation means based on the scattering property estimated by the propagation path property estimation means; Equipped with
  • the present invention it is possible to realize detection of an obstacle with high accuracy even in a bad weather environment, particularly in an environment where a scattering phenomenon such as fog occurs.
  • FIG. 5 is a flowchart illustrating an example of the flow of image output processing performed by the image processing apparatus of FIG. 2;
  • FIG. 5 is a flowchart illustrating an example of a detailed flow of target signal processing in the image output processing of FIG. 4;
  • FIG. 5 is a flowchart illustrating an example of the flow of estimation processing in the image output processing of FIG. 4;
  • FIG. It is a block diagram showing an example of composition of an image processing device concerning a 2nd embodiment.
  • ghost imaging which is a technique resistant to the gentle turbulence effect of the atmosphere, is adopted in the embodiment of the present invention.
  • light from a light source is divided into two, and light emitted to a target (obstacle) and light used as a reference not irradiated to a target (hereinafter referred to as “reference light”) are mutually different. It is a technique for acquiring an image of a target by calculating a correlation function.
  • Non-Patent Document 1 J. H. Shapiro and R. W. Boyd, "The physics of ghost imaging,” Quanatum Information Processing, vol-11, p494, (2012).
  • Ghost imaging is a type of technology that enables a two-dimensional image of a target to be reproduced from a single pixel even when reflected light from the target is detected by a single pixel (single pixel) detector.
  • the light from the light source is split into two, but the two lights are correlated. That is, the light directed to the target among the two divided lights is called “signal light”.
  • the other light does not go to the target and is called “reference light” as described above.
  • Signal light is reflected by the target to become reflected light and is detected by a single pixel detector.
  • the reference light is not directed to the target, but is irradiated to a charge coupled device (CCD) element located in a place unrelated to the target.
  • CCD charge coupled device
  • the shape of the two-dimensional reflection coefficient of the target is the image information (image information) of the target, a mechanism for reproducing the image information is required. Therefore, based on the signal current of the reflected light collectively received by the single pixel detector and the two-dimensional output current of the reference light received by the CCD element, a two-dimensional cross correlation between the two currents The function is calculated.
  • the two-dimensional shape of the cross correlation function matches the shape of the two-dimensional reflection coefficient of the target, and the image information of the target is reproduced.
  • ghost imaging is an epoch-making device that can reproduce image information even when light carrying two-dimensional information is received by a single-pixel light receiver (detector) that does not have spatial resolution capability. It is one of the technologies.
  • basic image processing technology which is a basic technology of the embodiment of the present invention, will be briefly described below with reference to FIG. Go.
  • a light source L transmits quantum entangled light or pseudothermal light.
  • the receiver R receives the reflected light from the target T for the signal light from the light source L.
  • the receiver R is configured to include, for example, a CCD camera K, a single pixel photodetector S, and a correlation computer C in the example of FIG.
  • a single pixel photodetector S collectively receives the energy of the reflected light.
  • the correlation computer C calculates the cross-correlation function of the output of the single pixel photodetector S and the two-dimensional output of the CCD camera K of the reference light. Thereby, the cross correlation function appears as an image of the subject.
  • the light signal (reflected light) carrying the image information of the target T is received by the single pixel photodetector S, the light signal is subjected to disturbance in a two-dimensional space. However, it has a feature that its influence is suppressed to some extent.
  • the basic image processing technology by ghost imaging is a technology that is less susceptible to disturbances in the light propagation path (light source L, target T).
  • this technique is useful under mild atmospheric turbulence, it is not necessarily useful for scattering phenomena such as fog.
  • Non-Patent Document 2 For example, if the static turbulence theory of Non-Patent Document 2 is generalized as a dynamic theory, it is estimated that no improvement in the image quality deterioration is expected even by the correction. That is, under the above environment, the propagation path model to be premised changes randomly, so it is difficult to appropriately correct the image information acquired by the CCD camera.
  • Non-patent document 2 A. Ishimaru, "Wave performing and scattering in random media", IEEE Press, (1997).
  • Non-patent document 3 Osamu Kuwata and Masayoshi Soma, "Effects of quantum and classical radar cameras for automatic driving and fog," 40th Information Theory and its Applications Sympium, 2017.
  • a correlation function image sensor (correlation computer C) using ghost imaging is resistant to the turbulence effect (continuous fluctuation of refractive index) of the atmosphere in the light propagation path, and such a gradual There is no need for correction for disturbances.
  • turbulence effect continuous fluctuation of refractive index
  • the image quality deterioration similar to that of a normal CCD camera occurs.
  • an appropriate correction for preventing deterioration of the image quality due to the scattering phenomenon is required.
  • an image processing apparatus capable of solving such a problem is an image processing apparatus to which the present invention is applied. That is, the image processing apparatus to which the present invention is applied prevents deterioration of the image quality due to the influence of the scattering phenomenon and acquires an appropriate image even when the scattering phenomenon due to fog or rain occurs in the light propagation path. can do.
  • an image processing apparatus to which the present invention is applied has a correlation function calculation function, a propagation path characteristic estimation function, and a correction function.
  • the correlation function calculation function is a function to calculate a cross correlation function of the reflected light from the target by the signal light split from the light source and the reference light split from the light source.
  • the propagation path characteristic estimation function is a function of estimating the scattering characteristic of the propagation path of the signal light and the reflected light.
  • the correction function is a function of executing a predetermined correction process on the cross correlation function calculated by the correlation function calculation function based on the scattering characteristic estimated by the propagation path characteristic estimation function. is there.
  • two embodiments of the image processing apparatus to which the present invention is applied will be individually described in that order as the first embodiment and the second embodiment. That is, as an image processing apparatus to which the present invention is applied, an image processing apparatus 11a (FIG. 2 etc.) in the first embodiment and an image processing apparatus 11b (FIG. 7) in the second embodiment will be described.
  • FIG. 2 is a block diagram showing an example of the configuration of the image processing apparatus 11a according to the first embodiment of the present invention.
  • the image processing apparatus 11 a is configured to include a target signal processing unit 51, an estimation unit 52, a correction processing unit 53, and a monitor 54.
  • the target signal processing unit 51 functions as a correlation function image sensor using a ghost imaging phenomenon, and includes a light source unit 201, a light demultiplexing unit 202, and a receiving unit 203.
  • the receiving unit 203 includes a light detecting unit 221, a light receiving element unit 222, and a correlation function calculating unit 223.
  • the light source unit 201 generates and emits pseudo thermal light, for example.
  • the light demultiplexing unit 202 is configured, for example, as a half mirror, and divides the pseudo thermal light emitted from the light source unit 201 into two and outputs them. Among the light divided and output by the light demultiplexing unit 202, one light is signal light emitted toward the target T, and the other light is reference light.
  • the signal light and the reference light split into two from the light source unit 201 which is a pseudo thermal light source, have a correlation of fluctuation of classical light (pseudo thermal light).
  • the signal light is emitted toward the target T and then reflected from the target T as a reflected light, and the total energy of the reflected light is collectively detected by the light detection unit 221.
  • the light detection unit 221 is configured, for example, as a single pixel light detector.
  • the reference light is received by the light receiving element unit 222.
  • the light receiving element unit 222 is configured as, for example, a CCD element.
  • the correlation function calculation unit 223 calculates the cross correlation function of the total energy of the reflected light detected by the light detection unit 221 and the reference light received by the light reception element unit 222, and outputs the calculated cross correlation function to the correction processing unit 53. .
  • the estimation unit 52 estimates the scattering characteristic of the propagation path, and outputs the result to the correction processing unit 53.
  • the scattering characteristics of the propagation path mean, for example, a transfer function representing deterioration in image reproduction under an environment where a scattering phenomenon occurs, such as fog. That is, in the above-described image processing technology using ghost imaging, the cross-correlation function as an image output is averaged by the transfer function, and distortion occurs in the final image. If the exact shape of the transfer function relating to the degradation of the image is known, an appropriate correction can be performed by inverse function processing such as, for example, a Wiener filter.
  • the existing image processing technology and the correction technology executed by the correction processing unit 53 will be briefly described.
  • the transfer function associated with image degradation is known and invariant in the space of the image representation.
  • the transfer function is required to be spatially uniform.
  • the inventors newly add a mechanism to estimate the scattering characteristics of the propagation path for each frame as the auxiliary function, for each frame as described above. Even under circumstances where the transfer function changes randomly depending on space-time, such as fog, etc., it is realized that the image of the target is properly acquired.
  • the spatiotemporal dependent generalized scattering transfer function refers to the effects of atmospheric turbulence and dynamic fog scattering on signal light and reflected light, as shown in Equation 25 of Non-Patent Document 3.
  • This is a mathematical formula when it is modeled in a unified manner as a channel model of propagation path input / output.
  • the scattering phenomenon is discrete, and the mathematical system of the continuum like atmospheric turbulence can not be applied, but the discovery of the smoothing phenomenon of the dielectric constant by the external force on the scattering medium It is derived from the theoretical integration of atmospheric turbulence and scattering phenomena based on theory.
  • the theory of the effect of fog on light so far has analyzed the effect of multiple scattering by a population of microscopic particles randomly placed in space.
  • a mobile environment such as a car
  • macro-random external disturbances are added to the population of microscopic particles.
  • the effect of the external force generates a collective motion of microscopic particles, changes the equivalent dielectric constant of the assembly of particles, and generates a smoothing phenomenon that can be regarded as a continuous system from a discrete system.
  • the actual transfer function in the case of scattering with steady and uniform disturbance, the actual transfer function can be described in the form of substituting the equivalent dielectric constant into the transfer function formula by the point spread function obtained from the conventional scattering theory.
  • the transfer function in the case of non-stationary non-uniform external force, can be treated as the spatio-temporal randomness of the input (starting point) of the point spread function of the type described above. Knowing the nature of this generalized scatter transfer function, one can derive an equivalent mutual coherence length that gives information such as image distortion in ghost imaging. Once this parameter (equivalent mutual coherence length) is determined, the correlation function type point spread function in the imaging by the correlation function is determined, and it is possible to correct the distortion in the process of calculating the correlation function of ghost imaging.
  • the correction processing unit carries out the correction processing.
  • the correction processing unit 53 corrects the cross correlation function calculated by the correlation function calculation unit 223 based on the space-time dependent scattering characteristic of the propagation path estimated by the estimation unit 52 by inverse function processing for each frame.
  • This is a generalization of the correction technology method which is the existing technology. Thereby, the deterioration of the image data due to the dynamic scattering phenomenon is corrected.
  • the correction processing unit 53 corrects the shape of the cross correlation function corresponding to the first reproduced image obtained for each frame.
  • the monitor 54 displays an image corresponding to the image data corrected by the correction processing unit 53.
  • FIG. 3 is a block diagram showing an example of a detailed configuration of the estimation unit in the image processing apparatus 11a of FIG.
  • the estimation unit 52 includes a propagation path test unit 101 and a scattering characteristic estimation unit 102.
  • the propagation path test unit 101 includes a laser beam unit 121 and a laser beam receiving unit 122.
  • the laser beam unit 121 repeatedly irradiates (transmits) a laser pulse (light pulse) as test light toward the target T.
  • the laser light receiver 122 receives the reflected light (test reflected light) from the target T.
  • the scattering characteristic estimation unit 102 receives a laser pulse (transmission pulse) as test light transmitted toward the target T by the laser light unit 121 and a laser pulse as test reflection light received by the laser light reception unit 122 (reception).
  • the scattering characteristic of the propagation path is estimated from the above-described spatio-temporal dependent scattering transfer function based on the pulse), and is output to the correction processing unit 53.
  • the spatiotemporal dependent generalized scatter transfer function is detailed in Eq. 25 of Non-Patent Document 3.
  • FIG. 4 is a flowchart for explaining an example of the flow of image output processing performed by the image processing apparatus 11 a of FIG. 2.
  • step S ⁇ b> 1 the target signal processing unit 51 calculates the cross-correlation function of the reflected light from the target T by the signal light divided from the light source unit 201 and the reference light divided from the light source unit 201.
  • target signal processing Such processing of step S1 will be referred to as “target signal processing”. Details of target signal processing will be described later with reference to FIG.
  • step S2 the estimation unit 52 estimates the scattering characteristics of the propagation paths of the signal light and the reflected light.
  • scattering characteristic estimation processing Details of the scattering characteristic estimation process will be described later with reference to FIG.
  • step S3 the correction processing unit 53 performs predetermined correction processing on the cross correlation function calculated by the correlation function calculation unit 223 based on the scattering characteristic of the propagation path estimated in the processing of step S2. Thereby, the deterioration of the image data due to the scattering phenomenon is corrected.
  • step S4 the correction processing unit 53 causes the monitor 54 to display an image corresponding to the corrected image data.
  • FIG. 5 is a flowchart for explaining an example of the detailed flow of target signal processing in the image output processing of FIG. 4.
  • step S11 the light source unit 201 generates pseudo thermal light and irradiates it.
  • step S12 the light demultiplexing unit 202 divides the pseudo thermal light emitted in step S11 into two and outputs one of the two divided lights as signal light and the other as reference light.
  • step S13 the light receiving element unit 222 receives the reference light emitted in step S11 and divided in step S12.
  • step S14 the light detection unit 221 reflects the signal light emitted in step S11 and divided in step S12 at the target T, and collectively detects the reflected light obtained as a result.
  • step S15 the correlation function calculator 223 calculates a cross correlation function based on the correlation function of the reference light received in step S13 and the total energy of the reflected light detected in step S14.
  • FIG. 6 is a flowchart for explaining an example of the detailed flow of the scattering characteristic estimation processing in the image output processing of FIG. 4.
  • step S21 the scattering characteristic estimation unit 102 determines the target T by the time difference between the transmission pulse (test light) transmitted by the laser light unit 121 and the reception pulse (test reflected light) received by the laser light reception unit 122. Estimate the distance to
  • the scattering characteristic estimation unit 102 estimates the scattered energy attenuation rate in the round trip to the target T from the difference between the energy of the transmission pulse and the energy of the reception pulse. That is, the scattering characteristic estimation unit 102 estimates the average scattering attenuation rate in the plane space of the target due to the scattering phenomenon of the propagation path.
  • the scattering characteristic estimation unit 102 calculates the dispersion of the equivalent permittivity variation or the particle number density variation of the scatterer from the generalized theory of the scattering transfer function based on the estimated scattering energy attenuation rate, Estimate the equivalent mutual coherence length.
  • the dispersion of the equivalent dielectric constant fluctuation or the particle number density fluctuation of the scatterer is calculated from the above-described generalized theory of the scattering transfer function, A transformation formula is stored that estimates the equivalent mutual coherence length.
  • the scattering characteristic estimation unit 102 estimates the equivalent mutual coherent length based on this conversion formula.
  • the scattering characteristic estimation unit 102 uses the conventional theory of correlation function type point spread function for atmospheric turbulence as described in Non-Patent Document 1 based on the equivalent mutual coherence length estimated in step S23. Estimate the scatter function-related point spread function. Specifically, for example, in the memory (not shown) of the image processing apparatus 11a, a conversion formula for estimating the correlation function type point spread function by scattering using the conventional theory of the correlation function type point spread function for atmospheric turbulence Is stored. The scattering characteristic estimation unit 102 estimates a correlation function type point spread function by scattering based on this conversion formula.
  • step S25 the scattering characteristic estimation unit 102 outputs the information of the correlation function type point spread function estimated in step S24 to the correction processing unit 53 as correction information.
  • the correction processing unit 53 corrects the cross-correlation function by performing the inverse process of distortion using the correction information (correlation function type point spread function) output from the scattering characteristic estimation unit 102 and is close to the prototype. Output as a correlation function. Deterioration of image data is corrected by outputting a correlation function close to the original form as described above.
  • the image processing apparatus 11a includes the estimation unit 52 and the correction processing unit 53.
  • the estimation unit 52 estimates scattering characteristics in the propagation path (specifically, a point spread function based on a correlation function by scattering).
  • the correction processing unit 53 corrects the deterioration of the image data based on the estimated scattering characteristic.
  • the reflected light from the target T is acquired by the light detection unit 221 as it is.
  • An embodiment in which the reflected light from the target T is amplified and acquired in this manner will be described below as a second embodiment.
  • the image processing apparatus 11b according to the second embodiment amplifies and acquires the reflected light even when the reflected light is strongly attenuated, so that the image data of the target T can be appropriately acquired.
  • FIG. 7 is a block diagram showing an example of the configuration of an image processing apparatus 11b according to the second embodiment of the present invention.
  • the image processing apparatus 11b of the second embodiment differs from the configuration of the image processing apparatus 11a of the first embodiment in that it has an amplification unit 55, and the other configuration is common. Therefore, in the second embodiment, the same reference numerals are given to the same components as those in the first embodiment, and the descriptions thereof will be omitted.
  • the image processing apparatus 11b includes the target signal processing unit 51, the estimation unit 52, the correction processing unit 53, and the monitor 54, as in the first embodiment.
  • it is configured to include the amplification unit 55.
  • the amplification unit 55 includes a light collecting unit 301 and an optical amplification unit 302.
  • the condensing unit 301 two-dimensionally condenses the reflected light reflected from the target T.
  • the light amplification unit 302 one-dimensionally amplifies the collected reflected light. That is, since the light detection unit 221 includes the light collection unit 301 and the light amplification unit 302, the light detection unit 221 can amplify and detect the reflected light.
  • the image processing apparatus 11b includes the light amplification unit 302. As a result, even if the energy attenuation of the reflected light is large when the scattering phenomenon is very strong, such as fog, appropriate detection of the reflected light becomes possible.
  • the image processing apparatus 11b which concerns on this embodiment will be a one-dimensional single pixel as the light detection part 221.
  • a photodetector can be employed. Therefore, even if two-dimensional light is collectively amplified one-dimensionally in the light amplification unit 302 before the light detection unit 221 receives the reflected light from the target T, the image information is not affected. Therefore, when the reflected light is weak, the light amplification unit 302 can be used to prevent image deterioration caused by the weak light.
  • the image processing apparatus 11a of the first embodiment and the image processing apparatus 11b of the second embodiment include the estimation unit 52 as an auxiliary unit of the correlation function image sensor (target signal processing unit 51).
  • the estimation unit 52 as an auxiliary unit of the correlation function image sensor (target signal processing unit 51).
  • the estimation unit 52 has the configuration of FIG. 3 in the above-described first and second embodiments, it is not particularly limited thereto. That is, as a method of estimating the scattering characteristic by the estimation unit 52, in the above-described first and second embodiments, the transmission pulse actually transmitted to the target T and the reception pulse actually reflected from the target T are used. Techniques have been employed to estimate the scattering characteristics of the propagation path. However, the estimation method of the scattering characteristic is not particularly limited to this.
  • the image processing apparatus 11a and the image processing apparatus 11b previously stored various data regarding the scattering characteristics of the propagation path such as the average scattering attenuation degree of the propagation path due to scattering or turbulence of the propagation path and the average size of the scatterer.
  • Scattering characteristics may be estimated by acquiring big data and extracting an appropriate scattering model using the big data.
  • the estimation unit 52 extracts the scattering model from the big data by artificial intelligence or the like with reference to a part of the output from the target signal processing unit 51, and the theoretical formula of the dynamic theory of scattering (for example, the above
  • the correlation function type point spread function according to the spatio-temporal dependent generalized theory of the scattering transfer function may be instantaneously calculated to calculate correction information, and may be provided to the correction processing unit 53.
  • the above-mentioned big data may be stored not only in the memory in the image processing apparatus 11a and the image processing apparatus 11b, but also in a server computer connectable via removable media or a network.
  • the light source unit 201 is a pseudo thermal light source that generates pseudo thermal light. It may be a quantum light source having a tangling effect, or may be a light source passing through an artificial variable random pattern. Even if such another light source is used, it is possible to make the signal light divided into two from the light source and the reference light have correlation with each other.
  • the image processing apparatus 11a and the image processing apparatus 11b according to the first embodiment or the second embodiment described above are attached to a vehicle that performs automatic driving. This is because in the propagation path of light that occurs in the environment of a car, scattering and turbulence are in an uneven dynamic state, while in the environment of a car that performs autonomous driving, acquisition of accurate image data such as obstacles is required.
  • the image processing apparatus 11a and the image processing apparatus 11b are not attached to a vehicle that performs automatic driving, and may be used for other applications.
  • the camera may be used as a sports relay camera that requires a clear image of an operation target even in bad weather.
  • the difference between the existing image processing technology (for example, the image processing technology described in FIG. 1) and the image processing apparatus 11a and the image processing apparatus 11b of the present invention will be briefly supplemented.
  • the transfer function in the propagation path model of the disturbance in the existing technology is premised on the occurrence of no spatiotemporal variation. That is, the model of the conventional image processing process is based on the premise that the disturbance cause, the transceiver, the target, etc. are stationary, and that the disturbance of the propagation path is the case of air turbulence during fine weather. Is assumed.
  • an image is properly acquired when the transceiver and the target move relative to each other as in a car, or when the disturbance cause such as turbulent flow is unevenly fluctuated by the wind.
  • the disturbance of the propagation path includes scattering due to fog, rain, snow, etc.
  • the image processing apparatus 11a and the image processing apparatus 11b according to the present invention solve such problems.
  • the reflectivity of the target e.g. target T
  • the disturbance cause itself is a scattering phenomenon
  • the signal energy reaching the receiver is extremely small because the energy attenuation of propagation is large. Even in such a case, in each embodiment of the present invention (in particular, the second embodiment of the present invention), an image can be appropriately acquired even if the energy attenuation is large.
  • the obstacle in the case of scattering due to fog, rain, snow, etc., in the embodiment according to the present invention, the obstacle becomes relatively relatively. It relates to a method for adapting to the environment when moving or when the disturbance cause such as turbulence or scattering is unevenly shaken by the wind. Moreover, in one embodiment according to the present invention, a countermeasure is taken against the weakness (when the attenuation is large) of the reflected light from the target using an optical signal enhancement mechanism (for example, the amplification unit 55 of FIG. 7).
  • an optical signal enhancement mechanism for example, the amplification unit 55 of FIG. 7
  • a program configuring the software is installed on a computer or the like from a network or a recording medium.
  • the computer may be a computer incorporated in dedicated hardware.
  • the computer may be a computer capable of executing various functions by installing various programs, for example, a server, a smartphone, a personal computer, or various devices.
  • a recording medium including such a program is not only constituted by a removable medium (not shown) distributed separately from the apparatus main body to provide the program to the user, but is also incorporated in advance into the apparatus main body. It may be configured by a recording medium or the like provided to the user in a state.
  • the processing performed in time series according to the order the processing performed in parallel or individually, even if not necessarily processed in time series May also be included.
  • the image processing apparatus to which the present invention is applied can take various forms of the following configuration. That is, an image processing apparatus to which the present invention is applied (for example, the image processing apparatus 11a in FIG. 2) is Correlation function calculation means (for example, the correlation function calculation unit 223 of FIG. 2) for calculating the cross correlation function of the reflected light from the target by the signal light divided from the light source and the reference light divided from the light source; Propagation path characteristic estimation means (for example, the estimation unit 52 in FIG.
  • Correction means for executing a predetermined correction process on the cross correlation function calculated by the correlation function calculation means based on the scattering property estimated by the propagation path property estimation means (for example, the correction process of FIG. 2) Part 53), It is sufficient if it is an image processing apparatus provided with According to this, since the correction based on the data of the estimated scattering characteristic is performed, the image of the target can be properly acquired even under the environment where the scattering phenomenon occurs.
  • the propagation path characteristic estimation means Laser light transmitting means (for example, the laser light unit 121 of FIG. 3) for transmitting laser light to the target;
  • Laser light receiving means for example, the laser light receiving unit 122 of FIG. 3) for receiving the laser light reflected from the target;
  • Scattering property estimation means for example, the scattering property estimation of FIG. 3) which estimates the scattering property based on the laser light transmitted from the laser light transmitting means and the laser light received by the laser light receiving means Part 102) may be included.
  • the scattering characteristic is estimated based on the transmission and reception of the laser light to the target, and the correction based on this data is performed, so that the image of the target can be appropriately acquired even under the environment where the scattering phenomenon occurs.
  • the scattering characteristic may be estimated using a predetermined scattering model based on a plurality of data obtained in advance with respect to the scattering characteristic of the propagation path.
  • the image processing apparatus to which the present invention is applied can take various embodiments having the following configuration. That is, the image processing apparatus to which the present invention is applied (for example, the image processing apparatus 11 b in FIG. 7) is It further comprises amplification means (for example, amplification part 55 of FIG. 7) for amplifying the reflected light from the target by the signal light, The correlation function calculation means calculates a cross correlation function between the reflected light amplified by the amplification means and the reference light. It may be one.
  • the image processing apparatus can be used in an image processing apparatus that captures an obstacle in automatic driving, and thus can obtain an image of a front obstacle in bad weather, which is a problem in sensor technology. Contributing to near-future industries.
  • the light source is a pseudo heat source, the cost of manufacturing the device can be reduced, which is suitable for mass production. Further, when high performance is required, it leads to the development of a system adopting a quantum light source, so that it can be expected to be integrated with a very wide range of industrial technologies.
  • 11a, 11b image processing device
  • 51 target signal processing unit
  • 52 estimation unit
  • 53 correction processing unit
  • 54 monitor
  • 55 amplification unit
  • 101 Propagation path test unit
  • Scattering characteristic estimation unit 121
  • Laser light unit 122
  • Laser light receiving unit 201
  • Light source unit 202
  • Light branching unit 203 ........

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

悪天候の環境、特に霧等の散乱現象が生じる環境下であっても高精度な障害物の検知を実現することができること。　ターゲット信号処理部５１は、光源部２０１から分割された信号光によるターゲットＴからの反射光と、光源部２０１から分割された参照光との相互相関関数を計算する。推定部５２は、信号光及び反射光の伝播経路の散乱特性を推定する。補正処理部５３は、推定部５２により推定された散乱特性に基づいて、ターゲット信号処理部５１により計算された相互相関関数に対して所定の補正処理を実行する。

Description

画像処理装置及び方法、並びに、プログラム
　本発明は、画像処理装置及び方法、並びに、プログラムに関する。
　現在、社会的に注目されている新技術に乗用車等の「自動運転」がある（例えば特許文献１参照）。この「自動運転」の実用化のためには、障害物の検知が必要になる。
特開２００７－２３３７６４号公報
　しかしながら、特許文献１を含め従来の技術では、悪天候の環境、特に霧等の散乱現象が生じる環境での障害物の検知は、「自動運転」の実現に求められる精度を確保することは困難であった。
　本発明は、このような状況を鑑みてなされたものであり、悪天候の環境、特に霧等の散乱現象が生じる環境下であっても高精度な障害物の検知を実現することを目的とする。
　上記目的を達成するために、本発明の一態様の画像処理装置は、
　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段と、
　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段と、
　前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段と、
　を備える。
　本発明によれば、悪天候の環境、特に霧等の散乱現象が生じる環境下であっても高精度な障害物の検知を実現することができる。
本発明の実施形態に採用される基礎画像処理技術の概要を示す図である。 本発明の第１実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２の画像処理装置の構成のうち推定部の詳細な構成の一例を示すブロック図である。 図２の画像処理装置が実行する画像出力処理の流れの一例を説明するフローチャートである。 図４の画像出力処理のうちターゲット信号処理の詳細な流れの一例を説明するフローチャートである。 図４の画像出力処理のうち推定処理の流れの一例を説明するフローチャートである。 第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
　本発明の実施形態の理解を容易なものとすべく、本発明の実施形態の説明の前に、本発明の基礎技術であるゴーストイメージングを用いた画像処理について説明する。
　乗用車等の「自動運転」における障害物の検知の手法として、既存のカメラやレーダー等の画像処理を用いる手法を採用するとするならば、全天候性を考慮した場合には数１００ｍ先の障害物を鮮明に画像化することは困難である。つまり、このような手法を採用しても、乗用車等の「自動運転」の実現化は困難である。
　そこで、大気の緩やかな乱流効果に対して耐性を持つ技術であるゴーストイメージングが、本発明の実施形態では採用されている。
　ゴーストイメージングとは、光源からの光を２つに分割して、ターゲット（障害物）に照射する光と、ターゲットに照射しない参照として利用する光（以下、「参照光」と呼ぶ）との相互相関関数を計算することによって、ターゲットのイメージを取得する技術である。
　例えば、２０１２年にＪ．Ｈ．ＳｈａｐｉｒｏとＲ．Ｗ．Ｂｏｙｄは、種々のゴーストイメージングを利用する技術に対する統一理論を構築した。これにより、当該技術に対する乱流効果の定量的な評価が可能になった。その結果、一般に、当該技術は、大気の穏やかな乱流に対して耐性特性を持つことが証明されている。この点は、次の非特許文献１を参照するとよい。
　　［非特許文献１］Ｊ．Ｈ．Ｓｈａｐｉｒｏ　ａｎｄ　Ｒ．Ｗ．Ｂｏｙｄ，“Ｔｈｅ　ｐｈｙｓｉｃｓ　ｏｆ　ｇｈｏｓｔ　ｉｍａｇｉｎｇ，”　Ｑｕｎａｔｕｍ　Ｉｎｆｏｕｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，　ｖｏｌ－１１，ｐ４９４，（２０１２）．
　ところで、上述の技術は、１９９５年に量子相関光（量子もつれ光）を用いたイメージング研究の中で、量子相関現象によるゴーストイメージングが確認されことを起源とする。ゴーストイメージングは、ターゲットからの反射光をシングル・ピクセル（単一画素）の検出器で検出しても、そのシングル・ピクセルからターゲットの２次元イメージを再生可能にする技術の一種である。
　このゴーストイメージングにおいて、光源からの光は２つに分割されるが、その２つの光には相関がある。
　即ち、分割された２つの光のうちターゲットに向かう光は「信号光」と呼ばれる。他方の光は、ターゲットに向かわず、上述の如く「参照光」と呼ばれる。
　信号光は、ターゲットに反射されて反射光となり、シングル・ピクセルの検出器で検出される。参照光は、ターゲットには向かわず、ターゲットに関係ない場所にあるＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）素子に照射される。
　ターゲットの２次元反射係数の形状がターゲットのイメージ情報（画像情報）となるので、当該イメージ情報を再生する機構が必要である。そのため、シングル・ピクセルの検出器により一括して受信された反射光の信号電流と、ＣＣＤ素子で受信された参照光の２次元出力電流とに基づいて、両者の電流間の２次元の相互相関関数が計算される。その相互相関関数の２次元形状がターゲットの２次元反射係数の形状と一致することになり、ターゲットのイメージ情報が再生される。
　このように、ゴーストイメージングは、２次元情報を運んでくる光を、空間分解能力を持たないシングル・ピクセルの受光器（検出器）で受信しても、イメージ情報を再生できるという画期的な技術のひとつである。
　さらに以下、本発明の実施形態の基礎技術であるゴーストイメージングを利用した画像処理の技術（以下、単に「基礎画像処理技術」と呼ぶ）の概要について、図１を参照して簡単に説明していく。
　図１に示すように、基礎画像処理技術を実現するために、例えば、光源Ｌと、受信器Ｒと、モニタ等が設けられる。
　光源Ｌは、量子もつれ光若しくは擬似熱光を送信する。
　受信器Ｒは、光源Ｌからの信号光に対するターゲットＴからの反射光を受信する。受信器Ｒは、例えば図１の例では、ＣＣＤカメラＫ、シングル・ピクセル光検出器Ｓ、及び相関計算機Ｃを含んで構成される。受信器Ｒにおいて、シングル・ピクセル光検出器Ｓは、反射光のエネルギーを一括して受信する。相関計算機Ｃは、シングル・ピクセル光検出器Ｓの出力と、参照光のＣＣＤカメラＫの２次元出力との相互相関関数を計算する。これにより、その相互相関関数が被写体の画像として出現する。
　このような基礎画像処理技術では、ターゲットＴのイメージ（画像）は相関計算機Ｃから出力される２次元の相互相関関数の形状に一致するので、相互相関関数をいかに正確に推定するのかが技術的課題となる。
　その一方で、基礎画像処理技術では、ターゲットＴのイメージ情報を運んでくる光信号（反射光）はシングル・ピクセル光検出器Ｓで受信されるため、その光信号が２次元空間の擾乱を受けても、その影響がある程度抑圧されるという特徴を有する。
　これに対して、ターゲットＴの２次元のイメージ情報を運んでくる光信号をステレオカメラなどによって直接２次元情報として取得する手法（図示せず）では、ターゲットＴのイメージ情報を運んでくる２次元の光信号を正確に受信する必要がある。このため、反射光に擾乱があれば、それは直接的にターゲットＴのイメージの再生における劣化要因となる。
　以上のことから、ゴーストイメージングによる基礎画像処理技術は、光の伝搬経路（光源Ｌ、ターゲットＴ）における擾乱の影響を受けにくい技術であることが解る。しかし、この技術は、緩やかな大気の乱流下においては有用であるものの、霧などの散乱現象には必ずしも有用ではない。このように、ゴーストイメージングによる画像処理技術を用いても、多種多様な天候の環境下での被写体となるターゲットＴのイメージ情報を適切に取得するためには、まだ解決すべき大きな課題がある。
　例えば、ゴーストイメージングを利用しない画像処理技術としては、ＣＣＤカメラなどによるイメージ情報取得技術がある。しかし、この技術では、光の伝搬経路における擾乱によって大きな画質劣化を起こす。その劣化を補正する技術は画像処理技術であり、多数の補正技術が開発されている。
　しかしながら、例えば自動車の環境下で起る光の伝搬経路の散乱や乱流は、２次元的な不均一性を持つ動的状態にあり、そのような環境下では、ＣＣＤカメラにより取得された画像情報に対して、従来の補正技術を用いたとしても画質の劣化の改善は殆ど期待できない。具体的には、光の伝搬経路における擾乱や散乱に関して、静的な乱流理論（例えば、非特許文献２参照）や、静的な散乱理論を動的な散乱理論に拡張した一般論（例えば、非特許文献３参照）が構築されている。例えば、非特許文献２の静的な乱流理論を動的理論として一般化すれば、補正によっても画質の劣化の改善が期待されないことが推定される。すなわち、上記したような環境下では、前提となる伝搬経路モデルがランダムに変化することになるため、ＣＣＤカメラにより取得された画像情報に対して適切に補正を行うことが難しい。
　　［非特許文献２］Ａ．Ｉｓｈｉｍａｒｕ，“Ｗａｖｅ　ｐｒｏｐｅｒｇａｔｉｏｎ　ａｎｄ　ｓｃａｔｔｅｒｉｎｇ　ｉｎ　ｒａｎｄｏｍ　ｍｅｄｉａ”，ＩＥＥＥ　Ｐｒｅｓｓ，（１９９７）．
　　［非特許文献３］廣田修、相馬正宜、“自動運転用の量子及び古典レーダーカメラと霧の効果”、第４０回　情報理論とその応用シンポジューム、２０１７．
　一方、ゴーストイメージングを利用する相関関数イメージセンサ（相関計算機Ｃ）は、光の伝搬経路における大気の乱流効果（屈折率の連続的変動）に対して耐性を持っており、そのような緩やかな擾乱に対して補正の必要はない。しかし、霧や雨などの散乱現象が生じる場合には、通常のＣＣＤカメラと同様な画質の劣化が起こることが、動的理論に基づいて解明されている。このため、画像処理装置として相関関数イメージセンサを用いた場合には、散乱現象による画質の劣化を防ぐための適切な補正が必要となる。
　以上のように、画像処理装置としてＣＣＤカメラを用いた場合には、大気の擾乱の影響に弱く、一方、画像処理装置として相関関数イメージセンサを用いた場合には大気の擾乱の影響には強いが、散乱現象には対処できないという課題がある。
　このような課題を解決可能な画像処理装置が、本発明が適用される画像処理装置である。
　即ち、本発明が適用される画像処理装置は、光の伝搬経路において霧や雨などによる散乱現象が生じる場合であっても、散乱現象の影響による画質の劣化を防止し、適切な画像を取得することができる。
　具体的には例えば、本発明が適用される画像処理装置は、相関関数計算機能と、伝搬経路特性推定機能と、補正機能とを備える。
　相関関数計算機能は、光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する機能である。
　伝搬経路特性推定機能は、前記信号光及び前記反射光の伝播経路の散乱特性を推定する機能である。
　補正機能は、前記伝搬経路特性推定機能の発揮により推定された前記散乱特性に基づいて、前記相関関数計算機能の発揮により計算された前記相互相関関数に対して所定の補正処理を実行する機能である。
　以下、このような本発明が適用される画像処理装置の２つの実施形態を、第１実施形態と第２実施形態の夫々として、その順番で個別に説明していく。即ち、本発明が適用される画像処理装置として、第１実施形態では画像処理装置１１ａ（図２等）について、第２実施形態では画像処理装置１１ｂ（図７）について説明する。
［第１の実施形態］
　以下、本発明の第１実施形態について、図面を用いて説明する。
　図２は、本発明の第１の実施形態に係る画像処理装置１１ａの構成の一例を示すブロック図である。
　図２に示すように、画像処理装置１１ａは、ターゲット信号処理部５１と、推定部５２と、補正処理部５３と、モニタ５４とを含むように構成される。
　ターゲット信号処理部５１は、ゴーストイメージング現象を利用する相関関数イメージセンサとして機能するものであり、光源部２０１と、光分波部２０２と、受信部２０３とを含む。受信部２０３は、光検出部２２１と、光受信素子部２２２と、相関関数計算部２２３とを含む。
　光源部２０１は、例えば擬似熱光を発生して放射する。
　光分波部２０２は、例えばハーフミラーとして構成され、光源部２０１から放射された擬似熱光を２分割して夫々出力する。
　光分波部２０２により２分割されて出力された光のうち、一方の光は、ターゲットＴに向けて放射される信号光であり、他方の光は、参照光である。擬似熱光源である光源部２０１から２分割された信号光と参照光とは、相互に古典光（擬似熱光）の揺らぎの相関を有する。
　信号光は、ターゲットＴに向けて放射された後、ターゲットＴから反射光として反射され、反射光の総エネルギーは、光検出部２２１によって一括して検出される。光検出部２２１は、例えばシングル・ピクセル光検出器として構成される。
　参照光は、光受信素子部２２２によって受信される。光受信素子部２２２は、例えばＣＣＤ素子として構成される。
　相関関数計算部２２３は、光検出部２２１によって検出された反射光の総エネルギーと、光受信素子部２２２によって受信された参照光との相互相関関数を計算して、補正処理部５３に出力する。
　推定部５２は、伝搬経路の散乱特性を推定して、補正処理部５３に出力する。
　ここで、伝搬経路の散乱特性とは、例えば、霧等のように散乱現象が生じる環境下における、画像再生における劣化を表す伝達関数を意味する。
　つまり、上述のゴーストイメージングを利用した画像処理技術においては、画像出力となる相互相関関数が伝達関数によって平均化され、最終的な画像にゆがみが生じる。この画像の劣化に係る伝達関数の正確な形状が分かれば、例えば、ウイーナーフィルタのような逆関数処理によって適切な補正が可能となるのである。
　ここで、既存の画像処理技術と補正処理部５３で実行される補正技術について、簡単に説明する。
　既存の画像処理技術においては、画像の劣化に係る伝達関数は既知であり、画像表現の空間において不変であることを前提とする。また、この伝達関数は空間的に均一であることが求められる。
　これに対して、発明者等は、新たに補助機能として伝搬経路の散乱特性を上述の時空間依存の一般化された散乱伝達関数をフレーム毎に推定する機構を付与することで、動的な霧等のように伝達関数が時空間に依存してランダムに変化するような環境下であっても、ターゲットの画像を適切に取得することを実現したものである。
　ここで、時空間依存の一般化された散乱伝達関数とは、非特許文献３の式２５に示されるように、信号光及び反射光に対する大気の乱流と動的な霧による散乱の効果を、伝搬路の入出力の通信路モデルとして統一的にモデル化した際の数学的な公式である。従来の理論では、散乱現象は離散的であり、大気の乱流のような連続体の数理体系を適用できなかったが、散乱媒質に対する外力による誘電率の平滑化現象の発見により、連続系の理論に基づいて大気の乱流と散乱現象を理論統合した成果として導出されるものである。
　具体的に以下に記述する。これまでの光に対する霧の効果の理論は、空間的にランダムに置かれたミクロな粒子の集団による多重散乱の効果を解析するものであった。自動車のような移動体の環境では、ミクロな粒子の集団に対しマクロでランダムな外力による新たな擾乱が加わる。その外力の効果によって、ミクロな粒子の集団的運動が発生し、粒子の集合体の等価誘電率が変化し、離散系から連続系と見なせる平滑化現象が発生する。この現象の数理を大気の乱流の連続系の数理体系に等価的に繰り込むことで、大気の乱流と霧などの散乱現象による光の擾乱特性を統一的に表現することができる。その結果、大気の乱流による誘電率の連続的な変化に対するＴＡＴＡＲＳＫＩ理論の形式の中に、動的な霧の等価誘電率を用いて光の伝達関数の公式を得ることができる。
　これにより、定常で均一な外乱を持つ散乱の場合、現実の伝達関数は従来の散乱理論から得られるポイントスプレッド関数による伝達関数公式の中に等価誘電率を代入した形式で記述できる。一方、非定常・不均一な外力の場合、伝達関数は、上記の形式のポイントスプレッド関数の入力（出発点）の時空間のランダム性として取り扱うことができる。この一般化された散乱伝達関数の性質が分かれば、ゴーストイメージングにおける画像のゆがみなどの情報をあたえる等価的な相互コヒーレンス長が導出される。このパラメータ（等価的な相互コヒーレンス長）が確定すれば、相関関数によるイメージングにおける相関関数型ポイントスプレッド関数が決まるので、ゴーストイメージングの相関関数計算処理の過程で、そのゆがみを補正することが可能となる。
　一方、散乱特性推定部１０２によって光の伝搬路の等価誘電率変動の分散、あるいは散乱体の粒子数密度変動の情報などのパラメータのみを入手すれば、上記理論より、等価相互コヒーレンス長を推定することができるため、補正処理部は補正処理を実施する。
　これらを適用したものが、本発明における時空間依存の一般化された散乱伝達関数の理論である。本理論の帰結として、時空間依存の一般化された散乱伝達関数の理論式が得られる。また、本理論中で導出した理論式をそれぞれ、同理論における理論式と呼称する。
　そこで、補正処理部５３は、推定部５２により推定された伝搬経路の時空間依存する散乱特性に基づいて相関関数計算部２２３により計算された相互相関関数をフレーム毎に逆関数処理によって補正する。これは既存技術である補正技術法の一般化となっている。これにより、動的な散乱現象による画像データの劣化が補正される。
　具体的には例えば、補正処理部５３は、フレーム毎に得られた最初の再生画像に対応する相互相関関数の形状を補正する。
　モニタ５４は、補正処理部５３で補正された画像データに対応する画像を表示する。
　続いて、図３を用いて推定部５２の詳細な構成について説明していく。
　図３は、図２の画像処理装置１１ａのうち推定部の詳細の構成例を示すブロック図である。
　図３の例では、推定部５２は、伝搬経路テスト部１０１と、散乱特性推定部１０２とを含む。伝搬経路テスト部１０１は、レーザ光部１２１と、レーザ光受信部１２２とを含む。
　レーザ光部１２１は、ターゲットＴに向けてレーザパルス（光パルス）をテスト光として繰り返し照射（送信）する。
　レーザ光受信部１２２は、ターゲットＴからの反射光（テスト反射光）を受信する。
　散乱特性推定部１０２は、レーザ光部１２１によりターゲットＴに向けて送信されたテスト光としてのレーザパルス（送信パルス）と、レーザ光受信部１２２によって受信されたテスト反射光としてのレーザパルス（受信パルス）とに基づいて、上述の時空間依存の一般化された散乱伝達関数より伝搬経路の散乱特性を推定して、補正処理部５３に出力する。時空間依存の一般化された散乱伝達関数は、非特許文献３の式２５に詳しい。
　このような機能的構成を有する画像処理装置１１ａにより実行される、ターゲットＴの画像を出力するまでの一連の処理を、以下、「画像出力処理」と呼ぶ。
　図４は、図２の画像処理装置１１ａが実行する画像出力処理の流れの一例を説明するフローチャートである。
　ステップＳ１において、ターゲット信号処理部５１は、光源部２０１から分割された信号光によるターゲットＴからの反射光と、光源部２０１から分割された参照光との相互相関関数を計算する。なお、以下、このようなステップＳ１の処理を、「ターゲット信号処理」と呼ぶ。ターゲット信号処理の詳細については、図５を参照して後述する。
　ステップＳ２において、推定部５２は、信号光及び反射光の伝播経路の散乱特性を推定する。なお、以下、このようなステップＳ２の処理を、「散乱特性推定処理」と呼ぶ。散乱特性推定処理の詳細については、図６を参照して後述する。
　ステップＳ３において、補正処理部５３は、ステップＳ２の処理で推定された伝搬経路の散乱特性に基づいて、相関関数計算部２２３により計算された相互相関関数に対して所定の補正処理を実行する。これにより、散乱現象による画像データの劣化が補正される。
　ステップＳ４において、補正処理部５３は、補正された画像データに対応する画像をモニタ５４に表示させる。
　次に、図５を参照して、上述のステップＳ１におけるターゲット信号処理の詳細について説明する。
　図５は、図４の画像出力処理のうちターゲット信号処理の詳細な流れの一例を説明するフローチャートである。
　ステップＳ１１において、光源部２０１は、擬似熱光を発生し、それを照射する。
　ステップＳ１２において、光分波部２０２は、ステップＳ１１で照射された擬似熱光を２分割して、２分割した光のうち、一方を信号光として、他方を参照光として、夫々出力する。
　ステップＳ１３において、光受信素子部２２２は、ステップＳ１１において照射されてステップＳ１２において分割された参照光を受信する。
　ステップＳ１４において、光検出部２２１は、ステップＳ１１において照射されステップＳ１２において分割された信号光がターゲットＴにおいて反射され、その結果得られる反射光を一括して検出する。
　ステップＳ１５において、相関関数計算部２２３は、ステップＳ１３において受信された参照光の相関関数と、ステップＳ１４において検出された反射光の総エネルギーとに基づいて、相互相関関数を計算する。
　次に、図６を参照して、上述のステップＳ２における散乱特性推定処理について説明する。
　図６は、図４の画像出力処理のうち散乱特性推定処理の詳細な流れの一例を説明するフローチャートである。
　ステップＳ２１において、散乱特性推定部１０２は、レーザ光部１２１により送信された送信パルス（テスト光）と、レーザ光受信部１２２により受信された受信パルス（テスト反射光）との時間差により、ターゲットＴまでの距離を推定する。
　散乱特性推定部１０２は、送信パルスのエネルギーと受信パルスのエネルギーとの差分から、ターゲットＴまでの往復における散乱エネルギー減衰率を推定する。すなわち、散乱特性推定部１０２は、伝搬経路の散乱現象に起因したターゲットの平面空間内の平均散乱減衰率を推定する。
　ステップＳ２３において、散乱特性推定部１０２は推定した散乱エネルギー減衰率に基づいて、一般化された散乱伝達関数の理論から、等価誘電率変動の分散、あるいは散乱体の粒子数密度変動を算出し、等価相互コヒーレンス長を推定する。
　具体的には例えば、画像処理装置１１ａの図示せぬメモリには、上述の一般化された散乱伝達関数の理論から、等価誘電率変動の分散、あるいは散乱体の粒子数密度変動を算出し、等価相互コヒーレンス長を推定する変換公式が記憶されている。散乱特性推定部１０２は、この変換公式に基づいて等価相互コヒーレント長を推定する。
　ステップＳ２４において、散乱特性推定部１０２は、ステップＳ２３において推定した等価相互コヒーレンス長に基づいて、非特許文献１のような、従来の大気の乱流に対する相関関数型ポイントスプレッド関数の理論を用いて、散乱による相関関数型ポイントスプレッド関数を推定する。
　具体的には例えば、画像処理装置１１ａの図示せぬメモリには、従来の大気の乱流に対する相関関数型ポイントスプレッド関数の理論を用いて、散乱による相関関数型ポイントスプレッド関数を推定する変換公式が記憶されている。散乱特性推定部１０２は、この変換公式に基づいて散乱による相関関数型ポイントスプレッド関数を推定する。
　ステップＳ２５において、散乱特性推定部１０２は、ステップＳ２４において推定した相関関数型ポイントスプレッド関数の情報を補正情報として補正処理部５３に出力する。
　なお、補正処理部５３は、散乱特性推定部１０２から出力された補正情報（相関関数型ポイントスプレッド関数）を用いて歪の逆処理を行うことで、相互相関関数を補正して、原型に近い相関関数として出力する。このように原型に近い相関関数が出力されることで、画像データの劣化が補正される。
　以上のように、第１の実施形態に係る画像処理装置１１ａは、推定部５２と補正処理部５３とを備えている。推定部５２により伝搬経路での散乱特性（具体的には、散乱による相関関数型ポイントスプレッド関数）が推定される。補正処理部５３により、推定された散乱特性に基づいて画像データの劣化が補正される。
　これにより、ターゲットＴに向かう信号光とターゲットＴからの反射光が濃霧などによるランダムな強い散乱に擾乱されたとしても、最終的に非常に高品質のターゲットＴのイメージ情報（画像データ）を確保することが可能となる。
［第２実施形態］
　上述の第１の実施形態では、ターゲットＴからの反射光がそのまま光検出部２２１で取得されている。
　しかし、ターゲットＴの画像データを適切に取得するためには、ターゲットＴからの反射光をそのまま取得するよりも、増幅して取得する方が好適である。
　このようにターゲットＴからの反射光を増幅して取得する実施形態を、第２実施形態として、以下説明をする。
　第２実施形態の画像処理装置１１ｂは、反射光の減衰が激しいような場合であっても、当該反射光を増幅して取得するので、ターゲットＴの画像データを適切に取得することができる。
　図７は、本発明の第２実施形態に係る画像処理装置１１ｂの構成の一例を示すブロック図である。
　第２実施形態の画像処理装置１１ｂは、第１実施形態の画像処理装置１１ａの構成と比較すると、増幅部５５を有する点で異なり、それ以外の構成は共通である。そこで、第２の実施形態において、第１の実施形態と共通する構成については同一の参照符号を付し、その説明は省略する。
　図７に示すように、第２の実施形態に係る画像処理装置１１ｂは、第１実施形態と同様に、ターゲット信号処理部５１と、推定部５２と、補正処理部５３と、モニタ５４とに加えてさらに、増幅部５５を含むように構成される。
　増幅部５５は、集光部３０１と、光増幅部３０２とを含む。
　集光部３０１は、ターゲットＴから反射された反射光を２次元的に集光する。光増幅部３０２は、集光された反射光を１次元的に増幅する。即ち、光検出部２２１は、集光部３０１と、光増幅部３０２とを含むことから、反射光を増幅して検出することができる。
　このように、第２実施形態に係る画像処理装置１１ｂは、光増幅部３０２を備える。その結果、霧などのように散乱現象が非常に強いときに反射光のエネルギー減衰が大きい場合であっても、反射光の適切な検出が可能になる。
　なお、２次元情報を受信する光検出手段であれば、通常の光増幅手段を利用することはできないが、本実施形態に係る画像処理装置１１ｂは、光検出部２２１として１次元のシングル・ピクセル光検出器を採用することができる。
　そのため、光検出部２２１がターゲットＴからの反射光を受信する前に光増幅部３０２で２次元的な光をまとめて１次元的に増幅しても、画像情報に影響は出ない。したがって、反射光が弱い場合に、光増幅部３０２を利用して、光が弱いために起こる画像劣化を防ぐことができる。
　このように、第１実施形態の画像処理装置１１ａ及び第２実施形態の画像処理装置１１ｂは、相関関数イメージセンサ（ターゲット信号処理部５１）の補助手段として、推定部５２を備えている。これにより、推定された散乱特性に基づく補正が可能となるので、散乱現象が生じる環境下であってもターゲットの画像を適切に取得することが可能となる。
　以上、本発明の一実施形態として第１実施形態及び第２実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　例えば、推定部５２は、上述の第１の実施形態や第２の実施形態では、図３の構成を有していたが、特にこれに限定されない。即ち、推定部５２による散乱特性の推定手法として、上述の第１実施形態及び第２実施形態では、ターゲットＴに実際に送信された送信パルスとターゲットＴから実際に反射された受信パルスとに基づいて伝搬経路の散乱特性を推定する手法が採用されていた。
　しかし、散乱特性の推定手法は、特にこれに限定されない。例えば、画像処理装置１１ａ及び画像処理装置１１ｂは、伝搬経路の散乱や乱流による伝搬経路の平均散乱減衰度や散乱体の平均サイズ等の伝搬経路の散乱特性に関する種々のデータを事前に蓄積したビッグデータを取得して、当該ビッグデータを用いて適切な散乱モデルが抽出することで、散乱特性を推定してもよい。
　より詳細には例えば、推定部５２は、ターゲット信号処理部５１からの出力の一部を参考にして人工知能などによりビッグデータから散乱モデルを抽出し、散乱の動的理論の理論式（例えば上述の時空間依存の一般化された散乱伝達関数の理論）による相関関数型ポイントスプレッド関数を瞬時に計算して補正情報を算出して、補正処理部５３に提供してもよい。
　なお、上述のビッグデータは、画像処理装置１１ａ及び画像処理装置１１ｂ内のメモリに限らず、リムーバルメディアやネットワークを介して接続可能なサーバコンピュータ内に記憶されていてもよい。
　また、上述の第１の実施形態や第２の実施形態に係る画像処理装置１１ａ及び画像処理装置１１ｂでは、光源部２０１は、擬似熱光を発生する擬似熱光源であるとしたが、量子力学的なもつれ効果を有する量子光源であってもよく、あるいは、人工的な可変ランダムパターンを通過する光源であってもよい。このような他の光源を用いても、光源から２分割された信号光と参照光とが相互に相関を有するようにすることができる。
　また、上述の第１の実施形態や第２の実施形態に係る画像処理装置１１ａ及び画像処理装置１１ｂは、自動運転を行う自動車に取り付けられると好適である。これは、自動車の環境で起こる光の伝搬経路では、散乱や乱流が不均一な動的状態にある一方で、自動運転を行う自動車の環境では障害物等の正確な画像データの取得が求められるためである。
　しかし、画像処理装置１１ａ及び画像処理装置１１ｂは、自動運転を行う自動車に取り付けられるものではなく、他の用途に用いられてもよい。例えば、悪天候であっても動作対象の鮮明な画像が求められるスポーツ中継のカメラとして用いられるものとしてもよい。
　ここで、既存の画像処理技術（例えば図１に記載の画像処理技術）と本発明の画像処理装置１１ａ及び画像処理装置１１ｂの相違点について、簡単に補足する。
　まず、既存の技術における擾乱の伝搬経路モデルにおける伝達関数は、時空間的な変動が生じないことを前提としている。即ち、従来型の画像処理過程のモデルは、その前提として、擾乱原因体、送受信機とターゲット等が静止状態であること及び伝搬経路の擾乱が晴天時の空気の乱流現象の場合であることを前提としている。
　そのため、従来型の画像処理過程モデルは、自動車のように送受信機とターゲットが相対的に動いている場合や、乱流などの擾乱原因が風によって不均一に揺らぐ場合に、適切に画像を取得できないという問題があった。
　また、伝搬経路の擾乱に霧、雨、雪等による散乱が含まれる場合には、適切に画像を取得できないという問題があった。本発明の画像処理装置１１ａ及び画像処理装置１１ｂでは、このような課題の解決を図っている。
　さらに、ターゲット（例えばターゲットＴ）の反射率は、金属以外の場合、通常、非常に低いことが一般的である。そして、擾乱原因自体が散乱現象の場合、伝搬のエネルギー減衰が大きいため、受信装置に到達する信号エネルギーが極めて小さいという問題があった。
　このような場合であっても本発明の各実施形態（特に本発明の第２の実施形態）では、エネルギー減衰が大きい場合であっても、適切に画像を取得することができるのである。
　上述の点を含めて換言すると、本発明に係る一実施形態では、動的散乱理論に基づく補正制御技術を導入することで、霧、雨、雪等による散乱の場合、障害物が相対的に動いている時や、乱流・散乱等の擾乱原因が風によって不均一に揺らぐ場合に、それらの環境に適応するための方法に係る。また、本発明に係る一実施形態では、光信号増強機構（例えば図７の増幅部５５）を用いて、ターゲットからの反射光の弱さ（減衰が大きい場合）に対する対応策を備える。
　例えば、上記した実施形態における一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
　また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、スマートフォンやパーソナルコンピュータ、又は各種デバイス等であってもよい。
　また例えば、このようなプログラムを含む記録媒体は、利用者にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で利用者に提供される記録媒体等で構成されるものであってもよい。
　また例えば、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものであってもよい。
　以上を換言すると、本発明が適用される画像処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
　即ち、本発明が適用される画像処理装置（例えば、図２の画像処理装置１１ａ）は、
　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段（例えば、図２の相関関数計算部２２３）と、
　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段（例えば、図２の推定部５２）と、
　前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段（例えば、図２の補正処理部５３）と、
　を備える画像処理装置であれば足りる。
　これによれば、推定された散乱特性のデータに基づいた補正が行われるので、散乱現象が生じる環境下であってもターゲットの画像を適切に取得できる。
　また、前記伝搬経路特性推定手段は、
　　前記ターゲットにレーザ光を送信するレーザ光送信手段（例えば、図３のレーザ光部１２１）と、
　　当該ターゲットから反射されたレーザ光を受信するレーザ光受信手段（例えば、図３のレーザ光受信部１２２）と、
　　前記レーザ光送信手段から送信された前記レーザ光と、前記レーザ光受信手段において受信された前記レーザ光とに基づいて、前記散乱特性を推定する散乱特性推定手段（例えば、図３の散乱特性推定部１０２）とを含んでもよい。
　これによれば、ターゲットに対するレーザ光の送受信に基づいて散乱特性が推定され、このデータに基づいた補正が行われるので、散乱現象が生じる環境下あってもターゲットの画像を適切に取得できる。
　また、前記伝搬経路特性推定手段は、
　　前記伝搬経路の散乱特性に関して事前に得られる複数のデータに基づく所定の散乱モデルを用いて、前記散乱特性を推定してもよい。
　また、本発明が適用される画像処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
　即ち、本発明が適用される画像処理装置（例えば、図７の画像処理装置１１ｂ）は、
　前記信号光による前記ターゲットからの反射光を増幅する増幅手段（例えば、図７の増幅部５５）をさらに備え、
　前記相関関数計算手段は、前記増幅手段により増幅された前記反射光と、前記参照光との相互相関関数を計算する、
　ものであってもよい。
　本発明の画像処理装置は、自動運転において障害物を撮像する画像処理装置に用いられることで、センサ技術で課題となっている悪天候での前方の障害物のイメージの取得が可能となるため、近未来の産業に寄与する。また、光源を擬似熱光源とした場合、装置の製造が低コスト化され得るので大量生産にも向いている。さらに高性能が要求される場合には量子光源を採用するシステムの開発へと繋がるので、非常に広範な産業技術との融合が期待できる。
　１１ａ，１１ｂ・・・画像処理装置、５１・・・ターゲット信号処理部、５２・・・推定部、５３・・・補正処理部、５４・・・モニタ、５５・・・増幅部、１０１・・・伝搬経路テスト部、１０２・・・散乱特性推定部、１２１・・・レーザ光部、１２２・・・レーザ光受信部、２０１・・・光源部、２０２・・・光分波部、２０３・・・受信部、２２１・・・光検出部、２２２・・・光受信素子部、２２３・・・相関関数計算部、３０１・・・集光部、３０２・・・光増幅器

Claims (6)

  1. 　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算手段と、
    　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定手段と、
    　前記伝搬経路特性推定手段により推定された前記散乱特性に基づいて、前記相関関数計算手段により計算された前記相互相関関数に対して所定の補正処理を実行する補正手段と、
    　を備える画像処理装置。
  2. 　前記伝搬経路特性推定手段は、
    　　前記ターゲットにレーザ光を送信するレーザ光送信手段と、
    　　当該ターゲットから反射されたレーザ光を受信するレーザ光受信手段と、
    　　前記レーザ光送信手段から送信された前記レーザ光と、前記レーザ光受信手段において受信された前記レーザ光とに基づいて、前記散乱特性を推定する散乱特性推定手段と、
    　を含む請求項１に記載の画像処理装置。
  3. 　前記伝搬経路特性推定手段は、
    　　前記伝搬経路の散乱特性に関して事前に得られる複数のデータに基づく所定の散乱モデルを用いて、前記散乱特性を推定する、
    　請求項１に記載の画像処理装置。
  4. 　前記信号光による前記ターゲットからの反射光を増幅する増幅手段をさらに備え、
    　前記相関関数計算手段は、前記増幅手段により増幅された前記反射光と、前記参照光との相互相関関数を計算する、
    　請求項１乃至３のうち何れか1項に記載の画像処理装置。
  5. 　画像処理装置が実行する画像処理方法において、
    　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算ステップと、
    　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定ステップと、
    　前記伝搬経路特性推定ステップの処理により推定された前記散乱特性に基づいて、前記相関関数計算ステップの処理により計算された前記相互相関関数に対して所定の補正処理を実行する補正ステップと、
    　を含む画像処理方法。
  6. 　コンピュータに、
    　光源から分割された信号光によるターゲットからの反射光と、前記光源から分割された参照光との相互相関関数を計算する相関関数計算ステップと、
    　前記信号光及び前記反射光の伝播経路の散乱特性を推定する伝搬経路特性推定ステップと、
    　前記伝搬経路特性推定ステップの処理により推定された前記散乱特性に基づいて、前記相関関数計算ステップの処理により計算された前記相互相関関数に対して所定の補正処理を実行する補正ステップと、
    　を含む制御処理を実行させるプログラム。
PCT/JP2018/006808 2017-07-21 2018-02-23 画像処理装置及び方法、並びに、プログラム WO2019016994A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/632,839 US10718868B2 (en) 2017-07-21 2018-02-23 Image processing device, method, and program
JP2018529188A JP6412673B1 (ja) 2017-07-21 2018-02-23 画像処理装置及び方法、並びに、プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017142209 2017-07-21
JP2017-142209 2017-07-21
JPPCT/JP2017/037843 2017-10-19
PCT/JP2017/037843 WO2019016968A1 (ja) 2017-07-21 2017-10-19 画像処理装置及び方法、並びに、プログラム

Publications (1)

Publication Number Publication Date
WO2019016994A1 true WO2019016994A1 (ja) 2019-01-24

Family

ID=65015917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006808 WO2019016994A1 (ja) 2017-07-21 2018-02-23 画像処理装置及び方法、並びに、プログラム

Country Status (1)

Country Link
WO (1) WO2019016994A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021079811A1 (ja) * 2019-10-23 2021-04-29 株式会社小糸製作所 イメージング装置、車両用灯具、車両、イメージング方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3162070B2 (ja) * 1990-11-22 2001-04-25 オリンパス光学工業株式会社 被検体内部情報観察装置
JP2008002908A (ja) * 2006-06-21 2008-01-10 Hamamatsu Photonics Kk 散乱吸収体計測方法及び散乱吸収体計測装置
US20140029850A1 (en) * 2011-09-28 2014-01-30 U.S. Army Research Laboratory ATTN:RDRL-LOC-I System and method for image improved image enhancement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3162070B2 (ja) * 1990-11-22 2001-04-25 オリンパス光学工業株式会社 被検体内部情報観察装置
JP2008002908A (ja) * 2006-06-21 2008-01-10 Hamamatsu Photonics Kk 散乱吸収体計測方法及び散乱吸収体計測装置
US20140029850A1 (en) * 2011-09-28 2014-01-30 U.S. Army Research Laboratory ATTN:RDRL-LOC-I System and method for image improved image enhancement

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
30NG, W. ET AL.: "Ghost imaging in scattering media", ARXIV, 5 December 2017 (2017-12-05), pages 10, Retrieved from the Internet <URL:https://arxiv.org/pdf/0806.3543.pdf> *
BINA, M. ET AL.: "Backscattering Differential Ghost Imaging in Turbid Media", PHYSICAL REVIEW LETTERS, vol. 110, 22 February 2013 (2013-02-22), pages 5 *
HIROTA, 0. ET AL.: "Quantum & Classical Radar Camera, and Effect of Fog for Self Driving Car", THE 40 TH SYMPOSIUM ON INFORMATION THEORY AND ITS APPLICATIONS (SITA2017, November 2017 (2017-11-01), pages 353 - 358 *
MEYERS, R.E. ET AL.: "Virtual ghost imaging through turbulence and obscurants using Bessel beam illumination", APPLIED PHYSICS LETTERS, vol. 100, 10 February 2012 (2012-02-10), pages 4, Retrieved from the Internet <URL:https://doi.org/10.1063/1.3684613> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021079811A1 (ja) * 2019-10-23 2021-04-29 株式会社小糸製作所 イメージング装置、車両用灯具、車両、イメージング方法

Similar Documents

Publication Publication Date Title
JP6412673B1 (ja) 画像処理装置及び方法、並びに、プログラム
US10718868B2 (en) Image processing device, method, and program
EP2717012B1 (en) Image processing apparatus and image processing method
DE102016107959B4 (de) Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung
KR101526866B1 (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US9719856B2 (en) Coded spectral imager
JP2019505814A (ja) 適応性のある光レイダー受信機
US20210405167A1 (en) Real-time estimation of dc bias and noise power of light detection and ranging (lidar)
EP2261853A1 (en) Image processing apparatus, medium, and method
US10757336B2 (en) Image capturing apparatus, image capturing method, and storage medium
US20210052226A1 (en) Method for suppressing image noise in a video image stream, and associated medical image recording system and computer program product
Wang et al. Microwave surveillance based on ghost imaging and distributed antennas
US11458980B2 (en) Enhanced sensor cleaning validation
Wang et al. A fast auto-focusing technique for the long focal lens TDI CCD camera in remote sensing applications
US20150294142A1 (en) Apparatus and a method for detecting a motion of an object in a target space
WO2019016994A1 (ja) 画像処理装置及び方法、並びに、プログラム
US9129369B1 (en) Method for characterizing an atmospheric channel
US9286664B2 (en) System and method for blind image deconvolution
WO2016002490A1 (ja) 波面計測装置及び波面計測方法
JP2002186084A (ja) 指向性収音装置、音源方向推定装置および音源方向推定システム
JP2022130307A (ja) 情報処理装置、情報処理方法、プログラム
JP2021156579A (ja) 画像処理装置、画像処理方法、移動機器、並びにプログラム
JP5968752B2 (ja) 飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラム
Becker et al. A Space Object Detection Algorithm using Fourier Domain Likelihood Ratio Test
Abilov et al. Effect of TDI Channels with Anomalous Noise on the Probability of Detection of Small-Size Objects by FPAs

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018529188

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18834763

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18834763

Country of ref document: EP

Kind code of ref document: A1