WO2021157721A1 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
WO2021157721A1
WO2021157721A1 PCT/JP2021/004414 JP2021004414W WO2021157721A1 WO 2021157721 A1 WO2021157721 A1 WO 2021157721A1 JP 2021004414 W JP2021004414 W JP 2021004414W WO 2021157721 A1 WO2021157721 A1 WO 2021157721A1
Authority
WO
WIPO (PCT)
Prior art keywords
random
data string
monitoring system
observation point
arithmetic processing
Prior art date
Application number
PCT/JP2021/004414
Other languages
English (en)
French (fr)
Inventor
真太郎 杉本
祐太 春瀬
輝明 鳥居
健人 新田
徹 永島
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021576197A priority Critical patent/JPWO2021157721A1/ja
Priority to CN202180011664.6A priority patent/CN115023943A/zh
Publication of WO2021157721A1 publication Critical patent/WO2021157721A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04K—SECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K1/00—Secret communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a monitoring system.
  • IoT Internet of Things
  • Image information is widely used especially for maintenance / inspection, crime prevention and safety confirmation.
  • FIG. 1 is a diagram showing a conventional monitoring system 1.
  • a camera 12 and a transmitter 14 are arranged at a remote location 10 to be monitored.
  • the transmitter 14 transmits the image data IMG captured by the camera 12 to the destination 20 where the image information is used via the network 30.
  • the destination 20 is provided with a receiver 22 for acquiring the image data IMG and an image reproduction device 24 for reproducing the image data IMG.
  • This disclosure was made in such a situation, and one of the exemplary purposes of that aspect is to provide a surveillance system with enhanced security.
  • the monitoring system is installed at the observation point and irradiates the reference light whose spatial intensity distribution is modulated based on a set of random patterns, and the light that is installed at the observation point and measures the reflected light from the object.
  • a detection device that includes a detector and sends a data string indicating the output of the optical detector for each random pattern to a server away from the observation point, and a detection device provided away from the observation point to acquire the data string from the server and perform data. It includes an arithmetic processing device that reconstructs a restored image of an object based on a set of columns and random patterns.
  • the monitoring system includes a camera provided at the observation point, a first arithmetic processing device that converts the output image of the camera into a data string using a set of random images having a spatially random intensity distribution, and a data string.
  • a transmitter that sends data to a server away from the observation point, and a camera that is installed away from the observation point and acquires a data string from the server, based on the data string and pattern information that defines a set of random images.
  • a second arithmetic processing device for reconstructing an output image is provided.
  • the security of the monitoring system can be enhanced.
  • FIG. 1 It is a figure which shows the conventional monitoring system. It is a figure which shows the monitoring system which concerns on Embodiment 1. FIG. It is a figure which shows the monitoring system which concerns on Embodiment 2.
  • One embodiment disclosed herein relates to a monitoring system.
  • the monitoring system is installed at the observation point and irradiates the reference light whose spatial intensity distribution is modulated based on a set of random patterns, and the light that is installed at the observation point and measures the reflected light from the object.
  • a detection device that includes a detector and sends a data string indicating the output of the optical detector for each random pattern to a server away from the observation point, and a detection device provided away from the observation point to acquire the data string from the server and perform data. It includes an arithmetic processing device that reconstructs a restored image of an object based on a set of columns and random patterns.
  • the resolution of the random pattern may be controllable from the arithmetic processing unit. This allows you to control the resolution of the image.
  • the number of patterns included in the set of random patterns may be controllable from the arithmetic processing unit. This allows you to control the resolution of the image.
  • the set of random patterns may be mutable. If the same set of random patterns is used for a long period of time, pattern information may be leaked. Therefore, by changing the set of random patterns, it is possible to prevent leakage of pattern information.
  • the set of random patterns may be generated by a pseudo-random number generator.
  • the seed of the pseudo-random number generator may be shared between the lighting device and the arithmetic processing unit.
  • the transmitter may scramble the data sequence and the order of the data contained therein. This can further enhance security.
  • the monitoring system includes a camera provided at the observation point, a first arithmetic processing device that converts the output image of the camera into a data string using a set of random images having a spatially random intensity distribution, and a data string.
  • a transmitter that sends data to a server away from the observation point, and a camera that is installed away from the observation point and acquires a data string from the server, based on the data string and pattern information that defines a set of random images.
  • a second arithmetic processing device for reconstructing an output image is provided.
  • the set of random images may be mutable.
  • the set of random images may be generated by a pseudo-random number generator.
  • the seed of the pseudo-random number generator may be shared between the first arithmetic processing unit and the second arithmetic processing unit.
  • FIG. 2 is a diagram showing a monitoring system 100 according to the first embodiment.
  • the monitoring system 100 mainly includes a lighting device 110, a detection device 120, a server 130, and an arithmetic processing unit 140, and monitors the state of the observation point 102 from a remote location 104.
  • the observation point 102 is provided with a lighting device 110 and a detection device 120.
  • the illuminating device 110 is a pseudo thermal light source, and modulates the spatial intensity distribution I (x, y) of the reference light S1 based on a plurality of M pattern signals PTN 1 to PTN M (a set of random patterns).
  • the object OBJ is irradiated with the modulated reference light S1.
  • the random intensity distribution of the reference light S1 is also referred to as a random pattern.
  • the lighting device 110 includes a light source 112, a patterning device 114, and a pattern generator 116.
  • the light source 112 produces light S0 having a uniform intensity distribution.
  • a laser, a light emitting diode, or the like may be used as the light source 112 .
  • the wavelength and spectrum of the reference light S1 are not particularly limited, and may be white light having a plurality of or continuous spectra, or monochromatic light containing a predetermined wavelength.
  • the wavelength of the reference light S1 may be infrared or ultraviolet.
  • the patterning device 114 has a plurality of pixels arranged in a matrix, and is configured so that the light intensity distribution I can be spatially modulated based on a combination of on and off of the plurality of pixels.
  • the pixel in the on state is referred to as an on pixel
  • the pixel in the off state is referred to as an off pixel.
  • each pixel takes only two values (1,0) of on and off, but the present invention is not limited to this, and an intermediate gradation may be taken.
  • the patterning device 114 As the patterning device 114, a reflective DMD (Digital Micromirror Device) or a transmissive liquid crystal device can be used.
  • the patterning device 114 is given a pattern signal PTN (image data) generated by the pattern generator 116.
  • Detection device 120 includes a photodetector 122 for measuring the reflected light S2 from the object OBJ, the data sequence b 1 ⁇ b M indicating the output of the photodetector 122 for each random pattern I 1 ⁇ I M, the network 132 It is transmitted to the server 130 away from the observation point 102 via.
  • the output of the photodetector 122 when illuminated with the reference light having a certain random pattern I r in the object OBJ, a spatial integral value of light energy (or intensity) that is incident on the light detector 122. Therefore, the photodetector 122 can use a single pixel photodetector.
  • the output signal of the photodetector 122 is converted into a digital signal by the A / D converter 124.
  • the data processing unit 126 receives the output of the A / D converter 124, corresponding to the random pattern I 1 ⁇ I M, (also referred to as energy information) data string indicating the output of the photodetector 122 generates a b 1 ⁇ b M do.
  • the data processing unit 126 is supplied with data (value r) indicating which random pattern is currently used from the pattern generator 116.
  • the sampling period of the A / D converter 124 is sufficiently shorter than the irradiation period of the reference light S1 of one random pattern, the A / D converter 124 generates a plurality of sampling values for each irradiation period (for each random pattern).
  • the data processing unit 126, the integral value of the plurality of sampling values, the average value or maximum value may be output as the detected intensity b r corresponding to a random pattern I r. Alternatively, screened a number of the total sampled value, integral value and average value of the sorted sample values, the maximum value may be detected intensity b r.
  • the xth to yth ranks may be extracted counting from the maximum value, sampling values lower than an arbitrary threshold value may be excluded, and the magnitude of signal fluctuation may be excluded. Sampling values in a small range may be extracted.
  • a device capable of setting the output of the photodetector 122 as it is, can be detected intensity b r.
  • the transmitter 128 may encrypt the data strings b1 to bM and transmit the data.
  • the output of the A / D converter 124 may be transmitted to the network 132 as it is. In that case, the processing of the data processing unit 126 described above may be executed by the arithmetic processing unit 140.
  • the arithmetic processing unit 140 is provided at a remote location 104.
  • Processor 140 a network 132, obtains a data sequence b 1 ⁇ b M.
  • the processor 140 includes a data sequence b 1 ⁇ b M, based on a set of random patterns I 1 ⁇ I M, to reconstruct the object OBJ of the restored image G (x, y).
  • the arithmetic processing unit 140 includes a pattern generator 142 and a reconstruction processing unit 144.
  • the arithmetic processing device 140 is, for example, a computer, and is implemented by a combination of a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware). be able to.
  • the arithmetic processing unit 140 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 140 may be implemented as dedicated hardware.
  • Pattern generator 142 reproduces a plurality of sets of random pattern I 1 ⁇ I M used in the illumination device 110.
  • the reconstruction processing unit 144 reconstructs the restored image G (x, y) of the object OBJ by arithmetic processing based on the plurality of random patterns I 1 to IM and the plurality of detection intensities b 1 to b M.
  • the correlation function of the equation (1) may be used for the reconstruction of the restored image G (x, y).
  • I r is the intensity distribution of the r-th reference beam S1
  • b r is the value of the detected intensity b r corresponding to r-th intensity distribution Ir.
  • the above is the configuration of the monitoring system 100.
  • the server 130 the data string b 1 ⁇ b M is the energy information is stored, the same set of corresponding random pattern I 1 ⁇ I M is not present in the server 130.
  • the malicious third party even if able to steal data sequence b 1 ⁇ b M by unauthorized access, it is impossible to steal the random pattern I 1 ⁇ I M, the original image G (x, y) Cannot be restored. Therefore, the security can be enhanced as compared with the conventional monitoring system that transmits the image data itself.
  • a pattern generator 116 of the illumination device 110 the pattern generator 142 of the processor 140, a method for sharing a random pattern I 1 ⁇ I r, describing some embodiments based on.
  • the pattern generator 116 and 142 may be stored one set of random patterns I 1 ⁇ I M fixed, in which each time to use it. If the malicious third party attempts to obtain a set of random patterns I 1 ⁇ I M, on identifying the location of the observation point 102, and went to the actual observation point 102, the output of the illumination device 110 S1 It is necessary to measure, which is practically impossible. Therefore, even with this simple configuration, sufficiently high security can be ensured.
  • Example 2 In Example 2, the pattern generator 116 and 142, a plurality of sets of random pattern I 1 ⁇ I M fixed, may be stored, to change the set of random patterns to be used.
  • One of the arithmetic processing unit 140 and the lighting device 110 operates as a master, and the other operates as a slave.
  • the master determines the set of random patterns to use and sends them to the slave.
  • the master may send the identification number of the set to be used to the slave each time the set to be used is changed.
  • the master may send data indicating the order of use of the plurality of sets to the slave.
  • Example 3 the pattern generator 116 and 142 configured to be capable of generating a M number more than the N random pattern I 1 ⁇ I N. Also in the third embodiment, one of the arithmetic processing unit 140 and the lighting device 110 operates as a master and the other operates as a slave. The master transmits data indicating the M random patterns to be used and their order from the N random patterns I 1 to IN to the slave.
  • the pattern generator 116 and the pattern generator 142 may be configured by the same pseudo-random number generator. Then, the master may send the seed of the pseudo-random number generator to be used to the slave.
  • Resolution of the random patterns I 1 ⁇ I M for modulating the reference light S1 may be controllable from the processing unit 140.
  • the resolution supplied to an image varies from situation to situation due to security and privacy issues. Since the resolution of the restored image G (x, y) depends on the resolution of the random pattern, the resolution of the restored image can be controlled by changing the resolution of the random pattern.
  • the resolution of the random pattern can be controlled by changing the number of mirrors used and the number of bins (the number of mirrors expressing one pixel).
  • Irradiation frequency of a single measurement i.e. the number M of patterns included in the set of random patterns I 1 ⁇ I M may be controllable from the processing unit 140. Since the resolution of the restored image G (x, y) depends on the number of irradiations of the random pattern, the resolution of the restored image G (x, y) can be controlled by controlling the number of irradiations.
  • the transmitter 128, the data sequence b 1 ⁇ b M, the order may be transmitted to scramble the data it contains. This can further enhance security.
  • FIG. 3 is a diagram showing a monitoring system 200 according to the second embodiment.
  • the monitoring system 200 includes a camera 210, a first arithmetic processing unit 220, a server 230, and a second arithmetic processing unit 240.
  • the camera 210 and the first arithmetic processing unit 220 are provided at the observation point 202.
  • the image F (x, y) captured by the camera 210 is input to the first arithmetic processing unit 220.
  • the first processing unit 220, the output image F (x, y) of the camera 210, set I 1 (x, y) of the random image I (x, y) having a spatially random intensity distribution ⁇ I M (x, y) is used to convert the data sequence b 1 ⁇ b M.
  • the random image I (x, y) is generated by the pattern generator 222.
  • Data string generator 224 a camera image F (x, y), by calculating a random image I r, into data b r.
  • the equation (2) can be used for the conversion.
  • Equation (2) represents the processing of camera images F (x, y) and a random image I r (x, y) of the corresponding pixel values between the multiplied and accumulated for all the pixels.
  • the data b r is the object irradiated with the reference light modulated with a random pattern I r, corresponds to a value obtained by measuring the reflected light by the optical detector of a single pixel.
  • the first processing unit 220 performs the same operation for all the random images I 1 ⁇ I M, generating M data b 1 ⁇ b M.
  • the second arithmetic processing unit 240 is provided at a remote location 204.
  • the configuration and function of the second arithmetic processing unit 240 are the same as those of the arithmetic processing unit 140 in the first embodiment.
  • the security can be enhanced as in the first embodiment. Further, since it is not necessary to provide the complicated lighting device 110 on the observation point 202 side, the cost can be reduced as compared with the first embodiment.
  • the relationship between the pattern generator 222 and the pattern generator 242 corresponds to the relationship between the pattern generator 116 and the pattern generator 142 in FIG. Therefore, the first to fourth embodiments described in the first embodiment are also applicable to the second embodiment.
  • the lighting device 110 is composed of a combination of the light source 112 and the patterning device 114, but this is not the case.
  • the lighting device 110 is composed of an array of a plurality of semiconductor light sources (LED (light emitting diode) and LD (laser diode)) arranged in a matrix, and can control on / off (or brightness) of each semiconductor light source. It may be configured as.
  • a method using correlation calculation has been described as a method of ghost imaging (or single pixel imaging), but the method of image reconstruction is not limited thereto.
  • an analytical method using Fourier transform or Hadamard inverse transform instead of correlation computation, a method for solving optimization problems such as sparse modeling, and an algorithm using AI / machine learning are used to obtain an image. May be reconstructed.
  • the present invention relates to a monitoring system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

照明装置１１０は、観測箇所２０２に設けられ、ランダムパターンのセットＩ１～Ｉｒにもとづいて空間的な強度分布が変調される参照光Ｓ１を照射する。検出装置１２０は、観測箇所に設けられ、物体ＯＢＪからの反射光Ｓ２を測定する光検出器１２２を含み、ランダムパターンＩ１～ＩＭごとの光検出器１２２の出力を示すデータ列ｂ１～ｂＭを、観測箇所１０２から離れたサーバ１３０に送信する。演算処理装置１４０は、観測箇所１０２から離れて設けられ、サーバ１３０からデータ列ｂ１～ｂＭを取得し、データ列ｂ１～ｂＭとランダムパターンのセットＩ１～ＩＭにもとづいて、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。

Description

監視システム
　本開示は、監視システムに関する。
　ＩｏＴ（Internet of Things）技術の社会インフラへの活用が期待されている。特に保守・点検、防犯や安全確認のために、画像情報が広く利用される。
　図１は、従来の監視システム１を示す図である。監視したい遠隔地１０には、カメラ１２および送信機１４が配置される。送信機１４は、カメラ１２が撮影した画像データＩＭＧを、ネットワーク３０経由で、画像情報が利用される目的地２０に送信する。目的地２０には、画像データＩＭＧを取得する受信機２２および画像データＩＭＧを再生する画像再生装置２４が設けられる。
特開２０１９－０９２１７２号公報
　従来の監視システム１では、画像データＩＭＧそのものが、ネットワーク経由で送信されるため、ハッキングによって画像データＩＭＧが盗まれるおそれがある。暗号化などの情報処理技術によって、ハッキングに対する堅牢性を高めることも可能であるが、暗号化された画像データが盗まれると、元の画像が復元されてしまうおそれがある。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、セキュリティを高めた監視システムの提供にある。
　本開示のある態様は、監視システムに関する。監視システムは、観測箇所に設けられ、ランダムパターンのセットにもとづいて空間的な強度分布が変調される参照光を照射する照明装置と、観測箇所に設けられ、物体からの反射光を測定する光検出器を含み、ランダムパターンごとの光検出器の出力を示すデータ列を、観測箇所から離れたサーバに送信する検出装置と、観測箇所から離れて設けられ、サーバからデータ列を取得し、データ列とランダムパターンのセットにもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。
　本開示の別の態様は、監視システムに関する。監視システムは、観測箇所に設けられたカメラと、カメラの出力画像を、空間的にランダムな強度分布を有するランダム画像のセットを用いて、データ列に変換する第１演算処理装置と、データ列を観測箇所から離れたサーバに送信する送信機と、観測箇所から離れて設けられ、サーバからデータ列を取得し、データ列と、ランダム画像のセットを規定するパターン情報とにもとづいて、カメラの出力画像を再構成する第２演算処理装置と、を備える。
　本開示のある態様によれば、監視システムのセキュリティを高めることができる。
従来の監視システムを示す図である。 実施形態１に係る監視システムを示す図である。 実施形態２に係る監視システムを示す図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
　本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。
　本明細書に開示される一実施形態は、監視システムに関する。監視システムは、観測箇所に設けられ、ランダムパターンのセットにもとづいて空間的な強度分布が変調される参照光を照射する照明装置と、観測箇所に設けられ、物体からの反射光を測定する光検出器を含み、ランダムパターンごとの光検出器の出力を示すデータ列を、観測箇所から離れたサーバに送信する検出装置と、観測箇所から離れて設けられ、サーバからデータ列を取得し、データ列とランダムパターンのセットにもとづいて、物体の復元画像を再構成する演算処理装置と、を備える。
　この構成によると、エネルギー情報であるデータ列が盗まれたとしても、それと対応するランダムパターンのセットが盗まれない限り、元の画像を復元できない。したがってセキュリティを高めることができる。
　一実施形態において、ランダムパターンの解像度は、演算処理装置から制御可能であってもよい。これにより、画像の解像度を制御できる。
　一実施形態において、ランダムパターンのセットに含まれるパターン数は、演算処理装置から制御可能であってもよい。これにより画像の解像度を制御できる。
　一実施形態において、ランダムパターンのセットは、変更可能であってもよい。同じランダムパターンのセットを長期間にわたり使い続けると、パターン情報が漏洩する可能性がある。そこでランダムパターンのセットを変更することで、パターン情報の漏洩を防止できる。
　一実施形態において、ランダムパターンのセットは、擬似乱数発生器によって生成されてもよい。擬似乱数発生器のシードが、照明装置と演算処理装置とで共有されてもよい。
　一実施形態において、送信機は、データ列を、それに含まれるデータの順序をスクランブルして送信してもよい。これによりさらにセキュリティを高めることができる。
　本明細書に開示される一実施形態は、監視システムに関する。監視システムは、観測箇所に設けられたカメラと、カメラの出力画像を、空間的にランダムな強度分布を有するランダム画像のセットを用いて、データ列に変換する第１演算処理装置と、データ列を観測箇所から離れたサーバに送信する送信機と、観測箇所から離れて設けられ、サーバからデータ列を取得し、データ列と、ランダム画像のセットを規定するパターン情報とにもとづいて、カメラの出力画像を再構成する第２演算処理装置と、を備える。
　データ列が盗まれたとしても、その生成に用いたランダム画像のセット（パターン情報）が盗まれない限り、元の画像を復元できない。したがってセキュリティを高めることができる。
　一実施形態において、ランダム画像のセットは、変更可能であってもよい。
　一実施形態において、ランダム画像のセットは、擬似乱数発生器によって生成されてもよい。擬似乱数発生器のシードが、第１演算処理装置と第２演算処理装置とで共有されてもよい。
（実施形態）
　以下、いくつかの実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示あるいは発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示あるいは発明の本質的なものであるとは限らない。
（実施形態１）
　図２は、実施形態１に係る監視システム１００を示す図である。監視システム１００は、主として、照明装置１１０、検出装置１２０、サーバ１３０、演算処理装置１４０を備え、観測箇所１０２の様子を、遠隔地１０４から監視する。
　観測箇所１０２には、照明装置１１０および検出装置１２０が設けられる。照明装置１１０は、疑似熱光源であり、複数Ｍ個のパターン信号ＰＴＮ１～ＰＴＮＭ（ランダムパターンのセット）にもとづいて参照光Ｓ１の空間的な強度分布Ｉ（ｘ，ｙ）を変調し、変調された参照光Ｓ１を物体ＯＢＪに照射する。参照光Ｓ１のランダムな強度分布をランダムパターンとも称する。
　照明装置１１０は、光源１１２、パターニングデバイス１１４およびパターン発生器１１６を含む。光源１１２は、均一な強度分布を有する光Ｓ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。参照光Ｓ１の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。参照光Ｓ１の波長は、赤外あるいは紫外であってもよい。
　パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、光の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、中間的な階調をとってもよい。
　パターニングデバイス１１４としては、反射型のＤＭＤ（Digital Micromirror Device）や透過型の液晶デバイスを用いることができる。パターニングデバイス１１４には、パターン発生器１１６が発生するパターン信号ＰＴＮ（画像データ）が与えられている。
　パターン発生器１１６は、参照光Ｓ１のランダムパターンＩｒを指定するパターン信号ＰＴＮｒを発生し、照射期間ごとに、パターン信号ＰＴＮｒをシーケンシャルに切り替える（ｒ＝１，２，…Ｍ）。
　検出装置１２０は、物体ＯＢＪからの反射光Ｓ２を測定する光検出器１２２を含み、ランダムパターンＩ１～ＩＭごとの光検出器１２２の出力を示すデータ列ｂ１～ｂＭを、ネットワーク１３２経由で、観測箇所１０２から離れたサーバ１３０に送信する。
　光検出器１２２の出力は、あるランダムパターンＩｒを有する参照光を物体ＯＢＪに照射したときに、光検出器１２２に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２２は、シングルピクセルのフォトディテクタを用いることができる。
　光検出器１２２の出力信号は、Ａ／Ｄコンバータ１２４によってデジタル信号に変換される。
　データ処理部１２６は、Ａ／Ｄコンバータ１２４の出力を受け、ランダムパターンＩ１～ＩＭに対応する、光検出器１２２の出力を示すデータ列（エネルギー情報ともいう）ｂ１～ｂＭを生成する。データ処理部１２６には、パターン発生器１１６から、現在、何番目のランダムパターンを使用しているかを示すデータ（値ｒ）が供給される。
　あるランダムパターンＩｒの参照光Ｓ１を、ある照射期間にわたり照射するとする。Ａ／Ｄコンバータ１２４のサンプリング周期が、１つのランダムパターンの参照光Ｓ１の照射期間より十分に短い場合、Ａ／Ｄコンバータ１２４によって、照射期間ごと（ランダムパターンごと）に複数のサンプリング値が生成される。データ処理部１２６は、複数のサンプリング値の積分値、平均値あるいは最大値を、あるランダムパターンＩｒに対応する検出強度ｂｒとして出力してもよい。あるいは、全サンプリング値のうちのいくつかを選別し、選別したサンプリング値の積分値や平均値、最大値を、検出強度ｂｒとしてもよい。複数のサンプリング値の選別は、たとえば最大値から数えて序列ｘ番目からｙ番目を抽出してもよいし、任意のしきい値より低いサンプリング値を除外してもよいし、信号変動の大きさが小さい範囲のサンプリング値を抽出してもよい。
　光検出器１２２として、カメラのように露光時間および露光タイミングが設定可能なデバイスを用いる場合には、光検出器１２２の出力をそのまま、検出強度ｂｒとすることができる。
　送信機１２８は、データ処理部１２６が生成したデータ列ｂ１～ｂＭを、観測箇所から離れたサーバ１３０に送信する。送信機１２８は、データ列ｂ１～ｂＭを暗号化して送信してもよい。
　なお、Ａ／Ｄコンバータ１２４の出力を、そのままネットワーク１３２に送信することとしてもよい。その場合、上述したデータ処理部１２６の処理を、演算処理装置１４０において実行してもよい。
　演算処理装置１４０は、遠隔地１０４に設けられる。演算処理装置１４０は、ネットワーク１３２から、データ列ｂ１～ｂＭを取得する。そして演算処理装置１４０は、データ列ｂ１～ｂＭと、ランダムパターンＩ１～ＩＭのセットにもとづいて、物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。
　演算処理装置１４０は、パターン発生器１４２と再構成処理部１４４を含む。演算処理装置１４０は、たとえばコンピュータであり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置１４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置１４０を、専用のハードウェアとして実装してよい。
　パターン発生器１４２は、照明装置１１０において使用された複数のランダムパターンＩ１～ＩＭのセットを再生する。
　再構成処理部１４４は、複数のランダムパターンＩ１～ＩＭと、複数の検出強度ｂ１～ｂＭにもとづいて、演算処理によって物体ＯＢＪの復元画像Ｇ（ｘ，ｙ）を再構成する。
　復元画像Ｇ（ｘ，ｙ）の再構成には、式（１）の相関関数を用いてもよい。Ｉｒは、ｒ番目の参照光Ｓ１の強度分布であり、ｂｒはｒ番目の強度分布Ｉｒに対応する検出強度ｂｒの値である。
Figure JPOXMLDOC01-appb-M000001
　以上が監視システム１００の構成である。この監視システム１００において、サーバ１３０には、エネルギー情報であるデータ列ｂ１～ｂＭは格納されるが、それと対応するランダムパターンＩ１～ＩＭのセットは、サーバ１３０には存在しない。したがって、悪意の第３者は、不正アクセスによってデータ列ｂ１～ｂＭを盗むことはできても、ランダムパターンＩ１～ＩＭを盗むことができないため、元の画像Ｇ（ｘ，ｙ）を復元することができない。したがって画像データそのものを伝送する従来の監視システムに比べて、セキュリティを高めることができる。
　続いて、照明装置１１０のパターン発生器１１６と、演算処理装置１４０のパターン発生器１４２において、ランダムパターンＩ１～Ｉｒを共有する手法を、いくつかの実施例をもとに説明する。
（実施例１）
　もっとも簡易には、パターン発生器１１６と１４２に、固定のランダムパターンＩ１～ＩＭのセットをひとつ格納しておき、毎回、それを使用するものである。もし、悪意の第３者がランダムパターンＩ１～ＩＭのセットを入手しようとした場合、観測箇所１０２の場所を特定した上で、実際の観測箇所１０２に赴いて、照明装置１１０の出力Ｓ１を測定する必要があり、現実的には不可能である。したがって、この簡易的な構成でも十分に高いセキュリティが確保できる。
（実施例２）
　実施例２では、パターン発生器１１６と１４２に、固定のランダムパターンＩ１～ＩＭのセットを複数、格納しておき、使用するランダムパターンのセットを変更する。
　演算処理装置１４０と照明装置１１０の一方がマスター、他方がスレーブとして動作する。マスターは、使用するランダムパターンのセットを決定し、スレーブに送信する。この場合、マスターからスレーブに対して、使用するセットを変更する度に、その都度、使用するセットの識別番号を送信してもよい。あるいは、マスターからスレーブに対して、複数のセットの使用順序を示すデータを送信してもよい。
　これにより、実施例１よりもさらにセキュリティを高めることができる。
（実施例３）
　実施例３では、パターン発生器１１６と１４２は、Ｍ個より多いＮ個のランダムパターンＩ１～ＩＮを生成可能に構成される。実施例３においても、演算処理装置１４０と照明装置１１０の一方がマスター、他方がスレーブとして動作する。マスターは、Ｎ個のランダムパターンＩ１～ＩＮの中から、使用するＭ個のランダムパターンとその順序を示すデータを、スレーブに送信する。
（実施例４）
　パターン発生器１１６とパターン発生器１４２を同じ擬似乱数発生器で構成してもよい。そして、マスターからスレーブに対して、使用すべき擬似乱数発生器のシードを送信するようにしてもよい。
　続いて、実施形態１に関する変形例を説明する。
（変形例１）
　参照光Ｓ１を変調するランダムパターンＩ１～ＩＭの解像度は、演算処理装置１４０から制御可能としてもよい。たとえば、画像に供給される解像度は、セキュリティやプライバシーの問題からシチュエーションごとに異なる。復元画像Ｇ（ｘ，ｙ）の解像度は、ランダムパターンの解像度に依存することから、ランダムパターンの解像度を変化させることで、復元画像の解像度を制御できる。パターニングデバイス１１４としてＤＭＤを用いる場合、使用するミラーの数や、ビン数（１画素を表現するミラーの数）を変化させることにより、ランダムパターンの解像度を制御できる。
（変形例２）
　１回の測定の照射回数、すなわちランダムパターンＩ１～ＩＭのセットに含まれるパターンの数Ｍは、演算処理装置１４０から制御可能であってもよい。復元画像Ｇ（ｘ，ｙ）の解像度は、ランダムパターンの照射回数に依存することから、照射回数を制御することで、復元画像Ｇ（ｘ，ｙ）の解像度を制御できる。
（変形例３）
　送信機１２８は、データ列ｂ１～ｂＭを、それに含まれるデータの順序をスクランブルして送信してもよい。これによりさらにセキュリティを高めることができる。
（実施形態２）
　図３は、実施形態２に係る監視システム２００を示す図である。監視システム２００は、カメラ２１０、第１演算処理装置２２０、サーバ２３０、第２演算処理装置２４０を備える。
　カメラ２１０および第１演算処理装置２２０は、観測箇所２０２に設けられる。カメラ２１０が撮影した画像Ｆ（ｘ，ｙ）は、第１演算処理装置２２０に入力される。第１演算処理装置２２０は、カメラ２１０の出力画像Ｆ（ｘ，ｙ）を、空間的にランダムな強度分布を有するランダム画像Ｉ（ｘ，ｙ）のセットＩ１（ｘ，ｙ）～ＩＭ（ｘ，ｙ）を用いて、データ列ｂ１～ｂＭに変換する。ランダム画像Ｉ（ｘ，ｙ）は、パターン発生器２２２により生成される。
　データ列生成部２２４は、カメラ画像Ｆ（ｘ，ｙ）を、ランダム画像Ｉｒと演算することにより、データｂｒに変換する。たとえば変換には、式（２）を用いることができる。
Figure JPOXMLDOC01-appb-M000002
　式（２）は、カメラ画像Ｆ（ｘ，ｙ）とランダム画像Ｉｒ（ｘ，ｙ）の対応する画素値同士を乗算し、全画素について積算する処理を表す。このデータｂｒは、物体に、ランダムパターンＩｒで変調された参照光を照射し、反射光をシングルピクセルの光検出器で測定した値に相当する。第１演算処理装置２２０は、すべてのランダム画像Ｉ１～ＩＭについて同様の演算を行い、Ｍ個のデータｂ１～ｂＭを生成する。
　送信機２２６は、データ列ｂ１～ｂＭを、観測箇所２０２から離れたサーバ２３０に送信する。
　第２演算処理装置２４０は、遠隔地２０４に設けられる。第２演算処理装置２４０の構成および機能は、実施形態１における演算処理装置１４０と同様である。
　実施形態２によれば、実施形態１と同様に、セキュリティを高めることができる。また観測箇所２０２側に、複雑な照明装置１１０を設ける必要がないため、実施形態１に比べてコストを下げることができる。
　パターン発生器２２２とパターン発生器２４２の関係は、図２におけるパターン発生器１１６とパターン発生器１４２の関係に対応する。したがって、実施形態１で説明した実施例１～４は、実施形態２にも適用可能である。
　以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
　実施形態では、照明装置１１０を、光源１１２とパターニングデバイス１１４の組み合わせで構成したがその限りでない。たとえば照明装置１１０は、マトリクス状に配置される複数の半導体光源（ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード））のアレイで構成し、個々の半導体光源のオン、オフ（あるいは輝度）を制御可能に構成してもよい。
　実施形態において、ゴーストイメージング（あるいはシングルピクセルイメージング）の手法として、相関計算を用いた手法を説明したが、画像の再構築の手法はそれに限定されない。いくつかの実施形態では、相関計算に変えて、フーリエ変換やアダマール逆変換を使用した解析的手法や、スパースモデリングなどの最適化問題を解く手法、およびＡＩ・機械学習を利用したアルゴリズムによって、画像を再構築してもよい。
　実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、監視システムに関する。
　１００　監視システム
　１０２　観測箇所
　１０４　遠隔地
　１１０　照明装置
　１１２　光源
　１１４　パターニングデバイス
　１１６　パターン発生器
　１２０　検出装置
　１２２　光検出器
　１２４　Ａ／Ｄコンバータ
　１２６　データ処理部
　１２８　送信機
　１３０　サーバ
　１３２　ネットワーク
　Ｓ１　参照光
　Ｓ２　反射光
　１４０　演算処理装置
　１４２　パターン発生器
　１４４　再構成処理部
　２００　監視システム
　２０２　観測箇所
　２０４　遠隔地
　２１０　カメラ
　２２０　第１演算処理装置
　２２２　パターン発生器
　２２４　データ列生成部
　２２６　送信機
　２３０　サーバ
　２３２　ネットワーク
　２４０　第２演算処理装置
　２４２　パターン発生器
　２４４　再構成処理部,

Claims (6)

  1. 　観測箇所に設けられ、ランダムパターンのセットにもとづいて空間的な強度分布が変調される参照光を照射する照明装置と、
    　前記観測箇所に設けられ、物体からの反射光を測定する光検出器を含み、前記ランダムパターンごとの前記光検出器の出力を示すデータ列を、前記観測箇所から離れたサーバに送信する検出装置と、
    　前記観測箇所から離れて設けられ、前記サーバから前記データ列を取得し、前記データ列と前記ランダムパターンのセットにもとづいて、前記物体の復元画像を再構成する演算処理装置と、
    　を備えることを特徴とする監視システム。
  2. 　前記ランダムパターンの解像度は、前記演算処理装置から制御可能であることを特徴とする請求項１に記載の監視システム。
  3. 　前記ランダムパターンのセットに含まれるパターン数は、前記演算処理装置から制御可能であることを特徴とする請求項１または２に記載の監視システム。
  4. 　前記ランダムパターンのセットは、変更可能であることを特徴とする請求項１から３のいずれかに記載の監視システム。
  5. 　前記検出装置は、前記データ列を、それに含まれるデータの順序をスクランブルして送信することを特徴とする請求項１から４のいずれかに記載の監視システム。
  6. 　観測箇所に設けられたカメラと、
    　前記カメラの出力画像を、空間的にランダムな強度分布を有するランダム画像のセットを用いて、データ列に変換し、前記データ列を、前記観測箇所から離れたサーバに送信する第１演算処理装置と、
    　前記観測箇所から離れて設けられ、前記サーバから前記データ列を取得し、前記データ列と、前記ランダム画像のセットを規定するパターン情報とにもとづいて、前記カメラの出力画像を再構成する第２演算処理装置と、
    　を備えることを特徴とする監視システム。
PCT/JP2021/004414 2020-02-06 2021-02-05 監視システム WO2021157721A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021576197A JPWO2021157721A1 (ja) 2020-02-06 2021-02-05
CN202180011664.6A CN115023943A (zh) 2020-02-06 2021-02-05 监视系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020018582 2020-02-06
JP2020-018582 2020-02-06

Publications (1)

Publication Number Publication Date
WO2021157721A1 true WO2021157721A1 (ja) 2021-08-12

Family

ID=77199405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004414 WO2021157721A1 (ja) 2020-02-06 2021-02-05 監視システム

Country Status (3)

Country Link
JP (1) JPWO2021157721A1 (ja)
CN (1) CN115023943A (ja)
WO (1) WO2021157721A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024018537A1 (ja) * 2022-07-19 2024-01-25 日本電信電話株式会社 画像取得装置、方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307721A (ja) * 1994-05-03 1995-11-21 Motorola Inc 一体型高域通過フィルタをもつ周波数反転スクランブル装置
JP2000003337A (ja) * 1998-06-12 2000-01-07 Omron Corp 制御装置
CN103093411A (zh) * 2013-01-10 2013-05-08 华南师范大学 基于随机二态图像的加密-解密方法
CN106842195A (zh) * 2016-12-26 2017-06-13 中国科学院合肥物质科学研究院 基于计算关联成像的多物体同时成像及加密方法
CN111833248A (zh) * 2020-06-19 2020-10-27 西北大学 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100464584C (zh) * 2006-11-21 2009-02-25 北京中星微电子有限公司 实现信号加密的视频监控系统和视频监控方法
CN104284054B (zh) * 2014-08-05 2017-05-03 华北水利水电大学 基于鬼成像和公钥密码的多图像加密与解密方法
CN108199824A (zh) * 2018-01-18 2018-06-22 黑龙江大学 基于aes-ctr和混沌算法的视频加密方法及视频流安全监控方法
CN110489981B (zh) * 2019-07-29 2021-04-06 西安理工大学 基于pca和计算鬼成像的光学图像加密方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307721A (ja) * 1994-05-03 1995-11-21 Motorola Inc 一体型高域通過フィルタをもつ周波数反転スクランブル装置
JP2000003337A (ja) * 1998-06-12 2000-01-07 Omron Corp 制御装置
CN103093411A (zh) * 2013-01-10 2013-05-08 华南师范大学 基于随机二态图像的加密-解密方法
CN106842195A (zh) * 2016-12-26 2017-06-13 中国科学院合肥物质科学研究院 基于计算关联成像的多物体同时成像及加密方法
CN111833248A (zh) * 2020-06-19 2020-10-27 西北大学 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024018537A1 (ja) * 2022-07-19 2024-01-25 日本電信電話株式会社 画像取得装置、方法、及びプログラム

Also Published As

Publication number Publication date
CN115023943A (zh) 2022-09-06
JPWO2021157721A1 (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
Gibson et al. Single-pixel imaging 12 years on: a review
Bian et al. Multispectral imaging using a single bucket detector
JP6404318B2 (ja) レーザーパルスの積算光エネルギー制御
Durán et al. Compressive imaging in scattering media
RU2653772C1 (ru) Система формирования широкополосного гиперспектрального изображения на основе сжатого зондирования с нерегулярной дифракционной решеткой
US10481092B2 (en) Multiplexed excitation emission matrix spectroscopy
WO2021157721A1 (ja) 監視システム
Liu et al. Single-photon-counting polarization ghost imaging
Welsh et al. Multi-wavelength compressive computational ghost imaging
Gong Performance comparison of computational ghost imaging versus single-pixel camera in light disturbance environment
Chen et al. Hyperspectral imaging via a multiplexing digital micromirror device
Li et al. Distorted point spread function and image reconstruction for ghost imaging
Johnson et al. Single-pixel imaging with heralded single photons
Shapiro et al. Ghost imaging without discord
Lai et al. Efficient single-pixel imaging based on a compact fiber laser array and untrained neural network
WO2023085328A1 (ja) イメージング装置およびイメージング方法、車両用灯具、車両
KR102543791B1 (ko) 직교 코드를 이용하는 분광 장치 및 분광 방법
Wang et al. Multiple-input single-output ghost imaging
JP2019092088A (ja) 撮像装置
WO2021131649A1 (ja) 撮像装置および撮像方法
JP6984736B2 (ja) 撮像装置及び撮像方法
Mizutani et al. Single-pixel imaging by Hadamard transform and its application for hyperspectral imaging
JP7249140B2 (ja) 撮像装置および撮像方法
Durán et al. Computational imaging with single-pixel detection: applications in scattering media
Tipper et al. Low-cost camera-based pulsed and modulated continuous wave laser detection for laser-based optical communications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21751416

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021576197

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21751416

Country of ref document: EP

Kind code of ref document: A1