JPWO2018207613A1 - Imaging system and imaging method - Google Patents

Imaging system and imaging method Download PDF

Info

Publication number
JPWO2018207613A1
JPWO2018207613A1 JP2019517552A JP2019517552A JPWO2018207613A1 JP WO2018207613 A1 JPWO2018207613 A1 JP WO2018207613A1 JP 2019517552 A JP2019517552 A JP 2019517552A JP 2019517552 A JP2019517552 A JP 2019517552A JP WO2018207613 A1 JPWO2018207613 A1 JP WO2018207613A1
Authority
JP
Japan
Prior art keywords
image
imaging
volume hologram
optical element
optical information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019517552A
Other languages
Japanese (ja)
Inventor
友哉 中村
友哉 中村
山口 雅浩
雅浩 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Publication of JPWO2018207613A1 publication Critical patent/JPWO2018207613A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/955Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/18Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/40Measuring the intensity of spectral lines by determining density of a photograph of the spectrum; Spectrography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Holo Graphy (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

単一素子を介した簡素な構成で装置を小型化した上で映像記録の広角化、多波長化、高解像度化を実現する。複数の光学情報を含む撮像対象を撮像する撮像システム100であって、撮像対象を光学情報ごとに分割してから符号化する体積ホログラム光学素子104と、体積ホログラム光学素子で符号化された各符号化像を多重化して多重化像を取得するイメージセンサ106と、イメージセンサで取得された多重化像を圧縮センシングにより画像復元処理して撮像対象の撮像データを分離再構成する画像処理部108と、を備えることを特徴とする。The present invention realizes a wide angle, multi-wavelength, and high resolution video recording while miniaturizing the apparatus with a simple configuration via a single element. An imaging system 100 for imaging an imaging target including a plurality of optical information, wherein the imaging target is divided for each optical information and then encoded, and a volume hologram optical element 104 and each code encoded by the volume hologram optical element are provided. An image sensor 106 that multiplexes the multiplexed image to obtain a multiplexed image, an image processing unit 108 that performs image restoration processing on the multiplexed image obtained by the image sensor by compression sensing, and separates and reconstructs imaging data of an imaging target. , Is provided.

Description

本発明は、複数の光学情報を含む撮像対象を高解像度化に撮像する撮像システム、及び撮像方法に関する。本出願は、日本国において2017年5月10日に出願された日本特許出願番号特願2017−093613を基礎として優先権を主張するものであり、この出願を参照することにより、本出願に援用される。   The present invention relates to an imaging system and an imaging method for imaging an imaging target including a plurality of optical information with high resolution. This application claims priority based on Japanese Patent Application No. 2017-093613 filed on May 10, 2017 in Japan, and is hereby incorporated by reference into this application. Is done.

近年では、パノラマ写真、デジタルアーカイブ、環境保全、衛星写真、病理診断、セキュリティ、防犯等といったアプリケーションにおいて、映像記録は、大情報量化の方向に推移している。特に、生体認証や微小物体の認識、質感計測等のように、従来に無い新たな映像記録の利用態様に対応するために、撮像した映像記録の高解像度化の要請が高まっている。   In recent years, in applications such as panoramic photography, digital archiving, environmental preservation, satellite photography, pathological diagnosis, security, crime prevention, and the like, video recording has been moving toward a large amount of information. In particular, there is an increasing demand for higher resolution of captured video recording in order to cope with a new use of video recording, such as biometric authentication, recognition of minute objects, and texture measurement.

撮像する映像記録の広角化・高解像度化、又は多波長化・高解像度化を実現する従来技術として、特許文献1には、センサアレイ方式により高解像度の画像情報を取得可能とした撮像装置について開示され、特許文献2には、機械走査方式により高解像度な画像を取得できる撮像装置について開示されている。また、多波長化・高解像度化を実現する従来技術として、特許文献3には、符号化光学素子と画像復元処理(圧縮センシング)を融合するシステム設計によって多波長撮像を単一素子で一括符号化する撮像技術について開示されている。   As a conventional technique for realizing wide-angle and high-resolution or multi-wavelength and high-resolution video recording to be imaged, Patent Document 1 discloses an imaging apparatus capable of acquiring high-resolution image information by a sensor array method. Patent Document 2 discloses an imaging device capable of acquiring a high-resolution image by a mechanical scanning method. As a conventional technique for realizing multi-wavelength and high-resolution, Japanese Patent Application Laid-Open No. H11-163873 collectively encodes multi-wavelength imaging with a single element by a system design that fuses an encoding optical element and image restoration processing (compression sensing). There is disclosed an imaging technique to be developed.

米国特許第8259212号明細書U.S. Pat. No. 8,259,212 米国特許第6101265号明細書U.S. Pat. No. 6,101,265 米国特許第7336353号明細書U.S. Pat. No. 7,336,353

しかしながら、センサアレイ方式では、映像記録の高解像度化は、実現されるものの、光学系が大型化・高コスト化してしまうことが課題となる。一方、機械走査方式では、映像記録を高解像度化した上での装置の小型化が実現されるものの、光学系が複雑になり、また、多数回の撮影が必要となることから撮影時間が長大化することが課題となる。   However, in the sensor array system, although high resolution of video recording is realized, the problem is that the optical system becomes large in size and high in cost. On the other hand, in the mechanical scanning method, although the size of the apparatus can be reduced after increasing the resolution of the video recording, the optical system is complicated and the shooting time is long because many times of shooting are required. Is an issue.

このように、映像記録の高解像度化に対応した上で光学系を簡素にして装置を小型化するには、単一素子を介した簡素な構成で映像記録の広角化、多波長化、高解像度化を実現されることが好ましい。すなわち、複数の視野・波長の像情報を独立に一括符号化する単一光学素子を介して、小型化した装置で大情報量化した映像記録の高解像度化を実現することが要請されている。   As described above, in order to cope with high resolution of video recording and to simplify the optical system and downsize the apparatus, it is possible to increase the angle of video recording, increase the number of wavelengths, and increase the size of the video with a simple configuration through a single element. It is preferable to realize the resolution. In other words, there is a demand for realizing high-resolution video recording with a large amount of information by a small-sized device through a single optical element that independently encodes image information of a plurality of visual fields and wavelengths.

本発明は、上記課題に鑑みてなされたものであり、単一素子を介した簡素な構成で装置を小型化した上で映像記録の広角化、多波長化、高解像度化を実現することの可能な、新規かつ改良された撮像システム、及び撮像方法を提供することを目的とする。   SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and is intended to realize a wide angle, multi-wavelength, and high resolution video recording while reducing the size of the device with a simple configuration via a single element. It is an object to provide a new and improved imaging system and method that are possible.

本発明の一態様は、複数の光学情報を含む撮像対象を撮像する撮像システムであって、前記撮像対象を光学情報ごとに分割してから符号化する体積ホログラム光学素子と、前記体積ホログラム光学素子で符号化された各符号化像を多重化して多重化像を取得するイメージセンサと、前記イメージセンサで取得された前記多重化像を圧縮センシングにより画像復元処理して前記撮像対象の撮像データを分離再構成する画像処理部と、を備えることを特徴とする。   One embodiment of the present invention is an imaging system for imaging an imaging target including a plurality of pieces of optical information, wherein the imaging target is divided for each optical information and then encoded, and the volume hologram optical element and the volume hologram optical element An image sensor that multiplexes each coded image encoded in to obtain a multiplexed image, and performs image restoration processing on the multiplexed image obtained by the image sensor by compression sensing to obtain imaging data of the imaging target. And an image processing unit for separating and reconstructing.

本発明の一態様によれば、イメージセンサの前段側に体積ホログラム光学素子を設けることによって、撮像対象に含まれる各光学情報を光学情報ごとに分割して独立に符号化できる。このため、イメージセンサで各光学情報の多重化像を取得してから画像処理部で当該多重化像を分離再構築して、簡素な構成で効率的に映像記録の広角化、多波長化、高解像度化を実現できる。   According to one embodiment of the present invention, by providing the volume hologram optical element in front of the image sensor, each piece of optical information included in the imaging target can be divided for each optical information and independently encoded. For this reason, the multiplexed image of each optical information is acquired by the image sensor, and the multiplexed image is separated and reconstructed by the image processing unit. High resolution can be realized.

このとき、本発明の一態様では、前記体積ホログラム光学素子は、前記撮像対象に含まれる前記複数の光学情報を前記体積ホログラム素子との角度ごと又は前記光学情報の波長幅ごとに分割してから符号化することとしてもよい。   At this time, in one aspect of the present invention, the volume hologram optical element divides the plurality of pieces of optical information included in the imaging target for each angle with the volume hologram element or for each wavelength width of the optical information. It may be encoded.

このようにすれば、体積ホログラム光学素子によって、撮像対象に含まれる各光学情報の角度ごと、又は波長幅ごとに分割して独立に符号化できるので、イメージセンサで各光学情報の多重化像を生成してから画像処理部で当該多重化像を分離再構築して、簡素な構成で効率的に映像記録の広角化、多波長化、高解像度化を実現できる。   With this configuration, the volume hologram optical element can divide each optical information included in the imaging target for each angle or for each wavelength width and independently encode the optical information. After the generation, the multiplexed image is separated and reconstructed by the image processing unit, so that wide angle, multi-wavelength, and high resolution video recording can be efficiently realized with a simple configuration.

また、本発明の一態様では、前記体積ホログラム光学素子は、干渉縞のパターンがそれぞれ異なる複数のホログラム素子が積層されて構成されることとしてもよい。   In one embodiment of the present invention, the volume hologram optical element may be formed by stacking a plurality of hologram elements having different interference fringe patterns.

このようにすれば、体積ホログラム光学素子を構成する過程でホログラムの多重露光回数を減らせるので、体積ホログラム光学素子の回折効率の減少やクロストーク発生のリスクを低減できる。   By doing so, the number of times of multiple exposure of the hologram can be reduced in the process of configuring the volume hologram optical element, so that the diffraction efficiency of the volume hologram optical element and the risk of crosstalk can be reduced.

また、本発明の一態様では、前記体積ホログラム光学素子を構成する前記複数のホログラム素子は、それぞれ傾き角度又は配置を調整可能に構成されていることとしてもよい。   In one aspect of the present invention, the plurality of hologram elements included in the volume hologram optical element may be configured to be capable of adjusting a tilt angle or an arrangement.

このようにすれば、体積ホログラム光学素子を露光して干渉縞を設けた後でも、各ホログラム素子の傾き角度又は配置を調整することによって、柔軟にPSF(Point Spread Function)を設計・制御できるようになる。   In this way, even after exposing the volume hologram optical element and providing interference fringes, the tilt angle or arrangement of each hologram element can be adjusted to flexibly design and control the PSF (Point Spread Function). become.

また、本発明の一態様では、前記画像処理部は、復元処理対象となる画像のスパース性を利用して前記多重化像の画像を復元処理することとしてもよい。   In one aspect of the present invention, the image processing unit may restore the image of the multiplexed image using the sparsity of an image to be restored.

このようにすれば、体積ホログラム光学素子とイメージセンサによって、撮像対象の各光学情報ごとに分割して独立に符号化された符号化像から生成された多重化像を復元処理することが数学的に可能となるので、映像記録の広角化、多波長化、高解像度化を実現できる。   With this configuration, it is mathematically possible to restore the multiplexed image generated from the encoded image that is divided for each optical information to be imaged and independently encoded by the volume hologram optical element and the image sensor. Therefore, it is possible to realize a wide angle, multi-wavelength, and high resolution video recording.

また、本発明の一態様では、前記体積ホログラム光学素子と前記イメージセンサとの間にレンズが設けられることとしてもよい。   In one embodiment of the present invention, a lens may be provided between the volume hologram optical element and the image sensor.

このようにすれば、体積ホログラム光学素子とイメージセンサとレンズのみで構成される簡素な光学系で高情報量の撮像を実現できる。   With this configuration, it is possible to realize imaging with a high information amount using a simple optical system including only the volume hologram optical element, the image sensor, and the lens.

また、本発明の一態様では、前記体積ホログラム光学素子と前記イメージセンサとの間にレンズが設けられないレンズレス方式であることとしてもよい。   In one embodiment of the present invention, a lensless method may be adopted in which no lens is provided between the volume hologram optical element and the image sensor.

このようにすれば、体積ホログラム光学素子とイメージセンサのみで構成される簡素な光学系で高情報量の撮像を実現できる。   With this configuration, it is possible to realize imaging with a high information amount using a simple optical system including only the volume hologram optical element and the image sensor.

また、本発明の他の態様は、複数の光学情報を含む撮像対象を撮像する撮像方法であって、前記撮像対象の前記複数の光学情報を小さな視野・波長幅ごとに分割する分割工程と、前記工程で分割された前記複数の光学情報ごとに体積ホログラム光学素子で符号化して符号化像を得る符号化工程と、前記複数の光学情報ごとに得られた前記符号化像のそれぞれをイメージセンサで多重化して多重化像を取得する多重化工程と、前記多重化像を復元対象となる画像のスパース性を利用して圧縮センシングにより復元処理する復元処理工程と、を有することを特徴とする。   Further, another aspect of the present invention is an imaging method for imaging an imaging target including a plurality of optical information, a dividing step of dividing the plurality of optical information of the imaging target for each small visual field and wavelength width, An encoding step of encoding each of the plurality of optical information divided in the step by a volume hologram optical element to obtain an encoded image; and an image sensor for each of the encoded images obtained for each of the plurality of optical information. A multiplexing step of multiplexing to obtain a multiplexed image, and a restoration processing step of restoring the multiplexed image by compressed sensing using the sparsity of an image to be restored. .

本発明の他の態様によれば、イメージセンサの前段側に体積ホログラム光学素子を設けることによって、撮像対象に含まれる各光学情報を光学情報ごとに分割して独立に符号化できる。このため、イメージセンサで各光学情報の多重化像を取得してから画像処理部で当該多重化像を分離再構築して、簡素な構成で効率的に映像記録の広角化、多波長化、高解像度化を実現できる。   According to another aspect of the present invention, by providing the volume hologram optical element in front of the image sensor, each piece of optical information included in the imaging target can be divided for each piece of optical information and independently encoded. For this reason, the multiplexed image of each optical information is acquired by the image sensor, and the multiplexed image is separated and reconstructed by the image processing unit. High resolution can be realized.

以上説明したように本発明によれば、イメージセンサの前段側に体積ホログラム光学素子を設ける簡素な光学系の構成によって、効率的に映像記録の広角化、多波長化、高解像度化を実現できる。   As described above, according to the present invention, wide angle, multi-wavelength, and high resolution of image recording can be efficiently realized by a simple optical system configuration in which a volume hologram optical element is provided on the front side of an image sensor. .

図1は、本発明の一実施形態に係る撮像システムの概略構成を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration of an imaging system according to an embodiment of the present invention. 図2A及び図2Bは、本発明の一実施形態に係る撮像システムに備わる撮像部の概略構成を示すブロック図である。2A and 2B are block diagrams each showing a schematic configuration of an imaging unit provided in the imaging system according to the embodiment of the present invention. 図3は、本発明の一実施形態に係る撮像システムの動作説明図である。FIG. 3 is an operation explanatory diagram of the imaging system according to the embodiment of the present invention. 図4は、本発明の一実施形態に係る撮像システムを適用した撮像方法の概略を示すフロー図である。FIG. 4 is a flowchart showing an outline of an imaging method to which the imaging system according to one embodiment of the present invention is applied. 図5A乃至図5Dは、本発明の一実施形態に係る撮像システムによる撮像結果を示す説明図である。FIG. 5A to FIG. 5D are explanatory diagrams illustrating imaging results of the imaging system according to the embodiment of the present invention. 図6A及び図6Bは、本発明の一実施形態に係る撮像システムに備わる体積ホログラム光学素子の一態様の概略構成を示す説明図である。6A and 6B are explanatory diagrams illustrating a schematic configuration of one mode of a volume hologram optical element included in an imaging system according to an embodiment of the present invention. 図7は、図6A及び図6Bに示す体積ホログラム光学素子を備える本発明の一実施形態に係る撮像システムによる撮像結果を示す説明図である。FIG. 7 is an explanatory diagram showing an imaging result by the imaging system according to the embodiment of the present invention including the volume hologram optical element shown in FIGS. 6A and 6B.

以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。   Hereinafter, preferred embodiments of the present invention will be described in detail. Note that the present embodiment described below does not unduly limit the contents of the present invention described in the claims, and all the configurations described in the present embodiment are indispensable means for solving the present invention. Is not always the case.

まず、本発明の一実施形態に係る撮像システムの概略構成について、図面を使用しながら説明する。図1は、本発明の一実施形態に係る撮像システムの概略構成を示すブロック図であり、図2A及び図2Bは、本発明の一実施形態に係る撮像システムに備わる撮像部の概略構成を示すブロック図である。   First, a schematic configuration of an imaging system according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of an imaging system according to an embodiment of the present invention. FIGS. 2A and 2B show a schematic configuration of an imaging unit provided in the imaging system according to an embodiment of the present invention. It is a block diagram.

本発明の一実施形態に係る撮像システム100は、複数の光学情報を含む撮像対象を撮像する際に適用される。すなわち、本実施形態の撮像システム100は、撮像対象が広視野・多波長・高画素数の全て、又は何れかが該当するような高情報量の場合に、当該撮像対象を高解像度化して撮像する際に適用される。   The imaging system 100 according to one embodiment of the present invention is applied when imaging an imaging target including a plurality of pieces of optical information. In other words, the imaging system 100 according to the present embodiment increases the resolution of the imaging target and performs imaging when the imaging target has a wide field of view, a multi-wavelength, and a high information amount such that any one of them is applicable. Applied when

本実施形態の撮像システム100は、図1に示すように、被写体となる撮像対象を撮像して得られた画素信号を画像データに変換する撮像部102と、撮像部102で変換された画像データに、所定の画像処理を行う画像処理部108とを備える。   As illustrated in FIG. 1, an imaging system 100 according to the present embodiment includes an imaging unit 102 that converts a pixel signal obtained by imaging an imaging target serving as a subject into image data, and an image data that is converted by the imaging unit 102. And an image processing unit 108 for performing predetermined image processing.

本実施形態では、撮像部102は、発光された光を利用して撮像対象を撮像する機能を有し、体積ホログラム光学素子(Volume Holographic Optical Element:以下、vHOEとも称する。)104とイメージセンサ106によって構成される。体積ホログラム光学素子104は、撮像対象を光学情報ごとに分割してから符号化、変調する機能を有する。イメージセンサ106は、体積ホログラム光学素子104で符号化された各符号化像を多重化して多重化像を取得する機能を有する。   In the present embodiment, the imaging unit 102 has a function of imaging an imaging target using emitted light, and includes a volume holographic optical element (hereinafter, also referred to as vHOE) 104 and an image sensor 106. Composed of The volume hologram optical element 104 has a function of dividing an imaging target for each optical information, and then encoding and modulating it. The image sensor 106 has a function of multiplexing each of the encoded images encoded by the volume hologram optical element 104 to obtain a multiplexed image.

本実施形態では、撮像部102は、図2Aに示すように、変調機能を有する体積ホログラム光学素子104とイメージセンサ106との間にレンズ105を設けて、フィルタ付加型方式の撮像部102aとしてもよい。また。撮像部102は、体積ホログラム光学素子104が変調機能とレンズ機能を併せ持つ場合には、図2Bに示すように、体積ホログラム光学素子104とイメージセンサ106のみで構成されるレンズレス方式の撮像部102bとしてもよい。さらに、レンズ機能をレンズアレイと画像再構成にして、光学系を更に短焦点距離化、薄型化を実現させてもよい。なお、本実施形態の撮像部102の動作・機能の詳細については、後述する。   In the present embodiment, as shown in FIG. 2A, the imaging unit 102 is provided with a lens 105 between a volume hologram optical element 104 having a modulation function and an image sensor 106, and can be used as an imaging unit 102a of a filter addition type. Good. Also. When the volume hologram optical element 104 has both a modulation function and a lens function, as shown in FIG. 2B, the imaging section 102 is a lensless imaging section 102b composed of only the volume hologram optical element 104 and the image sensor 106. It may be. Further, the lens function may be reconstructed into an image with a lens array to further shorten the focal length and make the optical system thinner. The operation and function of the imaging unit 102 according to the present embodiment will be described later in detail.

画像処理部108は、撮像部102が取得した画像データに対して画像処理を施す機能を有する。本実施形態では、画像処理部108は、イメージセンサ106で取得された多重化像を圧縮センシングにより画像復元処理して撮像対象の撮像データを分離再構成するように画像処理を施す。   The image processing unit 108 has a function of performing image processing on the image data acquired by the imaging unit 102. In the present embodiment, the image processing unit 108 performs image processing such that the multiplexed image acquired by the image sensor 106 is subjected to image restoration processing by compressed sensing to separate and reconstruct imaging data of an imaging target.

具体的には、画像処理部108は、再構成対象を画像ベクトルとして表現した際に0値となる要素が多い性質、すなわち、疎(スパース)性を利用して、少ないデータから大規模なデータを線形システムに適用可能な数理的技術で復元する。その際に、マクロな撮像は、線形システムで表現でき、自然画像は、基底変換行列等による何らかの基底変換をすることによって、ほぼ例外なく疎に表現できるため、スパース性を利用した画像処理部108による画像処理は、符号化撮像(大規模画像再構成)にも有用となる。このため、その応用として、独立変調された撮像情報の多重像の分離再構成が実現できるようになる。   More specifically, the image processing unit 108 uses the property of having many elements having a value of 0 when the reconstruction target is represented as an image vector, that is, using a sparse property to reduce a small data to a large-scale data. With mathematical techniques applicable to linear systems. At this time, the macro imaging can be expressed by a linear system, and the natural image can be sparsely expressed almost without exception by performing some basis transformation using a basis transformation matrix or the like. Is also useful for coded imaging (large-scale image reconstruction). Therefore, as an application thereof, it is possible to realize separation and reconstruction of a multiplex image of independently modulated imaging information.

このように、本実施形態では、撮像部102をイメージセンサ106の前段側に体積ホログラム光学素子104を設ける構成とすることによって、撮像対象に含まれる各光学情報を光学情報ごとに分割して独立に符号化できるようになる。このため、イメージセンサ106で各光学情報の多重化像を取得してから、画像処理部108で当該多重化像を分離再構築することで、簡素な構成で効率的に映像記録の広角化、多波長化、高解像度化を実現できる。   As described above, in the present embodiment, the imaging unit 102 is provided with the volume hologram optical element 104 in front of the image sensor 106, whereby each optical information included in the imaging target is divided for each optical information and independently Can be encoded. For this reason, the multiplexed image of each optical information is acquired by the image sensor 106, and then the multiplexed image is separated and reconstructed by the image processing unit 108. Multiple wavelengths and high resolution can be realized.

次に、本発明の一実施形態に係る撮像システムの動作の詳細について、図面を使用しながら説明する。図3は、本発明の一実施形態に係る撮像システムの動作説明図である。   Next, details of the operation of the imaging system according to the embodiment of the present invention will be described with reference to the drawings. FIG. 3 is an operation explanatory diagram of the imaging system according to the embodiment of the present invention.

本発明の一実施形態に係る撮像システム100は、撮像部102を構成する光学素子として体積ホログラム光学素子(vHOE)104を用いることによって、複数の波長、視野の画像情報を撮像する小型な撮像システムを実現することを特徴とする。すなわち、本実施形態の撮像システム100は、体積ホログラム光学素子104を用いて、カメラにおける装置のコンパクトさと高撮像情報量の同時実現を可能とすることを特徴とする。   An imaging system 100 according to an embodiment of the present invention uses a volume hologram optical element (vHOE) 104 as an optical element constituting an imaging unit 102, so that a small imaging system that captures image information of a plurality of wavelengths and fields of view. Is realized. That is, the imaging system 100 of the present embodiment is characterized by using the volume hologram optical element 104 to enable simultaneous realization of a compact device and a high imaging information amount in a camera.

体積ホログラム光学素子104は、光が入射した際におけるホログラム露光時に記録した光の波面を再生する波面再現性と、光の入射角ごとに独立な波面の記録・再生を可能とする角度選択性と、光の波長ごとに独立な波面の記録・再生を可能とする波長選択性を有する。   The volume hologram optical element 104 has a wavefront reproducibility for reproducing a wavefront of light recorded at the time of hologram exposure when light is incident, and an angle selectivity for enabling recording / reproduction of a wavefront independent of each incident angle of light. It has wavelength selectivity that enables recording and reproduction of an independent wavefront for each wavelength of light.

特に、体積ホログラム光学素子104は、物理的には、ブラッグ回折を利用しているので、光の入射角に本質的な制限がなくなる。このため、体積ホログラム光学素子104の角度選択性として、例えば、90度の入射角でカメラに入った光をセンサに伝達することも可能となる。   In particular, since the volume hologram optical element 104 physically utilizes Bragg diffraction, there is essentially no limitation on the incident angle of light. Therefore, as the angle selectivity of the volume hologram optical element 104, for example, it is possible to transmit light entering the camera at an incident angle of 90 degrees to the sensor.

また、体積ホログラム光学素子104の波長選択性によって、波長の大きさに本質的な制限がなくなるので、可視光に限らず,音波,赤外線,X線などでも独立に波面記録・再生が可能となる。このため、体積ホログラム光学素子104は、様々な視野から入射する光を全てイメージセンサ106に誘導するようにプリズム機能を有して、かつ、視野・波長ごとに異なるインパルス応答(PSF:Point Spread Function)を実装できるので、視野・波長独立な光学的符号化及びその多重像撮影を1枚の素子で実現できるようになる。   In addition, the wavelength selectivity of the volume hologram optical element 104 does not essentially limit the size of the wavelength, so that wavefront recording / reproduction can be performed independently not only with visible light but also with sound waves, infrared rays, X-rays, and the like. . For this reason, the volume hologram optical element 104 has a prism function so as to guide all light incident from various fields to the image sensor 106, and has a different impulse response (PSF: Point Spread Function) for each field and wavelength. ) Can be implemented, so that field- and wavelength-independent optical coding and its multiple image shooting can be realized by one element.

このように、体積ホログラム光学素子104には、波面再現性、角度選択性、及び波長選択性があるので、体積ホログラム光学素子104のこれらの性質を利用して、視野・波長独立な光学的符号化、多重化が可能なプリズム機能を有する高機能な光学素子を実現できる。特に、撮像部102がレンズを有する方式である場合には、体積ホログラム光学素子104には、プリズム(光伝搬方向変調)機能と、視野波長独立符号化機能と、符号化された像のセンサ面への多重伝送機能が備わり、撮像部102がレンズレス方式である場合には、体積ホログラム光学素子104には、これらの機能に加えて、更に結像機能(凸レンズ機能、又は集光型位相変調機能)が備わる。   As described above, the volume hologram optical element 104 has wavefront reproducibility, angle selectivity, and wavelength selectivity. Therefore, by utilizing these properties of the volume hologram optical element 104, a visual code and a wavelength-independent optical code are utilized. A high-performance optical element having a prism function that can be combined and multiplexed can be realized. In particular, when the imaging unit 102 has a lens system, the volume hologram optical element 104 includes a prism (light propagation direction modulation) function, a viewing wavelength independent coding function, and a sensor surface of the coded image. When the imaging unit 102 is of a lensless type, the volume hologram optical element 104 has an imaging function (convex lens function or condensing phase modulation) in addition to these functions. Function).

このため、本実施形態では、まず、撮像部102の前段側に設けられる体積ホログラム光学素子104が当該体積ホログラム光学素子104を介して撮像した撮像対象となる複数の光学情報を小さな視野・波長幅ごとに分割する。具体的には、図3に示すように、撮像対象となる光学情報として花D1とリンゴD2が含まれる場合には、花D1を撮像する視野となる光角度A1と、花D1とリンゴD2との間のブランク部分の視野となる光角度A2、A3と、リンゴD2を撮像する視野となる光角度A4ごとに分割する。なお、本実施形態では、体積ホログラム光学素子104によって、撮像対象となる複数の光学情報を小さな視野ごとに分割しているが、波長幅ごとに分割してもよい。   For this reason, in the present embodiment, first, the volume hologram optical element 104 provided on the front stage side of the imaging unit 102 converts a plurality of pieces of optical information to be imaged through the volume hologram optical element 104 into a small visual field and wavelength width. Divide each. Specifically, as shown in FIG. 3, when the flower D1 and the apple D2 are included as the optical information to be imaged, the light angle A1 serving as a visual field for imaging the flower D1, the flower D1 and the apple D2, Are divided into light angles A2 and A3, which are the fields of view of the blank portion between, and light angles A4, which are the fields of view for imaging the apple D2. In the present embodiment, a plurality of optical information to be imaged is divided for each small visual field by the volume hologram optical element 104, but may be divided for each wavelength width.

そして、体積ホログラム光学素子104は、これら光角度A1乃至A4ごとに分割された光学情報のそれぞれを独立に変調、符号化する。体積ホログラム光学素子104で符号化された符号化像のそれぞれが多重化されたものは、図3に示すように、イメージセンサ106により多重化像D3の画像として取得される。   Then, the volume hologram optical element 104 independently modulates and encodes each of the optical information divided for each of the light angles A1 to A4. Each of the multiplexed encoded images encoded by the volume hologram optical element 104 is acquired as an image of the multiplexed image D3 by the image sensor 106 as shown in FIG.

イメージセンサ106で得られた多重化像D3は、撮像部102の後段側に設けられる画像処理部108によって、画像復元処理して撮像対象の撮像データとして分離再構成される。本実施形態では、当該多重画像D3を画像のスパース性を積極的に利用した圧縮センシングによる画像復元処理で分離再構成する。   The multiplexed image D3 obtained by the image sensor 106 is subjected to image restoration processing and separated and reconstructed as imaging data of an imaging target by an image processing unit 108 provided on the subsequent stage of the imaging unit 102. In the present embodiment, the multiplexed image D3 is separated and reconstructed by an image restoration process using compressed sensing that actively utilizes the sparsity of the image.

なお、本実施形態では、画像処理部108で多重化像D3を圧縮センシングする際に、再構成画像の情報量(画角とサンプリング解像度と波長数の積)の上限は、再構成画像の圧縮率、すなわち、何らかの基底空間上で対象をどれだけスパースに表現して良いとするかによって決まる。例えば、画像工学分野で実験用標準画像として用いられるLena画像を画質指標(Peak Signal-to-Noise Ratio)30dB以上で再構成することを目的とする場合、設定可能な圧縮率は、凡そ10であるから、同じ画角の広角カメラに比べてサンプリング解像度の向上の上限が10倍となる。また、再構成画像の画質の低下を更に許容すれば、より一層の解像度の向上が期待できる。その際に、どれだけの画質が許容できるかに関しては、適用先の映像システムにより適宜規定される。   In the present embodiment, when the image processing unit 108 performs the compression sensing of the multiplexed image D3, the upper limit of the information amount of the reconstructed image (the product of the angle of view, the sampling resolution, and the number of wavelengths) is limited to the compression of the reconstructed image. It depends on the rate, that is, how sparsely the object can be represented on some basis space. For example, if the purpose is to reconstruct a Lena image used as a standard image for experiments in the field of image engineering with an image quality index (Peak Signal-to-Noise Ratio) of 30 dB or more, the compression ratio that can be set is approximately 10. Therefore, the upper limit of the improvement in the sampling resolution is ten times that of a wide-angle camera having the same angle of view. Further, if the deterioration of the image quality of the reconstructed image is further allowed, further improvement in resolution can be expected. At this time, how much image quality is acceptable is appropriately defined by the video system to which the application is applied.

このように、本実施形態では、体積ホログラム光学素子(vHOE)104の波面再現性、角度選択性、及び波長選択性を利用して、一般的な屈折・反射型の光学素子では、実現できないような高機能な光学素子を実現している。特に、近年では、体積ホログラム光学素子104に使用される商用フォトポリマーが高感度化・高安定化したことに伴い、体積ホログラム光学素子104が高精度に生成できるようになったので、単一の光学素子による高情報量(広視野・多波長・高画素数の全て、又は何れか)の撮像の実現性が高まっている。   As described above, in the present embodiment, by utilizing the wavefront reproducibility, angle selectivity, and wavelength selectivity of the volume hologram optical element (vHOE) 104, it cannot be realized by a general refraction / reflection type optical element. High-performance optical elements. In particular, in recent years, since the commercial photopolymer used for the volume hologram optical element 104 has been improved in sensitivity and stability, the volume hologram optical element 104 can be generated with high accuracy. The feasibility of imaging a large amount of information (all or any of a wide field of view, multiple wavelengths, and a high number of pixels) using an optical element is increasing.

また、近年では、信号処理技術の発展により、多重像分離に必要な画像再構成処理である「圧縮センシング」技術が成熟して実用的な処理速度・精度での画像処理技術の実装が実現可能となり、複数画像の多重化撮像とその分離が精度良く実現できるようになっている。このため、本実施形態では、高設計自由度を有する体積ホログラム光学素子(vHOE)104と、高精度信号処理を実行可能な画像処理部106を融合設計することによって、既存の撮像法の高解像度化の物理的限界を打破するような新しい光-計算機融合型の撮像システム100としている。   In recent years, with the development of signal processing technology, the "compression sensing" technology, which is the image reconstruction process required for multiple image separation, has matured, and it is possible to implement image processing technology at practical processing speed and accuracy. Thus, multiplex imaging of a plurality of images and separation thereof can be accurately realized. For this reason, in the present embodiment, the volume hologram optical element (vHOE) 104 having a high degree of design freedom and the image processing unit 106 capable of executing the high-precision signal processing are integrated and designed to achieve the high resolution of the existing imaging method. A new optical-computer integrated type imaging system 100 that overcomes the physical limitations of image formation.

次に、本発明の一実施形態に係る撮像システムを適用した撮像方法について、図面を使用しながら説明する。図4は、本発明の一実施形態に係る撮像システムを適用した撮像方法の概略を示すフロー図であり、図5A乃至図5Dは、本発明の一実施形態に係る撮像システムによる撮像結果を示す説明図である。   Next, an imaging method to which the imaging system according to one embodiment of the present invention is applied will be described with reference to the drawings. FIG. 4 is a flowchart showing an outline of an imaging method to which the imaging system according to the embodiment of the present invention is applied, and FIGS. 5A to 5D show imaging results by the imaging system according to the embodiment of the present invention. FIG.

本発明の一実施形態に係る撮像システムを適用した撮像方法は、複数の光学情報を含む撮像対象を撮像する撮像方法であって、簡素な光学系の構成で効率的に映像記録の広角化、多波長化、高解像度化を実現できることを特徴とする。本実施形態では、撮像方法は、図4に示すように、分割工程S11と、符号化工程S12と、多重化工程S13と、及び復元処理工程S14とを有し、これらの工程S11乃至S14が図4に示すフローで行われることによって、効率的に映像記録の広角化、多波長化、高解像度化を実現する。   An imaging method to which an imaging system according to an embodiment of the present invention is applied is an imaging method for imaging an imaging target including a plurality of optical information, and a wide angle of video recording is efficiently achieved with a simple optical system configuration. It is characterized by being able to realize multiple wavelengths and high resolution. In the present embodiment, as shown in FIG. 4, the imaging method includes a dividing step S11, an encoding step S12, a multiplexing step S13, and a restoration processing step S14, and these steps S11 to S14 are performed. By performing the processing in the flow shown in FIG. 4, widening of the angle of video recording, multi-wavelength, and high resolution can be efficiently realized.

分割工程S11では、撮像対象の複数の光学情報を小さな視野・波長幅ごとに分割する。本実施形態では、撮像部の前段側に体積ホログラム光学素子が設けられているので、当該体積ホログラム光学素子を介して撮像した撮像対象となる複数の光学情報を小さな視野・波長幅ごとに分割する。   In the dividing step S11, a plurality of pieces of optical information of the imaging target are divided for each small visual field and wavelength width. In the present embodiment, since the volume hologram optical element is provided on the front side of the imaging unit, a plurality of pieces of optical information to be imaged through the volume hologram optical element are divided into small visual fields and wavelength widths. .

符号化工程S12では、当該分割工程S11で分割された複数の光学情報ごとに体積ホログラム光学素子で符号化して符号化像を得る。本実施形態では、体積ホログラム光学素子によって、視野や波長幅ごとに分割された光学情報のそれぞれを独立に変調、符号化している。   In the encoding step S12, a plurality of pieces of optical information divided in the division step S11 are encoded by the volume hologram optical element to obtain an encoded image. In the present embodiment, each of the optical information divided for each field of view and each wavelength width is independently modulated and encoded by the volume hologram optical element.

多重化工程S13では、複数の光学情報ごとに得られた符号化像のそれぞれをイメージセンサで多重化して多重化像を取得する。本実施形態では、体積ホログラム光学素子で符号化された符号化像のそれぞれが多重化されたものがイメージセンサにより多重化像の画像として取得される。   In the multiplexing step S13, each of the encoded images obtained for each of the plurality of optical information is multiplexed by an image sensor to obtain a multiplexed image. In the present embodiment, each of the encoded images encoded by the volume hologram optical element, which is multiplexed, is obtained as an image of the multiplexed image by the image sensor.

復元処理工程S14では、多重化像を復元対象となる画像のスパース性を利用して圧縮センシングにより復元処理して、分離再構成する。本実施形態では、イメージセンサで得られた多重化像が画像処理部によって、画像のスパース性を積極的に利用した圧縮センシングによる画像復元処理で分離再構成される。   In the restoration processing step S14, the multiplexed image is restored by compression sensing using the sparsity of the image to be restored, and separated and reconstructed. In the present embodiment, the multiplexed image obtained by the image sensor is separated and reconstructed by the image processing unit by the image restoration process by the compressed sensing that actively uses the sparsity of the image.

このように、本実施形態では、イメージセンサの前段側に体積ホログラム光学素子を設けることによって、当該体積ホログラム光学素子の性質を利用して、撮像対象に含まれる各光学情報ごとに分割して独立に符号化できるようになる。このため、イメージセンサで各光学情報の多重化像を生成して画像処理部で当該多重化像を分離再構築して、簡素な構成で効率的に映像記録の広角化、多波長化、高解像度化を実現できる。すなわち、vHOEとイメージセンサのみ、場合によっては、vHOEとイメージセンサとレンズ等の幾つかの補助光学素子のみで構成された小型かつシンプルな光学系によって、広視野・多波長・高画素数の全て、又は何れかを満たす高情報量の撮像を実現できる。   As described above, in the present embodiment, by providing the volume hologram optical element on the front stage side of the image sensor, the optical information is divided into individual pieces of optical information included in the imaging target by utilizing the properties of the volume hologram optical element, and independently. Can be encoded. For this reason, a multiplexed image of each optical information is generated by an image sensor, and the multiplexed image is separated and reconstructed by an image processing unit. Resolution can be realized. In other words, a small and simple optical system composed only of the vHOE and the image sensor, or, in some cases, only the vHOE and the image sensor and some auxiliary optical elements such as lenses, provides a wide field of view, a multi-wavelength, and a high pixel count. , Or an image with a high information amount that satisfies any of them.

本実施形態の撮像システム、撮像方法を適用することによって、図5Aに示す撮影画像が得られる。一方、図5Aに記録されている画像の画像分裂に基づく符号化を、分裂幅を強調して分かりやすく表示した例を図5Bに示す。また、本実施形態の撮像システム、撮像方法を適用して、画像のスパース性を積極的に利用した圧縮センシングによる画像復元処理で分離再構成することによって、図5Cに示す一の視野の画像と図5Dに示す他の視野の画像が得られる。このことからも、本実施形態の撮像システム、撮像補法によって、簡素な構成で効率的に映像記録の広角化、多波長化、高解像度化を実現可能であることがわかる。   By applying the imaging system and the imaging method of the present embodiment, a captured image shown in FIG. 5A can be obtained. On the other hand, FIG. 5B shows an example in which the coding based on the image division of the image recorded in FIG. 5A is displayed in an easily understandable manner with the division width emphasized. In addition, by applying the imaging system and the imaging method of the present embodiment and separating and reconstructing the image by an image restoration process using compressed sensing that actively utilizes the sparsity of the image, the image of one view shown in FIG. An image of another field of view shown in FIG. 5D is obtained. From this, it can be seen that the imaging system of the present embodiment and the imaging complement method can efficiently realize wide-angle video recording, multiple wavelengths, and high resolution with a simple configuration.

なお、前述したように、体積ホログラム光学素子104は、光が入射した際におけるホログラム露光時に記録した光の波面を再生する波面再現性、光の入射角ごとに独立な波面の記録・再生を可能とする角度選択性、及び光の波長ごとに独立な波面の記録・再生を可能とする波長選択性を有する。特に、体積ホログラム光学素子104が角度選択性と波長選択性を有するためには、それぞれの角度や波長に対応する異なる干渉縞のパターンを体積ホログラム光学素子104に設ける必要がある。このため、従来では、体積ホログラム光学素子に異なる干渉縞パターンを設けるためには、異なる干渉縞パターンを設けるのに必要な回数の多数露光を行っていた。   As described above, the volume hologram optical element 104 can reproduce the wavefront of light recorded at the time of hologram exposure when light is incident, and can record and reproduce a wavefront independent of each incident angle of light. Angle selectivity, and a wavelength selectivity enabling recording and reproduction of an independent wavefront for each wavelength of light. In particular, in order for the volume hologram optical element 104 to have angle selectivity and wavelength selectivity, different interference fringe patterns corresponding to the respective angles and wavelengths need to be provided on the volume hologram optical element 104. For this reason, conventionally, in order to provide different interference fringe patterns on the volume hologram optical element, multiple exposures have been performed as many times as necessary to provide different interference fringe patterns.

しかしながら、1つの体積ホログラム光学素子に複数の異なる干渉縞パターンを設けるために、多数露光を行うと、体積ホログラム光学素子の回折効率の減少やクロストークの発生といった問題が発生する。特に、体積ホログラム光学素子が高度な角度選択性と波長選択性を有するためには、より多数の干渉縞パターンが設けられる必要があり、多数露光に伴う上記問題が顕著になる。   However, when multiple exposures are performed to provide a plurality of different interference fringe patterns on one volume hologram optical element, problems such as a decrease in diffraction efficiency of the volume hologram optical element and occurrence of crosstalk occur. In particular, in order for the volume hologram optical element to have a high degree of angle selectivity and wavelength selectivity, it is necessary to provide a larger number of interference fringe patterns, and the above-described problems associated with multiple exposures become significant.

このため、本発明の一実施形態に係る撮像システム100に備わる体積ホログラム光学素子104では、例えば、図6Aに示すような回折効率や屈折角等の光学特性が異なる複数のホログラム素子104a、104b、104c、104dのそれぞれに異なる干渉縞のパターンを設けてから、図6Bに示すように、各ホログラム素子104a、104b、104c、104dを積層する構成とすることも可能である。すなわち、本実施形態では、体積ホログラム光学素子104は、干渉縞のパターンがそれぞれ異なる複数のホログラム素子104a、104b、104c、104dが積層されて構成されることとしてもよい。   For this reason, in the volume hologram optical element 104 provided in the imaging system 100 according to one embodiment of the present invention, for example, a plurality of hologram elements 104a, 104b, which have different optical characteristics such as diffraction efficiency and refraction angle as shown in FIG. After providing different interference fringe patterns on each of 104c and 104d, it is also possible to adopt a configuration in which the hologram elements 104a, 104b, 104c and 104d are stacked as shown in FIG. 6B. That is, in the present embodiment, the volume hologram optical element 104 may be configured by laminating a plurality of hologram elements 104a, 104b, 104c, and 104d having different interference fringe patterns.

このように、干渉縞のパターンが異なる複数のホログラム素子104a、104b、104c、104dを積層させる構成とすることによって、体積ホログラム光学素子104は、図6Bに示すように、様々な角度の入射光に対して角度選択性や波長選択性を有するので、撮像対象に含まれる各光学情報が光学情報ごとに分割、符号化されて、カメラ103のイメージセンサに入るようになる。このため、撮像対象に含まれる各光学情報が光学情報ごとに分割されて独立に符号化されるので、当該イメージセンサで各光学情報の多重化像を取得してから、後続の画像処理部108(図1参照)で当該多重化像を分離再構築することによって、効率的に映像記録の広角化、多波長化、高解像度化を実現できる。   As described above, by stacking a plurality of hologram elements 104a, 104b, 104c, and 104d having different patterns of interference fringes, the volume hologram optical element 104 allows incident light having various angles as shown in FIG. 6B. Since the optical information has an angle selectivity and a wavelength selectivity, each optical information included in the object to be imaged is divided and encoded for each optical information, and enters the image sensor of the camera 103. For this reason, since each optical information included in the imaging target is divided for each optical information and independently encoded, a multiplexed image of each optical information is acquired by the image sensor, and then the subsequent image processing unit 108 By separating and reconstructing the multiplexed image (see FIG. 1), it is possible to efficiently realize wide-angle video recording, multiple wavelengths, and high resolution of video recording.

また、本実施形態では、体積ホログラム光学素子104を多重露光によって作成しないで、異なるホログラム素子104a、104b、104c、104dのそれぞれに所望の干渉縞のパターンを露光して形成してから、これらのホログラム素子104a、104b、104c、104dを積層させて構成させる。このため、ホログラムの多重露光回数を減らせるので、体積ホログラム光学素子104の回折効率の減少やクロストーク発生のリスクを低減できる。   Further, in the present embodiment, the volume hologram optical element 104 is not formed by multiple exposure, but is formed by exposing a desired interference fringe pattern to each of the different hologram elements 104a, 104b, 104c, and 104d. The hologram elements 104a, 104b, 104c, and 104d are configured to be stacked. For this reason, the number of multiple exposures of the hologram can be reduced, so that the diffraction efficiency of the volume hologram optical element 104 can be reduced and the risk of occurrence of crosstalk can be reduced.

ホログラム素子は、通常、当該ホログラム素子を構成するフォトポリマーに露光することによって、当該フォトポリマーを構成するモノマーが移動して所望の干渉縞が形成される。しかしながら、1つのホログラム素子を構成するフォトポリマーに異なる干渉縞のパターンを形成しようとすると、干渉縞同士がクロストークを起こすことが問題となる。   In the hologram element, by exposing a photopolymer constituting the hologram element to light, a monomer constituting the photopolymer moves to form a desired interference fringe. However, when trying to form different interference fringe patterns on the photopolymer constituting one hologram element, there is a problem that crosstalk occurs between the interference fringes.

このため、本実施形態では、異なる干渉縞のパターンを別個のホログラム素子104a、104b、104c、104dにそれぞれ露光して形成して、当該干渉縞を構成するモノマーの移動が停止した状態になってから、これらのホログラム素子104a、104b、104c、104dを積層して体積ホログラム光学素子104を構成している。このようにすることによって、各ホログラム素子104a、104b、104c、104dに形成された干渉縞が安定した状態となるので、体積ホログラム光学素子104の光学性能が向上するようになる。   For this reason, in the present embodiment, the patterns of different interference fringes are formed by exposing the respective hologram elements 104a, 104b, 104c, and 104d, respectively, and the movement of the monomers constituting the interference fringes is stopped. Therefore, the hologram elements 104a, 104b, 104c, and 104d are stacked to form the volume hologram optical element 104. By doing so, the interference fringes formed on each of the hologram elements 104a, 104b, 104c, and 104d are in a stable state, so that the optical performance of the volume hologram optical element 104 is improved.

また、本実施形態では、体積ホログラム光学素子104は、干渉縞のパターンが異なる複数のホログラム素子104a、104b、104c、104dを積層させる構成となっているので、これらのホログラム素子104a、104b、104c、104dがそれぞれ傾き角度又は配置を調整可能に構成されるようになる。このため、体積ホログラム光学素子104を露光して干渉縞を設けた後でも、各ホログラム素子104a、104b、104c、104dの傾き角度又は配置を調整することによって、柔軟にPSFを設計・制御できるようになる。   Further, in the present embodiment, the volume hologram optical element 104 has a configuration in which a plurality of hologram elements 104a, 104b, 104c, and 104d having different interference fringe patterns are stacked, so that these hologram elements 104a, 104b, and 104c are stacked. , 104d can be configured such that the tilt angle or arrangement can be adjusted. Therefore, even after the exposure of the volume hologram optical element 104 to form interference fringes, the PSF can be designed and controlled flexibly by adjusting the inclination angles or arrangement of the hologram elements 104a, 104b, 104c, and 104d. become.

本発明の一実施形態に係る撮像システム100に備わる体積ホログラム光学素子104をこのような構成とすることによって、図7に示すように、レーザー証明された拡散物体となる「A」を表示する印刷紙D6と、「B」を表示する印刷紙D7をレンズとイメージセンサを備えるカメラ103で撮像すると、これら印刷紙D6、D7で表示される「A」と「B」の多重像D8が取得される。また、本実施形態の撮像システム、撮像方法を適用して、画像のスパース性を積極的に利用した圧縮センシングによる画像復元処理で分離再構成することによって、再構成視野による一の視野の画像D9と他の視野の画像D10が得られる。   With such a configuration of the volume hologram optical element 104 included in the imaging system 100 according to an embodiment of the present invention, as shown in FIG. 7, printing that displays “A” as a laser-certified diffusion object is performed. When the paper D6 and the printing paper D7 displaying “B” are imaged by the camera 103 having a lens and an image sensor, a multiple image D8 of “A” and “B” displayed on these printing papers D6 and D7 is obtained. You. Also, by applying the imaging system and the imaging method of the present embodiment to separate and reconstruct by image restoration processing using compressed sensing that actively utilizes the sparsity of the image, an image D9 of one visual field by the reconstructed visual field is obtained. And an image D10 of another field of view.

このことから、体積ホログラム光学素子104は、干渉縞のパターンが異なる複数のホログラム素子104a、104b、104c、104dを積層させる構成としても、効率的に映像記録の広角化、多波長化、高解像度化を実現可能であることがわかる。なお、本実施形態では、4つの異なるホログラム素子104a、104b、104c、104dを積層させて体積ホログラム光学素子104を構成しているが、当該体積ホログラム光学素子104を構成する積層させるホログラム素子の個数は、4つに限定されず、他の個数から構成するようにしてもよい。   For this reason, even when the volume hologram optical element 104 has a configuration in which a plurality of hologram elements 104a, 104b, 104c, and 104d having different interference fringe patterns are stacked, the wide-angle image recording, the multiple wavelengths, and the high resolution can be efficiently performed. It can be seen that the realization is feasible. In the present embodiment, the volume hologram optical element 104 is formed by stacking four different hologram elements 104a, 104b, 104c, and 104d. Is not limited to four, and may be configured from other numbers.

以上説明したように、本発明の一実施形態に係る撮像システム、撮像方法を適用することによって、カメラアレイ・センサアレイで実現されるようなシングルショット広角・多波長・高解像度イメージングを体積ホログラム光学素子とイメージセンサ(場合によっては、レンズ等の補助光学素子)を付加したのみの小型で簡素な光学系で実現できるようになる。   As described above, by applying the imaging system and the imaging method according to an embodiment of the present invention, single-shot wide-angle, multi-wavelength, high-resolution imaging as realized by a camera array and a sensor array can be performed by volume hologram optics. This can be realized by a small and simple optical system which only includes an element and an image sensor (in some cases, an auxiliary optical element such as a lens).

すなわち、撮像システムの撮像手段として、複数の視野・波長の像情報を独立に一括符号化する光学素子となる体積ホログラム光学素子を利用することによって、小型化したカメラ等のコンパクトな装置によって、映像記録の広角化、多波長化、高解像度化した高撮像情報量を容易に実現できるようになる。   That is, by using a volume hologram optical element as an optical element that independently encodes image information of a plurality of fields of view and wavelengths as an imaging means of an imaging system, a compact device such as a miniaturized camera can be used. It is possible to easily realize a wide-angle recording, a multi-wavelength recording, and a high resolution and a high imaging information amount.

このため、ユーザが気軽に使えるサイズ、コスト、撮像時間で超高画素マルチスペクトルカメラを実現できるようになる。すなわち、本発明の一実施形態に係る撮像システム、及び撮像方法は、撮像及び画像解析対象の高情報化が進行する情報時代における画像入力のための新しい基盤技術として応用され得るので、極めて大きな工業的価値を有する。   Therefore, an ultra-high pixel multispectral camera can be realized with a size, cost, and imaging time that can be easily used by the user. That is, the imaging system and the imaging method according to an embodiment of the present invention can be applied as a new basic technology for image input in the information age in which information acquisition of an image and an image analysis object is progressing, so that an extremely large industrial scale can be realized. Have a value.

なお、上記のように本発明の一実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。   Although the embodiment of the present invention has been described in detail as described above, those skilled in the art can easily understand that many modifications that do not substantially depart from the novel matter and effects of the present invention are possible. I can do it. Therefore, such modified examples are all included in the scope of the present invention.

例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、撮像システムの構成、動作も本発明の一実施形態で説明したものに限定されず、種々の変形実施が可能である。   For example, in the description or drawings, a term described at least once together with a broader or synonymous different term can be replaced with the different term in any part of the description or drawing. Further, the configuration and operation of the imaging system are not limited to those described in the embodiment of the present invention, and various modifications can be made.

100 撮像システム、102 撮像部、103 カメラ、104 体積ホログラム光学素子、104a、104b、104c、104d ホログラム素子、106 イメージセンサ、108 画像処理部 Reference Signs List 100 imaging system, 102 imaging unit, 103 camera, 104 volume hologram optical element, 104a, 104b, 104c, 104d hologram element, 106 image sensor, 108 image processing unit

Claims (8)

複数の光学情報を含む撮像対象を撮像する撮像システムであって、
前記撮像対象を光学情報ごとに分割してから符号化する体積ホログラム光学素子と、
前記体積ホログラム光学素子で符号化された各符号化像を多重化して多重化像を取得するイメージセンサと、
前記イメージセンサで取得された前記多重化像を圧縮センシングにより画像復元処理して前記撮像対象の撮像データを分離再構成する画像処理部と、を備えることを特徴とする撮像システム。
An imaging system for imaging an imaging target including a plurality of optical information,
A volume hologram optical element that encodes the image object after dividing it for each optical information,
An image sensor that multiplexes each encoded image encoded by the volume hologram optical element to obtain a multiplexed image,
An image processing system comprising: an image processing unit configured to perform image restoration processing on the multiplexed image acquired by the image sensor by compressed sensing to separate and reconstruct imaging data of the imaging target.
前記体積ホログラム光学素子は、前記撮像対象に含まれる前記複数の光学情報を前記体積ホログラム素子との角度ごと又は前記光学情報の波長幅ごとに分割してから符号化することを特徴とする請求項1に記載の撮像システム。   The volume hologram optical element encodes the plurality of pieces of optical information included in the imaging target after dividing the plurality of pieces of optical information for each angle with the volume hologram element or for each wavelength width of the optical information. 2. The imaging system according to 1. 前記体積ホログラム光学素子は、干渉縞のパターンがそれぞれ異なる複数のホログラム素子が積層されて構成されることを特徴とする請求項1又は2に記載の撮像システム。   The imaging system according to claim 1, wherein the volume hologram optical element is configured by stacking a plurality of hologram elements having different interference fringe patterns. 前記体積ホログラム光学素子を構成する前記複数のホログラム素子は、それぞれ傾き角度又は配置を調整可能に構成されていることを特徴とする請求項3に記載の撮像システム。   4. The imaging system according to claim 3, wherein the plurality of hologram elements constituting the volume hologram optical element are configured to be capable of adjusting a tilt angle or an arrangement, respectively. 5. 前記画像処理部は、復元処理対象となる画像のスパース性を利用して前記多重化像の画像を復元処理することを特徴とする請求項1乃至4の何れか1項に記載の撮像システム。   5. The imaging system according to claim 1, wherein the image processing unit performs a restoration process on the multiplexed image using the sparsity of an image to be restored. 6. 前記体積ホログラム光学素子と前記イメージセンサとの間にレンズが設けられることを特徴とする請求項1乃至5の何れか1項に記載の撮像システム。   The imaging system according to any one of claims 1 to 5, wherein a lens is provided between the volume hologram optical element and the image sensor. 前記体積ホログラム光学素子と前記イメージセンサとの間にレンズが設けられないレンズレス方式であることを特徴とする請求項1乃至5の何れか1項に記載の撮像システム。   The imaging system according to any one of claims 1 to 5, wherein a lensless system is used in which no lens is provided between the volume hologram optical element and the image sensor. 複数の光学情報を含む撮像対象を撮像する撮像方法であって、
前記撮像対象の前記複数の光学情報を小さな視野・波長幅ごとに分割する分割工程と、
前記工程で分割された前記複数の光学情報ごとに体積ホログラム光学素子で符号化して符号化像を得る符号化工程と、
前記複数の光学情報ごとに得られた前記符号化像のそれぞれをイメージセンサで多重化して多重化像を取得する多重化工程と、
前記多重化像を復元対象となる画像のスパース性を利用して圧縮センシングにより復元処理する復元処理工程と、を有することを特徴とする撮像方法。
An imaging method for imaging an imaging target including a plurality of optical information,
A dividing step of dividing the plurality of optical information of the imaging target for each small visual field and wavelength width;
An encoding step of encoding with the volume hologram optical element for each of the plurality of optical information divided in the step to obtain an encoded image,
A multiplexing step of multiplexing each of the encoded images obtained for each of the plurality of optical information with an image sensor to obtain a multiplexed image,
A restoring process of restoring the multiplexed image by compressed sensing using the sparsity of the image to be restored.
JP2019517552A 2017-05-10 2018-04-24 Imaging system and imaging method Pending JPWO2018207613A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017093613 2017-05-10
JP2017093613 2017-05-10
PCT/JP2018/016594 WO2018207613A1 (en) 2017-05-10 2018-04-24 Imaging system and imaging method

Publications (1)

Publication Number Publication Date
JPWO2018207613A1 true JPWO2018207613A1 (en) 2020-03-12

Family

ID=64105373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019517552A Pending JPWO2018207613A1 (en) 2017-05-10 2018-04-24 Imaging system and imaging method

Country Status (2)

Country Link
JP (1) JPWO2018207613A1 (en)
WO (1) WO2018207613A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06347643A (en) * 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd Color resolving optical system and color resolving method
JP2006194992A (en) * 2005-01-11 2006-07-27 Nikon Corp Focus detecting device
US9426401B2 (en) * 2012-07-26 2016-08-23 Lockheed Martin Corporation Mechanisms for obtaining information from a scene
CN105611117B (en) * 2014-11-19 2018-12-07 松下知识产权经营株式会社 Photographic device and beam splitting system

Also Published As

Publication number Publication date
WO2018207613A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
KR102543392B1 (en) Brightfield image processing method for depth acquisition
JP5185140B2 (en) Imaging system
Marwah et al. Compressive light field photography using overcomplete dictionaries and optimized projections
Tahara et al. Roadmap of incoherent digital holography
US10656598B2 (en) Holographic light field imaging device and method of using the same
US6414763B1 (en) Digital holographic camera system and method having removable media
Wetzstein et al. Computational plenoptic imaging
DeWeert et al. Lensless coded-aperture imaging with separable Doubly-Toeplitz masks
RU2427018C2 (en) Projector and topographic scene reconstruction method
JP2013535931A (en) Reduced image acquisition time for compression imaging devices
EP2590399B1 (en) Hadamard enhanced sensor
JP7373015B2 (en) Imaging method
CN107421640B (en) Expand the multispectral light-field imaging system and method for principle based on color difference
KR20210124041A (en) Apparatus, Method and System For Generating Three-Dimensional Image Using a Coded Phase Mask
Tanida Multi-aperture optics as a universal platform for computational imaging
WO2018207613A1 (en) Imaging system and imaging method
EP3994529A1 (en) Calibration-free phase shifting procedure for self-interference holography
KR20180137795A (en) Hyperspectral Imaging Device
JP7363765B2 (en) Image processing device, imaging device, and image processing method
US12098954B2 (en) Optical device and method
US20190238732A1 (en) Lens apparatus, imaging apparatus, image processing apparatus and method, and storage medium
KR20090109100A (en) Method of reading a fourier hologram recorded on a holographic storage medium and a holographic storage system
JP7415464B2 (en) Video processing device, video processing method and program
Chen et al. A computational camera with programmable optics for snapshot high-resolution multispectral imaging
Li et al. Deep-learning enables single-pixel spectral imaging