WO2026018367A1 - 撮像装置 - Google Patents

撮像装置

Info

Publication number
WO2026018367A1
WO2026018367A1 PCT/JP2024/025712 JP2024025712W WO2026018367A1 WO 2026018367 A1 WO2026018367 A1 WO 2026018367A1 JP 2024025712 W JP2024025712 W JP 2024025712W WO 2026018367 A1 WO2026018367 A1 WO 2026018367A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical element
imaging device
image sensor
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/025712
Other languages
English (en)
French (fr)
Inventor
史英 小林
将司 宮田
俊和 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/025712 priority Critical patent/WO2026018367A1/ja
Publication of WO2026018367A1 publication Critical patent/WO2026018367A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals

Definitions

  • the present invention relates to an imaging device.
  • Non-Patent Document 1 Compressed sensing type spectral cameras are known (see, for example, Non-Patent Document 1).
  • Non-Patent Document 1 also describes a diffractive optical element (DOE) that focuses incident light using a microscopic structure.
  • DOE diffractive optical element
  • the vertical and horizontal resolutions of the resulting image may differ.
  • the vertical and horizontal light-collecting patterns are different, and therefore an image with different vertical and horizontal resolutions is ultimately output.
  • the light-collecting pattern is represented, for example, by a point spread function (PSF).
  • PSF point spread function
  • the objective of the present invention is to acquire an image with equal vertical and horizontal resolution using a sensor and reconstruct a spectral image with equal vertical and horizontal resolution.
  • the imaging device of the present invention is an imaging device that has an optical element including a surface with concave and convex portions, and an image sensor that is provided opposite the surface, and that uses a computer to generate a spectral image with more bands than the number of bands in the image obtained by the image sensor.
  • the optical element focuses incident light with different focusing patterns for each component, and directs the resulting light to the image sensor, and the structural pattern of the concave and convex portions is four-fold rotationally symmetric with respect to an axis perpendicular to the surface.
  • FIG. 1 is a diagram showing an example of the configuration of an imaging device.
  • FIG. 2 is a diagram illustrating the process of reconstructing a spectral image.
  • FIG. 3 is a flowchart showing the flow of processing for reconstructing a spectral image.
  • FIG. 4 is a diagram showing an example of the configuration of an imaging system.
  • FIG. 5 is a diagram illustrating a conventional light collection pattern.
  • FIG. 6 is a diagram illustrating a light collection pattern according to the embodiment.
  • FIG. 7 is a diagram showing an example of a structural pattern of an optical element.
  • FIG. 8 is a diagram showing an example of a structural pattern of an optical element.
  • FIG. 9 is a diagram showing an example of a structural pattern of an optical element.
  • FIG. 1 is a diagram showing an example of the configuration of an imaging device.
  • FIG. 2 is a diagram illustrating the process of reconstructing a spectral image.
  • FIG. 3 is a flowchart showing the flow of processing for reconstructing
  • FIG. 10 is a diagram showing an example of a structural pattern of an optical element.
  • FIG. 11 is a diagram showing an example of a pillar structure with four-fold rotational symmetry.
  • FIG. 12 is a diagram showing an example of the configuration of an imaging system.
  • FIG. 13 is a diagram showing an example of the configuration of an imaging system.
  • FIG. 14 illustrates an example of a computer that executes a program.
  • FIG. 1 is a diagram showing an example of the configuration of the system.
  • the imaging device 1 has an imaging system 10 and a computer 20.
  • the imaging system 10 outputs an image 32 of a subject.
  • the subject is represented as spectral images 31 corresponding to multiple wavelengths.
  • the imaging system 10 outputs a single-shot image 32.
  • the computer 20 performs image processing based on the image 32 output by the imaging system 10 and outputs a spectral image 33.
  • the imaging system 10 estimates a spectral image of the subject.
  • Figure 2 is a diagram explaining the process of reconstructing a spectral image.
  • the image 32 output by the imaging system 10 is considered to be data that combines a spectral image 31 of the subject and a PSF (point spread function) 35.
  • Computer 20 inputs image 32 into reconstruction processing 37 to obtain spectral image 33.
  • Reconstruction processing 37 may use techniques such as a deep neural network (e.g., U-Net) or a mathematical algorithm (e.g., ADMM (Alternating Direction Method of Multipliers)).
  • Reconstruction processing 37 may also be compressed sensing.
  • Reconstruction processing 37 may also use the network architecture described in Non-Patent Document 1.
  • PSF 35 is also used in reconstruction processing 37.
  • Figure 3 is a flowchart showing the processing flow for reconstructing a spectral image.
  • the computer 20 accepts input of a single-shot image 32 captured by the imaging system 10 equipped with an optical element (step S101).
  • the computer 20 acquires the light-focusing pattern when the point light source is focused using the optical elements mounted on the imaging system 10 (step S102).
  • the light-focusing pattern may be PSF35.
  • the computer 20 constructs a spectral image 33 corresponding to each wavelength based on the light-collecting pattern and the image 32 (step S103).
  • the computer 20 then outputs the spectral image (step S104).
  • the imaging device 1 generates a spectral image using the computer 20.
  • Figure 4 is a diagram showing an example configuration of the imaging system. As shown in Figure 4, the imaging system 10 has a transparent substrate 11, an optical element 12, and an image sensor (imaging element) 13.
  • the optical element 12 includes a surface with concave and convex portions.
  • the optical element 12 has a plurality of minute columnar structures.
  • the optical element 12 performs optical encoding by having imaging characteristics that vary depending on the wavelength.
  • the optical element 12 may also be a DOE.
  • Optical element 12 focuses light incident through transparent substrate 11 with different focusing patterns for each component, and guides the light to image sensor 13, which is located opposite its surface.
  • optical element 12 is a lens with a PSF that has a clearly different shape depending on the wavelength (wavelength-dependent PSF lens).
  • a convolution operation is performed on the actual image with a PSF that differs for each wavelength, and the result is imaged on image sensor 13.
  • the convolution operation referred to here does not refer to a convolution operation performed using information processing, but rather to an optical convolution operation.
  • the image sensor 13 has photoelectric conversion elements such as CCDs and CMOSs.
  • the image sensor 13 has multiple photoelectric conversion elements arranged in a two-dimensional array.
  • each of the multiple photoelectric conversion elements corresponds to a pixel that makes up the image 32.
  • the image sensor 13 has a wiring layer and multiple photoelectric elements arranged in the xy plane.
  • the photoelectric conversion elements are, for example, photodiodes (PDs).
  • each photoelectric conversion element corresponds to red (R), green (G), and blue (B).
  • An example wavelength band for red light is 600 nm ⁇ ⁇ ⁇ 800 nm, where ⁇ is the wavelength.
  • An example wavelength band for green light is 500 nm ⁇ ⁇ ⁇ 600 nm.
  • An example wavelength band for blue light is ⁇ ⁇ 500 nm.
  • Incoming light travels along the positive direction of the z-axis and reaches the image sensor 13 via the optical element 12.
  • the electric charge generated in each photoelectric element of the image sensor 13 is converted into an electrical signal that forms the basis of the pixel signal by a transistor or the like, and transmitted via the wiring layer.
  • the imaging system 10 generates and outputs an image 32 based on the electrical signal.
  • the image sensor 13 outputs an image 32 in which a different convolution operation is performed for each wavelength using the optical element 12, which is a wavelength-dependent PSF lens.
  • the computer 20 reconstructs the spectral information of the image 32 input from the imaging system 10 and generates a spectral image 33.
  • the spectral image 33 has more bands than the number of bands in the image 32 obtained by the image sensor 13.
  • the imaging system 10 may include known components such as an infrared-blocking optical filter, an electronic shutter, a viewfinder, a power source (battery), and a flashlight.
  • known components such as an infrared-blocking optical filter, an electronic shutter, a viewfinder, a power source (battery), and a flashlight.
  • the above configuration is merely an example, and in embodiments, known components other than the optical element 12 can be used in appropriate combination.
  • the optical element 12 is arranged on the side of the image sensor 13 where light is incident (the negative direction of the z axis).
  • the transparent substrate 11 and optical element 12 are arranged to cover the image sensor 13.
  • the optical element 12 is provided on the surface of the transparent substrate 11 facing the image sensor (the positive direction of the z axis).
  • the layer between the optical element 12 and the image sensor 13, i.e., the transparent layer, is a low-refractive index layer made of a material such as air or SiO2.
  • the transparent substrate 11 and the transparent layer may be made of a single material, or may be made of a layer of multiple materials.
  • the optical element 12 is made of a material such as SiN or TiO2 that has a higher refractive index than the transparent layer.
  • An example of the optical element 12 is a metasurface.
  • a metasurface In a metasurface, at least some of the spacing between the convex and concave structures is smaller than the wavelength of a specific light.
  • the metasurface may have a two-dimensional structure or a three-dimensional structure.
  • the optical element 12 can control the phase and light intensity according to the characteristics of the light (wavelength, polarization, angle of incidence) simply by changing the parameters of the convex and concave portions.
  • a three-dimensional structure offers greater design freedom than a two-dimensional structure.
  • the optical element 12 focuses light incident through the transparent substrate 11 in a different focusing pattern for each component (e.g., wavelength), and guides the light to the image sensor 13 provided opposite the surface. This causes the imaging characteristics (e.g., degree of blur) of the image sensor 13 to change depending on the wavelength of the light from the subject.
  • the light from the subject is focused on the image sensor 13 by the optical element 12, which has a wavelength-dependent PSF function, and is acquired as image 32.
  • image 32 corresponds to the result of an optical convolution operation performed for each wavelength on the actual image (spectral image 31 of the subject) using the wavelength-dependent PSF of the optical element 12, and then integrating along the wavelength dimension on the pixels.
  • the imaging system 10 acquires image 32 in an optically encoded and compressed state.
  • the image sensor 13 is a color image sensor, after the convolution operation, multiplication is performed according to the wavelength sensitivity of each of the R, G, and B pixels of the image sensor 13, and then integration is performed along the wavelength dimension on the pixels.
  • the optical element 12 forms an optically encoded image 32 on the image sensor 13.
  • the optical element 12 can perform effective encoding in spectral image reconstruction.
  • the optically encoded image 32 can be used to reconstruct the actual image information, i.e., the spectral image 33, by performing appropriate signal processing in the computer 20.
  • the imaging system 10 is able to perform different encoding for each wavelength component of the actual image using the wavelength-dependent PSF of the optical element 12, and is therefore able to restore a spectral image by performing image reconstruction processing based on compressed sensing.
  • Four-fold rotational symmetry means that when a structural pattern is rotated 90 degrees around an axis, it overlaps with the structural pattern before rotation.
  • four-fold rotational symmetry includes the situation where a structural pattern is rotated 90 degrees ⁇ N (where N is a positive integer including infinity) around an axis and overlaps with the structural pattern before rotation, i.e., 4N-fold rotational symmetry.
  • four-fold rotational symmetry in the following explanation may be replaced with 4N-fold rotational symmetry as appropriate.
  • the structural pattern of the recesses and protrusions of the optical element 12 has four-fold rotational symmetry with respect to an axis perpendicular to the surface on which the recesses and protrusions are provided (an axis parallel to the z-axis in FIG. 4).
  • Figure 5 is a diagram illustrating a conventional light-collecting pattern.
  • the conventional structural pattern is not four-fold rotationally symmetric with respect to an axis parallel to the z-axis (the optical center axis).
  • the curved portions represent convex portions.
  • the conventional light-collecting pattern is not four-fold rotationally symmetric.
  • images output by conventional imaging devices may have different resolutions in the vertical and horizontal directions, and different degrees of blur in the vertical and horizontal directions.
  • the structural pattern of this embodiment has four-fold rotational symmetry with respect to an axis parallel to the z-axis (optical center axis), as shown in Figure 6.
  • Figure 6 is a diagram illustrating the light-collecting pattern of this embodiment. Note that the curved portions (circumferences of each perfect circle) in the structural pattern of Figure 6 represent convex portions. For this reason, the light-collecting pattern of this embodiment has four-fold rotational symmetry.
  • the resolution is equal in the vertical and horizontal directions
  • the degree of blur is equal in the vertical and horizontal directions.
  • Figures 7 to 10 show the structural pattern of the optical element 12.
  • Figures 7 to 10 are diagrams showing examples of the structural pattern of the optical element.
  • Figures 7 to 10 show the structural pattern of the optical element 12 when viewed from the image sensor 13 side.
  • the hatched areas in Figures 7 to 10 represent convex portions.
  • the convex portion includes a columnar structure with a base made of a ring arranged concentrically on the surface (the surface facing the transparent substrate 11) centered on the intersection of the axis and the surface, and a columnar structure with a base made of each of multiple squares arranged on the surface.
  • the convex portion has a columnar structure with a base that is a ring that is arranged concentrically on the surface (the surface facing the transparent substrate 11) with the intersection of the axis and the surface as the center.
  • the examples of Figures 7 and 8 include a portion where the structure is continuously connected. A portion where the structure is continuously connected has improved mechanical strength and is easier to fabricate than a portion where the structure is isolated.
  • the shape of the base is not limited to a ring, and can be any shape that is four-fold rotationally symmetric.
  • the structural pattern of recesses and protrusions may be one in which the recesses and protrusions are arranged periodically.
  • the spacing between the recesses and protrusions is smaller than the wavelength of a specific light.
  • the spacing between the recesses and protrusions includes the width of the protrusions and the spacing between the protrusions (the width of the recesses).
  • Figure 9 shows a columnar structure in which the protrusions or protrusions have a base made up of multiple squares arranged on a surface of minute width.
  • the columnar structures that make up the structural pattern themselves have four-fold rotational symmetry.
  • the optical element 12 may have a structural pattern that is four-fold rotational symmetry as a whole by arranging multiple columnar structures with four-fold rotational symmetry.
  • the shape of the base is not limited to a square.
  • Figure 11 shows a four-fold rotationally symmetric pillar structure.
  • Figure 11 is a diagram showing an example of a four-fold rotationally symmetric pillar structure. Note that the pillar structure in the optical element 12 may be replaced by a member embedded in the transparent substrate 11, or a hole or groove provided in the transparent substrate 11.
  • the height of the convex portions relative to the surface of the convex portions may be constant.
  • the height of the convex portions of the optical element 12a in the imaging system 10a (the length in the positive direction of the z-axis) is constant at h. This simplifies the manufacturing process compared to when the heights of the convex portions are different. Note that the heights of the convex portions of the imaging system 10a and the optical element 12a are different from those of the imaging system 10 and the optical element 12.
  • an imaging element 14 having a curved surface may be provided between the optical element 12a and the image sensor 13.
  • the imaging element 14 is, for example, a convex lens.
  • the imaging element 14 instead of the optical element 12a, the imaging element 14 performs the function of focusing light, while the optical element 12a performs the function of controlling wavelength dispersion, allowing the functions to be separated into each element. This reduces the structural complexity of the optical element 12a and makes it easier to manufacture.
  • the imaging element 14 may also be provided closer to the subject (in the negative direction of the z-axis) than the optical element 12a and the image sensor 13.
  • the imaging device 1 of this embodiment can acquire images with equal vertical and horizontal resolutions using a sensor, and reconstruct spectral images with equal vertical and horizontal resolutions. Furthermore, as a secondary effect, the amount of PSF data required is approximately 1/(4N) compared to conventional methods, thereby reducing the amount of inverse matrix calculations required in image reconstruction processing. Note that N is the value obtained by dividing 90 degrees by the rotation angle at which the structure pattern is rotationally symmetric.
  • the structure pattern is rotationally symmetric when the rotation angle is 90 degrees, but is not rotationally symmetric when the rotation angle is less than 90 degrees, so N is 1.
  • the amount of PSF data is about 1/4 of what it would normally be.
  • the structure pattern is rotationally symmetric regardless of the rotation angle, so N is infinite. In this case, the amount of PSF data is very small.
  • the structural pattern will be rotationally symmetric at rotation angles of 30 degrees, 60 degrees, 90 degrees, ..., 330 degrees, and 360 degrees, i.e., every 30 degrees, so N is 3.
  • the amount of PSF data will be about 1/12 of what it was previously.
  • the configuration of the imaging system 10 of this embodiment may be the same as the configuration of the imaging device disclosed in Reference 1 or Reference 2, except for the configuration of the optical element 12.
  • Reference 1 International Publication No. 2022/162801
  • Reference 2 International Publication No. 2022/162800
  • the calculator 20 may be a computer provided in the imaging system 10, or may be a device such as a server or PC external to the imaging system 10.
  • the communication unit e.g., a communication module
  • the communication unit transmits image 32 data to the computer 20 via a communication network.
  • the computer 20 then performs image reconstruction processing based on the image 32 data received from the imaging system 10.
  • the computer 20 transmits spectral image 33 data obtained by the image reconstruction processing to the imaging system 10.
  • the communication unit receives the spectral image 33 data.
  • Image reconstruction processing imposes a heavy processing load. For this reason, the computing resources of the imaging system 10, which is, for example, a portable camera, may not be able to efficiently perform image reconstruction processing. In contrast, if the computer 20 is a device with abundant computing resources, such as a cloud server, the image reconstruction processing can be performed efficiently using the method described above.
  • the computer 20 can be implemented by installing a program that executes the above-described processing as package software or online software on a desired computer.
  • the computer 20 can be a desktop or notebook personal computer.
  • Other examples of the computer include a smartphone, a tablet device, and the like.
  • FIG. 14 is a diagram showing an example of a computer that executes a program.
  • the computer 1000 has, for example, memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These components are connected by a bus 1080.
  • Memory 1010 includes ROM (Read Only Memory) 1011 and RAM (Random Access Memory) 1012.
  • ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to a hard disk drive 1090.
  • Disk drive interface 1040 is connected to a disk drive 1100.
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100.
  • Serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • Video adapter 1060 is connected to, for example, a display 1130.
  • the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094.
  • the programs that define each process of the computer 20 are implemented as program modules 1093 in which code that can be executed by a computer is written.
  • the program modules 1093 are stored, for example, on the hard disk drive 1090.
  • a program module 1093 for executing processes similar to the functional configuration of the computer 20 is stored on the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD.
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094, for example, in memory 1010 or hard disk drive 1090.
  • the CPU 1020 reads the program module 1093 and program data 1094 stored in memory 1010 or hard disk drive 1090 into RAM 1012 as needed, and executes the processing of the above-described embodiment.
  • the program module 1093 and program data 1094 do not necessarily have to be stored on the hard disk drive 1090; they may instead be stored on a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and program data 1094 may be stored on another computer connected via a network (such as a LAN (Local Area Network) or WAN (Wide Area Network)). The program module 1093 and program data 1094 may then be read by the CPU 1020 from the other computer via the network interface 1070.
  • a network such as a LAN (Local Area Network) or WAN (Wide Area Network)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

実施形態の撮像装置は、イメージセンサ（１３）と、光学素子（１２）と、計算機と、を有する。光学素子（１２）は、凹部及び凸部を備えた面を含む。光学素子（１２）は、入射した光を成分ごとに異なる集光パターンで集光した光を、面に対向して備えられるイメージセンサ（１３）に導く。また、凹部と凸部の構造パターンは、面に垂直な軸に対して４回回転対称である。

Description

撮像装置
　本発明は、撮像装置に関する。
　従来、圧縮センシング型のスペクトルカメラが知られている（例えば、非特許文献１を参照）。また、非特許文献１には、微細な構造により入射した光を集光する回折光学素子（DOE：diffractive　optical　element）が記載されている。
Daniel　S.　Jeon,　Seung-Hwan　Baek,　Shinyoung　Yi,　Qiang　Fu,　Xiong　Dun,　Wolfgang　Heidrich,　and　Min　H.　Kim.　2019.　Compact　snapshot　hyperspectral　imaging　with　diffracted　rotation.　ACM　Trans.　Graph.　38,　4,　Article　117　(August　2019),　13　pages.，　[online]，　［令和６年６月４日検索］、インターネット＜https://doi.org/10.1145/3306346.3322946＞
　しかしながら、従来の技術では、得られる画像の縦方向と横方向の解像度が異なる場合があるという問題がある。例えば、非特許文献１に記載のFig.2.(b)に示される構造パターンを持つDOEでは、縦方向と横方向の集光パターンが異なるため、最終的に縦方向と横方向の解像度が異なる画像が出力される。なお、集光パターンは、例えば点広がり関数（PSF：Point　spread　function）によって表される。
　本発明は、縦方向と横方向の解像度が等しい画像をセンサによって取得し、縦方向と横方向の解像度が同等のスペクトル画像を再構成することを目的とする。
　本発明に係る撮像装置は、凹部及び凸部を備えた面を含む光学素子と、前記面に対向して備えられたイメージセンサを有する撮像装置であり、前記イメージセンサで得られた画像のバンド数よりも多くのバンドを持つスペクトル画像を計算機によって生成する撮像装置であって、前記光学素子は、入射した光を成分ごとに異なる集光パターンで集光した光を、前記イメージセンサに導き、前記凹部と前記凸部の構造パターンは、前記面に垂直な軸に対して４回回転対称であることを特徴とする。
　本発明によれば、縦方向と横方向の解像度が等しい画像をセンサによって取得し、縦方向と横方向の解像度が同等のスペクトル画像を再構成することが可能になる。
図１は、撮像装置の構成例を示す図である。 図２は、スペクトル画像を再構成する処理を説明する図である。 図３は、スペクトル画像を再構成する処理の流れを示すフローチャートである。 図４は、撮像系の構成例を示す図である。 図５は、従来の集光パターンを説明する図である。 図６は、実施形態の集光パターンを説明する図である。 図７は、光学素子の構造パターンの例を示す図である。 図８は、光学素子の構造パターンの例を示す図である。 図９は、光学素子の構造パターンの例を示す図である。 図１０は、光学素子の構造パターンの例を示す図である。 図１１は、４回回転対称の柱構造の例を示す図である。 図１２は、撮像系の構成例を示す図である。 図１３は、撮像系の構成例を示す図である。 図１４は、プログラムを実行するコンピュータの一例を示す図である。
　以下、本発明の実施形態について、図面を参照して説明する。図面に示される形状、大きさ及び位置関係等は概略的なものに過ぎず、それによって本発明が限定されることはない。同一部分には同一の符号を付して示し、重複する説明は省略する。
［第１の実施形態］
　図１を用いて、スペクトル画像を再構成する撮像装置について説明する。図１は、システムの構成例を示す図である。
　図１に示すように、撮像装置１は、撮像系１０及び計算機２０を有する。撮像系１０は、被写体を撮像した画像３２を出力する。ここで、被写体は複数の波長のそれぞれに対応したスペクトル画像３１として表される。ただし、撮像系１０は、シングルショットの画像３２を出力する。
　計算機２０は、撮像系１０によって出力された画像３２を基に画像処理を行い、スペクトル画像３３を出力する。すなわち、撮像系１０は、被写体のスペクトル画像を推定する。
　図２を用いて、計算機２０がスペクトル画像を再構成する処理の概要を説明する。図２は、スペクトル画像を再構成する処理を説明する図である。
　図２に示すように、撮像系１０によって出力される画像３２は、被写体のスペクトル画像３１とPSF（Point　spread　function（点拡がり関数））３５を合成したデータとみなされる。
　計算機２０は、画像３２を再構成処理３７に入力し、スペクトル画像３３を得る。再構成処理３７は、深層ニューラルネットワーク（例えば、U-Net）、数理的アルゴリズム（例えば、ADMM（Alternating　Direction　Method　of　Multipliers））等の手法を使用するものであってよい。再構成処理３７は、圧縮センシングであってもよい。また、再構成処理３７は、非特許文献１に記載のnetwork　architectureを用いるものであってもよい。また、再構成処理３７においては、PSF３５が用いられる。
　図３を用いて、撮像系１０の処理の流れを説明する。図３は、スペクトル画像を再構成する処理の流れを示すフローチャートである。図３に示すように、まず、計算機２０は、光学素子を備えた撮像系１０によって撮像されたシングルショットの画像３２の入力を受け付ける（ステップＳ１０１）。
　次に、計算機２０は、撮像系１０に搭載された光学素子を使って点光源を集光したときの集光パターンを取得する（ステップＳ１０２）。集光パターンはPSF３５であってよい。
　続いて、計算機２０は、集光パターン及び画像３２を基に、各波長に対応したスペクトル画像３３を構成する（ステップＳ１０３）。そして、計算機２０は、スペクトル画像を出力する（ステップＳ１０４）。つまり、撮像装置１は、計算機２０によってスペクトル画像を生成する。
　図４を用いて、撮像系１０の構成を説明する。図４は、撮像系の構成例を示す図である。図４に示すように、撮像系１０は、透明基板１１、光学素子１２、及びイメージセンサ（撮像素子）１３を有する。
　光学素子１２は、凹部及び凸部を備えた面を含む。例えば、光学素子１２は、複数の微細な柱状の構造体を有する。そして、光学素子１２は、波長に応じて結像特性が異なる機能を有することで、光学的な符号化を行う。また、光学素子１２は、DOEであってよい。
　光学素子１２は、透明基板１１を介して入射した光を成分ごとに異なる集光パターンで集光した光を、面に対向して備えられるイメージセンサ１３に導く。すなわち、光学素子１２は、波長に応じて明確に異なる形状のPSFをもつレンズ（波長依存PSFレンズ）である。光学素子１２で被写体を撮像すると、実画像に対して波長ごとに異なるＰＳＦで畳み込み演算がなされ、その結果がイメージセンサ１３上で結像する。なお、ここでいう畳み込み演算は、情報処理による畳み込み演算ではなく、光学的な畳み込み演算を意味する。
　イメージセンサ１３は、ＣＣＤ、及びＣＭＯＳ等の光電変換素子を有する。例えば、イメージセンサ１３は、複数の光電変換素子が２次元アレイ状に配列されたものである。例えば、複数の光電変換素子のそれぞれは、画像３２を構成する画素に対応する。
　イメージセンサ１３は、配線層と、ｘｙ平面方向に配値された複数の光電素子とを有する。光電変換素子は、例えばフォトダイオード（ＰＤ：Photo　Diode）である。
　例えば、各光電変換素子は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に対応する。赤色の光の波長帯域の例は、波長をλとすると、６００ｎｍ＜λ≦８００ｎｍである。緑色の光の波長帯域の例は、５００ｎｍ＜λ≦６００ｎｍである。青色の光の波長帯域の例は、λ≦５００ｎｍである。
　入射した光は、ｚ軸の正の方向に沿って進み、光学素子１２を介してイメージセンサ１３に到達する。イメージセンサ１３の各光電素子に発生した電荷は、トランジスタ等によって画素信号の基礎となる電気信号に変換され、配線層を介して伝達される。撮像系１０は電気信号に基づき画像３２を生成し、出力する。
　イメージセンサ１３は、波長依存PSFレンズである光学素子１２により、波長ごとに異なる畳み込み演算がなされた画像３２を出力する。計算機２０は、撮像系１０から入力された画像３２のスペクトル情報を再構成し、スペクトル画像３３を生成する。スペクトル画像３３は、イメージセンサ１３で得られた画像３２のバンド数よりも多くのバンドを持つ。
　なお、撮像系１０は、赤外光カットの光学フィルタ、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライト等の公知の構成要素を備え得る。また、以上の構成はあくまでも一例であり、実施の形態では、光学素子１２を除く構成要素として、公知の要素を適切に組み合わせて用いることができる。
　図４に示すように、光学素子１２は、イメージセンサ１３から見て光が入射する側（ｚ軸の負の方向）に配置される。例えば、ｚ軸の負の方向から撮像系１０を見ると、透明基板１１及び光学素子１２は、イメージセンサ１３を覆うように設けられる。光学素子１２は、透明基板１１のイメージセンサ側（ｚ軸の正の方向）の面に備えられる。
　透明基板１１は、例えば、ＳｉＯ２（屈折率ｎ＝１．４５）等の材料からなる低屈折率の基板である。光学素子１２とイメージセンサ１３との間の層、すなわち透明層は、空気又はＳｉＯ２等の材料からなる低屈折率の層である。透明基板１１及び透明層の材料は単一であってもよいし、複数の材料が層状になったものでもよい。光学素子１２は、透明層の屈折率よりも高い屈折率を有するＳｉＮやＴｉＯ２等の材料から形成される。
　光学素子１２の例は、メタサーフェスである。メタサーフェスにおいて、凹凸構造間の少なくとも一部の間隔が、特定の光の波長よりも小さい。メタサーフェスは、２次元構造を有してもよいし、３次元構造を有してもよい。光学素子１２は、凸部及び凹部のパラメータを変えるだけで、光の特性（波長、偏波、入射角）に応じて、位相と光強度を制御することができる。３次元構造の場合、２次元構造よりも設計自由度が向上する。
　前述の通り、光学素子１２は、透明基板１１を介して入射した光を成分（例えば、波長）ごとに異なる集光パターンで集光した光を、面に対向して備えられるイメージセンサ１３に導く。これにより被写体からの光の波長に応じて、イメージセンサ１３における結像特性（例えば、ボケの度合い）が変化する。撮像対象からの光は、波長依存PSF機能を有する光学素子１２により、イメージセンサ１３上に結像され、画像３２として取得される。
　例えば、画像３２は、実画像（被写体のスペクトル画像３１）に対して光学素子１２の波長依存ＰＳＦによって波長ごとに光学的な畳み込み演算がなされ、画素上で波長次元に沿って積分された結果に対応する。これにより撮像系１０は、光学的に符号化及び圧縮がされた状態の画像３２を取得する。なお、イメージセンサ１３がカラーイメージセンサの場合、畳み込み演算の後に、イメージセンサ１３のＲ，Ｇ，Ｂそれぞれの画素の波長感度に応じた乗算がなされた後に、画素上で波長次元に沿って積分される。
　このように、撮像系１０では、光学素子１２が光学的に符号化された画像３２をイメージセンサ１３上に結像する。言い換えると、光学素子１２は、スペクトル画像再構成において効果的な符号化を行うことができる。
　そして、光学的に符号化された画像３２は、PSFが既知の場合、計算機２０において適切な信号処理を行うことで実画像の情報、すなわちスペクトル画像３３を再構成することができる。
　撮像系１０は、光学素子１２が有する波長依存PSFによって、実画像の各波長成分に対して異なる符号化を行うことが可能なため、圧縮センシングに基づく画像の再構成処理を行うことで、スペクトル画像を復元することができる。
　ここで、４回回転対称について説明する。４回回転対称とは、構造パターンを軸に対して９０度回転させた場合に、回転前の構造パターンと重なることを意味する。なお、本実施形態における４回回転対称は、構造パターンを軸に対して９０度÷N（ただし、Nは無限大を含む正の整数）だけ回転させた場合に、回転前の構造パターンと重なること、すなわち４N回回転対称を含む。例えば、以降の説明における４回回転対称は、適宜４N回回転対称に置き換えられてもよい。
［光学素子の構造パターン］
　光学素子１２の凹部と凸部の構造パターンについて説明する。本実施形態の光学素子１２の凹部及び凸部の構造パターンは、凹部及び凸部が備えられる面に対して垂直な軸（図４のｚ軸と平行な軸）に対して４回回転対称である。
　図５は、従来の集光パターンを説明する図である。図５に示すように、従来の構造パターンは、ｚ軸に平行な軸（光学中心軸）に対して４回回転対称ではない。なお、図５の構造パターンにおける曲線の部分（各楕円の円周）は、凸部を表す。このため、従来の集光パターンは、４回回転対称ではない。その結果、従来の撮像装置によって出力される画像において、縦方向と横方向で解像度が異なり、縦方向と横方向でボケの程度が異なる場合がある。
　一方、本実施形態の構造パターンは、図６に示すように、ｚ軸に平行な軸（光学中心軸）に対して４回回転対称である。図６は、実施形態の集光パターンを説明する図である。なお、図６の構造パターンにおける曲線の部分（各真円の円周）は、凸部を表す。このため、本実施形態の集光パターンは、４回回転対称である。その結果、従来の撮像装置によって出力される画像において、縦方向と横方向で解像度が等しくなり、縦方向と横方向でボケの程度が同じになる。
　図７から図１０に、光学素子１２の構造パターンを示す。図７から図１０は、光学素子の構造パターンの例を示す図である。図７から図１０は、光学素子１２を、イメージセンサ１３側から見たときの構造パターンを示している。また、図７から図１０におけるハッチングされた部分は凸部を表している。
　図７の例では、凸部は、面（透明基板１１側の面）の上に軸と面との交点を中心とした同心円状に配置される円環を底面とする柱構造と、面の上に配置される複数の四角形のそれぞれを底面とする柱構造と、を含む。
　図８の例では、凸部は、面（透明基板１１側の面）の上に軸と面との交点を中心とした同心円状に配置される円環を底面とする柱構造である。図７及び図８の例には、構造が連続的につながっている部分が含まれる。構造が連続的につながっている部分は、構造が孤立している部分と比べ、機械的強度が向上し、作製が容易になる。なお、底面の図形は円環に限られず、４回回転対称な図形であればよい。
　また、図９及び図１０に示すように、凹部と凸部の構造パターンは、凹凸構造が周期性に従って配置されたものであってもよい。その際、凹凸構造間の間隔は、特定の光の波長よりも小さい。凹凸構造間の間隔は、凸部の幅、及び凸部間の間隔（凹部の幅）を含む。
　特に図９には、凸部又は凸部が、微小な幅の面の上に配置される複数の四角形のそれぞれを底面とする柱構造が示されている。この場合、構造パターンを構成する柱構造自体が４回回転対称である。このように、光学素子１２は、４回回転対称の柱構造を複数配置することで、全体として４回回転対称の構造パターンとなるものであってもよい。なお、底面の図形は四角形に限られない。
　４回回転対称の柱構造を図１１に示す。図１１は、４回回転対称の柱構造の例を示す図である。なお、光学素子１２における柱構造は、透明基板１１に埋め込まれた部材、透明基板１１に設けられた穴又は溝に置き換えられてもよい。
［他の構成例］
　図１２に示すように、凸部又は凸部の面に対する高さは一定であってもよい。図１２の例では、撮像系１０ａにおける光学素子１２ａの凸部の高さ（ｚ軸の正の方向の長さ）は、いずれもhで一定である。これにより、凸部の高さが互いに異なる場合と比べて、製造プロセスを簡略化することが可能になる。なお、撮像系１０ａ及び光学素子１２ａは、撮像系１０及び光学素子１２と比べて凸部の高さが異なる。
　図１３に示すように、光学素子１２ａとイメージセンサ１３との間に、曲面を持つ結像素子１４が備えられていてもよい。結像素子１４は、例えば凸レンズである。この場合、光学素子１２ａの代わりに、結像素子１４が集光の機能を担い、光学素子１２ａが波長の分散を制御する機能を担うことで、それぞれの素子に機能を分離することができる。これにより、光学素子１２ａの構造の複雑さが緩和され、作製が容易になる。なお、結像素子１４は、光学素子１２ａとイメージセンサ１３よりも被写体側（ｚ軸の負の方向）に備えられていてもよい。
［実施の形態の効果］
　これまで説明してきたように、本実施形態の撮像装置１によれば、縦方向と横方向の解像度が等しい画像をセンサによって取得し、縦方向と横方向の解像度が同等のスペクトル画像を再構成することが可能になる。さらに、副次的な効果として、従来と比べて、PSFのデータ量が1/（4N）程度で済むので、画像再構成処理における逆行列の演算量を低減させることができる。なお、Nは、構造パターンが回転対称となる回転角度で９０度を割った値である。
　図７の例では、構造パターンは回転角度が９０度のときに回転対称となり、回転角度が９０度未満では回転対称とならないため、Nは1である。この場合は、PSFのデータ量は、従来と比べて1/4程度になる。
　図８の例では、構造パターンは回転角度が何度であっても回転対称となるため、Nは無限大である。この場合は、PSFのデータ量は非常に小さくなる。
　図８の例における円環を正１２角形に置き換えた場合、構造パターンは回転角度が３０度、６０度、９０度、…、３３０度、３６０度のとき、すなわち３０度ごとに回転対称となるため、Nは3である。この場合は、PSFのデータ量は、従来と比べて1/12程度になる。
　なお、本実施形態の撮像系１０の構成は、光学素子１２の構成を除き、参考文献１又は参考文献２において開示されている撮像装置の構成と同様であってもよい。
　参考文献１：国際公開第２０２２／１６２８０１号
　参考文献２：国際公開第２０２２／１６２８００号
　ここで、計算機２０は、撮像系１０に備えられたコンピュータであってもよいし、撮像系１０の外部のサーバ又はPC等の装置であってもよい。
　計算機２０が外部の装置である場合、撮像系１０の通信部（例えば、通信モジュール）は、通信網を介して画像３２のデータを計算機２０に送信する。そして、計算機２０は、撮像系１０から受信した画像３２のデータを基に画像再構成処理を実行する。さらに、計算機２０は、画像再構成処理で得られたスペクトル画像３３のデータを、撮像系１０に送信する。通信部は、スペクトル画像３３のデータを受信する。
　画像再構成処理は、処理負荷が大きい処理である。このため、例えば携行可能なサイズのカメラである撮像系１０が有するコンピューティングリソースでは、効率良く画像再構成処理を実行できない場合がある。これに対し、計算機２０がクラウドサーバ等の豊富なコンピューティングリソースを有する装置であれば、上記の方法により効率良く画像再構成処理を実行することができる。
［プログラム］
　一実施形態として、計算機２０は、パッケージソフトウェアやオンラインソフトウェアとして上記の処理を実行するプログラムを所望のコンピュータにインストールさせることによって実装できる。計算機２０は、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、計算機にはスマートフォン、タブレット型端末等である。
　図１４は、プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、CPU１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ROM（Read　Only　Memory）１０１１及びRAM（Random　Access　Memory）１０１２を含む。ROM１０１１は、例えば、BIOS（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、OS１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、計算機２０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、計算機２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、SSDにより代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、CPU１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてRAM１０１２に読み出して、上述した実施形態の処理を実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してCPU１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（LAN（Local　Area　Network）、WAN（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してCPU１０２０によって読み出されてもよい。
　１　撮像装置
　１０　撮像系
　１１　透明基板
　１２　光学素子
　１３　イメージセンサ
　２０　計算機
　３１、３３　スペクトル画像
　３５　PSF
　３７　再構成処理

Claims (7)

  1. 　凹部及び凸部を備えた面を含む光学素子と、
    　前記面に対向して備えられたイメージセンサを有する撮像装置であり、
    　前記イメージセンサで得られた画像のバンド数よりも多くのバンドを持つスペクトル画像を計算機によって生成する撮像装置であって、
    　前記光学素子は、
    　入射した光を成分ごとに異なる集光パターンで集光した光を、前記イメージセンサに導き、
    　前記凹部と前記凸部の構造パターンは、前記面に垂直な軸に対して４回回転対称である
    　ことを特徴とする撮像装置。
  2. 　前記凸部は、前記面の上に前記軸と前記面との交点を中心とした同心円状に配置される円環を底面とする柱構造を含む
    　ことを特徴とする請求項１に記載の撮像装置。
  3. 　前記凹部と前記凸部の構造パターンは、凹凸構造が周期性に従って配置されたものであり、
    　前記凹凸構造間の間隔は、特定の光の波長よりも小さい
    　ことを特徴とする請求項１に記載の撮像装置。
  4. 　前記凹凸構造のそれぞれの構造は、前記面に垂直な軸に対して４回回転対称である
    　ことを特徴とする請求項３に記載の撮像装置。
  5. 　前記凸部又は前記凹部の前記面に対する高さは一定である
    　ことを特徴とする請求項１に記載の撮像装置。
  6. 　前記光学素子と前記イメージセンサとの間、又は、前記光学素子及び前記イメージセンサよりも被写体側に備えられ、曲面を持つ結像素子をさらに有することを特徴とする請求項１に記載の撮像装置。
  7. 　前記撮像装置のイメージセンサによって得られた画像のデータを外部の計算機に送信し、前記イメージセンサで得られた画像のバンド数よりも多くのバンドを持つスペクトル画像を生成する
    　ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
PCT/JP2024/025712 2024-07-17 2024-07-17 撮像装置 Pending WO2026018367A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/025712 WO2026018367A1 (ja) 2024-07-17 2024-07-17 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/025712 WO2026018367A1 (ja) 2024-07-17 2024-07-17 撮像装置

Publications (1)

Publication Number Publication Date
WO2026018367A1 true WO2026018367A1 (ja) 2026-01-22

Family

ID=98437247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/025712 Pending WO2026018367A1 (ja) 2024-07-17 2024-07-17 撮像装置

Country Status (1)

Country Link
WO (1) WO2026018367A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100039641A1 (en) * 2008-08-15 2010-02-18 United States of America as represented by the Adminstrator of the National Aeronautics and Space Micro Ring Grating Spectrometer with Adjustable Aperture
JP2019523910A (ja) * 2016-06-07 2019-08-29 エアリー３ディー インコーポレイティドＡｉｒｙ３Ｄ Ｉｎｃ． 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
JP2021512365A (ja) * 2018-01-29 2021-05-13 ユニヴァーシティ オブ ワシントン フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2023235186A2 (en) * 2022-05-24 2023-12-07 The Penn State Research Foundation Large-scale, mass-producible, high efficiency metalenses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100039641A1 (en) * 2008-08-15 2010-02-18 United States of America as represented by the Adminstrator of the National Aeronautics and Space Micro Ring Grating Spectrometer with Adjustable Aperture
JP2019523910A (ja) * 2016-06-07 2019-08-29 エアリー３ディー インコーポレイティドＡｉｒｙ３Ｄ Ｉｎｃ． 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
JP2021512365A (ja) * 2018-01-29 2021-05-13 ユニヴァーシティ オブ ワシントン フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法
WO2022162801A1 (ja) * 2021-01-27 2022-08-04 日本電信電話株式会社 撮像装置及び光学素子
WO2023235186A2 (en) * 2022-05-24 2023-12-07 The Penn State Research Foundation Large-scale, mass-producible, high efficiency metalenses

Similar Documents

Publication Publication Date Title
JP7818376B2 (ja) 色分離レンズアレイを備えるイメージセンサ及びそれを含む電子装置
JP7798530B2 (ja) 色分離レンズアレイを具備するイメージセンサ、及びそれを含む電子装置
US7894058B2 (en) Single-lens computed tomography imaging spectrometer and method of capturing spatial and spectral information
KR102827127B1 (ko) 이미지 센서 및 이를 포함하는 전자 장치
JP2023509034A (ja) 画像センサ、スペクトル分割およびフィルタリングデバイス、ならびに画像センサ製造方法
JP7704157B2 (ja) 撮像装置及び光学素子
AU2016235072A1 (en) Imaging device with image dispersing to create a spatially coded image
JP7704158B2 (ja) 撮像装置及び光学素子
JP7825965B2 (ja) 色分離レンズアレイを備えるイメージセンサ及びそれを含む電子装置
JP2011159967A (ja) 固体撮像装置、撮像装置、及び分光素子
JP2023509029A (ja) 画像センサ及びその作成方法並びに電子装置
WO2022228231A1 (zh) 摄像头模组及电子设备
Sawyer et al. Opti-MSFA: a toolbox for generalized design and optimization of multispectral filter arrays
KR20230020336A (ko) 메타 렌즈, 결상 광학계, 및 이를 포함하는 전자 장치
Xu et al. Wavelength encoding spectral imaging based on the combination of deeply learned filters and an RGB camera
Zhang et al. Metasurface-based single-pixel recognition through scattering media
JP7828156B2 (ja) 色分離レンズアレイを備えるイメージセンサ及びそれを含む電子装置
CN115265784A (zh) 一种基于超表面衍射元件的计算层析成像光谱仪
Belay et al. Design of a multichannel, multiresolution smart imaging system
Liu et al. METAH2: A Snapshot Metasurface HDR Hyperspectral Camera
KR20240166443A (ko) 이미지 센서 및 이를 포함하는 전자 장치
Yako et al. Video-rate, high-sensitivity, high-resolution hyperspectral imaging
JP2011170469A (ja) 光並列演算素子
EP4529389A1 (en) Image sensor having nano-photonic lens array and electronic apparatus including the image sensor
US20260118172A1 (en) Apparatuses and methods for computer tomography imaging spectrometry

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24947952

Country of ref document: EP

Kind code of ref document: A1