JP7269991B2 - イメージセンシング装置及び位相シフトホログラフィ法 - Google Patents

イメージセンシング装置及び位相シフトホログラフィ法 Download PDF

Info

Publication number
JP7269991B2
JP7269991B2 JP2021099960A JP2021099960A JP7269991B2 JP 7269991 B2 JP7269991 B2 JP 7269991B2 JP 2021099960 A JP2021099960 A JP 2021099960A JP 2021099960 A JP2021099960 A JP 2021099960A JP 7269991 B2 JP7269991 B2 JP 7269991B2
Authority
JP
Japan
Prior art keywords
phase
image
shifted
green
photoelectric element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021099960A
Other languages
English (en)
Other versions
JP2022106266A (ja
Inventor
國峰 林
錦全 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VisEra Technologies Co Ltd
Original Assignee
VisEra Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VisEra Technologies Co Ltd filed Critical VisEra Technologies Co Ltd
Publication of JP2022106266A publication Critical patent/JP2022106266A/ja
Application granted granted Critical
Publication of JP7269991B2 publication Critical patent/JP7269991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/045—Fourier or lensless Fourier arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0454—Arrangement for recovering hologram complex amplitude
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0454—Arrangement for recovering hologram complex amplitude
    • G03H2001/0458—Temporal or spatial phase shifting, e.g. parallel phase shifting method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/10—Modulation characteristics, e.g. amplitude, phase, polarisation
    • G03H2210/13—Coloured object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/15—Colour filter, e.g. interferential colour filter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/10—Physical parameter modulated by the hologram
    • G03H2240/11—Phase only modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、イメージセンシング装置及び位相シフトホログラフィ法に関するものである。
技術の進歩に伴い、カメラを搭載した電子機器が人気を集めている。しかしながら、従来のカメラ、即ちカラーイメージセンシング（Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ； ＣＩＳ）装置では、モジュラーレンズは通常、入射光を取り込み、この取り込んだ光をデジタル画像に変換するために必要な部品である。しかしながら、従来の撮像技術の制限により、画像はレンズを用いて形成され、モジュラーレンズは、カメラ内の利用可能なスペースの大部分を占めている。携帯型の電子機器は小型化が進んでいるため、大型のモジュラーレンズはこれらの機器に適していない。
従って、カメラのサイズを小型化するために、レンズのないイメージセンサが求められている。
レンズのないイメージセンサを提供する。
本開示は、入射光を受ける複数の光電素子を含むイメージセンシング装置を提供する。光電素子は複数のユニットセル内に配置され、各ユニットセルは、第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子を含む。各ユニットセル内の第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子は、ピラー構造で形成され、第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子は、全て異なるサイズである。各ユニットセルの第１の光電素子は、第１の位相で第１の画像を撮像し、各ユニットセルの第２の光電素子は、第２の位相で第２の画像を撮像し、各ユニットセルの第３の光電素子は、第３の位相で第３の画像を撮像し、各ユニットセルの第４の光電素子は、第４の位相で第４の画像を撮像する。第１の位相、第２の位相、第３の位相、および第４の位相は異なる。
本発明により、カメラ全体のサイズを小型化できる。
図１は、位相シフトデジタルホログラフィ装置の概略図である。 図２Ａは、本開示の一実施形態によるイメージセンシング装置の上面図である。 図２Ｂは、本開示のもう１つの実施形態によるイメージセンシング装置の上面図である。 図３は、図２Ａのイメージセンシング装置の断面図である。 図４は、本開示の一実施形態による、光電素子の直径と位相の対応関係の概略図である。 図５は、本開示のもう１つの実施形態によるイメージセンシング装置の上面図である。 図６は、本開示のもう１つの実施形態によるイメージセンシング装置の上面図である。 図７は、本開示のもう１つの実施形態によるイメージセンシング装置の上面図である。 図８は、本開示の一実施形態による、イメージセンシング装置で用いる４ステップの位相シフトホログラフィ法のフローチャートである。 図９は、本開示のもう１つの実施形態によるイメージセンシング装置の上面図である。 図１０は、図９のイメージセンシング装置の断面図である。 図１１は、図９のイメージセンシング装置のもう１つの断面図である。 図１２は、図９のイメージセンシング装置のもう１つの断面図である。 図１３は、図９のイメージセンシング装置のもう１つの断面図である。 図１４は、本開示のもう１つの実施形態による、イメージセンシング装置で用いる４ステップの位相シフトホログラフィ法のフローチャートである。
本開示の技術用語は、本開示の技術分野における一般的な定義に基づいている。本開示の一部の用語について記載または説明がある場合、用語の定義は、本開示の記載または説明に基づくものとする。開示された各実施形態は、１つ以上の技術的特徴を有する。可能な実施において、当業者は、本開示の任意の実施形態のすべてまたは一部の技術的特徴を選択的に実施するか、または本開示の実施形態のすべてまたは一部の技術的特徴を選択的に組み合わせることができる。
以下の各実施形態において、同じ参照番号は、同一または類似の素子または構成要素を表している。
図１は、位相シフトデジタルホログラフィ装置の概略図である。位相シフトデジタルホログラフィ装置１００は、レーザ光源１１０、ビームエミッタ１２０、ビームスプリッタ１３０と１４０、圧電変換器（ＰＺＴ）ミラー１５０、ミラー１６０、およびセンサアレイ１７０を含む。レーザ光源１１０から出射されたレーザ光は、ビームエミッタ１２０でさらに増強され、ビームエミッタ１２０から出射された光は、ビームスプリッタ１３０によって物体光と参照光に分割される。参照光は、ビームを位相変調するＰＺＴミラー１５０によって反射される。 一定の位相を参照ビームにシフトすることにより、異なるホログラム画像が得られ、物体波の複素振幅が導出される。
例えば、参照波の初期位相はゼロであり、各ステップでπ／２変化する。４ステップの位相シフトデジタルホログラフィアルゴリズムが用いられた場合、０、π／２、π、および３π／２などの異なる位相での干渉パターンの強度は、式（１）～（４）でそれぞれ表される。
Figure 0007269991000001
Figure 0007269991000002
Figure 0007269991000003
Figure 0007269991000004
位相０、π／２、π、および３π／２での干渉パターンの強度を得た後、物体光の複素振幅は、以下の式（５）で与えられる。
Figure 0007269991000005
物体光の複素振幅は、デジタル逆伝播を実行することによって、Ψ０から物体面にある物体光の振幅分布を得ることができるため、複素ホログラム画像と呼ばれることがある。
従って、物体波を計算するには、参照光の複素振動を知る必要がある。通常、基準光は平面波または球面波であるため、その位相は測定なしで得られる。異なる位相での物体波を用いて物体画像を再構成する技術は当業者には理解し得るため、ここでは詳細が省略される。
図１の例に説明された位相シフトデジタルホログラフィ装置１００は、各ステップで位相を変更する必要があり、位相を変更し、干渉パターンの強度を計算し、物体画像を再構成するのには時間がかかることに留意されたい。従って、現在市販されているあらゆる携帯型電子機器に本装置１００を採用することは実用的ではない。
しかしながら、位相シフトデジタルホログラフィアルゴリズムの位相遅延の概念は、本開示のイメージセンシング装置で用いられることができる。図２Ａは、本開示の一実施形態によるイメージセンシング装置の上面図である。図３は、図２Ａのイメージセンシング装置の断面図である。本実施の形態では、イメージセンシング装置２００は、例えば、単色イメージセンサである。図２Ａおよび図３に示すように、イメージセンシング２００は、センサアレイ２１０を含み得る。センサアレイ２１０は、入射光を受光する複数の光電素子を含む。光電素子は、半導体製造プロセスを介して基板２５０上に実装され得る（図３に示されるように）。イメージセンシング装置２００にはレンズが用いられていないことに留意されたい。
センサアレイ２１０では、光電素子は、複数のユニットセル２２０、２３０、２４０、および２５０に配置される。例えば、各ユニットセル２２０、２３０、２４０、および２５０は、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４を含み、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、２×２アレイに配置される。
さらに、各ユニットセル２２０、２３０、２４０、および２５０の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、ピラー構造で形成される。本実施形態では、ピラー構造の材料は、例えば、単結晶シリコン、多結晶シリコン（ポリシリコン）、アモルファスシリコン、Ｓｉ３Ｎ４、ＧａＰ、ＴｉＯ２、ＡｌＳｂ、ＡｌＡｓ、ＡｌＧａＡｓ、ＡｌＧａＩｎＰ、ＢＰ、ＺｎＧｅＰ２、任意の他の適用可能な材料、またはそれらの組み合わせであるが、本開示の実施形態はそれに限定されない。
また、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は異なるサイズである。例えば、光電素子２２１のサイズは、光電素子２２２のサイズより小さい。光電素子２２２のサイズは、光電素子２２３のサイズより小さい。光電素子２２３のサイズは、光電素子２２４のサイズより小さい。
さらに、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、異なる直径であることができ、各光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の直径は、対応する位相シフトホログラム画像の特定の位相を表している。
具体的には、４ステップの位相シフトホログラフィ法が、イメージセンシング装置２００のアーキテクチャに採用されている。例えば、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の直径は、位相δ０、位相δ１、位相δ２、および位相δ３にそれぞれ対応するｄ０、ｄ１、ｄ２、およびｄ３である。位相δ０、位相δ１、位相δ２、および位相δ３の値は、例えば、それぞれ０、π／２、π、および３π／２である。実施形態では、光電素子の直径と位相との対応関係は、図４に示したとおりである。また、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の直径は、例えば、１２０～３５０ｎｍの範囲内であり、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の高さは、例えば、３００ｎｍ以上７５０ｎｍ以下の範囲内である。
ユニットセル２２０は、センサアレイ２１０に繰り返し配置され、各ユニットセル２２０、２３０、２４０、および２５０内の各光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、４つの異なる位相での個々の位相の画像を撮像することができる。例えば、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２１は、第１の位相（例えば、位相δ０）で第１の画像を撮像し、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２２は、第２の位相（例えば、位相δ１）で第２の画像を撮像し、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２３は、第３の位相（例えば、位相δ２）で第３の画像を撮像し、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２４は、第４の位相（例えば、位相δ３）で第４の画像を撮像する。
第１の画像、第２の画像、第３の画像、および第４の画像は、各ユニットセル２５０内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４によって撮像されるため、第１の画像、第２の画像、第３の画像、および第４の画像の位置は実質的に同じである。例えば、位相δ０の位相シフトホログラム画像は、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２１によって撮像された画像から得られることができる。同様に、位相δ０、位相δ１、位相δ２、および位相δ３の位相シフトホログラム画像は、各ユニットセル２２０、２３０、２４０、および２５０内の各光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４によって撮像された画像からそれぞれ得られることができる。
４つの位相の位相シフトホログラム画像を得た後、フーリエ領域の物体波は、式（５）を用いて得ることができる。続いて、逆フーリエ変換が物体波に対して行なわれ、空間領域で物体画像を再構成する。あるいは、フーリエ領域の物体波を空間領域の物体画像に変換するための伝達関数Ｈ（ｘ、ｙ）が事前に推定されることもできるため、物体波と伝達関数の間の畳み込み演算が行われて物体画像を得ることができる。
本実施形態では、図２Ａに示されるように、各ユニットセル２２０、２３０、２４０、および２５０は、２×２アレイとして形成され、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４の順序は固定されており、各ユニットセル２２０、２３０、２４０、および２５０の順序は固定されている。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されたパターンは同じであることができる。しかしながら、本開示の実施形態はそれに限定されない。
本実施形態では、図２Ｂに示されるように、各ユニットセル２２０、２３０、２４０、および２５０は、２×２アレイとして形成され、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４の順序は可変であり、各ユニットセル２２０、２３０、２４０、および２５０の順序は可変である。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されたパターンは異なってもよい。
あるいは、いくつかの実施形態では、図５、図６、または図７に示されるように、各ユニットセル２２０、２３０、２４０、および２５０は、２×２アレイとして形成され、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４の順序は固定されており、各ユニットセル２２０、２３０、２４０、および２５０は、右に所定の角度回転して繰り返されるか、または各ユニットセル２２０、２３０、２４０、および２５０は、右に反転して繰り返されるか、または各ユニットセル２２０、２３０、２４０、および２５０は、右に反転して所定の角度回転して繰り返される。所定の角度は、例えば、９０度、１８０度、または２７０度であり得る。
なお、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４は、２×２アレイの中心点を中心して、時計方向又は反時計方向に、所定の順序で並んでいてもよい。そして、ユニットセル２２０を、２×２アレイの中心点を中心として所定の角度回転させた光電素子の配列を、各ユニットセル２３０、２４０、および２５０としてよい。このとき所定の角度は、例えば、９０度、１８０度、または２７０度とすればよい。また、ユニットセル２２０を反転させた光電素子の配列を、各ユニットセル２３０、２４０、および２５０としてよい。さらに、ユニットセル２２０の回転と反転を組み合わせた配列を、各ユニットセル２３０、２４０、および２５００としてよい。
図５に見られるように、各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の順序は固定されることができ、ユニットセル２２０は、ユニットセル２５０から右に所定の角度（例えば、９０度）回転して繰り返され、ユニットセル２５０は、ユニットセル２４０から右に所定の角度（例えば、１８０度）回転して繰り返され、ユニットセル２４０は、ユニットセル２３０から右に（垂直）反転して所定の角度（例えば、９０度）回転して繰り返され、且つユニットセル２３０は、ユニットセル２２０から右に（垂直）反転して繰り返される。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されるパターンは異なる。
図６に見られるように、各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の順序は固定されることができ、ユニットセル２２０は、ユニットセル２５０から右に所定の角度（例えば、９０度）回転して繰り返され、ユニットセル２５０は、ユニットセル２４０から右に所定の角度（例えば、１８０度）回転して繰り返され、ユニットセル２４０は、ユニットセル２３０から右に（水平）反転して所定の角度（例えば、９０度）回転して繰り返され、且つユニットセル２３０は、ユニットセル２２０から右に（水平）反転して繰り返される。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されるパターンは異なる。
図７に見られるように、各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の順序は固定されることができ、ユニットセル２２０は、ユニットセル２５０から右に所定の角度（例えば、２７０度）回転して繰り返され、ユニットセル２５０は、ユニットセル２４０から右に所定の角度（例えば、１８０度）回転して繰り返され、ユニットセル２４０は、ユニットセル２３０から右に（垂直）反転して所定の角度（例えば、９０度）回転して繰り返され、且つユニットセル２３０は、ユニットセル２２０から右に（垂直）反転して繰り返される。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されるパターンは異なる。各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４のもう１つの配置方式は、図５、図６、または図７の実施形態を参照することができ、その説明はここでは繰り返されない。
従って、図２Ｂ、図５、図６、および図７のイメージセンシング装置２００も、図２Ａのイメージセンシング装置と同様の効果を得ることができる。
図８は、本開示の一実施形態による、イメージセンシング装置で用いる４ステップの位相シフトホログラフィ法のフローチャートである。図８のフローチャートは、イメージセンシング装置２００（単色イメージセンサなど）で用いるためのものである。本方法は、ステップＳ８１０において、異なる位相での４つの位相シフトホログラム画像を得るステップを含む。例えば、図２Ａ、図２Ｂ、図５、図６、または図７に示されたイメージセンシング装置２００が以下の実施形態に用いられることができる。具体的には、４つの位相シフトホログラム画像は、位相０、π／２、π、および３π／２に対応する。
本方法は、ステップＳ８２０において、異なる位相での４つの位相シフトホログラム画像に従って、フーリエ領域にある物体波を計算するステップを含む。例えば、異なる位相（０、π／２、π、および３π／２など）での位相シフトホログラム画像の強度は、式（１）～（４）を用いて計算されることができ、物体波は、式（５）を用いて計算されることができる。しかしながら、物体波の計算を簡略化するために、物体波φ０は以下の式（６）を用いて近似的に計算されることができる。
Figure 0007269991000006
本方法は、ステップＳ８３０にて、物体波に従って物体画像を再構成するステップを含む。例えば、物体波φ０はフーリエ領域にあり、物体画像は空間領域にあるため、逆フーリエ変換が物体波φ０に適用されて、物体画像を再構成することができる。あるいは、フーリエ領域の物体波を空間領域の物体画像に変換するための伝達関数Ｈ（ｘ、ｙ）が事前に推定されることもできるため、物体波と伝達関数の間の畳み込み演算が行われて物体画像を得ることができる。
図９は、本開示のもう１つの実施形態によるイメージセンシング装置の上面図である。図１０は、図９のイメージセンシング装置の断面図である。本実施の形態では、イメージセンシング装置９００は、例えば、カラーイメージセンサである。図９および図１０に示すように、イメージセンシング装置９００は、センサアレイ９１０およびフィルタアレイ９７０を含み得る。
センサアレイ９１０は、入射光を受光する複数の光電素子を含む。センサアレイ９１０では、光電素子は、複数のユニットセル９３０、９４０、９５０、および９６０に配置される。例えば、ユニットセル９３０（例えば、第１のユニットセル）は、光電素子９３１、光電素子９３２、光電素子９３３、および光電素子９３４を含む。ユニットセル９４０（例えば、第２のユニットセル）は、光電要素９４１、光電要素９４２、光電要素９４３、および光電要素９４４を含む。ユニットセル９５０（第３のユニットセルなど）は、光電素子９５１、光電素子９５２、光電素子９５３、および光電素子９５４を含む。ユニットセル９６０（例えば、第４のユニットセル）は、光電素子９６１、光電素子９６２、光電素子９６３、および光電素子９６４を含む。
本実施形態では、光電素子９３１～９３４、光電素子９４１～９４４、光電素子９５１～９５４、および光電素子９６１～９６４は２×２アレイにそれぞれ配置されることができる。光電素子９３１～９３４、光電素子９４１～９４４、光電素子９５１～９５４、および光電素子９６１～９６４は、図２Ａの光電素子２２１～２２４と同等または類似している。従って、光電素子９３１～９３４、光電素子９４１～９４４、光電素子９５１～９５４、および光電素子９６１～９６４は、図２Ａ～図６の実施形態を参照することができ、本明細書では説明を省略する。
また、ユニットセル９３０、９４０、９５０、および９６０は、複数のマクロユニットセル９２０に配置される。例えば、各マクロユニットセル９２０は、ユニットセル９３０、ユニットセル９４０、ユニットセル９５０、およびユニットセル９６０を含み得る。実施形態では、ユニットセル９３０、ユニットセル９４０、ユニットセル９５０、およびユニットセル９６０は２×２アレイに配置されることができる。
フィルタアレイ９７０は、光電素子上に配置され、即ち、フィルタアレイ９７０は、センサアレイ９１０上に配置される。さらに、フィルタアレイ９７０は、赤色フィルタ９７２、緑色フィルタ９７４と９７６、および青色フィルタ９７８などの複数のカラーフィルタを含み得る。例えば、２つの緑色フィルタ９７４および９７６、１つの赤色フィルタ９７２、および１つの青色フィルタ９７８は２×２アレイに配置される。一実施形態では、緑色フィルタ９７４と９７６は、入射光から緑色光を抽出することができ、赤色フィルタ９７２は、入射光から赤色光を抽出することができ、青色フィルタ９７８は、入射光から青色光を抽出することができる。
センサアレイ９１０は、フィルタアレイ９７０を介して入射光を受光することができる。ユニットセル９３０は、フィルタアレイ９７０内の緑色フィルタ９７４に対応することができ、ユニットセル９４０は、フィルタアレイ９７０内の緑色フィルタ９７６に対応することができ、ユニットセル９５０は、フィルタアレイ９７０内の赤色フィルタ９７２に対応することができ、且つユニットセル９６０は、フィルタアレイ９７０内の青色フィルタ９７８に対応することができる。従って、各マクロユニットセル９２０のユニットセル９３０、９４０、９５０、および９６０は、フィルタアレイ９１０の緑色フィルタ９７４、緑色フィルタ９７６、赤色フィルタ９７２、および青色フィルタ９７８を介して、緑色光、緑色光、赤色光、および青色光を受光することができる。具体的には、各マクロユニットセル９２０の４つのユニットセル９３０、９４０、９５０、および９６０は、０、π／２、π、および３π／２などの４つの異なる位相での緑色、青色、赤色、および緑色の画像を撮像するように構成される。
Ｈζｒ、Ｈζｇ、およびＨζｂが赤色光、緑色光、および青色光の波長をそれぞれ表すとすると、赤色光、緑色光、青色光の中で赤色光が最も波長が長く、青色光が最も波長が短いことから、波長の関係はＨζｒ＞Ｈζｇ＞Ｈζｂとなることがわかる。従って、センサアレイ９１０内の光電素子が同じ材料でできていると仮定すると、赤色光を受けるユニットセル９５０内の光電素子９５１～９５４は、マクロユニットセル９２０内の他のユニットセル内の光電素子より比較的高い高さを有する。言い換えれば、各ユニットセルの光電素子の高さは、受光した光の波長に比例する。
例えば、図１０に示されるように、ユニットセル９５０（赤色フィルタ９７２に対応する）内の光電素子９５１～９５４の高さは、ユニットセル９３０とユニットセル９４０（緑色フィルタ９４１と９７６に対応する）内の光電素子９３１～９３４と９４１～９４４の高さより高く、ユニットセル９３０とユニットセル９４０（緑色フィルタ９４１と９７６に対応する）内の光電素子９３１～９３４と９４１～９４４の高さは、ユニットセル９６０の光電素子９６１～９６４の高さより高い。
マクロユニットセル９２０がセンサアレイ９１０内に繰り返し配置されるため、４つの位相シフトホログラム画像は、センサアレイ９１０内のマクロユニットセル９２０の各ユニットセル９３０、９４０、９５０、９６０によって撮像された画像を組み合わせることにより得られるため、合計１６個の位相シフトホログラム画像が得られることができる。ユニットセル９３０によって撮像された緑色の位相シフトホログラム画像は、ユニットセル９４０によって撮像されたものと同じであることに留意されたい。例えば、合計１６個の位相シフトホログラム画像は、（Ｒδ０、Ｒδ１、Ｒδ２、Ｒδ３）、（Ｇ１δ０、Ｇ１δ１、Ｇ１δ２、Ｇ１δ３）、（Ｇ２δ０、Ｇ２δ１、Ｇ２δ２、Ｇ２δ３）、および（Ｂδ０、Ｂδ１、Ｂδ２、Ｂδ３）であることができ、緑色の位相シフトホログラム画像（Ｇ１δ０、Ｇ１δ１、Ｇ１δ２、Ｇ１δ３）は、ユニットセル９３０によって撮像され、緑色の位相シフトホログラム画像（Ｇ２δ０、Ｇ２δ１、Ｇ２δ２、Ｇ２δ３）は、ユニットセル９４０によって撮像される。
一実施形態では、緑色フィルタ９７４および緑色フィルタ９７６は、図１１に示されるように、それぞれ、緑色カラーフィルタ（例えば、図１１の「ＧＣＦ」）で形成され、赤色フィルタ９７２は、赤色カラーフィルタ（ 例えば、図１１の「ＲＣＦ」）で形成され、青色フィルタ９７８は、青色カラーフィルタで形成される。
一実施形態では、図１２に示されるように、緑色フィルタ９７４および緑色フィルタ９７６は、それぞれ、緑色マルチフィルム（例えば、図１２の「ＭＦＧ」）で形成され、赤色フィルタ９７２は、赤色マルチフィルム（例えば、図１２の「ＭＦＲ」）で形成され、青色フィルタ９７８は、青色マルチフィルムで形成される。
一実施形態では、図１３に示されるように、緑色フィルタ９７４および緑色フィルタ９７６は、それぞれ、緑色格子で形成され、赤色フィルタ９７２は、赤色格子で形成され、青色フィルタ９７８は、青色格子で形成される。
図１４は、本開示の一実施形態による、イメージセンシング装置で用いる４ステップの位相シフトホログラフィ法のフローチャートである。図１４のフローチャートは、イメージセンシング装置９００（カラーイメージセンサなど）で用いるためのものである。本方法は、ステップＳ１４１０にて、異なるカラーチャネルおよび異なる位相での１６個の位相シフトホログラム画像を取得するステップを含む。例えば、図９のイメージセンシング装置９００は、以下の実施形態で用いることができる。１６個の位相シフトホログラム画像は、上述のように（Ｒδ０、Ｒδ１、Ｒδ２、Ｒδ３）、（Ｇ１δ０、Ｇ１δ１、Ｇ１δ２、Ｇ１δ３）、（Ｂδ０、Ｂδ１、Ｂδ２、Ｂδ３）、および（Ｇ２δ０、Ｇ２δ１、Ｇ２δ２、Ｇ２δ３）である。上記のカラーチャネルは、ユニットセル９３０、９４０、９５０、および９６０にそれぞれ対応し得る。
本方法は、ステップＳ１４２０にて、異なるカラーチャネルおよび異なる位相での１６個の位相シフトホログラム画像に従って、フーリエドメイン内の各カラーチャネルの物体波を計算するステップを含む。
本方法は、ステップＳ１４３０にて、各カラーチャネルの物体波に従って各カラーチャネルの物体画像を再構成するステップを含む。具体的には、イメージセンシング装置９００（カラーイメージセンサなど）には、１つの赤色チャネル、１つの青色チャネル、および２つの緑色チャネルなどの４つのカラーチャネルがあり、単一のカラーチャネルの物体波を計算し、物体画像を再構成する操作は、図８の実施形態で参照されることができ、ここではその説明を繰り返さない。
従って、ステップＳ１４３０の後、１つの赤色チャネル、１つの青色チャネル、および２つの緑色チャネルを表す４つの物体画像が得られ、イメージセンシング装置９００に結合されたイメージ信号プロセッサ（図示せず）は、４つの物体画像を用いて元のカラー画像を再構築することができる。
要約すると、本開示の実施形態で開示されたイメージセンシング装置によれば、各ユニットセル内の光電素子はピラー構造で形成され、光電素子は異なるサイズである。４ステップの位相シフトホログラフィアルゴリズムの異なる位相用に設計された、異なるサイズを有する光電素子を、イメージセンシング装置のセンサアレイに配置することにより、物体画像は光電素子で撮影された位相シフトホログラム画像を用いて再構成されることができる。従ってレンズのないイメージセンサを用いたカメラモジュールにはモジュラーレンズが不要であるため、カメラモジュール全体のコストを削減し、カメラモジュールの厚さを薄型化することができる。
本発明は、例として及び望ましい実施の形態によって記述されているが、本発明は開示された実施形態に限定されるものではない。逆に、当業者には自明の種々の変更及び同様の配置をカバーするものである。よって、添付の特許請求の範囲は、最も広義な解釈が与えられ、全てのこのような変更及び同様の配置を含むべきである。
１００ 位相シフトデジタルホログラフィ装置
１１０ レーザ光源
１２０ ビームエミッタ
１３０、１４０ ビームスプリッタ
１５０ 圧電変換器（ＰＺＴ）ミラー
１６０ ミラー
１７０ センサアレイ
２００、９００ イメージセンシング装置
２１０、９１０ センサアレイ
２２０、２３０、２４０、２５０、９３０、９４０、９５０、９６０ ユニットセル
２２１、２２２、２２３、２２４、９３１、９３２、９３３、９３４、９４１、９４２、９４３、９４４、９５１、９５２、９５３、９５４、９６１、９６２、９６３、９６４ 光電素子
２５０ 基板
９２０ マクロユニットセル
９７０ フィルタアレイ
９７２ 赤色フィルタ
９７４、９７６ 緑色フィルタ
９７８ 青色フィルタ
ＲＣＦ 赤色カラーフィルタ
ＧＣＦ 緑色カラーフィルタ
ＭＦＲ 赤色マルチフィルム
ＭＦＧ 緑色マルチフィルム
ｘ、ｙ 伝達関数
Ｓ８１０、Ｓ８２０、Ｓ８３０、Ｓ１４１０、Ｓ１４２０、Ｓ１４３９ ステップ

Claims (15)

  1. 複数のユニットセル内に配置され、各前記ユニットセルは、第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子を含む複数の光電素子を含み、
    各前記ユニットセル内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子は、ピラー構造で形成され、異なるサイズであり、
    前記第１の光電素子は、第１の位相で第１の画像を撮像し、前記第２の光電素子は、第２の位相で第２の画像を撮像し、前記第３の光電素子は、第３の位相で第３の画像を撮像し、前記第４の光電素子は、第４の位相で第４の画像を撮像し、
    前記第１の位相、前記第２の位相、前記第３の位相、および前記第４の位相は、それぞれ０、π／２、π、および３π／２であり、
    前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、及び前記第４の光電素子の直径は、異なり、かつ、前記第１の位相、前記第２の位相、前記第３の位相、および前記第４の位相とそれぞれ対応するイメージセンシング装置。
  2. 前記ピラー構造、単結晶シリコン、多結晶シリコン（ポリシリコン）、アモルファスシリコン、Ｓｉ ３ Ｎ ４ 、ＧａＰ、ＴｉＯ ２ 、ＡｌＳｂ、ＡｌＡｓ、ＡｌＧａＡｓ、ＡｌＧａＩｎＰ、ＢＰ、ＺｎＧｅＰ ２ 、のいずれか一つ、またはそれらの組み合わせたものを含むである請求項１に記載のイメージセンシング装置。
  3. 各前記ユニットセルは、２×２アレイとして形成され、２×２アレイ内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の順序は固定されており、各前記ユニットセルの順序は固定されている請求項１に記載のイメージセンシング装置。
  4. 各前記ユニットセルは、２×２アレイとして形成され、２×２アレイ内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の順序は可変であり、各前記ユニットセルの順序は可変である請求項１に記載のイメージセンシング装置。
  5. 各前記ユニットセルは、２×２アレイとして形成され、２×２アレイ内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の順序は固定されており、
    各前記ユニットセルは、右に所定の角度回転して繰り返されるか、または各前記ユニットセルは、右に反転して繰り返されるか、または各前記ユニットセルは、右に反転して所定の角度回転して繰り返され、前記所定の角度は、９０度、１８０度、または２７０度である請求項１に記載のイメージセンシング装置。
  6. 前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の直径は、１２０～３５０ｎｍであり、前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、３００ｎｍ以上７５０ｎｍ以下の範囲内である請求項１に記載のイメージセンシング装置。
  7. 第１の位相シフトホログラム画像、第２の位相シフトホログラム画像、第３の位相シフトホログラム画像、および第４の位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記ユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
    フーリエ領域の物体波は、前記第１の位相シフトホログラム画像、前記第２の位相シフトホログラム画像、前記第３の位相シフトホログラム画像、および前記第４の位相シフトホログラム画像に従って計算され、物体画像は前記物体波に逆フーリエ変換することで再構成される請求項１に記載のイメージセンシング装置。
  8. 請求項１～６のいずれか１項に記載のイメージセンシング装置を用いた、位相シフトホログラフィ法であって、
    ４ステップの位相シフトホログラフィアルゴリズムを介して前記ユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の位相シフトホログラム画像、第２の位相シフトホログラム画像、第３の位相シフトホログラム画像、および第４の位相シフトホログラム画像を取得するステップと、
    前記第１の位相シフトホログラム画像、前記第２の位相シフトホログラム画像、前記第３の位相シフトホログラム画像、および前記第４の位相シフトホログラム画像に従ってフーリエ領域の物体波を計算するステップと、
    前記物体波に逆フーリエ変換することで物体画像を再構成するステップとを含む位相シフトホログラフィ法。
  9. 前記光電素子上に配置されたフィルタアレイを含み、
    前記フィルタアレイは、
    入射光から緑色光を抽出する第１の緑色フィルタおよび第２の緑色フィルタ、
    前記入射光から赤色光を抽出する赤色フィルタ、および
    前記入射光から青色光を抽出する青色フィルタを含み、
    前記ユニットセルは複数のマクロユニットセルに配置され、
    各前記マクロユニットセルは、２×２アレイに配置された第１のユニットセル、第２のユニットセル、第３のユニットセル、および第４のユニットセルを含み、
    各前記マクロユニットセルの前記第１のユニットセル、前記第２のユニットセル、前記第３のユニットセル、および前記第４のユニットセルは、前記第１の緑色フィルタ、前記第２の緑色フィルタ、前記赤色フィルタ、および前記青色フィルタを介して前記緑色光、前記緑色光、前記赤色光、および前記青色光をそれぞれ受光する請求項１に記載のイメージセンシング装置。
  10. 前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、前記第１のユニットセルおよび前記第２のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さより高く、
    前記第１のユニットセルおよび前記第２のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、前記第４のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さより高い請求項９に記載のイメージセンシング装置。
  11. 第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
    第５の緑色位相シフトホログラム画像、第６の緑色位相シフトホログラム画像、第７の緑色位相シフトホログラム画像、および第８の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第２のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
    第１の赤色位相シフトホログラム画像、第２の赤色位相シフトホログラム画像、第３の赤色位相シフトホログラム画像、および第４の赤色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
    第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
    第１の青色位相シフトホログラム画像、第２の青色位相シフトホログラム画像、第３の青色位相シフトホログラム画像、および第４の青色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られる請求項９に記載のイメージセンシング装置。
  12. 請求項９に記載のイメージセンシング装置を用いた、位相シフトホログラフィ法であって、
    ４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像を取得するステップと、
    ４ステップの位相シフトホログラフィアルゴリズムを介して前記第２のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第５の緑色位相シフトホログラム画像、第６の緑色位相シフトホログラム画像、第７の緑色位相シフトホログラム画像、および第８の緑色位相シフトホログラム画像を取得するステップと、
    ４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の赤色位相シフトホログラム画像、第２の赤色位相シフトホログラム画像、第３の赤色位相シフトホログラム画像、および第４の赤色位相シフトホログラム画像を取得するステップと、
    ４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像を取得するステップと、
    ４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の青色位相シフトホログラム画像、第２の青色位相シフトホログラム画像、第３の青色位相シフトホログラム画像、および第４の青色位相シフトホログラム画像を取得するステップとを含む位相シフトホログラフィ法。
  13. フーリエ領域の第１の緑色物体波は、前記第１の緑色位相シフトホログラム画像、前記第２の緑色位相シフトホログラム画像、前記第３の緑色位相シフトホログラム画像、および前記第４の緑色位相シフトホログラム画像に従って計算され、
    前記フーリエ領域の第２の緑色物体波は、前記第５の緑色位相シフトホログラム画像、前記第６の緑色位相シフトホログラム画像、前記第７の緑色位相シフトホログラム画像、および前記第８の緑色位相シフトホログラム画像に従って計算され、
    前記フーリエ領域の赤色物体波は、前記第１の赤色位相シフトホログラム画像、前記第２の赤色位相シフトホログラム画像、前記第３の赤色位相シフトホログラム画像、および前記第４の赤色位相シフトホログラム画像に従って計算され、
    前記フーリエ領域の青色物体波は、前記第１の青色位相シフトホログラム画像、前記第２の青色位相シフトホログラム画像、前記第３の青色位相シフトホログラム画像、および前記第４の青色位相シフトホログラム画像に従って計算され、
    第１の緑色物体画像は、前記第１の緑色物体波に逆フーリエ変換を用いることで再構成され、第２の緑色物体画像は、前記第２の緑色物体波に前記逆フーリエ変換を用いることで再構成され、赤色物体画像は、前記赤色物体波に前記逆フーリエ変換を用いることで再構成され、且つ青色物体画像は、前記青色物体波に前記逆フーリエ変換を用いることで再構成され、
    カラー画像は、前記第１の緑色物体画像、第２の緑色物体画像、赤色の物体画像、および青色物体画像に従って得られる請求項１１に記載のイメージセンシング装置。
  14. 請求項１１記載のイメージセンシング装置を用いた、位相シフトホログラフィ法であって、
    前記第１の緑色位相シフトホログラム画像、前記第２の緑色位相シフトホログラム画像、前記第３の緑色位相シフトホログラム画像、および前記第４の緑色位相シフトホログラム画像に従ってフーリエ領域の第１の緑色物体波を計算するステップと、
    前記第５の緑色位相シフトホログラム画像、前記第６の緑色位相シフトホログラム画像、前記第７の緑色位相シフトホログラム画像、および前記第８の緑色位相シフトホログラム画像に従って、前記フーリエ領域の第２の緑色物体波を演算するステップと、
    前記第１の赤色位相シフトホログラム画像、前記第２の赤色位相シフトホログラム画像、前記第３の赤色位相シフトホログラム画像、および前記第４の赤色位相シフトホログラム画像に従って、前記フーリエ領域の赤色物体波を計算するステップと、
    前記第１の青色位相シフトホログラム画像、前記第２の青色位相シフトホログラム画像、前記第３の青色位相シフトホログラム画像、および前記第４の青色位相シフトホログラム画像に従って、前記フーリエ領域の青色物体波を計算するステップと、
    前記第１の緑色物体波に逆フーリエ変換をすることで、第１の緑色物体画像を再構成するステップと、
    前記第２の緑色物体波に前記逆フーリエ変換をすることで、第２の緑色物体画像を再構成するステップと、
    前記赤色物体波に前記逆フーリエ変換をすることで、赤色物体画像を再構成するステップと、
    前記青色物体波に前記逆フーリエ変換をすることで、青色物体画像を再構成するステップと、
    前記第１の緑色物体画像、第２の緑色物体画像、赤色の物体画像、および青色物体画像に従って、カラー画像を取得するステップとを含む位相シフトホログラフィ法。
  15. 前記第１の緑色フィルタおよび前記第２の緑色フィルタは、緑色カラーフィルタ、緑色マルチフィルム、または緑色格子でそれぞれ形成され、前記赤色フィルタは、赤色カラーフィルタ、赤色マルチフィルム、または赤色格子で形成され、前記青色フィルタは、青色カラーフィルタ、青色マルチフィルム、または青色格子で形成される請求項９に記載のイメージセンシング装置。
JP2021099960A 2021-01-06 2021-06-16 イメージセンシング装置及び位相シフトホログラフィ法 Active JP7269991B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/142,826 US11317039B1 (en) 2021-01-06 2021-01-06 Image-sensing device
US17/142,826 2021-01-06

Publications (2)

Publication Number Publication Date
JP2022106266A JP2022106266A (ja) 2022-07-19
JP7269991B2 true JP7269991B2 (ja) 2023-05-09

Family

ID=75277886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021099960A Active JP7269991B2 (ja) 2021-01-06 2021-06-16 イメージセンシング装置及び位相シフトホログラフィ法

Country Status (6)

Country Link
US (1) US11317039B1 (ja)
EP (1) EP4027389B1 (ja)
JP (1) JP7269991B2 (ja)
KR (1) KR102578652B1 (ja)
CN (1) CN114727072B (ja)
TW (1) TWI766636B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013055202A (ja) 2011-09-02 2013-03-21 Toshiba Corp 固体撮像素子
JP2019033467A (ja) 2017-08-04 2019-02-28 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ 位相シフトのホログラムを用いたレンズフリーイメージセンサ
WO2019124562A1 (ja) 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06102813A (ja) * 1992-09-18 1994-04-15 Fujitsu Ltd 空間光変調装置および立体表示装置
JP4874593B2 (ja) * 2005-07-25 2012-02-15 コニカミノルタオプト株式会社 映像表示装置およびヘッドマウントディスプレイ
JP2010212625A (ja) * 2009-03-12 2010-09-24 Nikon Corp 固体撮像素子
WO2012002207A1 (ja) 2010-06-29 2012-01-05 国立大学法人京都工芸繊維大学 偏光イメージング装置および偏光イメージング方法
WO2012054351A2 (en) * 2010-10-18 2012-04-26 The Regents Of The University Of California Microscopy method and system incorporating nanofeatures
KR20130038035A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 촬상소자
WO2014083836A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 集光装置、固体撮像素子および撮像装置
CN110286484A (zh) * 2013-10-20 2019-09-27 Mtt创新公司 光场投影装置及方法
JP2015216186A (ja) * 2014-05-09 2015-12-03 ソニー株式会社 固体撮像装置および電子機器
JP6420195B2 (ja) * 2015-03-27 2018-11-07 ルネサスエレクトロニクス株式会社 半導体装置
US9425227B1 (en) * 2015-05-20 2016-08-23 Visera Technologies Company Limited Imaging sensor using infrared-pass filter for green deduction
CN105116705B (zh) * 2015-09-29 2017-09-15 北京工业大学 多波长自适应数字全息成像系统及方法
US10347678B2 (en) * 2017-11-16 2019-07-09 Visera Technologies Company Limited Image sensor with shifted microlens array
CN112119502A (zh) * 2018-05-18 2020-12-22 索尼半导体解决方案公司 成像元件、电子设备和成像元件的驱动方法
DE112019003394T5 (de) * 2018-07-03 2021-04-08 Sony Semiconductor Solutions Corporation Bildgebungsvorrichtung und festkörper-bildsensor
JP7281895B2 (ja) * 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013055202A (ja) 2011-09-02 2013-03-21 Toshiba Corp 固体撮像素子
JP2019033467A (ja) 2017-08-04 2019-02-28 采▲ぎょく▼科技股▲ふん▼有限公司ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ 位相シフトのホログラムを用いたレンズフリーイメージセンサ
WO2019124562A1 (ja) 2017-12-22 2019-06-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器

Also Published As

Publication number Publication date
EP4027389A1 (en) 2022-07-13
TWI766636B (zh) 2022-06-01
CN114727072A (zh) 2022-07-08
JP2022106266A (ja) 2022-07-19
TW202227908A (zh) 2022-07-16
EP4027389B1 (en) 2024-08-07
KR102578652B1 (ko) 2023-09-15
KR20220099469A (ko) 2022-07-13
CN114727072B (zh) 2024-07-12
US11317039B1 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
JP2020051868A (ja) 偏光イメージング撮像システム
JP6725526B2 (ja) 分散して空間的符号化画像を作成する画像を伴う撮像素子
US11290642B2 (en) Image processing apparatus and image processing method that generate a complex image based on a Fresnel Zone pattern
WO2012002207A1 (ja) 偏光イメージング装置および偏光イメージング方法
JP2018504577A (ja) 厚膜サンプル用落射照明フーリエタイコグラフィ撮像
EP3700197B1 (en) Imaging device and method, and image processing device and method
WO2018221019A1 (ja) 画像処理装置、撮像システム、画像処理方法、及び記録媒体
EP2915009B1 (fr) Système d'imagerie holographique auto-référencé
CA2636881C (fr) Interferometre optique achromatique et compact, du type a decalage trilateral
CA3076568A1 (fr) Capteur d'image a matrice de bayer
JP7269991B2 (ja) イメージセンシング装置及び位相シフトホログラフィ法
JP6677696B2 (ja) 位相シフトのホログラムを用いたレンズフリーイメージセンサ
WO2022162800A1 (ja) 撮像装置及び光学素子
EP0376837B1 (fr) Procédé et dispositif holographique en lumière incohérente
US10495793B2 (en) Systems and methods for lensless image acquisition
JP2023016864A (ja) 撮像装置および方法
JP2021184002A (ja) インコヒーレントディジタルホログラム用撮像素子、撮像装置およびその撮像素子の製造方法
White et al. On-Chip Optical and Analog Processing in 180nm CMOS for Holography
WO2016130437A1 (en) Systems and methods for lensless image acquisition
Almoallem et al. Black silicon based iris with reduced light scattering and reflection
JPWO2017203661A1 (ja) デジタルホログラフィック撮像装置
EP2839254A1 (fr) Procédé et dispositif pour l'imagerie multi-spectrale par reconstruction.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7269991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150