JP6975913B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6975913B2
JP6975913B2 JP2017229402A JP2017229402A JP6975913B2 JP 6975913 B2 JP6975913 B2 JP 6975913B2 JP 2017229402 A JP2017229402 A JP 2017229402A JP 2017229402 A JP2017229402 A JP 2017229402A JP 6975913 B2 JP6975913 B2 JP 6975913B2
Authority
JP
Japan
Prior art keywords
light
image
subject
image pickup
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017229402A
Other languages
English (en)
Other versions
JP2018098785A (ja
Inventor
建治 鳴海
青児 西脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2018098785A publication Critical patent/JP2018098785A/ja
Application granted granted Critical
Publication of JP6975913B2 publication Critical patent/JP6975913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14629—Reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
    • G01J2009/028—Types
    • G01J2009/0284—Michelson
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J9/02—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/06—Swinging lens about normal to the optical axis
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/08—Swing backs

Description

本開示は、光の干渉現象を利用して、被写体の光学的特性に関連する情報を取得する撮像装置に関する。
光は電磁波であり、波長および強度以外に、偏光および干渉性などの特性によって特徴づけられる。このうち、光の干渉性を利用して被写体を測定する方法として、例えば、非特許文献１に示されるマイケルソンの干渉計を用いる方法が挙げられる。
東海大学出版会 光学の原理、ｐ４８２、Ｍ・ボルンほか 第１４回医用近赤外線分光法研究会、ｐ１３９−１４４、近赤外生体分光法の展望−１μｍ波長域の可能性、西村吾朗
上記従来の方法によって光のコヒーレンスの度合または位相を測定するには煩雑な操作が必要であった。本開示は、被写体を透過または反射する光のコヒーレンスの度合いまたは位相を煩雑な操作を行うことなく計測できる撮像技術を提供する。
本開示の一態様に係る撮像装置は、複数の透光領域および複数の遮光領域を含む遮光膜であって、前記複数の透光領域および前記複数の遮光領域が少なくとも第１の方向に交互に配置されている遮光膜と、
前記遮光膜に対向して配置され、撮像面を有し、前記撮像面に２次元的に配列された複数の第１の画素および複数の第２の画素を含む光検出器であって、前記複数の第１の画素の各々は、前記複数の透光領域の１つに対向し、前記複数の第２の画素の各々は、前記複数の遮光領域の１つに対向する、光検出器と、
前記遮光膜および前記光検出器の間に配置された光結合層であって、前記複数の透光領域に所定の波長の光が入射したときに、前記光の第１部分を前記第１の方向に伝搬させるグレーティングを含み、前記第１部分と異なる前記光の第２部分を透過させる光結合層と、
を含む撮像素子と、
前記撮像面に被写体の像を形成する光学系と、
前記撮像素子に動画像を取得させる制御回路と、
前記撮像素子によって取得された前記動画像に含まれる複数のフレームから、前記第１の方向における前記被写体の前記像の位置が互いに異なる２つのフレームを抽出する信号処理回路と、を備える。
上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様に係る撮像装置によれば、コヒーレンスの度合いまたは位相の状態を煩雑な操作を行うことなく、測定することができる。
図１は、検討例に係る撮像装置を模式的に示す図である。 図２Ａは、光が入射する方向に沿った面における撮像素子の断面図である。 図２Ｂは、撮像素子を光の入射する側から眺めた平面図である。 図２Ｃは、ストライプパターンを有する遮光膜の一例を示している。 図２Ｄは、他のパターンを有する遮光膜９の一例を示している。 図３は、動画像の取得から光学的分布画像を得るまでの、フレームごとの画像の流れを示している。 図４Ａは、検討例における４つの透光領域における入射光と、その下にある複数の画素との位置関係を示す断面図である。 図４Ｂは、入射光の位相差と、検出信号との関係を示す解析結果を示している。 図５Ａは、第１の実施形態の撮像装置を模式的に示す図である。 図５Ｂは、被写体が移動したときに撮像素子上で被写体の像が移動する状態を説明する図である。 図５Ｃは、被写体が移動したときに撮像素子上で被写体の像が移動する状態を説明する他の図である。 図５Ｄは、合成処理の一例を説明するための図である。 図５Ｅは、本実施形態の撮像装置の変形例を模式的に示す図である。 図６Ａは、図５Ａに示す実施形態において、動画像の取得から光学的分布画像を得るまでの、フレームごとの画像の流れを示している。 図６Ｂは、図５Ｅに示す実施形態において、動画像の取得から光学的分布画像を得るまでの、フレームごとの画像の流れを示している。 図７は、本実施例で用いた構成を示す模式図である。 図８Ａは、演算部から出力された１フレーム目の演算画像を示している。 図８Ｂは、演算部から出力された２フレーム目の演算画像を示している。 図８Ｃは、演算部から出力された３フレーム目の演算画像を示している。 図８Ｄは、演算部から出力された４フレーム目の演算画像を示している。 図８Ｅは、演算部から出力された５フレーム目の演算画像を示している。 図８Ｆは、画像合成部からの出力画像を示している。 図９は、第２の実施形態に係る撮像装置の模式図である。 図１０Ａは、アクチュエータがレンズ光学系を光軸に直交する面内で移動させる構成例を示している。 図１０Ｂは、アクチュエータに代えて光路調整器を被写体と撮像素子との間に配置した構成例を示している。 図１１は、ハーフミラーを被写体と２つの撮像素子との間に配置した構成例を示している。 図１２Ａは、第１の従来例であるマイケルソンの干渉計の構成を模式的に示す図である。 図１２Ｂは、光検出器によって検出される光の強度を示す電気信号の時間変化の例を模式的に示す図である。 図１３は、光の干渉現象を説明するための図である。 図１４Ａは、波長λ0を中心に波長の広がりがゼロである光を示している。 図１４Ｂは、コヒーレンス長が無限大になることを示している。 図１４Ｃは、波長λ0を中心に波長の広がりがΔλの光を示している。 図１４Ｄは、コヒーレンス長σ0がλ0 2／Δλになることを示している。 図１４Ｅは、中心波長λ0および波長の広がりΔλの光を、波長λ0−Δλ／２およびλ0＋Δλ／２の２つの光に置き換えて表せることを示している。 図１５Ａは、第２の従来例における光検出システムの模式的な断面図を示している。 図１５Ｂは、図１５Ａに示される光検出システムにおける光源の発振と光検出器からの検出信号との関係を示す説明図である。
（本開示の基礎となった知見）
本開示の実施の形態を説明する前に、光の干渉性または位相を測定する従来の方法について、詳細に検討した結果を説明する。
図１２Ａは、第１の従来例であるマイケルソンの干渉計２００の構成を模式的に示す図である。図１２Ａに示すように、光源３０から出射された光３１は、第１のレンズ光学系３５ａによって集光され平行光３２になる。なお、図では平行光３２の光軸のみを表している。この平行光３２の一部である光３２ａは、ハーフミラー３３を透過して第１の反射ミラー３４ａに向かう。第１の反射ミラー３４ａで反射された光３２ｂは、光３２ｃとしてハーフミラー３３でさらに反射されて第２のレンズ光学系３５ｂに向かう。光３２ｃは、第２のレンズ光学系３５ｂを通過し、光３２ｄとして第２のレンズ光学系３５ｂの焦平面に位置する光検出器３６に入射する。一方、平行光３２の他の一部である光３２Ａは、ハーフミラー３３で反射されて第２の反射ミラー３４Ａに向かう。第２の反射ミラー３４Ａで反射された光３２Ｂは、ハーフミラー３３に向かい、ハーフミラー３３を透過して光３２Ｃとして第２のレンズ光学系３５ｂに向かう。光３２Ｃは、第２のレンズ光学系３５ｂを通過し、光３２Ｄとして光３２ｄと重なる形で光検出器３６に入射する。光検出器３６は、光３２ｄと光３２Ｄとが干渉して生じる光を検出する。第２の反射ミラー３４Ａは、反射面の法線方向（矢印Ａ）に沿って位置が変化するように構成されている。第２の反射ミラー３４Ａの変位に伴って、光３２ｄに対する光３２Ｄの相対的な位相が変化する。
図１２Ｂは、光検出器３６によって検出される光の強度を示す電気信号の時間変化の例を模式的に示す図である。図１２Ｂは、マイケルソンの干渉計２００による光の干渉性および位相の評価方法を示している。図１２Ｂにおける縦軸は、光検出器３６から出力される信号の強度を示し、横軸は時間を示している。第２の反射ミラー３４Ａの位置を時間的に変化させると、図１２Ｂに示すように、信号強度はａからｂの範囲で変化する。ここで、（ｂ−ａ）／（ｂ＋ａ）の値を干渉におけるコントラストと呼ぶ。コントラストの値によって光３１の干渉性（コヒーレンス）の度合いが定義される。
第２の反射ミラー３４Ａを固定し、ハーフミラー３３と第１の反射ミラー３４ａとの間に透明な被写体３７を配置した場合でも、第２の反射ミラー３４Ａの位置を変化させた場合と同じ原理が成立する。すなわち、イメージセンサなどの光検出器３６から出力される信号の強度には被写体３７の形状に応じた強度差が空間的な分布として表れ、いわゆる干渉縞を形成する。その干渉縞の形状または間隔を測定することにより、被写体３７の形状または位相情報を計測できる。
干渉縞の空間的な分布を一度に測定するために、光検出器３６を複数の検出器の集合体として、検出器ごとに入射する光の量を検出する場合もある。複数の検出器の集合体を構成する個々の光検出器は、画素とも呼ばれる。
図１３は、光の干渉現象を説明するための図である。図１３は、光源３０から出射されＺ方向に伝搬する光の、ある時刻ｔ0における様子を模式的に示している。図１３に示すように、光源３０からは、波連３８ａ、３８ｂなどの複数の波連が次々に出射する。波連の長さσ0はコヒーレンス長と呼ばれる。１つの波連内では波は連続しており、波長も均一である。波連が異なると、位相の相関性は無くなる。例えば、波連３８ａでは位相δ0、波連３８ｂでは位相δ0’であり、δ0≠δ0’である。波連が異なると波長も異なる場合がある。例えば、波連３８ａでは波長λ0、波連３８ｂでは波長λ0’であり、λ0≠λ0’である。
まず、図１２Ａに示される構成において第２の反射ミラー３４Ａの位置を調整して、図１３における波連３８ａのうちの部分３８Ａと部分３８Ａ’とを干渉させる場合を説明する。部分３８Ａ内の波と部分３８Ａ’内の波とは波長が等しく、波の位相差も時間的に安定している。したがって、干渉後の光の明暗（干渉光の振幅の大小）も時間的に安定する。つまり、図１３の左下部分に示すように、干渉光３９ａは、位相差の量（反射ミラー３４Ａの変位）に応じて明るく見えたり（左下部分の上段）、暗く見えたりする（左下部分の下段）。この状態はコヒーレントと呼ばれる。
次に、波連３８ａの部分３８Ａと波連３８ｂの部分３８Ｂとを干渉させる場合を説明する。この場合、部分３８Ａ内の波と部分３８Ｂ内の波との波長が等しくなる保証はなく、これら２つの波の位相差も時間的にランダムに変化する。その結果、干渉後の光の明暗（干渉光の振幅の大小）は時間的にランダムに変化する。この変化は、例えばフェムト秒単位の速さである。したがって、図１３の右下部分に示すように、干渉光３９ｂは高速で明暗が繰り返され、人間の目には平均的な明るさにしか見えない。この状態はインコヒーレントと呼ばれる。レーザ光は、波連が長く、コヒーレンス長が数ｍから数百ｍ程であり、コヒーレント光の典型的な例である。一方、太陽光は、波連が短く、コヒーレンス長が１μｍ程度であり、インコヒーレントな光の典型的な例である。図１２Ａのような構成で光を干渉させる場合、レーザ光のようにコヒーレンス長が長い光を使うと、同じ波連内で干渉する確率が高くなる。その結果、コントラストは向上し、１に近くなる。一方、太陽光のようにコヒーレンス長が短い光を使うと、異なる波連間で干渉する確率が高くなる（すなわち、同じ波連間で干渉する確率が低くなる）。その結果、コントラストは低下し、０に近くなる。
図１４Ａから図１４Ｅは、中心波長λ0の光の、波長の広がり（縦モード幅）とコヒーレンス長との関係を示している。図１４Ａは、波長λ0を中心に波長の広がりがゼロである光を示している。この場合、図１４Ｂに示すように、コヒーレンス長は無限大になる。図１４Ｃは、波長λ0を中心に波長の広がり（半値全幅）がΔλの光を示している。この場合、図１４Ｄに示すように、コヒーレンス長σ0はλ0 2／Δλになる。縦モード幅とコヒーレンス長とはフーリエ変換の関係にある。これはウイナーヒンチンの定理と呼ばれる。この定理は次のように説明できる。
図１４Ｅは、中心波長λ0および波長の広がりΔλの光を、波長λ0−Δλ／２およびλ0＋Δλ／２の２つの光２８ａ、２８ｂに置き換えて表せることを示している。光２８ａと光２８ｂとが干渉することで発生する唸りの周期はλ0 2／Δλである。搬送波の波長は光２８ａと光２８ｂとの波長の平均値λ0である。唸りの周期内では光の振動波形は均一で連続する。一方、異なる周期の光の振動波形は連続性が失われ、位相の相関性もなくなる。つまり、唸りの周期λ0 2／Δλがコヒーレンス長に相当する。太陽光がインコヒーレントであるのは、波長の広がり（縦モード幅）Δλが大きいためである。中心波長λ0を５５０ｎｍ、波長の広がりΔλを３００ｎｍとすると、コヒーレンス長σ0はλ0 2／Δλ＝１．０μｍとなる。
次に、非特許文献２に開示されている光検出システムを、第２の従来例として説明する。非特許文献２に開示されている光検出システムは、光の強度分布を光の伝搬距離ごとに測定する。
図１５Ａは、第２の従来例における光検出システム３００の模式的な断面図を示している。光源４２はレーザ光を出射する。図１５Ａに示すように、光源４２から出射された波長λ0の光４３は被写体４４に照射される。その結果、被写体４４の表面または内部で発生した散乱光４５ａ、４５ｂ、４５ｃは、レンズ光学系４７によって集光され、レンズ光学系４７の像面位置に像４８ｂとして結像される。像４８ｂに対応してレンズの物側には実質的な物体４８ａが存在する。像面位置には光検出器５０が配置されている。光検出器５０は複数の検出器（すなわち画素）の集合体であり、画素ごとに入射する光の光量が検出される。光源４２からの発光は、コントローラ４１によって制御される。光検出器５０によって検出された光量は検出信号として演算回路５１で処理される。コントローラ４１および演算回路５１は、コンピュータ５２によって一括して制御される。
図１５Ｂは、図１５Ａに示される光検出システム３００における光源４２の発振と光検出器５０からの検出信号との関係を示す説明図である。図１５Ｂにおける縦軸は光源４２の発振強度または光検出器５０の検出強度を表し、横軸は、経過時間を表している。光源４２がコントローラ４１の制御の下でパルス４３ａを発振する。このパルス４３ａによる光４３が被写体４４の内部で散乱されて光検出器５０で受光され、信号５３として検出される。信号５３の時間幅は、散乱による光路長のばらつきの影響で、元のパルス４３ａの時間幅に比べて広がる。信号５３のうち先頭の出力５３ａは、被写体４４の表面で反射された光４５ａによる信号成分である。出力５３ａの後の時間ｔ0からｔ1の間の出力５３ｂは、被写体４４の内部を散乱し散乱距離の短い光４５ｂによる信号成分である。出力５３ｂの後の時間ｔ1からｔ2の間の出力５３ｃは、散乱距離の長い光４５ｃによる信号成分である。コンピュータ５２による制御によって、演算回路５１は信号５３を時間分割し、出力５３ａ、５３ｂ、５３ｃを分離して検出できる。光は出力５３ａ、５３ｂ、５３ｃの順に被写体４４の浅い側から深い側を通過している。したがって、深さの異なる情報を分離して分析できる。
本願発明者の検討によれば、第１の従来例であるマイケルソンの干渉計２００を用いて干渉性（コヒーレンス）の度合いまたは位相を測定するためには、第２の反射ミラー３４Ａからの光３２Ｂ、３２Ｃが必要である。このため、構成が複雑になる。また、干渉光路が所定の空間中に存在することから、周囲環境の変化（例えば空気対流または振動）の影響を受けやすい。
一方、本願発明者の検討によれば、第２の従来例である光検出システム３００では、時間分割幅に限界がある。したがって、測定の際に深さ方向の分解能を充分に確保することは困難である。例えば、時間分割幅を３００ｐｓとすると、深さ分解能は９０ｍｍ程度になる。このため、第２の従来例における光検出システム３００は、生体のような比較的小さな構造をもつ対象の診断または検査には向かない。
次に、本開示の実施の形態について述べる前に、従来例の課題を解決するために本願発明者が検討した形態である検討例を説明する。
（検討例）
図１は、検討例に係る撮像装置１００を模式的に示す図である。撮像装置１００は、光源２と、レンズ光学系７と、撮像素子１３と、信号処理回路１７と、制御回路１とを備える。信号処理回路１７は、動画像取得部１４と、補間処理部１５と、演算部１６とを有する。
光源２は、一定のコヒーレンス長の光３で被写体４を照射する。例えば、光源２は、コヒーレント光の代表であるレーザ光を発するレーザ光源であり得る。光源２は、一定の強度の光を連続的に発光してもよいし、単一のパルス光を発してもよい。光源２が発光する光の波長は任意である。しかし、被写体４が生体の場合、光源２の波長は、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線および紫外線についても「光」の概念に含まれるものとする。
レンズ光学系７は、例えば集光レンズであり、光源２が被写体４に光を照射して被写体４の表面または内部で発生した散乱光５ａ、５Ａを集光する。集光された光は、レンズ光学系７の像面位置に像８ｂとして結像される。像８ｂに対応してレンズの物側には実質的な物体８ａが存在する。図１に示す例ではレンズ光学系７は、１つのレンズを備えている。レンズ光学系７は複数のレンズの集合体であってもよい。
撮像素子１３は、レンズ光学系７の像面位置に配置される。撮像素子１３は、レンズ光学系７が集光した散乱光５ａ、５Ａを検出する。撮像素子１３の詳細な構造は後述する。
信号処理回路１７は、制御回路１からの制御信号に応答して、撮像素子１３に含まれる光検出器から出力される電気信号を処理し、被写体４からの反射光のコヒーレンスに関連する信号またはデータを出力する。そのような信号またはデータは、例えば入射光のコヒーレンスの度合いの２次元分布を示す画像データであり得る。
動画像取得部１４は、撮像素子１３に含まれる光検出器が検出した光量の信号を検出画像として取得し、複数フレームの検出画像を含む動画像として補間処理部１５に送出する。なお、本明細書では、画像を示す信号を単に「画像」と称することがある。動画像取得部１４は、信号処理回路１７の入力インターフェースに相当する。
補間処理部１５は、各フレームの検出画像に含まれる欠測画素の光量を補間により求める。補間処理部１５は、補間後の検出画像である補間画像を得て、演算部１６に送出する。補間処理の詳細については、後述する。
演算部１６は、補間画像の演算処理を行い、演算処理された画像である光学的分布画像を得る。補間処理部１５および演算部１６は、例えばデジタルシグナルプロセッサ（ＤＳＰ）などの画像処理回路であり得る。
制御回路１は、例えばメモリに記録されたプログラムを実行することにより、撮像素子１３による光の検出、演算部１６による演算処理、光源２の発光光量、点灯タイミング、連続点灯時間、発光波長、コヒーレンス長などの少なくとも１つを制御する。制御回路１は、例えば中央演算処理装置（ＣＰＵ）またはマイクロコンピュータなどの集積回路であり得る。制御回路１、動画像取得部１４、補間処理部１５および演算部１６は、統合された回路によって実現されていてもよい。制御回路１、動画像取得部１４、補間処理部１５および演算部１６は、コンピュータ上のプログラムによって実現されていてもよい。
なお、撮像装置１００は、演算部１６が演算処理した結果を表示する不図示のディスプレイ（表示部）を備えていてもよい。表示部は演算処理された画像（すなわち光学的分布画像）を表示するものであってもよい。表示部は、演算処理された画像をもとに算出した結果（例えば光量の平均、分散、所定値以上または以下の光量である領域の面積など）を数値として表示するものであってもよい。表示部は、数値を指標に変換したもの（例えば「標準」と「異常」、「○」と「△」と「×」など）を表示するものであってもよい。
図２Ａは、光が入射する方向に沿った面における撮像素子１３の断面図である。図２Ｂは、撮像素子１３を光の入射する側から眺めた平面図（後述する遮光膜９を含むＸＹ面における平面図）である。図２Ａは、図２Ｂの破線で囲まれた領域を含むＸＺ面に平行な断面を示している。図２Ｂに示すように、図２Ａに示す断面構造を一つの単位構造として、当該単位構造がＸＹ面内で周期的に並んでいる。なお、図２Ａ、２Ｂには、説明の便宜上、直交する３つの軸（Ｘ軸、Ｙ軸、Ｚ軸）が示されている。他の図についても同様の座標軸を用いる。
撮像素子１３は、光検出器１０と、光結合層１２と、遮光膜９と、をこの順に備える。図２Ａの例では、これらがＺ方向に積層されている。また、図２Ａの例では、遮光膜９上に透明基板９ｂとバンドパスフィルタ９ｐとをこの順に備えている。撮像素子１３において、複数の画素が配列された面を「撮像面」とする。
光検出器１０は、光検出器１０の面内方向（ＸＹ面内）に第１の画素１０ａ，第２の画素１０Ａを含む複数の画素を備える。光検出器１０は、光が入射する側から、マイクロレンズ１１ａ、１１Ａ、透明膜１０ｃ、配線などの金属膜１０ｄ、Ｓｉまたは有機膜などで形成される感光部を備えている。金属膜１０ｄの間にある感光部が画素１０ａ，１０Ａに相当する。複数のマイクロレンズ１１ａ、１１Ａは、１つのマイクロレンズが１つの画素に対向するように配置される。マイクロレンズ１１ａ、１１Ａで集光され金属膜１０ｄの隙間に入射する光が第１の画素１０ａ、第２の画素１０Ａで検出される。
光結合層１２は、光検出器１０上に配置され、光検出器１０の面直方向（Ｚ軸方向）において、第１の透明層１２ｃ、第２の透明層１２ｂ、および第３の透明層１２ａをこの順に備える。第１の透明層１２ｃ、および第３の透明層１２ａは、例えばＳｉＯ2などによって形成され得る。第２の透明層１２ｂは、例えばＴａ2Ｏ5などによって形成され得る。
第２の透明層１２ｂは、第１の透明層１２ｃおよび第３の透明層１２ａよりも屈折率が高い。光結合層１２は、高屈折率透明層である第２の透明層１２ｂと低屈折率透明層である第１の透明層１２ｃとをこの順にさらに繰り返した構造を備えてもよい。図２Ａでは合計６回繰り返した構造を示している。高屈折率透明層である第２の透明層１２ｂは低屈折率透明層である第１の透明層１２ｃ、第３の透明層１２ａで挟まれている。したがって、第２の透明層１２ｂは導波層として機能する。第２の透明層１２ｂと、第１の透明層１２ｃ、第３の透明層１２ａとの界面に全面に渡ってピッチΛの直線グレーティングであるグレーティング１２ｄが形成される。グレーティングの格子ベクトルは光結合層１２の面内方向（ＸＹ面）におけるＸ軸に平行である。グレーティング１２ｄのＸＺ断面形状は積層される第２の透明層１２ｂ、および第１の透明層１２ｃにも順次転写される。第２の透明層１２ｂ、第１の透明層１２ｃの成膜が積層方向に高い指向性を有している場合には、グレーティングのＸＺ断面をＳ字またはＶ字状にすることで形状の転写性を維持しやすい。
なお、グレーティング１２ｄは、少なくとも第２の透明層１２ｂの一部に備えられていることが望ましい。第２の透明層１２ｂがグレーティング１２ｄを備えることにより、入射光が第２の透明層１２ｂを伝搬する光である導波光に結合できる。
光結合層１２と光検出器１０との間の隙間はできるだけ狭い方がよい。光結合層１２と光検出器１０とは密着していてもよい。光結合層１２と光検出器１０との間の隙間（マイクロレンズ１１ａ、１１Ａが配列された空間を含む）に接着剤などの透明媒質を充填してもよい。透明媒質を充填する場合、マイクロレンズ１１ａ、１１Ａによるレンズ効果を得るために、マイクロレンズ１１ａ、１１Ａの構成材料には、充填される透明媒質よりも充分大きな屈折率をもつ材料が使用される。
遮光膜９は、複数の遮光領域９Ａと複数の透光領域９ａとが２次元的に配列された構造を有する。図２Ａの例では、後述する透明基板９ｂ上に、例えばアルミニウム（Ａｌ）などから形成される金属反射膜がパターニングされることによって遮光領域９Ａおよび透光領域９ａが形成されている。本明細書において、複数の遮光領域９Ａの集合体を「遮光領域群」と呼び、複数の透光領域９ａの集合体を「透光領域群」と呼ぶことがある。
図２Ａにおける透光領域９ａは、図２Ｂにおける透光領域９ａ１、９ａ２、９ａ３、９ａ４などに対応する。図２Ａにおける遮光領域９Ａは、図２Ｂにおける遮光領域９Ａ１、９Ａ２、９Ａ３、９Ａ４などに対応する。つまり、遮光膜９は、遮光膜９の面内方向（ＸＹ面内）に配列された複数の遮光領域９Ａと複数の透光領域９ａとを有する。複数の遮光領域９Ａは、複数の第２の画素１０Ａにそれぞれ対向する。複数の透光領域９ａは、複数の第１の画素１０ａにそれぞれ対向する。本明細書において、第１の画素１０ａの集合体を「第１の画素群」、第２の画素１０Ａの集合体を「第２の画素群」と呼ぶことがある。
なお、１つの透光領域に２つ以上の第１の画素１０ａが対向していてもよい。同様に、１つの遮光領域に２つ以上の第２の画素１０Ａが対向していてもよい。本開示は、そのような形態も含む。
図２Ｂに示す例では、複数の遮光領域９Ａ１、９Ａ２、９Ａ３、９Ａ４は、チェッカーパターンを形成する。これらの遮光領域９Ａ１、９Ａ２、９Ａ３、９Ａ４はチェッカーパターン以外のパターンを形成してもよい。
図２Ｃは、ストライプパターンを有する遮光膜９の一例を示している。図２Ｄは、他のパターンを有する遮光膜９の一例を示している。これらのパターンは、少なくとも光結合層１２における光の導波方向に、透光領域９ａおよび遮光領域９Ａが交互に配置されていることが望ましい。すなわち、透光領域９ａのみまたは遮光領域９Ａのみが配置されている。
透明基板９ｂは遮光膜９の光入射側に配置されている。透明基板９ｂは、例えばＳｉＯ2などの材料によって形成され得る。バンドパスフィルタ９ｐは、透明基板９ｂの光入射側に配置されている。バンドパスフィルタ９ｐは、入射する光５のうち、波長λ0近傍の光のみを選択的に透過させる。
撮像素子１３に入射する光５は、バンドパスフィルタ９ｐおよび透明基板９ｂを経て、光６Ａ、６ａとして反射膜の形成された遮光領域９Ａおよび反射膜の除去された透光領域９ａに至る。光６Ａは遮光領域９Ａで遮光される。光６ａは透光領域９ａを透過し、光結合層１２に入射する。光結合層１２に入射した光６ａは、第３の透明層１２ａを経て、第２の透明層１２ｂに入射する。第２の透明層１２ｂの上下の界面にはグレーティングが形成されている。以下の（式１）を満たせば、導波光６ｂが発生する。
ｓｉｎθ＝Ｎ−λ0／Λ （式１）
ここで、Ｎは導波光６ｂの実効屈折率である。θは入射面（ＸＹ面）の法線に対する入射角度である。図２Ａでは光が入射面に垂直に入射している（θ＝０o）。この場合、導波光６ｂはＸＹ面内をＸ方向に伝搬する。すなわち、透光領域９ａを経て光結合層１２に入射した光は、Ｘ方向に隣接する遮光領域９Ａの方向に導波される。
第２の透明層１２ｂを透過して下層に入射する光の成分は、下層側にある全ての第２の透明層１２ｂに入射する。これによって、（式１）と同じ条件で導波光６ｃが発生する。導波光は、全ての第２の透明層１２ｂで発生するが、図２Ａには、２つの層で発生する導波光のみを代表して示している。下層側で発生する導波光６ｃも同様にＸＹ面内をＸ方向に伝搬する。導波光６ｂ、６ｃは、導波面（ＸＹ面）の法線に対して角度θ（図２Ａの例ではθ＝０o）で上下方向に光を放射しながら伝搬する。その放射光６Ｂ１、６Ｃ１は、遮光領域９Ａの直下では上方（反射膜側）に向かう成分が遮光領域９Ａで反射し、反射面（ＸＹ面）の法線に沿って下方に向かう光６Ｂ２となる。光６Ｂ１、６Ｃ１、６Ｂ２は、第２の透明層１２ｂに対し（式１）を満たしている。したがって、その一部が再び導波光６ｂ、６ｃとなる。この導波光６ｂ、６ｃも新たな放射光６Ｂ１、６Ｃ１を生成する。これらの過程が繰り返される。全体として、透光領域９ａの直下では、導波光にならなかった成分が光結合層１２を透過し、透過光６ｄとしてマイクロレンズ１１ａに入射する。その結果、導波光にならなかった成分は第１の画素１０ａで検出される。実際には、導波の後に最終的に放射された成分も、導波光にならなかった成分に加わる。しかし、本明細書では、そのような成分も、導波光にならなかった成分として扱う。遮光領域９Ａの直下では、導波光になった成分が放射され、放射光６Ｄとしてマイクロレンズ１１Ａに入射する。その結果、導波光になった成分は第２の画素１０Ａによって検出される。
透光領域９ａは、撮像素子１３の開口部分でもある。透光領域９ａを通じて、光は直下の画素と左右の（すなわちＸ方向に隣接する）画素に分岐し、それぞれ検出される。
動画像取得部１４は、光検出器１０を構成する第１の画素１０ａおよび／または第２の画素１０Ａが検出した光量の信号を、検出画像として取得する。動画像は、検出タイミングの異なる複数フレームの検出画像を含む、画像群である。
図２Ｂに示される透光領域９ａ１、９ａ２、９ａ３、９ａ４に対向する第１の画素１０ａでの各検出光量をそれぞれｑ１、ｑ２、ｑ３、ｑ４とする。図２Ｂに示される遮光領域９Ａ１、９Ａ２、９Ａ３、９Ａ４に対向する第２の画素１０Ａでの各検出光量をそれぞれＱ１、Ｑ２、Ｑ３、Ｑ４とする。ｑ１からｑ４は、導波光にならなかった光の検出光量を表している。Ｑ１からＱ４は、導波光になった光の検出光量を表している。透光領域９ａ１の直下の第１の画素１０ａでは導波光になった光の光量が検出されない。一方、遮光領域９Ａ２の直下の第２の画素１０Ａでは導波光にならなかった光の光量が検出されない。本明細書では、光量が検出されない画素を「欠測画素」と呼ぶことがある。光量が実際に検出される画素（すなわち、欠測画素以外の画素）を「実測画素」と呼ぶことがある。導波光になった光に関しては、第２の画素１０Ａが実測画素であり、第１の画素１０ａが欠測画素である。導波光にならなかった光（透過光）に関しては、第１の画素１０ａが実測画素であり、第２の画素１０Ａが欠測画素である。
補間処理部１５において、各フレームの検出画像の欠測画素における光量を補間により求める。補間には、当該欠測画素の近傍に位置する実測画素で検出される光量を用いることができる。例えば、当該欠測画素を中心としてＸ方向および／またはＹ方向に隣接する実測領域の直下に位置する画素の光量を用いることが望ましい。より正確に補間するという観点から、光結合層における光の導波方向（本検討例ではＸ方向）に隣接する画素の光量を用いるのがよい。その理由は、導波方向に隣接する画素の方が、導波方向に直交する方向（すなわち、導波がより少ない、または導波しない方向）よりも、検出光量の相関性が高いからである。
補間の計算方法としては、例えば隣接する２つの画素の光量の平均値を用いることができる。例えば、透光領域９ａ１の直下の第１の画素１０ａについて、導波光になった光の検出光量Ｑ０＝（Ｑ１＋Ｑ２）／２を定義する。同様に、遮光領域９Ａ２の直下の第２の画素１０Ａについて、導波光にならなかった光の検出光量ｑ０＝（ｑ１＋ｑ２）／２を定義する。
この定義を全ての領域に適用することで、光検出器１０を構成する全ての画素で、導波光にならなかった光の検出光量と導波光になった光の検出光量とを定義できる。
演算部１６は、各フレームの補間画像ごとに、上記のような定義のもとに、補間された、導波光にならなかった光の検出光量と導波光になった光の検出光量とを用いて、コヒーレンスの度合いの分布を示す光学的分布画像を生成するなどの演算処理を行う。演算部１６は、これら２つの検出光量の比の値（またはこれらの光量和に対する各光量の比の値）を画素ごとに算出した値を各画素に割り当てることにより、光学的分布画像を生成する。
図３は、動画像の取得から光学的分布画像を得るまでの、フレームごとの画像の流れ（フロー）を示している。動画像は複数フレームの検出画像から構成される。１フレームの検出画像は、第１の画素群から検出した光（すなわち、導波光にならなかった光）の検出光量の分布を示す画像、および／または、第２の画素群から検出した光（すなわち、導波光になった光）の検出光量の分布を示す画像、を含む。
１フレームの検出画像を用いて１フレームの補間画像が生成される。１フレームの補間画像は、第１の画素群からの検出画像の欠測画素を補間した画像、および／または、第２の画素群からの検出画像の欠測画素を補間した画像、を含む。
１フレームの補間画像を用いて１フレームの光学的分布画像が生成される。１フレームの光学的分布画像は、第１の画素群および第２の画素群からの補間画像を後述する演算を行って得られる画像を含む。
図４Ａは、検討例における４つの透光領域９ａにおける入射光と、その下にある複数の画素との位置関係を示す断面図である。図４Ａにおいて、左側の２つの透光領域９ａに入射する光と、右側の２つの透光領域９ａに入射する光との間には、位相差があるものとする。
図４Ｂは、入射光の位相差と、検出信号との関係を示す解析結果を示している。解析では、透光領域９ａおよび遮光領域９ＡのＸ方向の幅Ｗを５．６μｍ、グレーティングのＺ方向の深さを０．２μｍ、第２の透明層１２ｂをＴａ2Ｏ5膜とし、そのＺ方向の厚さｔ1を０．３４μｍ、第１の透明層１２ｃをＳｉＯ2膜とし、そのＺ方向の厚さｔ2を０．２２μｍとした。
遮光領域９Ａの直下の画素を第２の画素１０Ａ、遮光領域９Ａの両隣にある透光領域９ａの直下の画素を第１の画素１０ａ、１０ａ’とする。第２の画素１０Ａ、第１の画素１０ａ、第１の画素１０ａ’の検出光量をそれぞれＰ１、Ｐ０’、Ｐ０”とする。すなわち、Ｐ０’およびＰ０”は、第１の画素群に属する画素からの信号を表し、Ｐ１は、第２の画素群に属する画素からの信号を表す。
入射光の位置に対する画素の位置のＸ方向の対称性を考慮して、Ｐ０＝（Ｐ０’＋Ｐ０”）／２とし、検出信号をＰ１／（Ｐ１＋Ｐ０）で定義する。本解析は、ＴＥモード（Ｓ偏光）の入射光が入射する条件で行った。
図４Ｂに示す解析結果によれば、位相差の増大に従って検出信号が低下している。このことから、検出信号の大きさに基づいて、入射光の位相差の度合いを計測できることがわかる。したがって、検出信号Ｐ１／（Ｐ１＋Ｐ０）を画素ごとに求めることにより、コヒーレンスの２次元分布を示す画像（すなわち光学的分布画像）を生成することができる。なお、Ｐ１／（Ｐ１＋Ｐ０）に代えて、Ｐ１／Ｐ０、またはこれらの逆数を光学的分布画像の各画素の信号値として計算してもよい。ここでは詳しく説明しないが、位相のランダム性を利用してコヒーレンスの差異も計測できる。
しかし、本検討例における撮像装置１００では、空間的に急峻に位相が変化する光が入射した場合に、欠測画素における検出光量を正確に求めることが難しいことがわかった。そのため、検討例の撮像装置１００では、生成される光学的分布画像が誤差を有する画素を含むという課題を有する。
このような課題に鑑み、本願発明者は、位相差またはコヒーレンスの度合いを光学的分布画像として精密に計測し得る新規な撮像装置に想到した。本開示の一態様の概要は以下の通りである。
本開示の一態様に係る撮像装置は、撮像素子と、光学系と、制御回路と、信号処理回路と、を備える。撮像素子は、複数の透光領域および複数の遮光領域を含む遮光膜であって、前記複数の透光領域および前記複数の遮光領域が少なくとも第１の方向に交互に配置されている遮光膜と、
前記遮光膜に対向して配置され、撮像面を有し、前記撮像面に２次元的に配列された複数の第１の画素および複数の第２の画素を含む光検出器であって、前記複数の第１の画素の各々は、前記複数の透光領域の１つに対向し、前記複数の第２の画素の各々は、前記複数の遮光領域の１つに対向する、光検出器と、
前記遮光膜および前記光検出器の間に配置された光結合層であって、前記複数の透光領域に所定の波長の光が入射したときに、前記光の第１部分を前記第１の方向に伝搬させるグレーティングを含み、前記第１部分と異なる前記光の第２部分を透過させる光結合層と、
を含む。光学系は、前記撮像面に被写体の像を形成する。制御回路は、前記撮像素子に動画像を取得させる。信号処理回路は、前記撮像素子によって取得された前記動画像に含まれる複数のフレームから、前記第１の方向における前記被写体の前記像の位置が互いに異なる２つのフレームを抽出する。
このような構成により、複数のフレームから抽出される２つのフレームの画像信号を相補的に利用して、誤差の少ない合成画像を生成することが可能になる。そのような合成画像は、入射光の位相差またはコヒーレンスの程度の２次元分布を表す画像データであり得る。
以下、本開示のより具体的な実施の形態を説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（第１の実施形態）
本実施形態の撮像装置は、検討例と同様、主に生体組織の検査に用いられ得る。本実施形態の説明では、主として検討例と異なる要素について詳細に説明する。検討例と共通する構成要素には同じ参照符号を付している。
図５Ａは、第１の実施形態の撮像装置１２０を模式的に示す図である。検討例の説明で示した要素に加えて、撮像装置１２０は、画像処理回路２２を備える。画像処理回路２２は、信号処理回路１７の構成要素の１つであり、画像位置算出部２３と、画像合成部２４とを含む。画像位置算出部２３および画像合成部２４の動作は、制御回路２０により制御される。制御回路２０は、光源２、動画像取得部１４、補間処理部１５、画像位置算出部２３、画像合成部２４、演算部１６のそれぞれに制御信号を送ることにより、これらの要素を制御する。
図５Ｂは、被写体４が移動したときに撮像素子１３上で被写体４の像８ｂが移動する状態を説明する図である。図５Ｃは、被写体４が移動したときに撮像素子１３上で被写体４の像８ｂが移動する状態を説明する他の図である。図５Ｂに比べて図５Ｃでは、被写体４の位置が紙面の下方向に移動している。レンズ光学系７で被写体４からの散乱光を集光すると、被写体４の像８ｂの位置は、図５Ｃに示されるように、紙面の上方向に移動する。すなわち、被写体４の移動に伴って、撮像素子１３上で被写体４の像８ｂが異なる位置に移動して結像される。
被写体４の像８ｂの移動方向は、光結合層１２に入射した光が導波される方向（すなわちＸ方向）を含む方向とする。被写体４の像８ｂの移動距離は、Ｘ方向において、撮像素子１３上での位置がＷ以上移動する距離であると、より正確な補間ができる。被写体４の像８ｂの移動距離は、Ｗの略奇数倍の距離であってもよい。
画像位置算出部２３は、被写体４の像８ｂの位置が異なる２つ以上の補間画像における、像８ｂのずれの方向および大きさを求める。ずれを求める方法として、被写体４の移動量から算出してもよいし、複数の補間画像の類似箇所を比較して算出してもよい。
画像合成部２４は、被写体４の像８ｂの位置が異なる２つ以上の補間画像を、ずれがなくなるように位置あわせした上で、それらの補間画像を合成して１つの合成画像を出力する。その際、画像合成部２４は、複数の補間画像の間で各画素の光量値を比較し、所定の基準に基づいて、より確度の高い光量値を画素ごとに決定する。このようにして得られた画像を「合成画像」と称する。画素ごとの合成方法の一例は次の通りである。以下の説明では、２つの補間画像から１つの合成画像を得る方法の例を説明する。ただし本開示はこのような例に限定されず、例えば３つ以上の補間画像を比較することによって１つの合成画像を生成してもよい。
図５Ｄは、合成処理の一例を説明するための図である。図５Ｄの上段は、２つの異なるフレームのうちの一方によって得られる２つの補間画像の一部を模式的に示している。図５Ｄの中段は、２つの異なるフレームのうちの他方によって得られる２つの補間画像の一部を模式的に示している。図５Ｄの下段は、２つの合成画像の一部を模式的に示している。これらの図は、いずれも同一の画素領域を表している。各回の撮像によって得られる２つの補間画像は、入射光のうちの透過光成分（導波光にならなかった成分）Ｐ０に関する画像、および導波光になった成分Ｐ１に関する画像である。図５Ｄの上段および中段においては、実測画素に記号Ｐ０(1)、Ｐ１(1)、Ｐ０(2)、Ｐ１(2)が付され、欠測画素は空白で表されている。Ｐ０(1)およびＰ１(1)は、それぞれ、一方のフレームによって第１画素群および第２画素群から得られる光量値（実測値）を示している。Ｐ０(2)およびＰ１(2)は、それぞれ、他方のフレームによって第１画素群および第２画素群から得られる光量値（実測値）を示している。なお、画素が異なれば光量値も異なり得るが、図５Ｄでは、全ての画素について、同じ記号を付している。これらの画像において、欠測画素の光量値は、その画素の左右の実測画素の光量値の平均値（補間値）である。
図５Ｄの例では、他方のフレームにおける被写体４の像８ｂの位置は、一方のフレームにおける被写体４の像８ｂの位置からＸ方向に１画素分ずれている。その結果、他方のフレームによって得られる２つの画像のうちの一方で実測画素である画素は、他方の画像では欠測画素である。このような場合、合成画像におけるその画素には、実測画素の光量値が優先して割り当てられる。このような合成方法は、例えば、２つの検出画像のＸ方向におけるずれが幅Ｗの奇数倍のときに有効である。
なお、２つの異なるフレームによって得られる２つの補間画像のいずれにおいても、ある画素が実測画素である場合には、それらの実測画素の光量値の平均値を合成画像におけるその画素の光量値として用いることが望ましい。２つの検出画像のいずれにおいても、ある画素が欠測画素である場合も同様に、それらの欠測画素の光量値の平均値を合成画像におけるその画素の光量値として用いることが望ましい。
（動作）
次に、第１の実施形態の動作について説明する。
まず、制御回路２０は、動画像取得部１４および補間処理部１５を制御して、撮像素子１３から動画像を取得する。制御回路２０は、動画像を構成する各フレームの検出画像に対して補間処理を行う。この補間処理は、前述の検討例における補間処理と同じである。補間処理の結果、入射光の透過光成分（導波光にならなかった成分）および導波光成分のそれぞれの分布を表す２つの画像信号（これらの画像信号も「検出画像」と称する。）が得られる。それぞれの補間画像（補間後の検出画像）は画像処理回路２２に送られ、画像処理回路２２内のメモリ（図示しない）に記録される。
制御回路２０は、画像位置算出部２３および画像合成部２４を制御して、メモリに保持された全フレームの補間画像から２フレーム（またはそれ以上）の補間画像を抽出し、位置あわせおよび合成処理を行う。これにより、画像合成部２４から１つの合成画像が出力される。抽出する補間画像はランダムに選択してもよい。抽出する補間画像は、連続する２フレーム以上の画像を選択してもよいし、所定フレーム間隔ごとに２フレーム以上の画像を選択してもよい。また、画像位置算出部２３の算出結果から、被写体の像が光結合層における光の導波方向に奇数画素だけシフトしている補間画像を選択してもよい。ここで、合成画像の各画素の光量値には、２フレームの補間画像の当該画素のうち、実測画素の光量値が優先的に用いられる。したがって、前述の補間処理において正確に補間できなかった欠測画素があったとしても、合成画像では、当該画素の光量値が、他方のフレームにおける実測画素の光量値に置き換えられる可能性がある。その結果、合成画像では検出画像と比べて全画素に占める欠測画素の割合が減少する。言い換えれば、ある画素が欠測画素になる確率が減少する。このような合成画像が、入射光のうち、導波光にならなかった成分（前述の信号Ｐ０）および導波光になった成分（前述の信号Ｐ１）のそれぞれについて生成される。
演算部１６は、画像処理回路２２によって生成された２つの合成画像に基づいて、検討例と同様の演算処理を行う。すなわち、演算部１６は、各画素について、Ｐ１／（Ｐ１＋Ｐ０）もしくはＰ１／Ｐ０、またはこれらの逆数を画素値とする光学的分布画像を生成する。これにより、より正確な光学的分布画像を生成することができ、位相差またはコヒーレンスの度合いを画像として精密に計測することが可能となる。
本実施形態では、画像処理回路２２を演算部１６の前段に配置して、補間された２フレームの検出画像から合成画像を得るものとした。しかし、画像処理回路２２を演算部１６の後段に配置して、演算された２フレームの光学的分布画像から、合成された新たな光学的分布画像を生成してもよい。
図５Ｅは、本実施形態の撮像装置１４０の変形例を模式的に示す図である。この例では、画像の合成の前に、２つのフレームのそれぞれについて、演算部１６によって光学的分布画像が生成される。各光学的分布画像は、第１の画素群の信号から補間処理によって得られる画像信号（導波光にならなかった光の検出光量を示す）と、第２の画素群の信号から補間処理によって得られる画像信号（導波光になった光の検出光量を示す）とを用いた演算によって生成される。第１の画素群における欠測画素と第２の画素群における欠測画素とは互いに相補的な関係にある。したがって、演算処理後の画像では、図５Ａを参照して説明したようには欠測画素を定義できない。
このような場合の合成方法として、例えば、補間による誤差がより大きいと想定される方の画素群の欠測画素を、欠測画素として定義することが望ましい。それ以外にも、例えば、位相差がより大きくまたは小さく（あるいはコヒーレンスがより小さくまたは大きく）検出された方の画素を、正確に検出された画素として、合成後の光学的分布画像を構成する画素に採用することが望ましい。
図６Ａは、図５Ａに示す実施形態において、動画像の取得から光学的分布画像を得るまでの、フレームごとの画像の流れ（フロー）を示している。１フレームの検出画像を用いて１フレームの補間画像が生成される工程は検討例と同じである。複数フレームの補間画像から２フレーム（またはそれ以上）の補間画像を抽出して合成画像を得る。１フレームの合成画像を演算処理して１フレームの光学的分布画像が生成される。
図６Ｂは、図５Ｅに示す実施形態の変形例において、動画像の取得から光学的分布画像を得るまでの、フレームごとの画像の流れ（フロー）を示している。１フレームの検出画像を用いて１フレームの補間画像が生成され、１フレームの補間画像から１フレームの演算画像（演算後の検出画像）が生成される工程は検討例と同じである。検討例では、演算画像は光学的分布画像を表している。複数フレームの演算画像から２フレーム（またはそれ以上）の演算画像を抽出して合成し、１フレームの光学的分布画像が生成される。この形態では、合成画像は光学的分布画像を表す。
（実施例）
次に、本開示の実施形態の効果を確認するために実施した実施例について説明する。
図７は、本実施例で用いた撮像装置の構成を示す模式図である。撮像素子１３よりも後段の要素は、図５Ｅに示した本実施形態の変形例における要素と同様である。本実施例では、位相差サンプル２５を被写体として、位相差サンプル２５を透過した光を検出した。
光源２として、波長８５０ｎｍのレーザダイオードを用い、コリメータレンズ（図示せず）によって、平行光を出射させた。位相差サンプル２５は厚さ１ｍｍの石英ガラスに段差を形成したもので、段差の高さは７００ｎｍである。段差は、Ｙ方向（すなわち紙面の手前から奥の方向）に平行で直線的に形成されている。この段差をまたいで平行光を照射すると、位相差サンプル２５を透過した光は、段差を境界として急峻な位相差を有する光になる。
レンズ光学系７には、倍率が１倍のテレセントリックレンズを用いて、位相差サンプルの像を撮像素子１３上に形成した。撮像素子１３に含まれるグレーティングの格子ベクトルの方向はＸ方向である。すなわち、光結合層に入射した光の導波方向はＸ方向である。
被写体を移動させるために、アクチュエータ２１を設けた。アクチュエータ２１として、Ｘ方向に移動できる微動ステージを用いた。微動ステージおよび位相差サンプル２５と撮像素子１３とは固着され、ステージの移動によって撮像素子１３も移動するようにしている。
撮像素子１３の構成は図２Ａおよび図２Ｂに示した構成と同様である。図４Ａを参照して説明した解析で示した構成と同様に、光結合層１２のＸ方向の幅Ｗを５．６μｍ、グレーティングのＺ方向の深さを０．２μｍ、第２の透明層１２ｂをＴａ2Ｏ5膜とし、そのＺ方向の厚みｔ1を０．３４μｍ、第１の透明層１２ｃをＳｉＯ2膜とし、そのＺ方向の厚みｔ2を０．２２μｍとした。
位相差サンプル２５を所定の初期位置に調整して、動画像取得部１４により第１の画素群および第２の画素群から、１フレーム目の検出画像を取得した。取得範囲は、段差の像の部分を含む１６×１６画素の範囲である。
補間処理部１５により、それぞれの画素群からの画像を補間処理した。欠測画素の補間の方法は検討例で述べたものと同様である。すなわち、Ｘ方向の両隣の実測画素の光量値を平均して求めた。
演算部１６において、補間された両方の画素群からの画像を用いて演算処理した。演算処理には、前述したＰ１／（Ｐ１＋Ｐ０）の計算式を用いて、検出値を画素ごとに計算した。その上で、位相差に応じた検出値を光学的分布画像の輝度値として出力するようにした。画像を表示したときに位相差が大きいほど輝度値が低くなるようにした。
図８Ａは、演算部１６から出力された１フレーム目の演算画像を示している。位相差サンプル２５の段差の像が８列目（上向きの矢印）に現れている。この列の左右で、位相の異なる光が撮像素子に入射していることがわかる。輝度値が低い画素は８列目のみに見られる。このことから、入射光の位相は８列目を境界に急峻に（略１画素の幅の範囲内で）変化していることがわかる。
図８Ａにおける８列目を見ると、入射光の位相が変化する境界はＹ方向に連続的に存在するにもかかわらず、偶数行目の画素は輝度値が高い、すなわち、位相差が小さく検出されていることがわかる。この原因を演算前の画像にさかのぼって調べた。その結果、この実施例では、第２の画素群の欠測画素の補間誤差が演算結果に大きく反映されていることがわかった。８列目の偶数行目の画素は第２の画素群の欠測画素である。そこで、位相差が小さい領域である両隣（すなわち７列目と９列目）の画素の光量値を平均化して、これらの欠測画素の光量値を計算した。そのことが、演算後の画像における誤差の要因となっていた。
次に、アクチュエータ２１である微動ステージを移動させて、位相差サンプル２５をＸ方向に撮像素子１３の１画素の幅（５．６μｍ）だけ左方向に移動させた。これは、撮像素子１３上の位相差サンプル２５の像の位置を移動させたことに相当する。この状態で第１の画素群および第２の画素群から、２フレーム目の検出画像を取得して、１フレーム目と同様の補間処理と演算処理を施した。
図８Ｂは、演算部１６から出力された２フレーム目の演算画像を示している。位相差サンプル２５を１画素分だけ右に移動させたので、段差の像は９列目（上向きの矢印）に現れている。１フレーム目の画像と異なるのは、９列目の奇数行目の画素で輝度値が高い、すなわち、位相差が小さく検出されていることである。本実施例における遮光領域群は、図２Ｂに示すようなチェッカーパターン状で存在する。したがって、９列目の奇数行目は８列目の偶数行目と同様に、第２の画素群の欠測画素に相当する。１フレーム目の演算後の画像と同様に、２フレーム目でも第２の画素群の欠測画素の補間誤差が演算結果に大きく反映されていることがわかった。
さらに同様にして、微動ステージを任意の距離だけ移動させて３フレーム目から５フレーム目までの演算画像を取得した。
図８Ｃは、演算部１６から出力された３フレーム目の演算画像を示している。輝度値のやや低い列が９列目および１０列目に現れていることから、段差の像は９列目と１０列目の中間（上向きの矢印）に存在すると考えられる。
図８Ｄは、演算部１６から出力された４フレーム目の演算画像を示している。図８Ｅは、演算部１６から出力された５フレーム目の演算画像を示している。輝度値が低くなっている列から推定すると、段差の像は、４フレーム目および５フレーム目では、それぞれ１０列目および１１列目（上向きの矢印）に存在すると考えられる。
図８Ａから図８Ｅに示した演算画像（すなわち、演算後の検出画像）から、合成に用いる２つの演算画像を抽出する。抽出する画像は、２つのフレームで補間誤差が生じ得る画素（または、正確に光量を検出できる画素）が相補的になる確率が高くなるように選ばれてもよい。
本実施例では、透光領域および遮光領域の配置はそれぞれチェッカーパターン状である。つまり、光結合層１２における光の導波方向（すなわちＸ方向）に対して、透光領域と遮光領域が交互に配置されることになる。したがって、２つのフレームの間で、被写体の像の移動量が１画素の幅Ｗの略奇数倍だけ異なる状態の画像を選ぶと、２フレームの演算画像から正確な光学的分布画像を生成しやすくなる。
本実施例の５フレームの演算画像の中で、段差の像の移動量が１画素の幅Ｗの略奇数倍だけ異なる状態の２フレームの演算画像の組み合わせは複数存在する。ここでは、１フレーム目（図８Ａ）と２フレーム目（図８Ｂ）の演算画像を抽出することにする。１フレーム目および２フレーム目に加えて、他のフレームの演算画像をさらに抽出し、合成に用いてもよい。
なお、段差の像の移動量が１画素の幅Ｗの略奇数倍だけ異なる状態の演算画像を選んで抽出することは、必須ではない。演算画像をランダムに選んで抽出した場合であっても、抽出した演算画像の数が増えるほど、所望の状態の演算画像が含まれる確率が高くなるからである。
ここで、画像処理回路２２を用いて、１フレーム目および２フレーム目の演算画像から光学的分布画像を生成する工程の一例を説明する。
画像位置算出部２３において、１フレーム目および２フレーム目の像のずれ量を求めた。本実施例では、テレセントリックレンズの倍率が１倍であり、位相差サンプルを右方向に撮像素子１３の１画素分移動させたことが既知である。したがって、１フレーム目および２フレーム目の像のずれはＸ方向に１画素であることがわかる。
なお、位相差サンプルの移動量が不明の場合でも、輝度値が低くなっている列（これは演算画像の特徴量に相当する）の位置から、１フレーム目と２フレーム目の像のずれはＸ方向に１画素であることは推定できる。
画像合成部２４で、１フレーム目の画像を右に１画素分シフトさせて、２フレーム目の画像と合成した。ここでは、位相差がより大きく検出された方の画素を、正確に検出された画素と見なして採用する合成方法を用いた。
図８Ｆは、画像合成部２４からの出力画像（すなわち、光学的分布画像）を示している。段差の像が存在する９列目（図中の上向きの矢印）において、連続的に輝度が低く表示されている。言い換えれば、本実施例の光学的分布画像では、入射光の位相が変化する境界がＹ方向に連続的に存在する状態が、正確に検出されていることになる。
以上述べたように、本実施形態における撮像装置１２０，１４０は、第１の画素群および／または第２の画素群から、光結合層１２の導波方向において被写体の像の位置が異なる２フレームの検出画像を含む動画像を取得するよう構成されている。したがって、欠測画素で正確に検出光量を求められない場合があっても、位相差またはコヒーレンスの度合いを光学的分布画像として精密に計測できる。
実際の撮像環境では被写体の移動方向または移動量はランダムである。したがって、２フレームの間に被写体の像がＸ方向にＷの略奇数倍移動するとは限らない。それでも取得する検出画像のフレーム数を増やしていけば、被写体の像がＸ方向にＷの略奇数倍だけ異なる２フレームの検出画像を取得できる確率が高くなる。補間および演算された画像群からそのような２フレームを含む画像を抽出して合成すれば、上述の効果を得ることができる。
被写体の移動方向がランダム（あるいは予測できない方向）であれば、事実上、被写体の像はＸ方向を含む成分を持って移動すると考えてよい。被写体の像がＸ方向を含む成分を持たずに移動するのは、被写体の像がＹ方向に完全に一致する方向に移動する場合だけである。被写体の像がＹ方向に完全に一致する方向に移動する確率は、被写体の像がＹ方向に一致しない方向に移動する確率よりもはるかに低いからである。
実際の撮像環境では被写体が略静止している状況も想定される。そのような状況でも、被写体および撮像装置は設置場所の振動および／または空気流の影響で、それぞれが微小に（例えば、マイクロメートル以上のオーダーで）動くことはあり得る。したがって、精密防振台の上に被写体および撮像装置を設置する、などの特殊な状況でない限り、被写体が略静止している状態であっても、上述の効果を得ることができる。
（第２の実施形態）
本実施形態の説明では、主として第１の実施形態と異なる要素について詳細に説明する。第１の実施形態と共通する要素には同じ番号を振っている。
図９は、第２の実施形態に係る撮像装置１６０の模式図である。第１の実施形態の説明で示した要素に加えて、撮像装置１６０は、アクチュエータ１０１を備える。アクチュエータ１０１の動作は、制御回路２０により制御される。
アクチュエータ１０１は、例えば圧電素子（ピエゾ素子）またはリニアアクチュエータによって実現され得る。アクチュエータ１０１が例えばリニアアクチュエータによって実現される場合、アクチュエータ１０１は、電気モータと、ラックおよびピニオンとを備え得る。本明細書においては、圧電素子のように、電圧を力に変換する素子も、「アクチュエータ」の概念に含まれる。アクチュエータ１０１は、撮像素子１３に機械的に接続されている。アクチュエータ１０１は、光学系７の光軸（図９における一点鎖線）に直交する面内で撮像素子１３の位置を微小に移動させる。撮像素子１３の移動方向は、光結合層１２に入射した光が導波される方向（すなわちＸ方向）である。
撮像素子１３の移動距離は、撮像素子１３の撮像面に形成される被写体４の像８ｂの位置が、Ｘ方向にＷ以上移動する距離であると、より正確な補間ができる。撮像素子１３の移動距離は、Ｗの略奇数倍の距離であってもよい。
光軸に直交する面に沿って撮像素子１３の位置を移動させることにより、被写体４および撮像装置１６０が略静止状態にあったとしても、撮像素子１３上に結像された像８ｂと撮像素子１３との相対的な位置関係が変化する。像８ｂは被写体４からの散乱光を集光することで形成された像である。本明細書では、この位置関係の変化を「被写体と撮像素子との光学的位置関係が変化した」と呼ぶことにする。すなわち、撮像素子１３の移動によって、被写体４と撮像素子１３との光学的位置関係が異なる状態になる。なお、撮像素子１３の移動方向は、ＸＹ面上でＸ方向から傾斜した方向であってもよい。その場合も、撮像素子１３と被写体４の像との相対的な位置関係が、Ｘ方向において変化するため、本実施形態の効果が得られる。
画像位置算出部２３は、光学的位置関係の異なる２つ以上の検出画像における、像８ｂのずれの方向および大きさを求める。ずれを求める方法として、動画像の取得中に被写体４が移動した場合は、複数の検出画像の類似箇所を比較して算出してもよいし、被写体４および撮像装置１６０が略静止状態にあった場合は、撮像素子１３の移動量から算出してもよい。
画像合成部２４は、光学的位置関係の異なる２つ以上の補間画像を、ずれがなくなるように位置あわせした上で、それらの補間画像を合成して１つの合成画像を出力する。
（動作）
次に、第２の実施形態の動作について説明する。
制御回路２０は動画像取得部１４および補間処理部１５を制御して、撮像素子１３から動画像を取得する。制御回路２０は、動画像を構成する各フレームの検出画像に対して補間処理を行う。それぞれの補間画像（補間後の検出画像）は画像処理回路２２に送られ、画像処理回路２２内のメモリ（図示しない）で保持される。
ここで、あるフレームを取得するタイミングと、次のフレームを取得するタイミングとの間に、制御回路２０はアクチュエータ１０１を制御して撮像素子１３を移動させる。その結果、被写体４と撮像素子１３との光学的位置関係は変化する。
フレーム間での撮像素子１３の移動量は、例えばＸ方向（すなわち光結合層１２の導波方向）にＷとしてもよい。撮像素子１３はフレーム取得のタイミングごとに往復させてもよい。撮像素子１３は複数フレームの取得時間にわたって線形に移動させてもよい。
被写体４の移動量または移動方向に応じて、撮像素子１３の移動量を動的に制御してもよい。例えば、アクチュエータ１０１が撮像素子１３を静止させて複数フレームの検出画像からなる動画像を取得する。画像位置算出部２３で検出画像の位置ずれを算出することにより、被写体４の移動量および移動方向を推定することができる。被写体４の移動により、被写体４の像８ｂがＸ方向にＷの略奇数倍移動している場合は、アクチュエータ１０１は撮像素子１３を静止させたままにする。被写体４の像８ｂがＸ方向にＷの略偶数倍移動している場合、被写体の像８ｂがＹ方向に移動している場合、または被写体４の像８ｂが略静止している場合は、アクチュエータ１０１は撮像素子１３をＸ方向にＷの略奇数倍移動させる。このような動作とすれば、撮像素子１３の不要な移動を避けることができる。したがって、撮像装置１６０の消費電力を低くすることができる。
制御回路２０は、画像位置算出部２３と画像合成部２４を制御して、メモリに保持された全フレームの補間画像から２フレーム（またはそれ以上）の補間画像を抽出する。その後、制御回路２０は、これらの補間画像を位置あわせする。これにより、制御回路２０は、１つの合成画像を得る。
このような実施形態とすることにより、動画像の取得中に被写体４および撮像装置１６０が略静止状態にあった場合または、被写体の像８ｂの移動方向が光結合層１２の導波方向に直交する方向（すなわちＹ方向）であった場合でも、光結合層１２の導波方向において光学的位置関係が異なる少なくとも２フレームの検出画像を取得できる。したがって、位相差またはコヒーレンスの度合いを光学的分布画像として精密に計測できる。
本実施形態では、アクチュエータ１０１は撮像素子１３の位置を変化させるが、本開示はこのような構成に限定されない。画像中の被写体４の位置が、光結合層１２における光の導波方向に対応する方向にシフトした２つの画像信号を取得できる構成であることが望ましい。以下、他の構成例を説明する。
図１０Ａは、アクチュエータ１０１がレンズ光学系７を光軸（図中の一点鎖線）に直交する面内で移動させる構成例を示している。このような構成でも、レンズ光学系７の移動に伴って撮像素子１３上における像の位置を変化させることができる。したがって、被写体４と撮像素子１３との光学的位置関係を異ならせることができる。アクチュエータ１０１は、光学系７の全体ではなく、光学系７を構成する一部のレンズを移動させることによって像を移動させてもよい。
図１０Ｂは、アクチュエータ１０１に代えて光路調整器２６を被写体４と撮像素子１３との間に配置した構成例を示している。この例のように、光路調整器２６を駆動して光線の方向を一様に変化させる構成であってもよい。このような構成でも、光線の方向の変化に伴って撮像素子１３上での像の位置を光結合層の導波方向に移動できる。したがって、被写体４と撮像素子１３との光学的位置関係を変化させることができる。撮像素子１３上での像の位置の変化は、光結合層の導波方向にＷの奇数倍だけずれていてもよい。光路調整器２６としては、例えば音響光学素子または電気光学変調素子など、外部からの電気的な駆動によって屈折率を変化させられる光学素子を用いることができる。
本実施形態では、１つの撮像素子１３を用いて、異なるタイミングで光学的位置関係が異なる２フレームの画像を取得する構成を示した。しかし、同じタイミングで光学的位置関係が異なる２フレームの画像を取得できるようにも構成できる。
図１１は、ハーフミラー２７を被写体４と２つの撮像素子１３との間に配置した構成例を示している。図１１の構成は、被写体４からの光をハーフミラー２７で分岐し、２つの撮像素子１３に入射させる点で、上述の実施形態と異なる。ハーフミラーに代えてビームスプリッタを用いても良い。図１１に示す例では、「光学系」は、レンズ光学系７に加えてハーフミラー２７を含む。２つの撮像素子１３およびハーフミラー２７は、被写体４の一点からの光線が、２つの撮像素子１３の一方における複数の透光領域の１つに入射し、かつ、２つの撮像素子１３の他方における複数の遮光領域の１つに入射するように配置されている。例えば、同一の構造を有する２つの撮像素子１３の各々について、光結合層の導波方向をＸ方向とする。このとき、各撮像素子１３の撮像面に形成される被写体４の像が、画素の位置を合わせた状態での比較において、Ｘ方向にＷの奇数倍だけずれるように、各構成要素は配置され得る。そのような構成によれば、前述の信号処理をそのまま適用できる。
１フレーム目の検出画像は、２つの撮像素子１３の一方から取得される。２フレーム目の検出画像は、２つの撮像素子１３の他方から取得される。このような構成を用いれば、２フレームの検出画像の取得には時間的な制約はなく、同時に検出画像を取得することも可能である。２つの撮像素子１３は、同一の構造を備えている必要はなく、例えば画素数などが異なっていてもよい。画素数が異なる場合も、信号処理によって前述の合成処理と同様の処理を適用し得る。
以上のように、本開示は、以下の項目に記載の撮像装置を含む。
[項目１]
本開示の項目１に係る撮像装置は、
複数の透光領域および複数の遮光領域を含む遮光膜であって、前記複数の透光領域および前記複数の遮光領域が少なくとも第１の方向に交互に配置されている遮光膜と、
前記遮光膜に対向して配置され、撮像面を有し、前記撮像面に２次元的に配列された複数の第１の画素および複数の第２の画素を含む光検出器であって、前記複数の第１の画素の各々は、前記複数の透光領域の１つに対向し、前記複数の第２の画素の各々は、前記複数の遮光領域の１つに対向する、光検出器と、
前記遮光膜および前記光検出器の間に配置された光結合層であって、前記複数の透光領域に所定の波長の光が入射したときに、前記光の第１部分を前記第１の方向に伝搬させるグレーティングを含み、前記第１部分と異なる前記光の第２部分を透過させる光結合層と、
を含む撮像素子と、
前記撮像面に被写体の像を形成する光学系と、
前記撮像素子に動画像を取得させる制御回路と、
前記撮像素子によって取得された前記動画像に含まれる複数のフレームから、前記第１の方向における前記被写体の前記像の位置が互いに異なる２つのフレームを抽出する信号処理回路と、を備える。
[項目２]
項目１に記載の撮像装置において、
前記第１の方向において、前記複数の透光領域のそれぞれの幅は、前記複数の遮光領域のそれぞれの幅と同一であり、
前記信号処理回路は、前記複数のフレームから、前記第１の方向における前記被写体の前記像の位置が前記幅の奇数倍だけ異なる２つのフレームを抽出してもよい。
[項目３]
項目１または２に記載の撮像装置において、
前記複数の透光領域および前記複数の遮光領域は、さらに前記第１の方向に直交する第２の方向に交互に配置されていてもよい。
[項目４]
項目１から３のいずれかに記載の撮像装置は、
前記制御回路により制御され、前記撮像素子および前記光学系からなる群から選択される少なくとも一つの位置を、前記第１の方向に変化させるアクチュエータをさらに備えてもよく、
前記制御回路は、さらに、
前記動画像に基づいて、前記被写体が静止しているか否かを判断し、
前記被写体が静止していると判断されたとき、
前記制御回路は、
前記撮像素子および前記光学系からなる群から選択される前記少なくとも一つの位置が第１の位置であるときに、前記撮像素子に前記被写体の第１の像を取得させ、
前記アクチュエータに、前記撮像素子および前記光学系からなる群から選択される前記少なくとも一つの位置を前記第１の位置と異なる第２の位置に変化させ、
前記撮像素子に前記被写体の第２の像を取得させてもよい。
[項目５]
項目１から３のいずれかに記載の撮像装置は、
前記撮像素子と前記被写体との間に配置され、かつ前記制御回路により制御され、前記被写体から前記撮像素子に向かう光の経路を、前記第１の方向に変化させることにより、前記撮像面における前記像の位置を前記第１の方向において変化させる光路調整器をさらに備えてもよく、
前記制御回路は、さらに、
前記動画像に基づいて、前記被写体が静止しているか否かを判断し、
前記被写体が静止していると判断されたとき、
前記制御回路は、
前記撮像面における前記像の位置が第１の位置であるときに、前記撮像素子に前記被写体の第１の像を取得させ、
前記光路調整器に、前記撮像面における前記像の位置を前記第１の位置と異なる第２の位置に変化させ、
前記撮像素子に前記被写体の第２の像を取得させてもよい。
[項目６]
項目１から５のいずれかに記載の撮像装置において、
前記信号処理回路は、さらに、前記２つのフレームを合成することにより１つのフレームを生成してもよい。
[項目７]
項目１から６のいずれかに記載の撮像装置において、
前記光結合層は、
第１の低屈折率層と、
前記第１の低屈折率層上に配置され、前記グレーティングを含む高屈折率層と、
前記高屈折率層上に配置された第２の低屈折率層と、を含み、
前記高屈折率層は、前記第１の低屈折率層および前記第２の低屈折率層よりも高い屈折率を有していてもよい。
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。 ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
本開示にかかる撮像装置は、産業用、医療用、美容用、セキュリティ用、車載用などの計測に応用できる。また、デジタルスチルカメラ、ビデオカメラなどに対して、位相分布および／またはコヒーレンス分布という新たな撮像機能を付加し得るものである。
１００，１２０，１４０，１６０ 撮像装置
１ 制御回路
２ 光源
３ 光
４ 被写体
５ａ、５Ａ 散乱光
７ レンズ光学系
８ａ 実質的な物体
８ｂ 像
９ 光結合層
９ａ 透光領域
９Ａ 遮光領域
１０ 光検出器
１１ａ,１１Ａ マイクロレンズ
１２ 光結合層
１３ 撮像素子
１４ 動画像取得部
１５ 補間処理部
１６ 演算部
１７ 信号処理回路
２０ 制御回路
２１，１０１ アクチュエータ
２２ 画像処理回路
２３ 画像位置算出部
２４ 画像合成部
２５ 位相差サンプル

Claims (7)

  1. 複数の透光領域および複数の遮光領域を含む遮光膜であって、前記複数の透光領域および前記複数の遮光領域が少なくとも第１の方向に交互に配置されている遮光膜と、
    前記遮光膜に対向して配置され、撮像面を有し、前記撮像面に２次元的に配列された複数の第１の画素および複数の第２の画素を含む光検出器であって、前記複数の第１の画素の各々は、前記複数の透光領域の１つに対向し、前記複数の第２の画素の各々は、前記複数の遮光領域の１つに対向する、光検出器と、
    前記遮光膜および前記光検出器の間に配置された光結合層であって、前記複数の透光領域に所定の波長の光が入射したときに、前記光の第１部分を前記第１の方向に伝搬させるグレーティングを含み、前記第１部分と異なる前記光の第２部分を透過させる光結合層と、
    を含む撮像素子と、
    前記撮像面に被写体の像を形成する光学系と、
    前記撮像素子に動画像を取得させる制御回路と、
    前記撮像素子によって取得された前記動画像に含まれる複数のフレームから、異なる２つのフレームを抽出する信号処理回路と、を備える撮像装置。
  2. 前記第１の方向において、前記複数の透光領域のそれぞれの幅は、前記複数の遮光領域のそれぞれの幅と同一であり、
    前記信号処理回路は、前記複数のフレームから、前記第１の方向における前記被写体の前記像の位置が前記幅の奇数倍だけ異なる２つのフレームを抽出する、
    請求項１に記載の撮像装置。
  3. 前記複数の透光領域および前記複数の遮光領域は、さらに前記第１の方向に直交する第２の方向に交互に配置されている、
    請求項１または２に記載の撮像装置。
  4. 前記制御回路により制御され、前記撮像素子および前記光学系からなる群から選択される少なくとも一つの位置を、前記第１の方向に変化させるアクチュエータをさらに備え、
    前記制御回路は、さらに、
    前記動画像に基づいて、前記被写体が静止しているか否かを判断し、
    前記被写体が静止していると判断されたとき、
    前記制御回路は、
    前記撮像素子および前記光学系からなる群から選択される前記少なくとも一つの位置が第１の位置であるときに、前記撮像素子に前記被写体の第１の像を取得させ、
    前記アクチュエータに、前記撮像素子および前記光学系からなる群から選択される前記少なくとも一つの位置を前記第１の位置と異なる第２の位置に変化させ、
    前記撮像素子に前記被写体の第２の像を取得させる、
    請求項１から３のいずれかに記載の撮像装置。
  5. 前記撮像素子と前記被写体との間に配置され、かつ前記制御回路により制御され、前記被写体から前記撮像素子に向かう光の経路を、前記第１の方向に変化させることにより、前記撮像面における前記像の位置を前記第１の方向において変化させる光路調整器をさらに備え、
    前記制御回路は、さらに、
    前記動画像に基づいて、前記被写体が静止しているか否かを判断し、
    前記被写体が静止していると判断したとき、
    前記制御回路は、
    前記撮像面における前記像の位置が第１の位置であるときに、前記撮像素子に前記被写体の第１の像を取得させ、
    前記光路調整器に、前記撮像面における前記像の位置を前記第１の位置と異なる第２の位置に変化させ、
    前記撮像素子に前記被写体の第２の像を取得させる、
    請求項１から３のいずれかに記載の撮像装置。
  6. 前記信号処理回路は、さらに、前記２つのフレームを合成することにより１つのフレームを生成する、
    請求項１から５のいずれかに記載の撮像装置。
  7. 前記光結合層は、
    第１の低屈折率層と、
    前記第１の低屈折率層上に配置され、前記グレーティングを含む高屈折率層と、
    前記高屈折率層上に配置された第２の低屈折率層と、を含み、
    前記高屈折率層は、前記第１の低屈折率層および前記第２の低屈折率層よりも高い屈折率を有する、
    請求項１から６のいずれかに記載の撮像装置。
JP2017229402A 2016-12-08 2017-11-29 撮像装置 Active JP6975913B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016238792 2016-12-08
JP2016238792 2016-12-08

Publications (2)

Publication Number Publication Date
JP2018098785A JP2018098785A (ja) 2018-06-21
JP6975913B2 true JP6975913B2 (ja) 2021-12-01

Family

ID=62487945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017229402A Active JP6975913B2 (ja) 2016-12-08 2017-11-29 撮像装置

Country Status (3)

Country Link
US (1) US10412319B2 (ja)
JP (1) JP6975913B2 (ja)
CN (1) CN108174059B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108169175B (zh) 2016-12-08 2022-07-26 松下知识产权经营株式会社 光检测系统
CN108168715B (zh) * 2016-12-08 2021-02-19 松下知识产权经营株式会社 光检测装置
CN211857087U (zh) * 2020-02-24 2020-11-03 宁波激智科技股份有限公司 一种减干涉准直膜

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6524772B1 (en) * 2001-08-30 2003-02-25 United Microelectronics Corp. Method of manufacturing phase grating image sensor
JP4652634B2 (ja) * 2001-08-31 2011-03-16 キヤノン株式会社 撮像装置
JP4728660B2 (ja) * 2005-02-23 2011-07-20 株式会社東芝 固体撮像装置およびそれを用いたカメラ装置
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
WO2010131436A1 (ja) 2009-05-15 2010-11-18 株式会社ニコン 測距装置および撮像装置
US8792027B2 (en) * 2010-01-06 2014-07-29 Panasonic Corporation Solid-state image pickup device, imaging device, and dispersing element
CN101931755B (zh) * 2010-07-06 2012-05-23 上海洪剑智能科技有限公司 一种人脸识别用的调制光滤光装置和滤光方法
EP2630476B1 (en) * 2010-10-19 2017-12-13 Koninklijke Philips N.V. Differential phase-contrast imaging
JP5709040B2 (ja) 2010-10-27 2015-04-30 株式会社リコー 分光画像撮像装置
JP5776332B2 (ja) 2011-05-27 2015-09-09 富士通株式会社 地図処理方法及びプログラム、並びにロボットシステム
JP2013034095A (ja) 2011-08-02 2013-02-14 Nikon Corp 撮像装置およびアダプタユニット
JP2013088557A (ja) * 2011-10-17 2013-05-13 Toshiba Corp 固体撮像装置、及び固体撮像装置の製造方法
JP2013098503A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 固体撮像素子
WO2013080551A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
JP2014171799A (ja) * 2013-03-12 2014-09-22 Canon Inc Ｘ線撮像装置及びｘ線撮像システム
JP5970660B2 (ja) * 2013-06-13 2016-08-17 パナソニックＩｐマネジメント株式会社 光取り込みシートおよび光取り込みロッド、ならびにそれらを用いた受光装置、発光装置および光ファイバー用増幅器
US9182645B2 (en) * 2013-09-18 2015-11-10 Htc Corporation Portable electronic device
CN109893084A (zh) * 2014-06-20 2019-06-18 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
CN106248224B (zh) * 2015-06-09 2020-04-14 松下知识产权经营株式会社 光检测装置以及光检测系统
JP6706814B2 (ja) * 2016-03-30 2020-06-10 パナソニックＩｐマネジメント株式会社 光検出装置および光検出システム
US10084101B2 (en) * 2016-11-07 2018-09-25 Infineon Technologies Ag Graded-index structure for optical systems
CN108168715B (zh) * 2016-12-08 2021-02-19 松下知识产权经营株式会社 光检测装置
CN108169175B (zh) * 2016-12-08 2022-07-26 松下知识产权经营株式会社 光检测系统

Also Published As

Publication number Publication date
CN108174059A (zh) 2018-06-15
US20180167563A1 (en) 2018-06-14
CN108174059B (zh) 2021-04-13
JP2018098785A (ja) 2018-06-21
US10412319B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
JP6473942B2 (ja) 光検出装置、および光検出システム
JP7012235B2 (ja) 光検出システム
CN107270946B (zh) 光检测装置以及光检测系统
JP6975913B2 (ja) 撮像装置
CN107271057B (zh) 光检测装置以及光检测系统
JP2013545113A (ja) イメージマップ光干渉断層法
JP6964254B2 (ja) 光検出装置
JP2017026611A (ja) 光検出装置および光検出方法
JP5428538B2 (ja) 干渉装置
JP2018096717A (ja) 撮像装置
WO2020116035A1 (ja) 距離情報取得装置、距離情報取得方法、およびプログラム
JP2018093085A (ja) 固体撮像素子
JP2021152450A (ja) 撮像装置、および撮像システム
JP2019045289A (ja) 計測装置
JP2005164556A (ja) 音響光学変調フィルターを用いた透明薄膜の３次元形状測定装置
JP2019090771A (ja) 光検出装置、光検出システム、および光検出方法
JP2019042114A (ja) 血圧測定装置
Heikkinen et al. Infrared scanning white light interferometry using a solid state light source

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211021

R151 Written notification of patent or utility model registration

Ref document number: 6975913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151