JP6685887B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6685887B2
JP6685887B2 JP2016240818A JP2016240818A JP6685887B2 JP 6685887 B2 JP6685887 B2 JP 6685887B2 JP 2016240818 A JP2016240818 A JP 2016240818A JP 2016240818 A JP2016240818 A JP 2016240818A JP 6685887 B2 JP6685887 B2 JP 6685887B2
Authority
JP
Japan
Prior art keywords
imaging device
pattern
polarizing plate
image
modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016240818A
Other languages
English (en)
Other versions
JP2018098623A (ja
Inventor
真侑 佐尾
真侑 佐尾
悠介 中村
悠介 中村
和幸 田島
和幸 田島
島野 健
健 島野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016240818A priority Critical patent/JP6685887B2/ja
Priority to PCT/JP2017/038941 priority patent/WO2018110120A1/ja
Priority to CN201711121335.9A priority patent/CN108616677B/zh
Priority to TW106143098A priority patent/TWI658432B/zh
Priority to US15/836,017 priority patent/US10461108B2/en
Publication of JP2018098623A publication Critical patent/JP2018098623A/ja
Application granted granted Critical
Publication of JP6685887B2 publication Critical patent/JP6685887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4272Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1842Gratings for image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14623Optical shielding
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685Process for coatings or optical elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/04Reversed telephoto objectives

Description

本発明は、撮像装置に関する。
本技術分野の背景技術として、特開2011−203792号公報(特許文献1)がある。この公報には、マイクロレンズアレイを用いることにより小型・薄型化を実現する撮像装置についての記載がある。
特開2011−203792号公報
上記特許文献1に記載された技術では、「前段のマイクロレンズアレイと絞りアレイとを対向させ、前段のマイクロレンズアレイの被写体からの光の焦点近傍に絞りアレイの絞りを設けて、更に後段のマイクロレンズアレイによって光の集束も同時に行う」ことで、「光学系を小さくし、小型・薄型の指静脈認証装置を実現することが出来る」撮像方式である。該撮像方式は、レンズを用いることにより画像センサ上への集光に距離が必要である点と、2つのレンズアレイを配置する空間が必要である点が、薄型化の限界となっている。
本発明の課題は、容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置に係る技術を提供することである。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る撮像装置は、第1の複眼格子パターンを有し、上記第1の複眼格子パターンを透過させることで光の強度を変調する変調器と、上記変調器を透過した光を画像データに変換して出力する画像センサと、上記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、を備え、上記第1の複眼格子パターンは、複数の基本パターンを含んで構成され、それぞれの上記基本パターンは、同心円状である。
本発明によれば、容易な信号処理により演算量を低減し、近距離の撮像において視野を拡大する薄型の撮像装置の技術を提供できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第一の実施形態に係る撮像装置の構成を示す図である。 第一の実施形態に係る変調器の構成を示す図である。 第一の実施形態に係る別の変調器の構成を示す図である。 第一の実施形態に係る撮像装置による撮影状況の例を示す図である。 第一の実施形態に係る撮像処理フローの例を示す図である。 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じる例を示す図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルの例を示す図である(入射角ゼロ、+θ、−θ)。 表面格子と裏面格子の軸をずらして配置する例を示す図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルの例を示す図である(入射角ゼロ、+θ、−θ)。 格子パターンの例を示す図である。 格子パターンの別の例を示す図である。 格子パターンのさらに別の例を示す図である。 物体を構成する各点からの光がセンサに対してなす角を説明する図である。 物体が無限距離にある場合に表側格子パターンが投影される例を示す図である。 物体が無限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に表側格子パターンが拡大される例を示す図である。 物体が有限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図である。 裏側格子パターンを画像処理で代替する変形例を示す図である。 裏側格子パターンを画像処理で代替する変調器を示す図である。 裏側格子パターンを画像処理で代替する処理フローを示す図である。 時分割フリンジスキャンの変形例を示す図である。 時分割フリンジスキャンにおける格子パターンの例を示す図である(Φ, Φ=0、Φ, Φ=π/2、Φ, Φ=π、Φ, Φ=3π/2)。 時分割フリンジスキャンにおける変調器の例を示す図である(Φ, Φ=0、Φ, Φ=π/2、Φ, Φ=π、Φ, Φ=3π/2)。 時分割フリンジスキャンの処理フローの例を示す図である。 空間分割フリンジスキャンの変形例を示す図である。 空間分割フリンジスキャンにおける格子パターンの例を示す図である。 物体が近距離にある場合の格子パターンと視野の関係を示す図である。 複眼の格子パターンによる広視野化の構成例を示す図である。 複眼の格子パターンの例を示す図である。 複眼の格子パターンにおけるクロストーク発生の原理を示す図である。 クロストークを低減する構成の例を示す図である。 複眼の格子パターンにおける処理フローを示す図である。 遮光板によるクロストーク低減の原理を説明する図である。 遮光板によるクロストーク低減の変調器の構成例を示す図である。 偏光板によるクロストーク低減の原理を説明する図である。 偏光板によるクロストーク低減の変調器の構成例を示す図である。 時分割フリンジスキャンによるクロストークキャンセルの構成例を示す図である。 クロストークキャンセルを実現する表面側と裏面側の格子パターンの組合せを示す図である(Φ=0,π/2、Φ=π/2,π、Φ=π,3π/2、Φ=3π/2,0)。 時分割フリンジスキャンにおけるクロストークキャンセルの格子パターンの例を示す図である(Φ=0,π/2、Φ=π/2,π、Φ=π,3π/2、Φ=3π/2、0)。 空間分割フリンジスキャンにおけるクロストークキャンセルを実現する格子パターンの例を示す図である。 クロストークキャンセルと偏光板の併用によるクロストーク低減を実現する構成の例を示す図である。 クロストークキャンセルと偏光板の併用によるクロストーク低減を実現する偏光板の例を示す図である。 複眼の格子パターンを用いて近距離にある物体を撮像するときの視野の例を示す図である。 複眼の格子パターンを用いた指静脈撮像の利用状況の例を示す図である。
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施例について図面を用いて説明する。
一般に、車載カメラ、ウェアラブルデバイス、スマートフォンなどの情報機器に搭載するデジタルカメラには薄型化と低コスト化が求められることが多い。例えば、レンズを用いることなく物体像を得ることで薄型化と低コスト化を実現する撮像方式が提案されている。そのような技術では、画像センサの前に特殊な格子パターンを貼り付け、その画像センサにて受光される射影パターンから像を現像するための逆問題を解くことにより、物体の像を得る撮像方式がある。この方式では、信号処理により逆問題を解く際の演算が複雑になり、処理負荷が高いために、情報機器のハードウェア要求仕様が高くなってしまう。本発明は、処理負荷を低く抑えつつ、薄型化を可能とすることをねらいとしている。
〈無限遠物体の撮影原理〉図1は、本発明の第一の実施形態に係る撮像装置101の構成を示す図である。撮像装置101は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図1に示すように、変調器102、画像センサ103、および画像処理部106から構成されている。また、撮像装置101は、画像を表示するディスプレイ装置等を有する画像表示部107と接続され、画像処理部106により画像表示部107の表示情報は制御される。
図2に変調器102の一例を示す。変調器102は、画像センサ103の受光面に密着して固定されており、格子基板102aに第1の格子パターン104、第2の格子パターン105がそれぞれ形成された構成からなる。格子基板102aは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板102aの画像センサ103側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この格子パターン104、105は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン104,105は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。なお、格子パターン104,105の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。さらに、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、格子基板102aは例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料、格子パターン104,105には金属等の遮断する材料を用いればよい。
なお、ここでは変調器102を実現するために、格子パターン104,105を格子基板102aに形成する方法について述べたが、図3に示すように格子パターン104,105を薄膜に形成し、支持部材102bにより保持する構成などによっても実現できる。
格子パターン104,105を透過する光は、その格子パターンによって光の強度が変調され、透過した光は画像センサ103にて受光される。画像センサ103は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。
画像センサ103の表面には、受光素子である画素103aが格子状に規則的に配置されている。この画像センサ103は、画素103aが受光した光画像を電気信号である画像信号に変換する。画像センサ103から出力された画像信号は、画像処理部である画像処理部106によって画像処理されて画像表示部107などに出力される。
図4は、図1の撮像装置101による撮影の一例を示す説明図である。この図4では、撮像装置101によって被写体401を撮影して画像表示部107に表示している例を示している。図示するように、被写体401を撮影する際には、被写体401に対して変調器102における表面、具体的には第1の格子パターン104が形成されている格子基板102aの面が正対するようにして撮影が行われる。
続いて、画像処理部106による画像処理の概略について説明する。図5は、図1の撮像装置101が有する画像処理部106による画像処理の概略を示すフローチャートである。
まず、画像センサ103から出力されるモアレ縞画像に対して、カラーのRGB(Red Green Blue)成分ごとに高速フーリエ変換(FFT:Fast Fourier Transform)などの2次元フーリエ変換演算による現像処理で周波数スペクトルを求める(501)。続いて、ステップ501の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後(502)、該周波数スペクトルの強度計算を行う(503)ことによって画像を取得する。そして、得られた画像に対してノイズ除去処理を行い(504)、続いてコントラスト強調処理(505)などを行う。その後、画像のカラーバランスを調整して(506)撮影画像として出力する。以上により、画像処理部106による画像処理が終了となる。
続いて、撮像装置101における撮影原理について説明する。まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン104,105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をΦ(r)とするとき、これを波面の曲がりの大きさを決める係数βを用いて、
<式1>
Figure 0006685887
と表せる。
球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、
<式2>
Figure 0006685887
のような干渉縞の強度分布が得られる。これは、
<式3>
Figure 0006685887
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをpとすると、
<式4>
Figure 0006685887
が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式2で定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104,105として用いる。
このような格子パターンが両面に形成された厚さtの変調器102に、図6に示すように角度θで平行光が入射したとする。変調器102中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、
<式5>
Figure 0006685887
のような強度分布が得られる。
この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。
ここで、式5から鋭いピークを持つ成分のみを
<式6>
Figure 0006685887
のように取り出すと、そのフーリエスペクトルは、
<式7>
Figure 0006685887
のようになる。ここで、Fはフーリエ変換の演算を表し、u、vは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。
その様子を図7に示す。図7において、左から右にかけては、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図7(a)は、垂直入射、図7(b)は、左側から角度θで光線が入射する場合、図7(c)は、右側から角度θで光線が入射する場合をそれぞれ示している。
変調器102の表面側に形成された第1の格子パターン104と裏面側に形成された第2の格子パターン105とは、軸がそろっている。図7(a)では、第1の格子パターン104と第2の格子パターン105との影が一致するのでモアレ縞は生じない。
図7(b)および図7(c)では、第1の格子パターン104と第2の格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図7(b)の場合なのか、あるいは図7(c)の場合なのかを判別することができなくなる。
これを避けるためには、例えば図8に示すように、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるようあらかじめ2つの格子パターン104,105を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδとするとき、入射角θの平面波によって生じるずれδは、
<式8>
Figure 0006685887
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では
<式9>
Figure 0006685887
の位置となる。画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、2次元フーリエ変換による離散画像の空間周波数スペクトルは、−N/(2S)から+N/(2S)の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、
<式10>
Figure 0006685887
の空間周波数位置とするのが妥当である。したがって、2つの格子の相対的な中心位置ずれは、
<式11>
Figure 0006685887
とするのが妥当である。
図9は、第1の格子パターン104と第2の格子パターン105とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図7と同様にして、左側は光線と変調器102の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図9(a)は、光線が垂直入射の場合であり、図9(b)は、光線が左側から角度θで入射する場合であり、図9(c)は、光線が右側から角度θで入射する場合である。
第1の格子パターン104と第2の格子パターン105とは、あらかじめδだけずらして配置されている。そのため、図9(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δは、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図9(b)では、ずれδがさらに大きくなる方向、図9(c)では、小さくなる方向となっているため、図7と異なり、図9(b)と図9(c)との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101による撮影像にほかならない。
受光できる平行光の入射角の最大角度をθmaxとすると、
<式12>
Figure 0006685887
より、撮像装置101にて受光できる最大画角は、
<式13>
Figure 0006685887
で与えられる。
一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101の実効的な焦点距離は、
<式14>
Figure 0006685887
に相当すると考えることができる。
ここで、式13より画角は変調器102の厚さt、格子パターン104,105の係数βによって変更可能であることが判る。よって、例えば変調器102が図3の構成であり支持部材102bの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。
なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換(DCT:Discrete Cosine Transform)などを使用しても実現可能であり、さらに演算量を削減することも可能である。
また、格子パターン104,105の透過率分布は、式2で示したように正弦波的な特性があることを想定して説明したが、格子パターンの基本周波数成分としてそのような成分があればよく、例えば図10に示すように格子パターンの透過率を2値化することも可能であり、さらに図11のように透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。
また、格子パターン104,105は透過率変調でなく、位相変調で実現してもよい。例えば図12に示すように格子基板102aをシリンドリカルレンズ1201とすることにより、画像センサ103上に図に示すような強度変調パターンを生じさせることができるため、今までの議論と同様に撮像が可能となる。これにより格子パターン104の遮蔽部による光量損失を低減でき、光利用効率を向上させることができる上、格子パターンからの回折を抑圧する効果も得られる。図12ではレンズとして実現したが、同等の効果を持つ位相変調素子で実現することも可能である。
以上の説明では、いずれも入射光線は同時には1つの入射角度だけであったが、実際に撮像装置101がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である第2の格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第1の格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側の第2の格子パターン105との重なりだけになる。その理由について以下に説明する。
まず、複数の入射角の光線による表面側の第1の格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による第1の格子パターン104の影と第2の格子パターン105との重なりでは、第1の格子パターン104の影である光の強度分布に、第2の格子パターン105の透過率を乗算することで、裏面側の第2の格子パターン105を透過したあとの光強度分布が得られる。
これに対して、表面側の第1の格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
<式15>
Figure 0006685887
のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第1の格子パターン104と裏面側の第2の格子パターン105との積のモアレだけであり、第2の格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図13を用いて模式的に説明する。図13は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。被写体401を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101の変調器102および画像センサ103(以下、図13では格子センサ一体基板1301という)に入射する。このとき、被写体401に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。
式9から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、
<式16>
Figure 0006685887
のように表せる。この条件下であれば、無限遠の物体に対して本発明の撮像装置で撮像が可能である。
〈有限距離物体の撮影原理〉ここで、これまで述べた無限遠の場合における表面側の第1の格子パターン104の裏面への射影の様子を図14に示す。無限遠の物体を構成する点1401からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第1の格子パターン104を照射し、その投影像1402が下の面に投影される場合、投影像は第1の格子パターン104とほぼ同じ形状である。結果、投影像1402に対して、裏面側の格子パターン(図2の第2の格子パターン105に相当)の透過率分布を乗じることにより、等間隔な直線状のモアレ縞を得ることができる(図15)。
一方、有限距離の物体に対する撮像について説明する。図16は、撮像する物体が有限距離にある場合に表面側の第1の格子パターン104の裏面への射影が第1の格子パターン104より拡大されることを示す説明図である。図16に示すように、物体を構成する点1601からの球面波が表面側の第1の格子パターン104を照射し、その投影像1602が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、第1の格子パターン104から点1601までの距離fを用いて、
<式17>
Figure 0006685887
のように算出できる。
そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる(図17)。しかし、一様に拡大された表面側の第1の格子パターン104の影に合わせて、第2の格子パターン105を拡大するならば、拡大された投影像1602に対して再び、等間隔な直線状のモアレ縞を生じさせることができる(図18)。このためには、第2の格子パターン105の係数βをβ/α2とすることで補正が可能である。
これにより、必ずしも無限遠でない距離の点1601からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
〈簡略化構成〉次に、変調器102の構成を簡略化する方法について説明する。変調器102では、格子基板102aの表面および裏面にそれぞれ同一形状の第1の格子パターン104および第2の格子パターン105を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像していた。この裏面側の第2の格子パターン105は、画像センサ103に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図19に示すように、第2の格子パターン105を除去した変調器1901を使用し、第2の格子パターン105に相当する処理を画像処理部1902内の強度変調部1903で実行してもよい。
この時の変調器1901の構成の詳細を図20に示す。この構成によって、格子基板102aに形成する格子パターンを1面減らすことができる。それにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。
図21は、図19の画像処理部1902による画像処理の概略を示すフローチャートである。この図21におけるフローチャートが図5のフローチャートと異なるところは、ステップ2101の処理である。ステップ2101の処理では、前述した強度変調部1903により、画像センサ103から出力される画像に対して、裏面側の格子パターン105を透過したことに相当するモアレ縞画像を生成する。具体的には、式5に相当する演算が行われればよいので、強度変調部1903において裏面側の格子パターン105を生成し、画像センサ103の画像に対して乗算すればよい。さらに、裏面側の格子パターン105が図10、11に示すような2値化したパターンであれば、黒に相当する領域の画像センサ103の値を0にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図21のステップ501〜506の処理は、図5の処理と同様であるので、ここでは説明を省略する。
なお、この場合、画像センサ103が有する画素103aのピッチは、第1の格子パターン104のピッチを十分再現できる程度に細かいか、あるいは第1の格子パターン104のピッチが画素103aのピッチにて再現できる程度に粗い必要がある。格子パターンを格子基板102aの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ103の画素103aにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ103の解像度は同等である必要がある。
また、以上は強度変調部1903により第2の格子パターン105に相当する処理を実現したが、第2の格子パターン105はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第2の格子パターン105の透過率を加味して設定することによっても実現できる。
〈ノイズキャンセル〉これまでの説明では、式5から鋭いピークを持つ成分のみを取り出した式6に着目して話を進めたが、実際には式5の第4項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。
まず、式2の干渉縞強度分布において、第1の格子パターン104の初期位相をΦ、第2の格子パターン105の初期位相をΦとすると、式5は
<式18>
Figure 0006685887
のように表せる。ここで、三角関数の直交性を利用し、
<式19>
Figure 0006685887
のように式18をΦ、Φに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
ここで式19は積分の形で示しているが、実際にはΦ、Φの組合せの総和を計算することによっても同様の効果が得られる。Φ、Φは0〜2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分、{0、π/3、2π/3}のように3等分してもよい。
さらに、式19は簡略化できる。式19では、Φ、Φを独立して変えられるように計算したが、Φ=Φすなわち格子パターン104と105の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式19においてΦ=Φ=Φとすれば、
<式20>
Figure 0006685887
となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは0〜2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分すればよい。
また、等分せずとも、{0、π/2}の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図19の構成のように第2の格子パターン105を画像処理部1902で実施すれば、格子パターン105に負値を扱えるため、式18は
<式21>
Figure 0006685887
となる(Φ=Φ=Φ)。格子パターン105は既知であるため、この式21から格子パターン105を減算し、Φ={0、π/2}の場合について加算すれば、
<式22>
Figure 0006685887
のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
また、前述のように第1の格子パターン104と第2の格子パターン105とは、あらかじめδずらすことで空間周波数空間に生じる2つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δずらさなくとも現像画像の重複を回避する方法について説明する。式19のフリンジスキャンにおいて、cosの代わりに
<式23>
Figure 0006685887
のようにexpを用い複素平面上で演算する。これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式23中のexp(2iβδx)をフーリエ変換すれば、
<式24>
Figure 0006685887
となり、式7のように2つのピークを生じず、単一の現像画像を得られることが判る。このように、格子パターン104、105をずらす必要もなくなり、画素数を有効に使用可能となる。
以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について図22〜27を用いて説明する。フリンジスキャンでは、少なくとも格子パターン104として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
図22に時分割フリンジスキャンを実現する構成を示す。変調器2201は、例えば電気的に図23に示す複数の初期位相を切り替えて表示することが可能な液晶表示素子などである。図23(a)〜(d)のパターンは、初期位相ΦもしくはΦがそれぞれ{0、π/2、π、3π/2}とする。これを実現する変調器2201の液晶表示素子における電極配置の例を図24に示す。格子パターンの1周期を4分割するように同心円状電極が構成されており、内側から4本おきに電極が結線され、外周部から駆動端子として4本の電極が引き出されている。これら4つの電極に印加する電圧状態を“0”と“1”の2つの状態で時間的に切り替えることで、格子パターンの初期位相ΦもしくはΦを図24(a)〜(d)のように{0、π/2、π、3π/2}と切り替えることが可能となる。なお、図24において、網掛けで示した“1”を印加した電極が光を遮蔽し、白で示した“0”を印加した電極が光を透過させることに対応している。
次に、図25に画像処理部2203における画像処理の概略を示すフローチャートを示す。この図25におけるフローチャートが図21のフローチャートと異なるところは、ステップ2501〜2504の処理である。まず、フリンジスキャン演算の初めに加算結果をリセットする(2501)。次に、式20に対応する場合には、撮影に使用した格子パターン104と同じ初期位相に設定し(2502)、その初期位相を持つ格子パターン105を生成、画像センサ103の画像に対して乗算する(2101)。この結果を各初期位相のパターン毎に加算する(2503)。以上のステップ2502〜2503の処理を全ての初期位相のパターン数繰り返す(2504)。以降の処理は、図21の処理と同様であるので、ここでは説明を省略する。なお、上記フローは式20を例に説明したが、式19、22、23にも同様に適用することが可能である。
対して、図26に空間分割フリンジスキャンを実現する構成を示す。変調器2601は、例えば図27の初期位相ΦもしくはΦがそれぞれ{0、π/2、π、3π/2}のパターンように、複数の初期位相のパターンを2次元的に並べた構成である。画像分割部2602は、画像センサ103出力を変調器2601のパターン配置に応じた領域に分割し、画像処理部に順次伝送する。図26の例では、画像センサ出力を縦2×横2の4領域に分割するということである。式20に基づくフリンジスキャンでは4位相必要であるため変調器2601は縦2×横2であったが、式22に基づくフリンジスキャンでは2位相で実現できるため変調器2601は縦1×横2のパターン配置でも実現可能であり、それに応じて画像センサ出力も縦1×横2の領域に分割する。以降の画像処理部2203の処理は時分割フリンジスキャンである図22の処理と同等であるため説明を省略する。
この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器2201のように電気的に切り替える必要がなく、安価に変調器を作製することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある場合には時分割フリンジスキャンが適している。
〈近接撮像における問題〉次に、近距離の物体に対する撮像時の問題点について説明する。ある光源からの光が物体に照射され、その散乱光を近距離から撮像する場合、その物体からの散乱角が問題となる。図28は、撮像する物体が近距離にある場合に物体のある点からの光の拡がり角(散乱角)θを示す説明図である。図28に示すように、物体を構成する点2801からの散乱光が第1の格子パターン104を照射する場合、第1の格子パターン104における照射領域の直径Bは、散乱角θを用いて、
<式25>
Figure 0006685887
となる。fは点2801から第1の格子パターン104までの距離である。このように、近接撮影時には第1の格子パターン104のうち照射領域しか使用することができない。なお、現実には散乱光強度は散乱角が大きくなるに従い徐々に減衰するものであるが、図28では簡単化のため、照射領域のみ散乱光が到達しているとしている。
第1の格子パターン104は中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンからなるため、例えば点2803のように、第1の格子パターン104の中心から離れるほど、照射領域における縞のピッチは狭くなる。ピッチの狭い縞の投影像は回折等の影響により画像センサ103上でのコントラストが低下することからノイズに埋もれやすく、現像が困難となる。以上から、点2801、2802のように第1の格子パターン104の中心付近にある点の撮像は可能だが、点2803のように中心から離れるに従って撮像が困難となり、撮像可能な範囲(視野)が制限されることになる。
実験的に、散乱光が第1の格子パターン104の中心を通る場合に撮像できることが判っている。そのため、式13で与えられる最大画角θmaxを用いて、θ≦θmaxとなる場合には、視野角は散乱角θとなり、視野の直径A
<式26>
Figure 0006685887
となる。
この視野を拡大するためには、第1の格子パターン104を形成する同心円状の格子パターンの係数βを小さくすることで縞のピッチを広くするという方法があるが、ピッチを広くすると解像度が劣化してしまう。
〈近接撮像における視野拡大方法〉そこで、近距離の物体に対する撮像において解像度を保ちながら視野を拡大する方法について説明する。
図29は、複眼の格子パターンによる広視野化の構成例を示す図である。図29は、近接撮像における視野を拡大可能な構成を示す。図29が図19と異なるところは、基本パターン2903を複数配列した第1の複眼格子パターン2902を第1の格子パターン104として用いる点と、画像分割部2904と画像処理部2905を有する点である。図30に第1の複眼格子パターン2902の例を示す。同心円状の格子パターンからなる基本パターン2903を縦3つ×横3つ重なることなく撮像素子と平行する平面上に配列することで第1の複眼格子パターン2902を実現できる。このように基本パターンを複数配置する構成とすることで、単一の格子パターンの視野Aを複数配置することができるようになる。このように構成することで、格子パターンの係数βを変更することなく、照射領域の周辺部分の縞のピッチが狭くなりすぎることにより回折等の解像度低下の影響が強くなり視野を制限するという問題を抑圧可能となる。
なお、図29では、第1の複眼格子パターン2902を、縦3つ×横3つに配列した基本パターンからなるパターンとしているが、これに限定するものではなく、撮影対象のサイズ、撮影対象までの距離などに合わせて適宜変更してもよい。
また、図31に、複眼格子パターンによる視野を示す。複眼格子パターンによる視野Aは、隣接する基本パターンの同心円の中心間距離をq、基本パターンの配置数をnとして、
<式27>
Figure 0006685887
となる。
また、それぞれの基本パターン2903を構成する同心円状の格子パターンの初期位相Φは任意のもので良い。また、図29の構成では単一の画像センサ103を用いているが、画像センサ103を複数並べて用いても良い。
〈クロストーク発生原理〉複眼格子パターンを用いることで、隣接する基本パターンから発生するクロストークが問題になりうる。図31を用いて、第1の複眼格子パターン2902を用いた撮像におけるクロストークについて説明する。基本パターン3101の視野角をθとすると、画像センサ103上では、
<式28>
Figure 0006685887
の直径をもつ範囲に散乱光が入射する。この範囲の情報が基本パターン3101の視野角θの範囲の撮像に寄与する。
しかし、例えば点3103からの光線は隣接する基本パターン3102を通過してCの範囲に入射する。基本パターン3101の現像において、隣接する基本パターン3102の情報はノイズとなる。このように、異なる基本パターンを通過して入射する光線によりクロストークが発生する。
(実施例1:変調器の形状)これに対して、図32のように、C≦qとなる場合には、クロストークは発生しない。つまりt≦q/(2・tanθ)を満たすt(変調器102の厚さ)とq(隣接する基本パターンの同心円の中心間距離)となるよう変調器102を構成することで、クロストークを防ぐことが可能である。
続いて、複眼格子パターン適用時の画像処理について説明する。図33(a)および図33(b)は画像処理部2905による画像処理の概略を示すフローチャートである。図33(a)におけるフローチャートが図21と異なるところは、ステップ3301とステップ3302の処理である。
まず、画像分割部2904において、画像センサ103にて取得するセンサ画像を基本パターン2903の配列に従って分割する(3301)。以降、ステップ504まで図21の処理と同様の処理を行い、ステップ3302にて、ステップ3301での分割に従ってステップ504の出力画像を並び替えて合成する。以降の処理は図21の処理と同様である。なお、ステップ2101の処理において用いる裏面側の格子パターンは単一の基本パターン2903からなる単眼の第1の格子パターン、もしくは複眼の第1の複眼格子パターン2902と同様の複眼のパターンのどちらとしても良い。
図33(b)におけるフローチャートが図33(a)と異なるところは、出力画像の分割のタイミングである。図33(b)では、図33(a)のステップ3301を行わず、ステップ504の処理後の出力画像を基本パターン2903の配列に従って分割し(3303)、並び替えて合成する(3302)。
なお、図29は図19を基に説明したが、同様に図22など他の構成にも適用することで、フリンジスキャンによるノイズキャンセルを行うことも可能である。
以上の構成によれば、近接撮像においても解像度を保ったまま視野を広げることが可能となる。
〈実施例2:遮光板によるクロストーク低減〉本実施例では、第1の複眼格子パターン2902における隣接する基本パターンから発生するクロストークを遮光板により低減する方法について説明する。
上述のとおり、実施例1では、t(変調器102の厚さ)とq(隣接する基本パターンの同心円の中心間距離)を適切に設定することでクロストークを低減したが、これでは変調器の設計自由度が制限される場合もある。クロストークは遮光板を挿入することでも低減可能である。図34に、遮光板によるクロストーク低減の原理について示す。基本パターン3101による撮像に対してノイズとなる点3103からの光線は、遮光板3401を挿入することで除去することが出来る。
図35は、遮光板によるクロストーク低減を実現する構成の説明図である。図35では、変調器3501に遮光板3502を挿入している。遮光板は、撮影対象とする波長が透過しない材質とする必要があり、可視光では黒色のプラスティック板や金属板、遠赤外光ではアクリル板や金属板などを用いればよい。また、遮光板3502は図34のように、基本パターン2903を単位とする領域U毎に区切るように配置する。このとき、視野角は式13においてS=Uとしたときのθmaxとなり、視野角をθとすると視野Aは、
<式29>
Figure 0006685887
となる。
以上の構成によれば、設計自由度を制限することなく、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
〈実施例3:偏光板によるクロストーク低減〉本実施例では、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを偏光板により低減する方法について説明する。
図36に、偏光板によるクロストーク低減の原理について示す。変調器2901を偏光板3601乃至3604で挟む構成とする。また、偏光板3601と偏光板3602のように隣接する偏光板の偏光軸を直交させ、偏光板3601と偏光板3603のように対向する偏光板の偏光軸を揃えるように配置する。これにより、基本パターン3101による撮像対象である点3605からの光線は、偏光板3601ならびに偏光板3603を経由し、2つの偏光板の偏光軸は互いに並行であるため画像センサ103に光が到達する。それに対し、ノイズとなる点3103からの光線は、偏光板3602ならびに偏光板3603を経由するが、2つの偏光板の偏光軸は互いに直交しているため画像センサ103に光が到達しない。よって、クロストークを除去することができる。このとき、視野角はθuとなり、視野Auは式29で与えられる。
図37は、偏光板によるクロストーク低減を実現する構成の説明図である。図37(a)に示すように、変調器2901を第1の偏光板3701および第2の偏光板3702で挟む構成とする。第1の偏光板3701は第1の複眼格子パターン2902に近接して配置し、第2の格子パターンは画像センサ103に近接して配置する。なお、図37(a)では変調器2901の表面側に第1の偏光板3701を配置しているが、第1の複眼格子パターン2902の裏面側に配置しても良い。
図37(b)に偏光板3701、3702の例を示す。偏光板3701は複数の偏光板からなり、偏光板3601と偏光板3602のように隣接する偏光板の偏光軸を直交するように配置する。また、偏光板3601の大きさは第1の複眼格子パターン2902の基本パターン2903と同じサイズとし、基本パターン2903の配置に合わせて配置する。
以上の構成によれば、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
なお、図37では、第1の複眼格子パターン2902を、縦3つ×横3つの基本パターンの配置からなるパターンとしているが、これに限定するものではなく、撮影対象のサイズ、撮影対象までの距離などに合わせて適宜変更してもよい。
また、液晶表示素子を用いて第1の複眼格子パターンを実現する場合には、液晶表示素子の偏光板を、上記第1の偏光板3601を構成する偏光板3603とすることもできる。
また、偏光板3601と偏光板3603のように対向する偏光板の偏光軸を揃えるように配置するものとしたが、これに限定するものではなく、変調器2901の素材によっては偏光面が旋回することもあるため、対向する偏光板を透過する光量が最も大きくなるように、またはクロストーク光量が最も小さくなるように、偏光軸の傾きを設定するものであってもよい。
〈実施例4:クロストークキャンセル〉本実施例では、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークをフリンジスキャンに基づいてキャンセルする方法について説明する。
フリンジスキャンによるクロストークキャンセルでは、少なくとも第1の複眼格子パターンとして、基本パターンの初期位相が異なる複数のパターンを使用する必要がある。これを実現するには時分割フリンジスキャンを用いる方法と、空間分割フリンジスキャンスキャンを用いる方法がある。
まず、時分割フリンジスキャンを用いたクロストークキャンセルについて説明する。図38に、時分割フリンジスキャンを用いてクロストークキャンセルを実現するための構成を示す。図38が図22と異なるところは、第1の格子パターンとして、第1の複眼格子パターン3802を用いる点と、画像分割部3806および画像処理部3805を有する点である。第1の複眼格子パターン3802は、上下左右に隣接する基本パターン3803、3804の初期位相Φが互いにπ/2ずれるように配置する。
ここで、初期位相差をπ/2とすることによるクロストークキャンセルの原理について説明する。図39に、図38における基本パターン3803、3804の組合せを示す。図40では、基本パターン3803、3804をそれぞれ基本パターン3901、3902としている。基本パターン3901、3902は、それぞれの初期位相ΦF1とΦF2の位相差がπ/2となるように、ΦF1とΦF2を{0、π/2}、{π/2、π}、{π、3π/2}、{3π/2、2π}などの組合せとする。また、裏面側の複眼格子パターンを構成する基本パターン3903、3904の初期位相ΦB1とΦB2も同様に、初期位相ΦB1とΦB2の位相差がπ/2となるように、{0、π/2}、{π/2、π}、{π、3π/2}、{3π/2、2π}などの組合せとする。本組合せにおいて、式19によるフリンジスキャン演算を行えばクロストークをキャンセルできる。
例えば、基本パターン3901の投影像は基本パターン3903により現像処理するが、このパターンの初期位相差(ΦF1−ΦF3)は0となり、式19におけるcosの項は1となる。対して、クロストークとなる基本パターン3902の像を基本パターン3903により現像処理する場合、初期位相差(ΦF1−ΦF3)はπ/2となり、式19におけるcosの項は0となることからキャンセルされる。よって、表面側の複眼格子パターンと裏面側の複眼格子パターンの初期位相の組合せにより、クロストークキャンセルが可能となる。
図40に、第1の複眼格子パターン3802の例を示す。図40(a)〜(b)のように基本パターン3803、3804の初期位相が異なる第1の複眼格子パターン3802を切り替えて使用する。切り替え方法については、実施例1にて説明した時分割フリンジスキャンの方法と同様であるため説明を省略する。
次に、空間分割フリンジスキャンを用いたクロストークキャンセルについて説明する。図41に、第1の複眼格子パターンの例を示す。第1の複眼格子パターン4101は空間分割フリンジスキャンを実現するため、基本パターン4102は4つの初期位相からなる分割パターン4103、4104からなる。さらに、クロストークキャンセルを実現するため、分割パターン4103と隣接する分割パターン4104のように、上下左右に隣接する分割パターンの初期位相がπ/2ずれるように配置する。本組合せにおいて、式19によるフリンジスキャン演算を行えば、前述の説明の通りクロストークをキャンセルすることが可能となる。
以上の構成によれば、第1の複眼格子パターンにおける隣接する基本パターンから発生するクロストークを低減することが可能となる。
なお、実施例1乃至実施例3では、第1の複眼格子パターンを構成する基本パターンを、隣接するもの同士が重ならないように配置していたが、本実施例では隣接する基本パターンが重なり合っていても良い。
〈実施例5:クロストークキャンセルと偏光板の併用〉本実施例では、実施例4のクロストークキャンセルと、実施例3の偏光板によるクロストーク低減方法を併用し、第1の複眼格子パターンにおける隣接パターンから発生するクロストークを低減する方法について説明する。
実施例4に係るクロストークキャンセル方法では、上下左右に隣接する基本パターンの初期位相Φが互いにπ/2ずれるように配置することで、クロストークの影響をキャンセルした。しかし、この方法だと斜め方向に隣接する基本パターンからのクロストークをキャンセルしきれない場合がある。そこで、実施例4では、偏光板を併用する例を示す。
図42は、時分割フリンジスキャンを用いたクロストークキャンセルと偏光板の併用によりクロストークを低減する方法について示した説明図である。図42が図38と異なるところは、第1の偏光板4201と第2の偏光板4202の2枚の偏光板を有する点である。第1の偏光板4201は第1の複眼格子パターン3802に近接して配置し、第2の偏光板4202は画像センサ103に近接して配置する。ここで、第2の偏光板4202は、第1の偏光板4201と同じものとし、偏光板の偏光の方向が揃うように配置する。なお、図42では、変調器3801の表面側に第1の偏光板4201を配置しているが、第1の複眼格子パターン3802の裏面側に配置しても良い。
図43に、偏光板4201および4202の例を示す。図43が図37にて説明した偏光板3701および3702と異なるところは、第1の偏光板4201および第2の偏光板4202を構成する偏光板4203のサイズを、基本パターン3803を並べた一列のサイズとする点である。図43では、例として、第1の複眼格子パターン3802として、縦2×横2の基本パターンからなるパターンとしているため、偏光板4201、4202は、基本パターンの縦2枚×横1枚分のサイズとなる。また、隣接する偏光板4203の偏光軸は、偏光板4201、4202の偏光軸と直交させる。偏光軸が直交することで、クロストークが低減される。
なお、基本パターンを格子状に配置する構成を例に説明したが、これに限定するものではなく、ハニカム構造のように隣接する基本パターンが互いに60度の位置関係となるように配置してもよい。このような場合においても、隣接する基本パターンの初期位相差をπ/2とする、または、隣り合う偏光板の偏光軸を直交させて配置することによりクロストークを低減することが可能となる。
以上の構成によれば、第1の複眼格子パターンにおける斜め方向の隣接する基本パターンから発生するクロストークをも低減することが可能となる。
なお、液晶表示素子を用いて第1の複眼格子パターンを実現する場合には、液晶表示素子の偏光板を、上記第1の偏光板4201を構成する偏光板4203とすることもできる。
また、上記2枚の偏光板4201および4202を用いて、空間分割フリンジスキャンを用いたクロストークキャンセルと偏光板の併用によるクロストークの低減も実現できる。
〈実施例6:静脈撮像への適用例〉本実施例では、指静脈認証装置への適用のための指静脈撮像方法について示す。
指静脈認証では、認証に十分な視野の撮像が必要となる。図44は、指静脈認証に十分な視野を確保するための撮像装置の構成と光路を示した説明図である。qを第1の複眼格子パターン4401を構成する基本パターンの中心間距離、nをある方向における基本パターンの数、fを被写体4402から第1の複眼格子パターン4401までの距離、とする。この時、被写体4402の撮像に必要な視野Aを得るために必要な、距離fと中心間距離qの関係について説明する。
距離fが短いと、各基本パターンの視野が小さくなり、合成した視野Aに隙間が生じることになる。隙間が生じないためには、fが図44におけるfmin以上でなければならない。各基本パターンの視野Aは、式26で示される。式26における散乱角θは、光源を指に照射した時に生じる透過光または反射光の散乱角であるので、A=2f・tanθ≧qであればよい。つまり、指を第1の複眼格子パターンに近づけられる限界となる距離fmin
<式30>
Figure 0006685887
となる。
次に、視野Aを得るために必要な、画像センサ103のサイズDについて説明する。各基本パターン4403の視野内の光線は、画像センサ103上で式27の関係を有するものとなる。よって、
<式31>
Figure 0006685887
のサイズがあれば、視野A内の情報を正しく撮像することが可能となる。
なお、画像センサ103は単一のセンサでなくても、複数のセンサを配列してセンササイズを広げることも可能である。
以上の条件を満たせば、指静脈認証に必要な視野を取得することができる。また、以上の方法ではクロストークが生じるが、前述のクロストーク低減方法を用いることで低減可能である。
続いて、図45に指静脈認証装置の例を示す。図45は、複眼格子パターン(表側)4501と、光源4503と、画像センサ4502とを有する。光源4503は、波長850nm付近の近赤外光を用い、指からの反射光を画像センサ4502で取得する構成としている。なお、透過光を画像センサ4502で取得する配置としてもよい。このような装置により指静脈撮像を実現できる。
以上の構成によれば、指静脈認証に必要な視野を確保し、かつ薄型の指静脈認証装置を実現することが可能となる。
なお、本発明は上記の実施の例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に格納しておき、実行時にRAM(Random Access Memory)等に読み出され、CPU(Central Processing Unit)等により実行することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、上記した各構成、機能、処理部等は、それらの一部又は全部を、例えば別の装置で実行してネットワークを介して統合処理する等により分散システムで実現してもよい。
また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。
以上、本発明について、実施形態を中心に説明した。
101・・・撮像装置、102・・・変調器、102a・・・格子基板、102b・・・支持部材、103・・・画像センサ、103a・・・画素、106・・・画像処理部、107・・・画像表示部、104・・・格子パターン(表側)、105・・・格子パターン(裏側)、401・・・被写体、1201・・・シリンドリカルレンズ、1301・・・格子センサ一体基板、1401・・・点、1402・・・投影像、1601・・・点、1602・・・投影像、1901・・・変調器、1902・・・画像処理部、1903・・・強度変調部、2201・・・変調器、2202・・・変調器制御部、2203・・・画像処理部、2601・・・変調器、2602・・・画像分割部、2801・・・点、2802・・・点、2803・・・点、2901・・・変調器、2902・・・複眼格子パターン(表側)、2903・・・格子パターン、2904・・・画像分割部、2905・・・画像処理部、3101・・・格子パターン、3102・・・格子パターン、3103・・・点、3401・・・遮光板、3501・・・変調器、3502・・・遮光板、3601・・・偏光板、3602・・・偏光板、3603・・・偏光板、3604・・・偏光板、3605・・・点、3701・・・偏光板、3702・・・偏光板、3801・・・変調器、3802・・・複眼格子パターン(表側)、3803・・・格子パターン、3804・・・格子パターン、3805・・・画像処理部、3806・・・画像分割部、3901・・・格子パターン、3902・・・格子パターン、3903・・・格子パターン、3904・・・格子パターン、4101・・・複眼格子パターン、4102・・・格子パターン、4103・・・格子パターン、4104・・・格子パターン、4201・・・偏光板、4202・・・偏光板、4203・・・偏光板、4401・・・複眼格子パターン(表側)、4402・・・被写体、4403・・・格子パターン、4501・・・複眼格子パターン(表側)、4502・・・画像センサ、4503・・・光源

Claims (12)

  1. 第1の複眼格子パターンを有し、前記第1の複眼格子パターンを透過させることで光の強度を変調する変調器と、
    前記変調器を透過した光を画像データに変換して出力する画像センサと、
    前記画像センサから出力される画像データを用いて像を復元する画像処理を行う画像処理部と、
    を備え、
    前記第1の複眼格子パターンは、格子状に分割された複数の領域それぞれに基本パターンが交差することなく配置されており
    記基本パターンは、複数の同心円からなる
    ことを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置であって、
    前記複数の基本パターンを構成する少なくとも2つ以上の基本パターンは、同一である、
    ことを特徴とする撮像装置。
  3. 請求項1に記載の撮像装置であって、
    前記第1の複眼格子パターンと前記画像センサとの間に遮光板を備え、
    前記遮光板は前記基本パターンの配置に基づいて配置される、
    ことを特徴とする撮像装置。
  4. 請求項1に記載の撮像装置であって、
    前記変調器は、第1の偏光板と第2の偏光板とを備え、
    前記第1の偏光板は、前記変調器の入力側の面である表面に近接して配置され、
    前記第2の偏光板は、前記変調器の出力側の面である裏面に近接して配置され、
    前記第1の偏光板および前記第2の偏光板は、前記基本パターンの配置に基づいて偏光軸が決定されている、
    ことを特徴とする撮像装置。
  5. 請求項4に記載の撮像装置であって、
    前記第1の偏光板および前記第2の偏光板は、隣接する偏光板の偏光軸が互いに直交するように配置される、
    ことを特徴とする撮像装置。
  6. 請求項1に記載の撮像装置であって、
    隣接する前記基本パターンは、前記同心円の初期位相が互いにπ/2ずつ異なる、
    ことを特徴とする撮像装置。
  7. 請求項1に記載の撮像装置であって、
    前記変調器は、第1の偏光板と第2の偏光板を備え、
    前記第1の偏光板は、前記変調器の入力側の面である表面に近接して配置され、
    前記第2の偏光板は、前記変調器の出力側の面である裏面に近接して配置され、
    前記第1の偏光板および前記第2の偏光板は、前記基本パターンの配置に基づいて偏光軸が決定されており、
    隣接する前記基本パターンは、前記同心円の初期位相が互いにπ/2ずつ異なる、
    ことを特徴とする撮像装置。
  8. 請求項1に記載の撮像装置であって、
    前記変調器から撮像対象物までの距離は、前記同心円の中心間の距離と、該撮像対象物からの光の散乱角に基づいて決定されている、
    ことを特徴とする撮像装置。
  9. 請求項1に記載の撮像装置であって、
    前記画像センサのサイズは、前記同心円の中心間の距離と、撮像対象物からの光の散乱角に基づいて決定されている、
    ことを特徴とする撮像装置。
  10. 請求項1に記載の撮像装置であって、
    前記基本パターンにおける前記同心円は、同心円の中心となる基準座標に対して同心円のピッチが前記基準座標からの距離に反比例して細かくなる、
    ことを特徴とする撮像装置。
  11. 請求項1に記載の撮像装置であって、
    前記画像処理部は、前記画像データを、同心円から構成される第2の複眼格子パターンを示すデータを用いて変調することでモアレ縞画像を生成する、
    ことを特徴とする撮像装置。
  12. 請求項1に記載の撮像装置であって、
    前記画像処理部は、前記画像データを、同心円から構成される第2の複眼格子パターンを示すデータを用いて変調することでモアレ縞画像を生成し、前記モアレ縞画像をフーリエ変換して周波数スペクトルを算出する、
    ことを特徴とする撮像装置。
JP2016240818A 2016-12-13 2016-12-13 撮像装置 Active JP6685887B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016240818A JP6685887B2 (ja) 2016-12-13 2016-12-13 撮像装置
PCT/JP2017/038941 WO2018110120A1 (ja) 2016-12-13 2017-10-27 撮像装置
CN201711121335.9A CN108616677B (zh) 2016-12-13 2017-11-14 摄像装置
TW106143098A TWI658432B (zh) 2016-12-13 2017-12-08 Camera
US15/836,017 US10461108B2 (en) 2016-12-13 2017-12-08 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016240818A JP6685887B2 (ja) 2016-12-13 2016-12-13 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017107380A Division JP6646619B2 (ja) 2017-05-31 2017-05-31 撮像装置

Publications (2)

Publication Number Publication Date
JP2018098623A JP2018098623A (ja) 2018-06-21
JP6685887B2 true JP6685887B2 (ja) 2020-04-22

Family

ID=62488619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016240818A Active JP6685887B2 (ja) 2016-12-13 2016-12-13 撮像装置

Country Status (5)

Country Link
US (1) US10461108B2 (ja)
JP (1) JP6685887B2 (ja)
CN (1) CN108616677B (ja)
TW (1) TWI658432B (ja)
WO (1) WO2018110120A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079382A (ko) 2020-12-04 2022-06-13 (주)딥인사이트 전자 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6820908B2 (ja) * 2016-02-26 2021-01-27 株式会社日立製作所 撮像装置
US11054680B1 (en) * 2018-08-07 2021-07-06 UltResFP, LLC Electronically configurable variable aperture and grating for optical and spectral applications
JP7218422B2 (ja) * 2018-08-08 2023-02-06 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
WO2020031299A1 (ja) * 2018-08-08 2020-02-13 マクセル株式会社 撮像装置、撮像システム、及び撮像方法
US10638061B2 (en) * 2018-09-18 2020-04-28 Analog Devices Global Unlimited Company Active-pixel image sensor
CN109842766B (zh) * 2018-12-28 2021-05-18 上海集成电路研发中心有限公司 一种极坐标图像传感器及其进行图像处理的方法
WO2021010339A1 (ja) * 2019-07-12 2021-01-21 株式会社小糸製作所 イメージング装置およびその照明装置、車両、車両用灯具
CN112630932B (zh) * 2019-10-09 2023-05-26 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹成像装置
CN112995452B (zh) * 2019-12-17 2022-11-11 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹影像处理装置
US20210263198A1 (en) * 2020-02-26 2021-08-26 Beijing Voyager Technology Co., Ltd. Liquid crystal-based laser beam scanners and laser signal receivers
CN113554575B (zh) * 2020-04-23 2022-10-11 华东交通大学 一种基于偏振原理的高反物体表面高光去除方法
JP2022051426A (ja) * 2020-09-18 2022-03-31 株式会社ジャパンディスプレイ カメラモジュール

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
WO2004084560A1 (ja) * 2003-03-20 2004-09-30 Seijiro Tomita 立体映像撮影表示システム
EP1696249A1 (en) * 2003-12-18 2006-08-30 Matsushita Electric Industries Co., Ltd. Collective element and solid-state imaging device
JP4711657B2 (ja) * 2004-09-29 2011-06-29 パナソニック株式会社 固体撮像装置
JP4515971B2 (ja) * 2005-06-17 2010-08-04 パナソニック株式会社 集光素子の製造方法および位相シフトマスク
JP2007109801A (ja) * 2005-10-12 2007-04-26 Sumitomo Electric Ind Ltd 固体撮像装置とその製造方法
US8106993B2 (en) * 2006-05-15 2012-01-31 Panasonic Corporation Diffractive imaging lens, diffractive imaging lens optical system, and imaging apparatus using the diffractive imaging lens optical system
JP2009252978A (ja) * 2008-04-04 2009-10-29 Panasonic Corp 固体撮像素子およびその製造方法
US8558182B2 (en) * 2009-10-09 2013-10-15 University Of Rochester Optical element, device, method, and applications
JP2011203792A (ja) * 2010-03-24 2011-10-13 Hitachi Displays Ltd 撮像装置
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム
CN104006765B (zh) * 2014-03-14 2016-07-13 中国科学院上海光学精密机械研究所 单幅载频干涉条纹相位提取方法及检测装置
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079382A (ko) 2020-12-04 2022-06-13 (주)딥인사이트 전자 장치

Also Published As

Publication number Publication date
US20180166489A1 (en) 2018-06-14
US10461108B2 (en) 2019-10-29
TWI658432B (zh) 2019-05-01
TW201822145A (zh) 2018-06-16
JP2018098623A (ja) 2018-06-21
CN108616677A (zh) 2018-10-02
WO2018110120A1 (ja) 2018-06-21
CN108616677B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
JP6685887B2 (ja) 撮像装置
US11747641B2 (en) Imaging apparatus with cylindrical lenses
JP6820908B2 (ja) 撮像装置
JP6721698B2 (ja) 撮像装置
JP6646619B2 (ja) 撮像装置
JP6864604B2 (ja) 撮像装置
WO2020059181A1 (ja) 撮像装置および撮像方法
JP6947891B2 (ja) 携帯情報端末
JP6770164B2 (ja) 撮像装置
JP2023016864A (ja) 撮像装置および方法
JP7389195B2 (ja) 画像生成方法
JP6636663B2 (ja) 撮像装置及び画像生成方法
JP2020098963A (ja) 撮像装置
JP2021064000A (ja) 撮像装置
JP2022180800A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200401

R151 Written notification of patent or utility model registration

Ref document number: 6685887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151