JP6504455B2 - 撮像装置および分析装置 - Google Patents

撮像装置および分析装置 Download PDF

Info

Publication number
JP6504455B2
JP6504455B2 JP2015148576A JP2015148576A JP6504455B2 JP 6504455 B2 JP6504455 B2 JP 6504455B2 JP 2015148576 A JP2015148576 A JP 2015148576A JP 2015148576 A JP2015148576 A JP 2015148576A JP 6504455 B2 JP6504455 B2 JP 6504455B2
Authority
JP
Japan
Prior art keywords
optical
imaging device
regions
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015148576A
Other languages
English (en)
Other versions
JP2016036024A (ja
Inventor
鳴海 建治
建治 鳴海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015148576A priority Critical patent/JP6504455B2/ja
Publication of JP2016036024A publication Critical patent/JP2016036024A/ja
Application granted granted Critical
Publication of JP6504455B2 publication Critical patent/JP6504455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211Ghost signal cancellation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0018Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Blocking Light For Cameras (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本願はカメラ等の撮像装置、およびカメラ等を用いた分析装置に関する。
光学的特性(例えば波長、偏光、露出)の異なる複数の画像を、単一の撮像系で一度に撮影する装置が提案されている。特許文献1は、このような撮像装置の一形態を開示している。この装置では、レンズ光学系の絞り付近に分割された領域を設け、各領域にそれぞれ異なる光学的特性を有する素子を配置している。レンズ光学系と撮像素子との間には、マイクロレンズアレイが配置され、絞り付近の異なる素子を透過した光が撮像素子上の異なる画素に入射する。
特許第5001471号明細書
上述した従来の技術を用いて、被写体の特性をより精度良く分析可能な撮像装置および分析装置が求められていた。
本願の、限定的ではない例示的なある実施の形態は、被写体の特性をより精度良く分析可能な撮像装置および分析装置を提供する。
本願の一態様である撮像装置は、
レンズ、
絞り、および
第1から第nの分割光学素子(nは5以上の整数)を含み、かつ第1から第nの光学領域を有する光学素子を含むレンズ光学系と、
前記第1から第nの光学領域を透過した光が入射し、第1から第nの複数の画素を含む撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記第1から第nの光学領域を透過した前記光を前記第1から第nの複数の画素にそれぞれ入射させるマイクロレンズアレイとを備え、
前記第1から第nの光学領域は、前記第1から第nの分割光学素子のそれぞれに規定され、
前記第1から第nの光学領域は、前記光軸と垂直な面内において前記光軸に対して点対称に位置しており、
前記レンズ光学系、前記撮像素子、および前記マイクロレンズアレイを用いて、所定の照明条件下で所定の被写体を撮影したときに前記第1から第nの複数の画素から得られる画像の平均輝度をそれぞれs1、s2、・・・、snとした場合、
1、s2、・・・、snのうち少なくとも3つは互いに異なる値であり、かつ
1≦i≦n−1なるすべてのiに対して、si≧si+1の関係を満たし、
前記第1の光学領域と前記第nの光学領域とは、前記光軸に対して互いに点対称以外の位置にある。
本願に開示された撮像装置によれば、光学的特性の異なる複数の画像をより正確に取得することができる。また、被写体の特性についてより正確な分析値を得ることができる。
第1の実施形態にかかる撮像装置の構成を示す模式図である。 (a)は本開示の第1の実施形態における領域の正面図、(b)は光学素子の正面図である。 第1の実施形態におけるマイクロレンズアレイおよび撮像素子の拡大図である。 第1の実施形態におけるマイクロレンズアレイおよび撮像素子の断面拡大図である。 第1の実施形態において、分割光学素子の配置を決定する方法を説明するフローチャートである。 第1の実施形態において、分割光学素子の配置を決定する前の、各光学素子の配置を示す図である。 第1の実施形態における分割光学素子の配置を示す図である。 比較例である従来の分割光学素子の配置を示す図である。 第2の実施形態における領域の正面図である。 第2の実施形態において、分割光学素子の配置を決定する方法を説明するフローチャートである。 第2の実施形態において、分割光学素子の配置を決定する前の、各光学素子の配置を示す図である。 (a)〜(c)は、別の実施形態における分割光学素子の配置を示す図である。 (a)〜(b)は、別の実施形態における分割光学素子の配置を示す図である。 従来の撮像装置の構成と光線を示す図である。 従来の撮像装置における、光学素子上の光線の透過位置を示す図である。 従来の撮像装置における、撮像素子上の光線の入射位置を示す図である。 (a)は従来の撮像装置による撮影画像、(b)は従来の撮像装置における各バンドパスフィルタの透過波長帯域に対する正規の画像を示す図である。
(本開示の一態様に至った経緯)
本願発明者が特許文献1に開示された従来の撮像装置を詳細に検討した結果、第1の波長帯域の画像に第2の波長帯域のゴースト像が混入し、第2の波長帯域の画像に第1の波長帯域のゴースト像が混入するという課題を見いだした。領域の数(すなわちバンドパスフィルタの種類)を2より多くした場合でも、ゴースト像の混入は発生していた。
また、光学的特性の異なる互いの画像が混入しているため、これらの画像を用いて被写体の特性を分析しても、分析値の精度が不足する課題があることがわかった。このような課題に鑑みゴースト像が混入する原因を究明した結果、本願発明者は、ゴースト像の影響を抑制して被写体の正確な分析値を取得することが可能な新規な撮像装置を想到した。本開示の一態様の概要は以下の通りである。
本開示の一態様である撮像装置は、レンズ、絞り、および第1から第nの分割光学素子(nは5以上の整数)を含み、かつ第1から第nの光学領域を有する光学素子を含むレンズ光学系と、前記第1から第nの光学領域を透過した光が入射し、第1から第nの複数の画素を含む撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第1から第nの光学領域を透過した前記光を前記第1から第nの複数の画素にそれぞれ入射させるマイクロレンズアレイとを備え、前記第1から第nの光学領域は、前記第1から第nの分割光学素子のそれぞれに規定され、前記第1から第nの光学領域は、前記光軸と垂直な面内において前記光軸に対して点対称に位置しており、前記レンズ光学系、前記撮像素子、および前記マイクロレンズアレイを用いて、所定の照明条件下で所定の被写体を撮影したときに前記第1から第nの複数の画素から得られる画像の平均輝度をそれぞれs1、s2、・・・、snとした場合、s1、s2、・・・、snのうち少なくとも3つは互いに異なる値であり、かつ1≦i≦n−1なるすべてのiに対して、si≧si+1の関係を満たし、前記第1の光学領域と前記第nの光学領域とは、前記光軸に対して互いに点対称以外の位置にある。
本開示において、前記第1から第nの光学領域を光学領域AF1、AF2、・・・、AFnとし、前記第1から第nの複数の画素を、複数の画素f1、複数の画素f2、・・・、複数の画素fnとする。前記第1から第nの光学領域は、前記絞りによって前記第1から第nの分割光学素子のそれぞれに規定されてもよい。
本開示の他の一態様である撮像装置は、レンズ、絞り、および第1から第nの分割光学素子(nは5以上の整数)を含み、かつ第1から第nの光学領域を有する光学素子を含むレンズ光学系と、前記第1から第nの光学領域を透過した光が入射し、第1から第nの複数の画素を含む撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第1から第nの光学領域を透過した前記光を前記第1から第nの複数の画素にそれぞれ入射させるマイクロレンズアレイとを備え、前記第1から第nの光学領域は、前記第1から第nの分割光学素子のそれぞれに規定され、前記第1から第nの光学領域は、前記光軸と垂直な面内において前記光軸に対して点対称に位置しており、前記第1から第nの光学領域の面積をそれぞれD1、D2、・・・、Dnとし、所定の照明条件下における、前記第1から第nの光学領域の透過率を、それぞれT1、T2、・・・、Tnとし、前記第1から第nの光学領域を透過した光がそれぞれ前記第1から第nの複数の画素に入射したときの、各画素における感度を、それぞれR1、R2、・・・、Rnとし、Bm=Dm×Tm×Rm(m=1〜n)とすると、B1、B2、・・・、Bnのうち少なくとも3つは互いに異なる値であり、かつ1≦i≦n−1なるすべてのiに対して、Bi≧Bi+1の関係を満たし、前記第1の光学領域と前記領域第nのとは、前記光軸に対して互いに点対称以外の位置にある。
本開示の一態様である撮像装置において、前記第1から第nの光学領域の面積のうち少なくとも2つの面積は互いに異なっていてもよい。
本開示の他の一態様である撮像装置において、前記第1から第nの光学領域の面積のうち少なくとも2つの面積は互いに異なっていてもよい。
本願の一態様である撮像装置において、前記第1から第nの光学領域を透過した光が前記第1から第nの複数の画素に入射したときの、各画素における感度のうち少なくとも2つは互いに異なっていてもよい。
本願の他の一態様である撮像装置において、R1、R2、・・・、Rnのうち少なくとも2つは互いに異なっていてもよい。
前記所定の被写体は、白色標準板であってもよい。
前記第n−1の光学領域と前記第nの光学領域とは、前記光軸に対して、互いに点対称の位置にあってもよい。
前記第1の光学領域と前記第2の光学領域とは、前記光軸に対して、互いに点対称の位置にあってもよい。
前記第1の光学領域と前記第nの光学領域とは、互いに隣接しない位置にあってもよい。
前記所定の照明条件は、ハロゲンランプを照射した条件であってもよい。
前記第1から第nの分割光学素子のうちすくなくとも1つはバンドパスフィルタであってもよい。
前記バンドパスフィルタの透過波長帯域の中心は700nm以上かつ1100nm以下であってもよい。
前記第1から第nの分割光学素子のうち少なくとも1つは偏光フィルタであってもよい。
前記第1から第nの分割光学素子のうち少なくとも1つは、NDフィルタであってもよい。
本願の一態様である分析装置は、上記いずれかに記載の撮像装置と、前記第1から第nの複数の画素から得られる画像に基づいて、前記被写体の分析値を得る算出部とを備える。
本願発明者が想到した新規の撮像装置は、ゴースト像が発生する原因を究明した結果に基づく。図14〜図17を参照しながら、その原因を以下に述べる。
図14は、従来の撮像装置における光線の一例を示している。特許文献1に開示された装置によれば、波長λ1の光線Rλ1はバンドパスフィルタFλ1(波長λ1を透過波長とする)上の点Xを透過してレンズL1で集束させられ、マイクロレンズアレイKを経て撮像素子N上の点Yに至り、バンドパスフィルタFλ1に対応する画素に入射する。
ここで、光線Rλ1の一部は、撮像素子Nの表面で反射される。この光線はマイクロレンズアレイKとレンズL1を経て、バンドパスフィルタFλ2上の点X’に至る。バンドパスフィルタFλ2の透過波長帯域が波長λ1を含まない場合、光線Rλ1の一部はバンドパスフィルタFλ2の表面で反射されて、レンズL1で集束させられ、マイクロレンズアレイKを経て撮像素子N上の点Y’に至り、バンドパスフィルタFλ2に対応する画素に入射する。その結果、第2の波長帯域の画像に第1の波長帯域のゴースト像が混入する。
逆に、波長λ2の光線がバンドパスフィルタFλ2(波長λ2を透過波長とする)に入射するときには、第1の波長帯域の画像には第2の波長帯域のゴースト像が混入する。
図15はバンドパスフィルタFλ1およびFλ2を正面から見たときに、光線Rλ1の透過位置を示す図である。図15に示すように、点XとX’は光軸V0に対して点対称に位置する。このことから、光軸V0に対して点対称に位置する光学素子(すなわちバンドパスフィルタ)は、互いにゴースト像の発生に寄与することがわかる。
図16は撮像素子Nを正面から見たときに、光線Rλ1の入射位置を示す図である。図16に示すように、点YとY’は光軸V0に対して点対称に位置する。このことから、撮像素子Nの中心と光軸V0が一致する場合には、ゴースト像は画像中心に対して点対称の像として発生することがわかる。
図17(a)は従来の撮像装置で得られる画像の例であり、図17(b)は従来の撮像装置における各バンドパスフィルタの透過波長帯域に対する正規の画像の図である。撮像素子表面で反射する光線がなければ、図17(b)に示すように各透過波長帯域に対する正規像だけを撮影することができる。しかし実際には図17(a)に示すように、撮像素子表面の反射および、光軸に対して点対称の位置にある光学素子の反射によって、画像にゴースト像が含まれてしまう課題が存在していた。
本開示の撮像装置は、上記従来の撮像装置の課題を解決し、ゴースト像の影響を抑制して、被写体の正確な分析値を取得できるようにする。
以下、図面を参照しながら、撮像装置の実施形態を具体的に説明する。
(第1の実施形態)
図1は、本開示の撮像装置の第1の実施形態の構成を示す図である。本実施形態の撮像装置は、V0を光軸とするレンズ光学系Lと、レンズ光学系Lの焦点位置近傍に配置されたマイクロレンズアレイKと、撮像素子Nとを備える。
本実施形態ではレンズ光学系Lは、絞りSと、絞りSを透過した光を撮像素子N上に結像する対物レンズL1とを含む。領域Aは絞りSの近傍で、光軸V0に垂直な面内に配置する。また領域Aの大きさは絞りSと同等であり、形状は例えば円形である。
また、レンズ光学系Lは領域Aに位置する光学素子Fを含む。
図2(a)は領域Aの正面図である。図2に示すように、領域Aは領域A1から領域A6までの6つに分割されている。A1〜A6の領域は、光軸V0に対して点対称に配置されている。
図2(b)は光学素子Fの正面図である。光学素子FはA1〜A6の各領域に対応した形状で分割されている。つまり、光学素子Fは6つの分割光学素子を含む。6つの分割光学素子のうち、少なくとも3つは互いに異なる光学特性を有する。各分割光学素子内では、光学特性はそれぞれほぼ均一である。図1および図2(b)に示すように、光学素子Fのサイズは領域Aよりも大きくてもよい(すなわち、光学素子Fの一部が絞りSに隠れる)。
本実施形態では、光学素子Fは、領域A1〜A6において、互いに異なる透過波長帯域特性を備える。より具体的には、領域A1〜A6に位置する分割光学素子は、すべて透過波長帯域が異なるバンドパスフィルタである。分割光学素子は、偏光フィルタであっても良く、ND(Neutral Density)フィルタであってもよい。つまり、光学特性が異なるとは、透過波長帯域、偏光特性および透過率から選ばれる少なくとも1つが異なることを意味する。
バンドパスフィルタは、例えば光学ガラス基板上に誘電体多層膜を成膜したものを用いることができる。光学特性の異なるバンドパスフィルタは、例えば各領域の形状(本実施形態では扇形)の基板に、異なる構成の誘電体多層膜を成膜して、円形に並べる方法で作製したものであってもよい。いずれの作製方法であっても、各領域の境界付近は所望の光学特性から外れやすいので、領域A1〜A6の境界付近は遮光帯で覆われていてもよい。
絞りSに入射する光線Rは、図2(a)に示すA1〜A6のいずれかの領域(すなわち、光学素子F)を透過して、レンズL1によって収束させられ、マイクロレンズアレイKを通って、撮像素子Nに入射する。
図3は撮像素子Nを正面から見たときの拡大図、およびマイクロレンズアレイKとの位置関係を示す図である。マイクロレンズアレイKは、レンズ面をそれぞれ有する複数の微小光学要素M1を含む。撮像素子Nは複数の画素f1、複数の画素f2、複数の画素f3、複数の画素f4、複数の画素f5および複数の画素f6を有する。図3に示すように、図の垂直方向にはf6とf4とf2、またはf5とf3とf1が周期的に配列されている。また、図の水平方向にはf6とf5、またはf4とf3、またはf2とf1が交互に配列されている。したがって、複数の画素f1〜f6のそれぞれ1個の画素が近接して配置され、画素群N1を構成している。画素群N1は、マイクロレンズアレイKの一つの微小光学要素M1に対応している。
図4は、図1に示したマイクロレンズアレイKおよび撮像素子Nの断面拡大図である。
図4に示すように、各微小光学要素M1において、絞りSに入射する光線Rのうち、領域A2を透過した光線R2の大部分は、複数の画素f2のうちの一つの画素に入射し、領域A4を透過した光線R4の大部分は、複数の画素f4のうちの一つの画素に入射し、領域A6を透過した光線R6の大部分は、複数の画素f6のうちの一つの画素に入射する。同様にして、領域A1、A3、A5を透過した光線の大部分は、それぞれ対応する複数の画素f1、f3、f5のうちの一つの画素にそれぞれ入射する。
撮像素子Nは画素f1〜f6に入射した光を光電変換し、図1に示すように画像信号Qを信号処理部Pに送出する。信号処理部Pは、画像信号Qに基づいて、複数の画素f1による画像Q1、複数の画素f2による画像Q2を生成する。画像Q3〜Q6も同様である。
このようにして、領域A1〜A6を透過した光線による画像をそれぞれ取得することができる。画像Q1〜Q6は、領域A1〜A6の位置の違いによる視差が含まれるが、実質的には同じ被写体を同時に撮影した画像である。ここで「同時に撮影」とは画像Q1〜Q6を構成する光が同時に得られていることを意味している。画像Q1〜Q6の信号処理部Pにおける生成は同時でなくてもよい。
なお、上述の例では、画素f1〜f6が1個ずつ近接して配置された6つの画素が画素群N1を構成する形態を示したが、これに限らない。例えば、画素群N1は6n(nは2以上の整数)個の画素で構成されてもよい。このとき、各微小光学要素M1において、絞りSに入射する光線Rのうち、領域A2を透過した光線R2の大部分は、n個の画素f2に入射し、領域A4を透過した光線R4の大部分は、n個の画素f4に入射し、領域A6を透過した光線R6の大部分は、n個の画素f6に入射する。同様にして、領域A1、A3、A5を透過した光線の大部分は、それぞれ対応するn個の画素f1、f3、f5にそれぞれ入射する。
次に、領域A1〜A6に対して、分割光学素子の配置を対応させる方法について、図5のフローチャートを参照しながら説明する。
6つの分割光学素子をそれぞれFa、Fb、Fc、Fd、Fe、Ffとする。配置工程501において、分割光学素子Fa〜Ffのそれぞれを、図6に示すように撮像装置の領域A1〜A6(図2(a)も参照のこと)に配置する。
撮影工程502では、その撮像装置を用いて、所定の照明条件の下で所定の被写体を撮影し、画像Q1〜Q6を取得する。所定の照明としては、実際にその撮像装置を使用する環境の照明と同じ分光スペクトルを有する照明であることが、より正確に光学素子Fの配置を決定できる点でより好ましい。また所定の照明としてハロゲンランプを用いてもよい。ハロゲンランプは可視光帯域から近赤外帯域にわたって比較的平滑な分光スペクトルを有しているので、これらの帯域を利用する分析が容易にできる利点がある。
また所定の被写体として白色標準板を用いてもよい。白色標準板は、撮影の対象とする波長帯域で反射率がほぼ一定(例えば100%)である、拡散反射板である。白色標準板を用いた場合、実際の分析対象物として分光反射特性が異なる種々の被写体を撮影したときに、ゴースト像の影響を平均として最小化できる利点がある。なお、実際の分析対象物の分光反射率特性がおおよそ同じであるときには、白色標準板に代えてその分析対象物を所定の被写体としてもよい。
算出工程503では、取得した画像Q1〜Q6から所定の被写体の部分を抽出して、その部分の平均輝度を算出する。より正確に平均輝度を算出するには、所定の被写体の部分から、ゴースト像の重なった部分を除外して抽出することが好ましい。あるいは、ゴースト像を発生させないために、取得したい画像に対応する領域以外の領域を遮光して撮影した画像を用いてもよい(例えば画像Q1を取得するときに、領域A2、A3、A4、A5、A6を遮光する)。
工程501〜503までを実施すると、領域A1〜A6と、それらの領域に対応する分割光学素子を透過した光線から得られた、所定の被写体の画像の平均輝度との関係が、表1に示すように得られる。なお、表1の平均輝度の算出値は本実施形態の一例である。
Figure 0006504455
番号付け工程504では、算出した平均輝度の高い順に、各平均輝度に対応する分割光学素子Fa〜Ffの順番を並べ替えて番号を付ける。すなわち、平均輝度の大小関係をs1>s2>s3>s4>s5>s6のように記号化した場合、対応する分割光学素子にF1、F2、・・・、F6のように番号付けする。その結果、分割光学素子Fa〜Ffは、表2に示すようにF1〜F6と番号付けできる。
Figure 0006504455
再配置工程505では、少なくとも、分割光学素子F1(すなわち、平均輝度が最大となる分割光学素子)と、分割光学素子F6(すなわち、平均輝度が最小となる光学素子)が光軸V0に対して点対称以外の位置となるように、分割光学素子F1〜F6を図2に示す領域A1〜A6に再配置する。分割光学素子F1〜F6を再配置した例を図7に示す。分割光学素子F1〜F6が再配列された領域A1〜A6をそれぞれ、分割光学素子F1〜F6の光学特性を備えた光学領域AF1〜AF6と呼ぶ。光学領域AF1〜AF6を透過した光線が入射する複数の画素をそれぞれf1〜f6とすれば、領域A1〜A6に再配置した分割光学素子と、光学領域AF1〜AF6と、対応する複数の画素と、記号化した平均輝度との関係は表3に示すようになる。この場合、画素f1〜f6は、図3に示す各画素群の、画素f1、f6、f4、f3、f2、f5に対応する。
Figure 0006504455
以上述べたように本実施形態に係る撮像装置の構成は、複数の分割光学素子を光軸に対して点対称に配置し、所定の照明条件の下で所定の被写体を撮影したときに平均輝度が最大となる画像が得られる画素に入射する光学領域と、平均輝度が最小となる画像が得られる画素に入射する光学領域とを光軸に対して点対称以外の位置に配置することを特徴とする。図7はそのような分割光学素子および光学領域の配置の一例である。
次に、上記のような分割光学素子の再配置によって、ゴースト像の影響をどれだけ低減できるのかを、計算を用いて述べる。
従来の比較例として、図8に示すような分割光学素子の配置(すなわち、本実施形態における再配置前の分割光学素子の配置)を与える。この比較例は、所定の照明条件の下で所定の被写体を撮影したときに平均輝度が最大となる分割光学素子F1と、平均輝度が最小となる分割光学素子F6とが点対称の位置に配置されている。
今、ある分割光学素子FαおよびFβ(αおよびβは1以上で領域数以下の整数)が光軸に対して点対称の位置に配置されているとして、これらの光学素子の相互によるゴースト像の混入を考え、ゴースト像の混入率を(ゴースト像の平均輝度÷正規像の平均輝度)で定義する。分割光学素子Fαを透過して撮像素子Nに入射する光の光量をPα、分割光学素子Fβを透過して撮像素子Nに入射する光の光量をPβ、分割光学素子Fαを透過した光に対する撮像素子Nの感度をRα、光学素子Fβを透過した光に対する撮像素子Nの感度をRβとすると、分割光学素子Fαに対応する画像のゴースト像の混入率Mx(Fα,Fβ)は次のように表される。
Figure 0006504455

ここでCはゴースト像の発生率(すなわち撮像素子表面の反射率×光学素子の反射率)である。
分割光学素子Fαに対応する画像の正規像の平均輝度をsα、分割光学素子Fβに対応する画像の正規像の平均輝度をsβとすると、画像の輝度は光量と感度との積で表されるので、数1のMx(Fα,Fβ)は下式のように表せる。
Figure 0006504455

同様にして、分割光学素子Fβに対応する画像のゴースト像の混入率Mx(Fβ,Fα)は次のように表される。
Figure 0006504455
ゴースト像の発生率を仮にC=0.2とおいて、本実施形態の分割光学素子の配置(すなわち図7の配置)でゴースト像の混入率を計算した結果を、表4に示す。
Figure 0006504455
すべての分割光学素子からの画像が被写体の分析に均等に用いられるとすると、ゴースト像が被写体の分析値の精度に与える影響は、分割光学素子に対応するゴースト像の混入率Mx(Fβ,Fα)をすべての光学素子について2乗和した値で見積もることができる。その2乗和の値を計算すると0.30となった。
一方、従来の比較例について同様の計算をした結果を表5に示す。
Figure 0006504455
比較例では2乗和は1.40となり、本実施形態の混入率の2乗和と比べて4.7倍大きかった。ゆえに本実施形態で述べた分割光学素子および光学領域の配置では、従来よりもゴースト像の混入の影響を低減でき、その結果として被写体の分析値の精度を向上させることが可能であると言える。
本実施形態のポイントは、平均輝度が最大となる画像に対応する分割光学素子および光学領域と、平均輝度が最小となる分割光学素子および光学領域とを光軸に対して点対称以外の位置に配置することである。
このような配置が好ましい理由を定性的に説明すると、平均輝度が最低の正規像に平均輝度が最高のゴースト像が混入すると混入率が最も大きくなり、その画像から被写体の特性を分析するときの分析誤差も大きくなるからである。一方、平均輝度が高い正規像に、比較的平均輝度が高いゴースト像が混入しても混入率は高くならないので、その画像から被写体の特性を分析するときの誤差は許容範囲に収まる可能性が高い。
また、本実施形態の特徴をより一般化すると、平均輝度の差が大きい画像が得られる画素に入射する2つの光学領域(2種類の分割光学素子)を光軸V0に対して点対称以外の位置に配置させる、といえる。このことを別の観点から見れば、平均輝度が近い画像が得られる画素に入射する2つの光学領域(2種類の分割光学素子)を光軸V0に対して点対称の位置に配置させる、ともいえる。なぜなら、平均輝度の差が大きい画像に対応する2つの光学領域(2種類の分割光学素子)を光軸V0に対して点対称以外の位置に配置すると、平均輝度が近い画像に対応する2つの光学領域(分割光学素子)は、結果として光軸V0に対して点対称の位置に配置することになるからである。
したがって、本実施形態のように領域が6つある場合、光軸V0に対して点対称である分割光学素子F1〜F6および光学領域AF1〜AF6の配置の形態は以下のような配置となる。図7に示した配置はこれらのすべてを満たしている。
(1) F1とF6(AF1とAF6)とを光軸V0に対して点対称以外の位置とする。
(2) より好ましくは、F1とF2(AF1とAF2)とを光軸V0に対して点対称の位置とする。
(3) より好ましくは、F5とF6(AF5とAF6)とを光軸V0に対して点対称の位置とする。
本実施形態におけるさらに好ましい形態は、分割光学素子F1とF6(つまり、光学領域AF1とAF6)とを隣接しない位置に配置することである。その理由は、ある領域を透過した光の一部は、隣接する領域に対応する複数の画素にクロストーク成分として入射するからである。もし分割光学素子F1とF6が隣接していると、F6に対応する複数の画素f6にF1を透過した光の一部が入射する。F6に対応する画像は平均輝度が最低であり、F1に対応する画像は平均輝度が最高なので、f6に対応する画像に対するクロストークの影響が最大となり、被写体の分析値の精度が低下する。ゆえに、分割光学素子F1とF6とを隣接しない位置に配置するのが好ましい。なお、図7に示した分割光学素子の配置では、F1とF6は隣接しない位置にある。
以上述べたように、本開示の実施形態によれば、平均輝度が最大となる画像に対応する分割光学素子と、平均輝度が最小となる画像に対応する分割光学素子とを光軸V0に対して点対称以外の位置に配置する。この構成により、ゴースト像の影響を抑制して被写体の正確な分析値を取得することが可能となる。
(第2の実施形態)
上述の第1の実施形態では領域の面積がすべて等しい場合の分割光学素子の配置について述べたが、領域によって面積が異なることもあり得る。例えば図9に示す領域Aは、A3、A4と、A1、A2、A5、A6とで面積が異なる。分割された領域ごとに面積が異なると、同じ分割光学素子でもどこに配置するかによって、対応する画像の平均輝度が異なることになる。このような場合に分割光学素子の配置を決定する方法について、図10のフローチャートを用いて説明する。
第1の実施形態と同様に、6つの分割光学素子をそれぞれFa、Fb、Fc、Fd、Fe、Ffとする。配置工程1101において、分割光学素子Fa〜Ffのそれぞれを、図11に示すように撮像装置の領域Aに配置する。
撮影工程1102では、その撮像装置を用いて、所定の照明条件の下で所定の被写体を撮影し、画像Q1〜Q6を取得する。算出工程1103では、取得した画像Q1〜Q6から所定の被写体の部分を抽出して、その部分の平均輝度を算出する。番号付け工程1104では、算出した平均輝度の高い順に、各平均輝度に対応する分割光学素子Fa〜Ffの順番を並べ替えて番号を付ける。ここまでは、第1の実施形態と同様の工程である。
判定工程1105では、分割光学素子F1とF6とが光軸V0に対して点対称の位置に配置されているかどうかを判定する。もし点対称の位置であれば、再配置工程1106により、分割光学素子Fa〜Ffを先と異なる配列で、領域A1〜A6に再配置する。その後、撮影工程1102から判定工程1105までを繰り返す。分割光学素子F1と分割光学素子F6が点対称以外の位置に配置されれば終了である。
なお、上述の実施形態では領域が6つあるものとしたが、平均輝度が最大の画像に対応する分割光学素子と平均輝度が最小の画像に対応する分割光学素子を点対称以外の位置に配置できる領域数であれば、6つ以外でもかまわない。ただ、上記のようにクロストーク成分の影響を避けるために、平均輝度が最大の画像に対応する分割光学素子と平均輝度が最小の画像に対応する分割光学素子を光軸V0に対して点対称以外かつ隣接以外の位置に配置するのであれば、領域の数は6以上とするのがより好ましい。領域が6以上である別の実施形態として、図12(a)に領域数が8のときの分割光学素子および光学領域の配置の例を示す。また図12(b)および(c)に、領域数が9のときの分割光学素子および光学領域の配置の例を示した。
領域がn個で、分割光学素子をF1、F2、・・・、Fnと平均輝度の順に番号付けした場合の、分割光学素子の配置を一般化して表現すると、以下のようになる。
(1) F1とFn(AF1とAFn)とを光軸V0に対して点対称以外の位置とする。
(2) より好ましくは、F1とF2(AF1とAF2)とを光軸V0に対して点対称の位置とする。
(3) より好ましくは、Fn-1とFn(AFn-1とAFn)とを光軸V0に対して点対称の位置とする。
また、領域の数は5つでもよい。この場合は分割光学素子F1と分割光学素子Fnは光軸V0に対して点対称以外かつ隣接以外の位置に配置することはできないので、図13(b)に示すように点対称以外の位置に配置することを優先する。ここで、各光学素子を透過した光に対する撮像素子の感度のうち、少なくとも2つが異なるものであってもよい。または、図13(b)に示すように、各領域の面積のうち、少なくとも2つが異なるものであってもよい。例えば図13(b)では、F3に対応する領域の面積は他と異なる。いずれであっても、ゴースト像の影響を抑制して被写体の正確な分析値を取得するという効果を得ることができる。また、図13(a)に示すように、領域の数が4つであり、かつ各領域の面積のうち、少なくとも2つが異なるものであってもよい。例えば図13(a)では、F3に対応する領域の面積は他と異なる。さらに、各光学素子を透過した光に対する撮像素子の感度のうち、少なくとも2つが異なるものであってもよい。この場合であっても、ゴースト像の影響を抑制して被写体の正確な分析値を取得するという効果を得ることができる。
また、上述の第1の実施形態では6つの光学領域に対応する画像の平均輝度がそれぞれ異なっていたが、平均輝度は少なくとも3種類あれば、平均輝度が最大の画像が得られる画素に入射する光学領域(分割光学素子)と平均輝度が最小の画像が得られる画素に入射する2つの光学領域(分割光学素子)を点対称以外の位置に配置することは可能である。これにより、ゴースト像の影響を抑制して被写体の正確な分析値を取得するという効果を得ることができる。
なお上述の実施形態では、所定の照明条件下で所定の被写体を撮影したときの画像の平均輝度s1、s2、・・・、s6に基づいて分割光学素子F1〜F6の配置を決定する方法
を述べたが、画像の平均輝度を推定できる別の方法を用いてもよい。例えば、所定の照明条件下における分割光学素子の透過率をT、分割光学素子に対応する領域の面積をD、分割光学素子を透過した光に対する撮像素子の感度をRとすると、画像の平均輝度はT×D×Rに比例すると考えられる。したがって、照明の分光特性、分割光学素子の透過特性、領域の面積、撮像素子の分光感度特性が既知であれば、実際に画像の平均輝度を測定しなくても各分割光学素子の配置を決定することができる。
さらに、すべての分割光学素子の分光透過率特性が同じプロファイルを有する(透過率の絶対値は異なっていてもよい)ときには、照明の分光特性および撮像素子の分光感度特性を考慮する必要がなくなる。この場合には、分割光学素子の透過特性と領域の面積が既知であれば、実際に画像の平均輝度を測定しなくても各分割光学素子の配置を決定することができる。
加えて、すべての領域の面積が等しい場合には、分割光学素子の透過特性だけが既知であれば、実際に画像の平均輝度を測定しなくても各分割光学素子の配置を決定することができる。
また、図1に示す実施形態では、各光学素子に対応する画像Q1〜Q6を得る構成を説明したが、さらに被写体の画像Q1〜Q6に基づいて被写体の分析値を得る算出部を備える分析装置であってもよい。この分析装置は、例えば、被写体の画像の輝度と被写体の分析値との関係を記憶したメモリをさらに備えていてもよい。算出部は、メモリに記憶された上記関係を参照して、複数の画素から得られた被写体の画像の輝度を用いて、被写体の分析値を得てもよい。分析値は、例えば、被写体に含まれる成分の量であってもよい。
また、図3に示す実施形態では、N1に含まれる画素の数(すなわち一つの微小光学要素M1に対応する画素の数)と領域の数とを等しいものとしたが、N1に含まれる画素の数を多くしてもよい。
また、本実施形態におけるバンドパスフィルタの透過帯域波長の中心はいずれも700nm以上かつ1100nm以下とするものであってもよい。一般的な撮像素子は、この波長帯域で感度が大きく変化するので、各分割光学素子(すなわちバンドパスフィルタ)に対応する画像の平均輝度の差が大きくなる傾向がある。したがって、上述の分割光学素子の配置を適用することで、ゴースト像の影響を抑制して被写体の正確な分析値を取得するという、特に大きな効果を得ることができる。
また、上記の実施形態および実施例で用いた撮像装置および分析装置の構成は上述のものに限るわけではなく、種々の変更が可能である。
本願に開示された撮像装置はデジタルスチルカメラ、ビデオカメラ、車載カメラ、セキュリティカメラ等の撮像装置として有用である。また、本開示の分析装置は、医療用、美容用、食品用、化学用等の分析に応用できる。
L レンズ光学系
A 領域
S 絞り
1 レンズ
F 光学素子
0 光軸
R 光線
K マイクロレンズアレイ
N 撮像素子
Q 画像信号
P 信号処理部
1、Q2、Q3、Q4、Q5、Q6 画像
1、A2、A3、A4、A5、A6 (分割された)領域
1 微小光学要素
1、f2、f3、f4、f5、f6 (A1〜A6に対応する)複数の画素
1 (一つの微小光学要素に対応する)画素群
2、R4、R6 (A2、A4、A6を透過した)光線
a、Fb、Fc、Fd、Fe、Ff (分割された)光学素子
1、F2、F3、F4、F5、F6、F7、F8、F9 (番号付けした)光学素子
Fλ1、Fλ2 バンドパスフィルタ
Rλ1 (波長λ1の)光線
X 光線の通過点
X’、Y 光線の反射点
Y’ 光線の入射点

Claims (16)

  1. レンズ、
    絞り、および
    第1から第nの分割光学素子(nは5以上の整数)を含み、かつ第1から第nの光学領域を有する光学素子を含むレンズ光学系と、
    前記第1から第nの光学領域を透過した光が入射し、第1から第nの複数の画素を含む撮像素子と、
    前記レンズ光学系と前記撮像素子との間に配置され、前記第1から第nの光学領域を透過した前記光を前記第1から第nの複数の画素にそれぞれ入射させるマイクロレンズアレイとを備え、
    前記第1から第nの光学領域は、前記第1から第nの分割光学素子のそれぞれに規定され、
    前記第1から第nの光学領域は、光軸と垂直な面内において前記光軸に対して点対称に位置しており、
    前記レンズ光学系、前記撮像素子、および前記マイクロレンズアレイを用いて、所定の照明条件下で所定の被写体を撮影したときに前記第1から第nの複数の画素から得られる画像の平均輝度をそれぞれs1、s2、・・・、snとした場合、
    1、s2、・・・、snのうち少なくとも3つは互いに異なる値であり、かつ
    1≦i≦n−1なるすべてのiに対して、si≧si+1の関係を満たし、
    前記第1の光学領域と前記第nの光学領域とは、前記光軸に対して互いに点対称以外の位置にある、撮像装置。
  2. レンズ、
    絞り、および
    第1から第nの分割光学素子(nは5以上の整数)を含み、かつ第1から第nの光学領域を有する光学素子を含むレンズ光学系と、
    前記第1から第nの光学領域を透過した光が入射し、第1から第nの複数の画素を含む撮像素子と、
    前記レンズ光学系と前記撮像素子との間に配置され、前記第1から第nの光学領域を透過した前記光を前記第1から第nの複数の画素にそれぞれ入射させるマイクロレンズアレイとを備え、
    前記第1から第nの光学領域は、前記第1から第nの分割光学素子のそれぞれに規定され、
    前記第1から第nの光学領域は、光軸と垂直な面内において前記光軸に対して点対称に位置しており、
    前記第1から第nの光学領域の面積をそれぞれD1、D2、・・・、Dnとし、
    所定の照明条件下における、前記第1から第nの光学領域の透過率を、それぞれT1、T2、・・・、Tnとし、
    前記第1から第nの光学領域を透過した光がそれぞれ前記第1から第nの複数の画素に入射したときの、各画素における感度を、それぞれR1、R2、・・・、Rnとし、
    m=Dm×Tm×Rm(m=1〜n)とすると、
    1、B2、・・・、Bnのうち少なくとも3つは互いに異なる値であり、かつ
    1≦i≦n−1なるすべてのiに対して、Bi≧Bi+1の関係を満たし、
    前記第1の光学領域と前記第nの光学領域とは、前記光軸に対して互いに点対称以外の位置にある、撮像装置。
  3. 前記第1から第nの光学領域の面積のうち少なくとも2つの面積は互いに異なる、請求項1に記載の撮像装置。
  4. 前記第1から第nの光学領域の面積のうち少なくとも2つの面積は互いに異なる、請求項2に記載の撮像装置。
  5. 前記第1から第nの光学領域を透過した光が前記第1から第nの複数の画素に入射したときの、各画素における感度Rnのうち少なくとも2つは互いに異なる、請求項3に記載の撮像装置。
  6. 1、R2、・・・、Rnのうち少なくとも2つは互いに異なる、請求項4に記載の撮像装置。
  7. 前記所定の被写体は、白色標準板である、請求項1に記載の撮像装置。
  8. 前記第n−1の光学領域と前記第nの光学領域とは、前記光軸に対して、互いに点対称の位置にある、請求項1または2に記載の撮像装置。
  9. 前記第1の光学領域と前記第2の光学領域とは、前記光軸に対して、互いに点対称の位置にある、請求項1または2に記載の撮像装置。
  10. 前記第1の光学領域と前記第nの光学領域とは、互いに隣接しない位置にある、請求項1または2に記載の撮像装置。
  11. 前記所定の照明条件は、ハロゲンランプを照射した条件である、請求項1または2に記載の撮像装置。
  12. 前記第1から第nの分割光学素子のうち少なくとも1つはバンドパスフィルタである、請求項1または2に記載の撮像装置。
  13. 前記バンドパスフィルタの透過波長帯域の中心は700nm以上かつ1100nm以下である、請求項12に記載の撮像装置。
  14. 前記第1から第nの分割光学素子のうち少なくとも1つは偏光フィルタである、請求項1または2に記載の撮像装置。
  15. 前記第1から第nの分割光学素子のうち少なくとも1つは、NDフィルタである、請求項1または2に記載の撮像装置。
  16. 請求項1または2のいずれかに記載の撮像装置と、
    前記第1から第nの複数の画素から得られる被写体の画像に基づいて、前記被写体の分析値を得る算出部とを備える分析装置。
JP2015148576A 2014-08-01 2015-07-28 撮像装置および分析装置 Active JP6504455B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015148576A JP6504455B2 (ja) 2014-08-01 2015-07-28 撮像装置および分析装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014157621 2014-08-01
JP2014157621 2014-08-01
JP2015148576A JP6504455B2 (ja) 2014-08-01 2015-07-28 撮像装置および分析装置

Publications (2)

Publication Number Publication Date
JP2016036024A JP2016036024A (ja) 2016-03-17
JP6504455B2 true JP6504455B2 (ja) 2019-04-24

Family

ID=55181371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015148576A Active JP6504455B2 (ja) 2014-08-01 2015-07-28 撮像装置および分析装置

Country Status (2)

Country Link
US (1) US9661193B2 (ja)
JP (1) JP6504455B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10232711B2 (en) 2016-06-03 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Spatiotemporal displays for set speed deviation of a vehicle
CN108932847B (zh) * 2017-05-23 2020-08-28 杭州海康威视数字技术股份有限公司 一种采集信号灯图像的方法及装置
JPWO2020085149A1 (ja) * 2018-10-22 2021-09-16 富士フイルム株式会社 撮像装置及び撮像方法
JP7135109B2 (ja) * 2018-11-26 2022-09-12 富士フイルム株式会社 撮像装置及び撮像方法
JP7135108B2 (ja) * 2018-11-26 2022-09-12 富士フイルム株式会社 撮像装置及び撮像方法
CN109788277B (zh) * 2019-01-08 2020-08-04 浙江大华技术股份有限公司 防抖机芯的光轴偏差的补偿方法、装置和存储介质
WO2021153473A1 (ja) 2020-01-31 2021-08-05 富士フイルム株式会社 レンズ装置、撮像装置、光学部材、撮像方法、及び撮像プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171430A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
JP5507362B2 (ja) * 2010-06-30 2014-05-28 パナソニック株式会社 3次元撮像装置および光透過板
EP2642260A4 (en) * 2010-11-16 2015-12-09 Nikon Corp MULTIBAND CAMERA AND MULTIBAND IMAGING PROCESS
US9250131B2 (en) * 2011-01-17 2016-02-02 Ricoh Co., Ltd. Multi-imaging system with interleaved images
US8949078B2 (en) * 2011-03-04 2015-02-03 Ricoh Co., Ltd. Filter modules for aperture-coded, multiplexed imaging systems
US8717483B2 (en) 2011-04-22 2014-05-06 Panasonic Corporation Imaging device, imaging system, and imaging method
EP2536153B1 (en) 2011-04-22 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Image capture device, image capture system, and image capture method
US9270948B2 (en) * 2011-04-27 2016-02-23 Panasonic Intellectual Property Management Co., Ltd. Image pick-up device, method, and system utilizing a lens having plural regions each with different focal characteristics
JP2013038164A (ja) * 2011-08-05 2013-02-21 Sony Corp 固体撮像装置、電子機器
CN103460024B (zh) 2012-02-03 2017-09-22 松下知识产权经营株式会社 摄像装置和摄像系统
JP6021462B2 (ja) * 2012-06-21 2016-11-09 オリンパス株式会社 撮像モジュールおよび撮像装置
JP6286678B2 (ja) * 2013-07-12 2018-03-07 パナソニックIpマネジメント株式会社 撮像装置
US20160037089A1 (en) * 2014-07-30 2016-02-04 Raytheon Company Multi-band thermal imaging sensor with integrated filter array

Also Published As

Publication number Publication date
JP2016036024A (ja) 2016-03-17
US9661193B2 (en) 2017-05-23
US20160037021A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
JP6504455B2 (ja) 撮像装置および分析装置
US10371929B2 (en) Autofocus imaging
JP6260006B2 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
US8908026B2 (en) Imaging method and microscope device
US9041930B1 (en) Digital pathology system
JP5806504B2 (ja) 撮像装置およびこれを備える顕微鏡システム
US9531963B2 (en) Image capturing device and image capturing system
JP5406383B2 (ja) 撮像装置
JP5548310B2 (ja) 撮像装置、撮像装置を備える撮像システム、及び撮像方法
KR101374509B1 (ko) 기판 검사 장치, 기판 검사 방법 및 이 기판 검사 장치의 조정 방법
JP7380777B2 (ja) 制御装置、制御方法、コンピュータプログラム及び電子機器
WO2020168140A1 (en) Method of measuring misregistration in the manufacture of topographic semiconductor device wafers
JP2008249909A (ja) 撮像装置及び光学系
WO2018143340A1 (ja) 分光カメラ、撮像方法、プログラム及び記録媒体
JP2019032298A (ja) 迅速な複合材製造の高速度低ノイズインプロセスハイパースペクトル非破壊評価のためのシステム及び方法
JP2008139062A (ja) 分光測定装置よび分光測定方法
WO2016111175A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US9360605B2 (en) System and method for spatial and spectral imaging
JP2006184065A (ja) 物体検出装置
JP5761762B2 (ja) 分光反射率測定装置、及び分光反射率測定方法
JP6432138B2 (ja) 測定装置、色情報取得装置及び製造方法
JP7112223B2 (ja) 光学装置
JP2019066186A (ja) 撮像装置及び撮像装置の距離算出方法
JP2011095512A (ja) 共焦点顕微鏡
JP6153424B2 (ja) 焦点検出装置および撮像装置並びに焦点検出方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190314

R151 Written notification of patent or utility model registration

Ref document number: 6504455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151