JP6083833B2 - 画像解像度が向上した赤外線検出器 - Google Patents

画像解像度が向上した赤外線検出器 Download PDF

Info

Publication number
JP6083833B2
JP6083833B2 JP2015512193A JP2015512193A JP6083833B2 JP 6083833 B2 JP6083833 B2 JP 6083833B2 JP 2015512193 A JP2015512193 A JP 2015512193A JP 2015512193 A JP2015512193 A JP 2015512193A JP 6083833 B2 JP6083833 B2 JP 6083833B2
Authority
JP
Japan
Prior art keywords
image
detector
detector array
pixel
masking filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015512193A
Other languages
English (en)
Other versions
JP2015519567A (ja
JP2015519567A5 (ja
Inventor
ナチューム,アビシェイ
ビンダー,シャロム
フレイマン,ドブ
Original Assignee
エルビット システムズ エレクトロ−オプティクス エロップ リミテッド
エルビット システムズ エレクトロ−オプティクス エロップ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エルビット システムズ エレクトロ−オプティクス エロップ リミテッド, エルビット システムズ エレクトロ−オプティクス エロップ リミテッド filed Critical エルビット システムズ エレクトロ−オプティクス エロップ リミテッド
Publication of JP2015519567A publication Critical patent/JP2015519567A/ja
Publication of JP2015519567A5 publication Critical patent/JP2015519567A5/ja
Application granted granted Critical
Publication of JP6083833B2 publication Critical patent/JP6083833B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/06Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/061Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling the temperature of the apparatus or parts thereof, e.g. using cooling means or thermostats
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/0831Masks; Aperture plates; Spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、一般に、2次元センサアレイを有する赤外線画像検出器、及び画像解像度の向上に関する。
赤外線(IR)画像検出器は、撮像されたシーンから、電磁波スペクトルの赤外線部分における放射線を検出することによって画像を形成する。最初にIR放射線を用いて対象物に光を当て、その光の反射を捕らえる能動型IR検出器とは対照的に、受動型赤外線検出器は、放射源によって放たれた赤外放射線、特に、遠赤外領域における熱エネルギーを測定することによって作動する。2次元マトリクスアレイを有する検出器に元来備わっている空間分解能は、アレイにおけるピクセルのサイズと数との関数(ピクセル密度)である。例えば相補型金属酸化膜半導体(CMOS)を基盤としたセンサ又は電荷結合素子(CCD)を基盤としたセンサのような多くのタイプの画像センサの場合、一定の空間により多くのピクセルを追加すること及び/又はアレイにおけるピクセルサイズを小さくすることによって解像度を高くすることは非常に容易である。しかし、IRセンサにとって、そのような方法は極めて困難かつ費用がかかるものである。更に、IR検出器は、(特に受動型IR検出器の場合)非常に弱い光を受光する傾向にあり、通常、IR波長域内での有効な画像化を可能にするために検出器によって受け取られる放射線量を増やすための操作や処理を必要とする。
「2次元画像検出器」と題されたヒロセ氏の英国特許第2270230号は、再分割された領域が各ピクセルによって画像化されるように、センサアレイのピクセルを遮蔽(マスキング)することを開示する。マスクは、センサアレイの表面の反対側に提供され、アレイピクセルよりも小さいエリアを有する窓を含む。マスクシフタは、ピクセル間のピッチよりも小さいピッチで窓の位置を変更する。マスクの窓を通過し、センサアレイの各ピクセルへ入る光は、マスクの位置が変わると所望の数の再分割区分に分割され、その結果ピクセルサイズに対する画像の空間解像度が向上する。マスクは、例えば液晶のような偏光性を有する物質の電子工学的処理によって又は金属製マスクによって実現されてよい。
「電気画像センサアレイに関する解像度の向上」と題されたパーソン氏の欧州特許第1198119号は、センサアレイと画像との間に部分的遮蔽マスク/光源を導入することを開示する。解像度の向上は、マスク/光源とアレイとを置き換えることと、個々のアレイセンサの電荷における様々な変化から向上した解像度に関するグレースケール値を計算することとによって得られる。
「画像化システム及び方法」と題されたボーヌ氏の国際公開第98/46007号は、感光性検知素子の2次元アレイを有する電荷結合素子の解像度を向上させることに関する。各検知素子の個々のエリアは、各検出器について正方形(n×n)の開口部のアレイを考慮するように、かつ開口部が、解像度の階層的な向上を可能にする組込型のセットとして配置されうるように選択された、開口部を備えた不透明なマスクによって順に遮蔽される。
「低解像度の2次元センサアレイを用いた複数のスキャニングによる解像度の向上」と題されたウー氏らの米国特許第6005682号は、低解像度2次元カメラを用いた高解像度の画像化に関し、このカメラのセンサは選択されたピクセルエリアの一部のみである。センサは、各センサの位置で画像を取得するために光学的又は機械的ステッパを用いて画像間でステップされる。複数の画像が個々のセンサから取得され、それらはセンサアレイのピクセルのエリアよりも大幅に狭い検知エリアを有する。照射されたサンプルとセンサエリアとの間に配置された可動式ミラー又はレンズによって再スキャニングが達成される。
「画像解像度を向上させるための装置」と題されたデュマス氏の米国特許第5712685号は、マイクロスキャニング法を用いて焦点面アレイ(FPA)画像センサの解像度を向上させることに関する。碁盤の目状に配された透明なエリアと不透明なエリアとを有するマスクが、FPAの前方及び隣に位置付けられ、FPAにおいてシーンの画像が光学的に焦点に合わせられる。マスク及びFPAは、FPAグリッドの列/行と同じ方向へ展開する複数のマイクロステップにおいて互いに置き換えられる。それらのマイクロステップは等しい長さであり、それぞれ検知素子の長さの分数である。マスクの不透明なエリアは、一方向への各マイクロステップ移動に関する個々のステップにおいて検知要素の等しいエリアを漸進的に遮蔽し、同時に、マスクの透明なエリアは、個々のステップの各々について他の検知素子の等しいエリアを漸進的に露わにする。検知素子からの出力は、各マイクロステップについてシーンのサンプルスライスに関する信号を提供し、信号から、シーンの画像が再構成される。
本開示技術の一態様に従って、低温冷却真空気密型赤外線画像検出器の解像度を向上させるための装置が提供される。この装置は、マトリクス状に配列された感光性ピクセルの2次元検出器アレイ、マスキングフィルタ、光学要素、シフト手段、及びプロセッサを含む。シーンの複数の画像サンプルを取得するために、検出器アレイは1−15μmの波長域において作動し、逐次的に画像シーンに晒される。マスキングフィルタは、画像シーンと検出器アレイとの間に配置され、検出器アレイに対して一定の位置に維持される。マスキングフィルタは、画像シーンの各ピクセルエリアの一部のみが、検出器アレイの対応する遮蔽されたピクセルにおいて画像化されるように、画像サンプルの各々について曲線因子減少量によって1−15μmの波長域におけるピクセルのアクティブ領域の一部遮蔽する。光学素子は、画像シーンとマスキングフィルタとの間に配置され、マスキングフィルタを通して検出器アレイに入射放射線を向ける。シフト手段は、画像サンプルの各々における様々なサブピクセル領域の画像化を提供するために、曲線因子減少量に対応するシフトインクリメントによって、各画像サンプル間の検出器アレイ及びマスキングフィルタに対する画像シーンの光路を逐次的にシフトする。プロセッサは、取得された画像サンプルから画像フレームを再構成し、再構成された画像フレームは、曲線因子減少量によって定義された因子によって、検出器に元来備わっている解像度よりも高い解像度を有する。マスキングフィルタは、検出器アレイ上に付加された被覆物であってよい。マスキングフィルタは、アレイのピクセルの感光性領域が、ピクセルの元来可能な最大感光性領域よりも小さくなるように検出器アレイを設定することを含んでよい。シフト手段は、マスキングフィルタ及び検出器アレイに対する光学素子の位置を変えることによって、マスキングフィルタに対する画像シーンの光路をシフトしてよい。あるいはシフト手段は、光学素子に対するマスキングフィルタ及び検出器アレイの位置を連動させて変えることによって、マスキングフィルタ及び検出器アレイに対する画像シーンの光路をシフトしてもよい。検出器の選択された感度を提供するために、検出器の光学素子のf値は、曲線因子減少量に対応する因子に従って選択されてよい。検出器の選択された感度は、曲線因子減少をされない検出器の感度に対応してよい。検出器は、熱画像検出器であってよい。
本開示技術の別の態様に従って、1−15μmの波長域において作動する、マトリクス状に配列された感光性ピクセルの2次元検出器アレイを含む低温冷却真空気密型赤外線画像検出器の解像度を向上させるための方法が提供される。この方法は、シーンの複数の画像サンプルを取得するために、検出器アレイを逐次的に画像シーンに晒す手順と、画像シーンの各ピクセルエリアの一部のみが、検出器アレイの対応する遮蔽されたピクセルにおいて画像化されるように、極低温保管デュワー内に存在する、検出器アレイに対して一定の位置に維持されたマスキングフィルタを介して、画像サンプルの各々について、曲線因子減少量によって1−15μmの波長域におけるピクセルのアクティブ領域の一部を遮蔽する手順とを含む。この方法は更に、画像サンプルの各々における様々なサブピクセル領域の画像化を提供するために、曲線因子減少量に対応するシフトインクリメントによって、各画像サンプル間の検出器アレイ及びマスキングフィルタに対する画像シーンの光路を逐次的にシフトする手順を含む。この方法は更に、取得された画像サンプルから画像フレームを再構成する手順を含み、再構成された画像フレームは、曲線因子減少量によって定められた因子によって、検出器に元来備わっている解像度よりも高い解像度を有する。この方法は更に、検出器の選択された感度を提供するために、曲線因子減少量に従って検出器の光学素子のf値を選択する手順を含むことができる。検出器の選択された感度は、曲線因子減少をされない検出器の感度に対応してよい。
本開示技術は、図面に関連して示される以下の詳細な説明によって更に十分に理解されるであろう。
本開示技術の実施形態に従って構成され作動する、赤外線画像検出器の解像度を向上させるための装置の概略的な斜視図である。 図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの初期セットの概略的な斜視図である。 図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの後続セットの概略的な斜視図である。 図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの別の後続セットの概略的な斜視図である。 図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの最後のセットの概略的な斜視図である。 画像検出器の通常の画像フレームと比較した、図2A、2B、2C及び2Dの画像サブフレームから形成される再構成された画像フレームの概略図である。 本開示技術に従って、様々な曲線因子減少量に関する空間周波数の関数として変調伝達関数(MTF)を示すグラフの概略図である。
本開示技術は、検出器アレイの全体サイズ又はピクセル密度を増加させずに、赤外線(IR)画像検出器に元来備わっている解像度を向上させるための方法及び装置を提供することによって、従来技術の欠点を克服する。それどころか、IR検出器の実際の空間分解能は、検出器アレイの個々のピクセルにおけるアクティブ領域を狭めることによって(すなわち、「曲線因子」を小さくすることによって)増大される。同じ画像シーンの複数の画像サンプルが取得され、画像シーンの各ピクセルの一部のみが、検出器アレイの対応するピクセルにおいて画像化される。画像シーンは、画像サンプルの各々における様々な設定のサブピクセル領域の画像化を提供するために、検出器アレイに対して逐次的にシフトされる。その結果、より高い解像度の画像フレームが、個々の画像サンプルから再構成される。
ここで、一般に100で示される、本開示技術の実施形態に従って構成され作動する、赤外線画像検出器の解像度を向上させるための装置の概略的な斜視図である図1を参照する。装置100は、IR検出器アレイ110と、マスキングフィルタ130及び光学要素140からなる曲線因子減少手段120とを含む。マスキングフィルタ130及び光学要素140は、検出器アレイ110と、検出器によって画像化されるシーン150との間に配置される。検出器アレイ110は、行と列の形で配列された感光性ピクセルの格子状すなわちマトリクス状のパターン(例えばアレイ幅に沿って320ピクセルを含み、アレイ高さに沿って240ピクセルを含む、320×240のアレイ)からなる。アレイ110におけるピクセルは、任意の適切なサイズ又はエリアであってよく、個々のピクセルサイズは一般に、そのアレイの全てのピクセルにわたり実質的に一定である。曲線因子減少手段120は、画像シーンのピクセルの一部のみが、対応する検出器アレイのピクセルにおいて画像化されるように、ピクセルの感光性領域の一部が画像シーンからの放射線を受けることを遮蔽すなわち遮断することによって、検出器アレイ110のピクセルのアクティブ(すなわち感光性)領域を選択的に狭めるように作用する。ピクセルのアクティブ領域及び遮蔽領域はその後、そのシーンの後続の画像サンプルの間に徐々にシフトされる。具体的には、光学要素140は、画像シーン150の画像領域152をマスキングフィルタ130に投影し、次に、画像領域152の一部が検出器アレイの対応するピクセル111に到達することを阻止し、画像領域152のその他の部分154のみをピクセル111に到達させる。その結果、ピクセル111は、アレイピクセル111の全体面積(すなわち、元来の感光性エリア)よりも小さい画像化された領域114を含む。マスキングフィルタ130は遮蔽領域132及び非遮蔽領域134を含み、それによって、(光学要素140を介する)遮蔽領域132への放射線入射が(検出器アレイ110に向かって)通過することが防がれる一方、非遮蔽領域134への放射線入射は通過する。例えば、遮蔽領域132は、フィルタの実質的に不透明又は非透過性の部分、あるいは必要な部分に付された非透過性コーティングによって具現化されてよく、非遮蔽領域134は、例えばフィルタにある窓又は穴のような、フィルタ130の実質的に透過性の部分によって具現化されてよい。
曲線因子減少手段120の構成要素はいずれも、本開示技術に従ってIR画像検出器に全体的に又は部分的に統合されてよく、あるいはIR画像検出器と分離していてもよいことに留意する。例えば、マスキングフィルタ130は、IR検出器を含む筐体内に存在してよく、一方、検出器アレイ110における画像シーン150の上記遮蔽作用を実行するためのマスキングフィルタ機能及び光学要素140がある場合、光学要素140は筐体の外側に存在してもよい。
次に、図2A、2B、2C及び2Dを参照する。図2Aは、図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの初期セットの概略的な斜視図である。図2Bは、図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの後続セットの概略的な斜視図である。図2Cは、図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの別の後続セットの概略的な斜視図である。図2Dは、図1の装置を用いて一連の画像サンプルにわたって取得された画像サブフレームの最後のセットの概略的な斜視図である。検出器アレイ110は、3掛ける3(3×3)のマトリクス状に配置された9個のピクセルによって示される。マスキングフィルタ130は、アレイ110上に直接配置され、検出器アレイ110の検出器ピクセル(DPx、y)の各々のサブ領域上に存在する9個の窓(すなわち、非遮蔽領域134)を含み、マスキングフィルタ130のその他のエリアは遮蔽領域132からなる。画像シーン150は同様に、3掛ける3(3×3)のマトリクス状に配列された9個の画像ピクセル(IPx、y)(すなわち、各画像ピクセルは、通常の画像取得中に、対応する検出器ピクセルに通常は投影されるはずの画像シーン150の領域を表す)に分割される。
図2Aにおいて、画像シーン150のサブフレームの第1のセットが取得される。画像シーン150から放射された光(IR放射線)は、光学要素140(図示せず)を介してマスキングフィルタ130を通して検出器アレイ110に向けられ、それによってマスキングフィルタ130の窓134を通過する放射線のみが検出器アレイ110に到達する。すなわち、検出器アレイ110の各検出器ピクセルは、画像シーン150の対応する画像ピクセルの一部を捕らえる。例えば、図2Aにおける第1の画像サンプル(「サブフレーム1」)を参照すると、左上の角の画像ピクセル(IP1,1)に対応する放射線は、検出器アレイ110の左上の角にある検出器ピクセル(DP1,1)に向かう。放射線の一部(154)は、マスキングフィルタの窓を通過し、検出器ピクセルDP1,1のサブ領域114に入射する。画像ピクセルIP1,1からの残りの放射線(152)は、遮蔽領域132によって遮断されるので、検出器ピクセルDP1,1に到達しない。その結果、検出器ピクセルDP1,1は、画像化された領域114と画像化されていない領域112とを含む。同様に、画像シーン150の最上行における次の画像ピクセル(IP1,2)も、マスキングフィルタの窓を通過した後検出器ピクセルDP1,2に到達するので、画像ピクセルIP1,2の一部のみが、検出器ピクセルDP1,2のサブ領域に入射する。典型的な25%の曲線因子減少(すなわち、「25%FF」)を実行する曲線因子減少手段120が示される場合、各画像化された領域114がそれぞれのピクセルのエリアの約4分の1を占め、各画像化されていない領域112がそれぞれのピクセルの約4分の3のエリアを占めることを意味する。検出器アレイ110のその他のピクセル(DPx,y)が、第1の画像サンプル(サブフレーム)中に類似の方法で画像化され、その結果、各検出器ピクセルは、それ自体の左上の象限で画像化された領域114を取得し、残りの検出器ピクセルは画像化されない。
第1の画像サンプルの取得後、検出器アレイ110において画像化された各画像ピクセルの一部は、後続の画像サンプルにシフトされる。各画像サンプル間のシフトインクリメントは、曲線因子減少量に従って選択され、一般に、(検出器アレイの隣接したピクセルの中間点の間の距離と定義される)ピクセル幅の分数に等しい。この例において、曲線因子減少量は25%(25%FF)であるので、シフトインクリメントも25%が選択される、あるいは検出器ピクセルのピクセル幅の約4分の1である。シフトは、検出器アレイ110に対する曲線因子減少手段120の照準線を調整することによって(例えば、マスキングフィルタ130及び/又は光学要素140を適切に調整することによって)実行されてよい。図2Aにおける第2の画像サンプル(「サブフレーム2」)を参照すると、画像化された領域114が、対応する画像ピクセルIPx,yの上段真ん中の象限に対応するように、各検出器ピクセルDPx,yは、画像ピクセルIPx,yの別の部分からの入射放射線を受ける(例えば、第2の画像象限が第1の画像象限に部分的に重なるように、「サブフレーム1」の画像化された象限はピクセル幅の4分の1だけ右へシフトされる)。第3の画像サンプル(「サブフレーム3」)を参照すると、各検出器ピクセルDPx,yの画像化された領域114が、対応する画像ピクセルIPx,yの右上の象限に対応するように、照準線が再びシフトされる(例えば、「サブフレーム2」の画像化された象限が、ピクセル幅の4分の1だけ右へシフトされる)。
更なる画像サンプルが類似の方法で取得され、画像シーン150の縦軸と横軸との両方に沿って同一のシフトインクリメント(例えば、ピクセル幅の4分の1)で照準線を規則正しく逐次的に調整し、当該技術分野において周知である「マイクロスキャニング」と呼ばれる技術を適用することによって、各画像ピクセルの残りの重なっている部分(例えば、象限)をカバーする。例えば、図2Bの第5の画像サンプル(「サブフレーム5」)を参照すると、各検出器ピクセルDPx,yの画像化された領域114が、対応する画像ピクセルIPx,yの中段左の象限に対応するように、照準線は、第1の画像サンプルに対してシフトインクリメントによって下方へシフトされる(例えば、「サブフレーム1」の画像化された象限は、ピクセル幅の4分の1だけ下方へシフトされる)。残りの画像サンプル(「サブフレーム6」乃至「サブフレーム16」)によって、更なる画像ピクセル部分が取得される(すなわち、以前のサブフレームにおいて取得されなかった各部分が画像化される)。
各画像サンプルについて検出器ピクセルにおける所望の画像化されたサブ領域を取得するために、検出器アレイ110に対する曲線因子減少手段120の照準線の調整は、任意の適切なメカニズム又は技術を用いて逐次的にシフトされてよい。例えば、マスキングフィルタ130及び検出器アレイ110が定位置に固定され、それによって遮蔽領域132及び非遮蔽領域134の位置も固定されるが、光学要素140は、光学要素140が画像シーン150からの放射線を向ける方位角をシフトするために、各画像サンプルについて逐次的に位置を変えられる。あるいは、各画像サンプルについて画像シーン150の光路を調整するために、マスキングフィルタ130及び検出器アレイ110は、光学要素140に対して連動して位置を変えられる(すなわち、マスキングフィルタ130は検出器アレイ110に対して一定の位置にある)。例えばマスキングフィルタ130の特性(例えば、サイズ、量、及び/又は非遮蔽領域134の相対位置)を調整すること及び/又は光学要素140の光学特性を調整することによって、検出器ピクセルの画像化された領域の実際のサイズは変化してよいことに留意する。例えば真空気密型検出器及び/又は低温冷却型検出器のようないくつかの検出器において、マスキングフィルタ及び検出器アレイは可能な限り互いに近接して配置されなければならないので、検出器アレイに対するマスキングフィルタの位置を変えることは非常に難しい。従って、可動式マスキングフィルタの位置を変えるためのメカニズムは、マスキングフィルタ及び検出器アレイとともに極低温保管デュワー(真空フラスコ)内に存在する必要がある。これには、そのようなメカニズムが、極低温で作動することが可能でありながら非常に小規模かつ動きが速いことが必要である。更に、極低温保管デュワーは、更なる加熱負荷をサポートするための高度な冷却メカニズムと同様に著しく大きくなることが必要となる。従って、可動式マスキングフィルタの実現が可能であっても、上記問題によって、高いコスト、多大な電力消費、多大な容積、及び低い信頼性を結果として伴うために実用化の可能性がほとんどない検出器が生じることになる。そのため、本開示技術の実施形態によると、画像サンプル間で、固定式マスキングフィルタに対して画像シーンの光路は逐次的に調整されるが、固定式マスキングフィルタは検出器アレイに対して一定の位置及び方向に維持される。
画像シーン150の画像ピクセルIPx,yの様々なサブ領域は、任意の順序又は順列で画像化されてよい。例えば、画像ピクセル部分の最下行が最初に画像化され(すなわち、図2Dに示された4つのサブフレーム)、次にその上の行、と続いてもよい。あるいは、画像ピクセル部分の第1の列がサブフレームの第1のグループにおいて画像化され、次にその隣の列、と続いてもよい。更に、画像化されたサブ領域は、所与のサブフレームにおいて連続していなくてもよい(例えば、画像ピクセルの左上の象限と右下の象限とが1つのサブフレーム内で同時に取得されてよく、更に、画像ピクセルの右上の象限と左下の象限とが後続のサブフレーム内で同時に取得される)。
個々のサブフレームの各々が画像シーン150の各画像ピクセルの異なる画像化されたサブ領域に対応する場合、一連の画像サンプルにわたって全てのサブフレームが取得されると、最後の画像フレームは、取得されたサブフレーム全てから構成される。すなわち、各画像ピクセルについて画像化されたサブ領域全てが、適切な画像処理方法に従って処理及び結合される。ここで、162と付された画像検出器の通常の画像フレームと比較して、164と付された、図2A、2B、2C及び2Dの画像サブフレームから形成された、再構成された画像フレームを示す概略図である図3を参照する。通常の画像フレーム162が(3×3の)合計9つのピクセルを含むのに対し、再構成された画像フレーム164は、16倍高い解像度を提供する(すなわち、縦軸と横軸との各々についてピクセルの数が4倍に増えた)(12×12の)合計144のサブピクセルを含む。すなわち、(画像フレーム162のピクセルに対応する)再構成された画像フレーム164における個々のピクセルの各々は、4×4のマトリクス状に配列された16のサブピクセルからなる。再構成された画像フレーム164の各サブピクセルは、そのサブピクセルが画像化された各サブフレームの組み合わせから形成される。例えば、画像フレーム164のサブピクセル168は、画像シーン150のその特定のサブピクセル部分が(様々な構成で)取得された、サブフレーム1及び2(図2A)とサブフレーム5及び6(図2B)とに基づいて形成される。
再構成された画像フレーム164は、検出器アレイ110を用いた通常の(すなわち、本開示技術が適用されない)画像化の結果生じる画像フレームである画像フレーム162に対して16倍の解像度を示す。検出器アレイ110に元来備わっている解像度は、画像フレーム162に示すように、3×3のピクセル密度(すなわち、ピクセルの3つの行×3つの列=合計9つのピクセル)で表される。一方、再構成された画像フレーム164は、アレイ110の同じ固定エリア内に12×12のサブピクセルを含む。その結果、再構成された画像フレームの各ピクセルは、通常の画像フレームの対応するピクセルに含まれる場合よりも各軸について4倍の細部又は情報を提供する16の個々のサブピクセルからなるので、通常の画像フレームと比較して、最終的な画像フレームは卓越した(すなわち16倍の)画像詳細を含む。
曲線因子減少量(すなわち、検出器ピクセルのアクティブ領域が狭められる量)と同様にサブフレーム間のシフトインクリメントを変化させることによって、別の解像度増加因子(すなわち、画像解像度が向上する度合い)が得られてもよい。例えば、(縦軸と横軸との各々について)画像解像度を9倍高くするために、シフトインクリメントが検出器ピクセル幅の約9分の1(1/9)に設定され、各画像サンプルは、画像ピクセルの約9分の1(1/9)のエリアを占める(すなわち、約11%又は1/9の曲線因子減少因子に対応する)サブ領域を画像化することになる。例えば、検出器ピクセルのサイズの4分の1(1/4)のサイズの窓を含む図2A−2Dに示すマスキングフィルタ130の代わりに、所望の画像ピクセルのサブ領域サイズの画像化を提供するために、検出器ピクセルの9分の1(1/9)のサイズの窓又は非遮蔽領域134を有するマスキングフィルタ130が用いられてよい。(サブフレーム間での検出器ピクセル幅の9分の1(1/9)のシフトインクリメントの後)マイクロスキャニングによって全部で81のサブフレームが取得され、そこから、最終的な高い解像度の画像フレームが再構成されうる。
検出器ピクセルの曲線因子減少は、画像シーンからの全放射線のうちの一部のみが検出器アレイに到達することにより、全体の検出器の感度を低下させることに留意する。この影響を埋め合わせるため、検出器の光学要素の(入射瞳孔径とレンズの焦点距離との比と定義される「焦点比」としても知られる)f値が、曲線因子減少量(又は画像サンプル間のシフトインクリメント)に対応する分だけ低減される。従って、画像シーンから受ける放射線量が増え、曲線因子減少の結果生じた受ける放射線量の減少を埋め合わせる。またf値減少は、取得された画像において細部を識別する検出器の能力を一般に表す光学的変調伝達関数(MTF)の向上を提供し、その結果検出器は、再構成された画像フレームの高い空間解像度をサポートすることが可能になる。従って、本開示技術は、原則的に、(曲線因子を減少させることによって)検出器の感度を低下させること、及び、大幅に高い画像空間解像度とともに十分なレベルの全体感度を提供する適切な検出器の光学要素を提供することによりこの低下を埋め合わせることによって、IR画像検出器の性能を向上させる。
ここで、本開示技術に従って様々な曲線因子減少量に関する空間周波数の関数として変調伝達関数(MTF)を示す、一般に170で示されたグラフの概略図である図4を参照する。グラフ170は、空間周波数すなわち(空間解像度の規格化された表現に対応する)「検出器サンプリング周波数」の関数として検出器のMTFを示す。検出器の解像度を高めるために「通常のマイクロスキャニング」を実行する場合(すなわち、検出器ピクセルの曲線因子を減少させない場合)、解像度の向上(画像から得ることができる追加の情報)は、検出器のナイキスト周波数によって制限される(この場合ナイキスト周波数はピクセルの空間サンプリング周波数の半分に等しい)。例えば、曲線因子減少を全く用いない(すなわち、「100%FF」の)画像化の場合、検出器のピクセルピッチの半分よりも小さいインクリメントでの各マイクロスキャン間のシフトは、(MTFが、グラフ上の「2Xマイクロスキャン」周波数点を超えてゼロに到達することにより、画像化する目的のためには原則的に使えなくなるので)全体の画像解像度を2倍よりも高くすることはない。対照的に、曲線因子減少と併せてマイクロスキャニングを実行する場合、検出器画像の空間解像度は更に何倍にも増加させる(すなわち、検出器のナイキスト周波数によって制限されない)ことができ、画像からの追加情報を更に得ることができる。例えば、曲線因子がアクティブピクセルエリア全体の25%に減少される(「25%FF」の)場合、検出器のピクセルピッチの最大1/4のシフトインクリメントでマイクロスキャンすることが可能であり(その結果各軸につき画像解像度が4倍になるので、全体では16倍になり)、(MTFはゼロより上にあるままなので)更に追加の情報を識別することが可能である。曲線因子を更に減少させることによって、より高い周波数/より小さなシフトインクリメントでマイクロスキャンし、更に大幅な解像度の向上を提供することが可能である。所与の画像検出器に関して実際に実行することができる可能性のある曲線因子減少量(及びそれに伴い可能となる解像度の向上)は、光学機械の設計制約によって一般に制限されることに留意する。適切な高解像度の光学素子を設計及び製造する技術におけるそのような制限は、特定のシステム設計及び要件によって変わってよい。
再び図1を参照すると、曲線因子減少手段120は、所望の量だけ検出器ピクセルの曲線因子を減少させるために作用する任意の適切な装置、メカニズム、又は技術を用いて実装されてよい。例えば、曲線因子減少手段120は、様々な画像サンプルを取得するために逐次的に位置を変えられる及び/又は方向を変えられるマスキングフィルタのみによって、あるいは各画像サンプルについての逐次的なインクリメントによって画像シーン150からの放射線の光路を調整する光学要素のみによって実装されてもよい。またあるいは、曲線因子減少手段120は、ピクセルのアクティブ(感光性)領域が、元来可能な最大のアクティブ領域よりも小さくなるように検出器アレイ110を設定することによって実現されてもよい。例えばピクセルは、選択されたサブピクセル領域のみが各画像サンプル中にアクティブであるように電子工学的に設定されてよい。
本開示技術は、LWIR波長、MWIR波長、及びSWIR波長を含む約1−15μmの波長域内のいずれかで作動する全てのタイプのIR検出器に適用することができる。本開示技術は特に、熱探知カメラ、特に真空気密型及び低温冷却型の熱探知カメラに適切である。本明細書において用いられる場合「低温冷却型」という用語は、(例えば、約−150℃(123K)と約−120℃(153K)との間の温度を含む)いくつかの定義の下で極低温度とみなされる温度よりも高い温度で作動するものを含む様々なタイプの低温検出器を包括する。
本開示技術に従って、マトリクス状に配列された感光性ピクセルの2次元検出器アレイを備えるIR画像検出器の解像度を向上させるための方法が提供された。この方法は、画像シーンの複数の画像サンプルを取得するために、検出器アレイを画像シーンに逐次的に晒す手順を含む。各画像サンプルについて、画像化されたシーンのピクセルエリアの一部のみが検出器アレイの対応するピクセルにおいて画像化されるように、画像シーンからの入射放射線を受けるピクセルの領域が狭められる。この方法は更に、画像サンプルの各々における一連のサブピクセル領域の画像化を提供するために、アレイのピクセルのピクセル幅の分数に等しいシフトインクリメントによって、検出器アレイに対して画像シーンを逐次的にシフトする手順を含む。この方法は更に、取得された画像サンプルから、シフトインクリメントによって定義された因子によって、検出器に元来備わっている解像度よりも大きい解像度を有する画像フレームを再構成する手順を含む。
当業者は、本開示技術が、本明細書において図示及び説明されたものに限定されないことを理解するであろう。

Claims (9)

  1. 低温冷却及び真空気密型赤外線画像検出器の解像度を向上させるための装置であって、
    マトリクス状に配置された感光性ピクセルの2次元赤外線検出器アレイであって、前記検出器アレイは曲線因子値を有し、前記検出器アレイは、画像シーンの複数の赤外線画像サンプルを取得するために前記画像シーンに逐次的に晒されるように構成される、2次元赤外線検出器アレイと、
    記検出器アレイと前記画像シーンとの間に配置され、かつ前記検出器アレイに対して一定の位置に維持されるマスキングフィルタであって、前記マスキングフィルタは、前記感光性ピクセルの各々のアクティブ領域の一部を遮蔽するように構成され、それによって、前記赤外線画像サンプルの各々について、前記検出器アレイの曲線因子値を曲線因子減少量だけ減少させ、それによって、前記画像シーンのピクセル領域のサブ領域のみが前記検出器アレイの対応する遮蔽されたピクセルにおいて画像化される、マスキングフィルタと、
    前記マスキングフィルタと前記画像シーンとの間に配置された光学素子であって、前記光学素子は、前記マスキングフィルタを介して前記検出器アレイに前記画像シーンからの入射放射線を向けるように構成される、光学素子と、
    前記赤外線画像サンプルの各々における異なるサブピクセル領域の画像化を提供するように、前記曲線因子減少量に対応するシフトインクリメントによって、前記赤外線画像サンプルの各々の間において前記マスキングフィルタ及び前記検出器アレイに対して前記画像シーンの光路を逐次的にシフトするためのシフト手段であって、前記検出器の各遮蔽された感光性ピクセルは、前記赤外線画像サンプルにおける部分的に重なるサブ領域を受け取り、前記曲線因子減少量に対応するシフトインクリメントは、前記2次元赤外線検出器アレイのナイキスト制限を超えて前記画像シーンをマイクロスキャンすることを可能にする、シフト手段と、
    取得された赤外線画像サンプルから画像フレームを再構成するように構成されたプロセッサであって、再構成された画像フレームは、前記曲線因子減少量によって定義された因子によって、前記検出器に元来備わっている解像度よりも大きい解像度を有する、プロセッサと、
    を備える、装置。
  2. 前記画像シーンの複数の赤外線画像サンプルの数は、前記曲線因子減少量に対応する、請求項1に記載の装置。
  3. 前記シフト手段は、前記マスキングフィルタ及び前記検出器アレイに対して前記光学素子の位置を変えることによって、前記マスキングフィルタ及び前記検出器アレイに対して前記画像シーンの光路をシフトするように構成される、請求項1に記載の装置。
  4. 前記シフト手段は、前記光学素子に対して前記マスキングフィルタ及び前記検出器アレイの位置を連動して変えることによって、前記マスキングフィルタ及び前記検出器アレイに対して前記画像シーンの光路をシフトするように構成される、請求項1に記載の装置。
  5. 前記検出器の光学素子のf値は、前記曲線因子減少量に対応する因子によって減少される、請求項1に記載の装置。
  6. 前記検出器は、1−15μmの波長域内で作動する、請求項1に記載の装置。
  7. 前記検出器は熱画像検出器である、請求項1に記載の装置。
  8. マトリクス状に配置された感光性ピクセルの2次元赤外線検出器アレイを備える、低温冷却及び真空気密型赤外線画像検出器の解像度を向上させるための方法であって、前記検出器アレイは曲線因子値を有し、前記方法は、
    画像シーンの複数の赤外線画像サンプルを取得するために、前記検出器アレイを前記画像シーンに逐次的に晒す手順と、
    前記検出器アレイに対して一定の位置に維持されるマスキングフィルタを介して、前記赤外線画像サンプルの各々についての曲線因子減少量だけ前記感光性ピクセルの各々のアクティブ領域の一部を遮蔽する手順であって、それによって、前記画像シーンのピクセル領域のサブ領域のみが、前記検出器アレイの対応する遮蔽された感光性ピクセルにおいて画像化される、手順と、
    前記曲線因子減少量に対応するシフトインクリメントによって、前記赤外線画像サンプルの各々の間において前記マスキングフィルタ及び前記検出器アレイに対して前記画像シーンの光路を逐次的にシフトする手順であって、前記検出器の各遮蔽された感光性ピクセルは、前記赤外線画像サンプルの各々における異なるサブピクセル領域の画像化を提供するように、前記赤外線画像サンプルにおける部分的に重なるサブ領域を受け取り、前記曲線因子減少量に対応するシフトインクリメントは、前記2次元赤外線検出器アレイのナイキスト制限を超えて前記画像シーンをマイクロスキャンすることを可能にする、手順と、
    取得された赤外線画像サンプルから画像フレームを再構成する手順であって、再構成された画像フレームは、前記曲線因子減少量によって定義された因子によって、前記検出器に元来備わっている解像度よりも大きい解像度を有する、手順と、
    を備える、方法。
  9. 前記曲線因子減少量に対応する因子によって前記検出器の光学素子のf値を減少させる手順を更に備える、請求項8に記載の方法。
JP2015512193A 2012-05-13 2013-05-05 画像解像度が向上した赤外線検出器 Active JP6083833B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL219773A IL219773A (en) 2012-05-13 2012-05-13 Device and method for increasing the resolution of vacuum-based infrared imaging detectors and cryogenic coolers
IL219773 2012-05-13
PCT/IL2013/050380 WO2013171738A1 (en) 2012-05-13 2013-05-05 Infrared detector with increased image resolution

Publications (3)

Publication Number Publication Date
JP2015519567A JP2015519567A (ja) 2015-07-09
JP2015519567A5 JP2015519567A5 (ja) 2016-06-16
JP6083833B2 true JP6083833B2 (ja) 2017-02-22

Family

ID=48628762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015512193A Active JP6083833B2 (ja) 2012-05-13 2013-05-05 画像解像度が向上した赤外線検出器

Country Status (11)

Country Link
US (2) US9894292B2 (ja)
EP (1) EP2837173B1 (ja)
JP (1) JP6083833B2 (ja)
KR (1) KR102043325B1 (ja)
BR (1) BR112014028169B1 (ja)
CA (1) CA2873196C (ja)
ES (1) ES2626070T3 (ja)
IL (1) IL219773A (ja)
PL (1) PL2837173T3 (ja)
SG (1) SG11201407311RA (ja)
WO (1) WO2013171738A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL219773A (en) * 2012-05-13 2015-09-24 Elbit Sys Electro Optics Elop Device and method for increasing the resolution of vacuum-based infrared imaging detectors and cryogenic coolers
JP6361965B2 (ja) * 2013-10-24 2018-07-25 パナソニックIpマネジメント株式会社 撮像システム、撮像装置、符号化装置、および撮像方法
KR102357965B1 (ko) * 2015-01-12 2022-02-03 삼성전자주식회사 객체 인식 방법 및 장치
CN105547490B (zh) * 2015-12-08 2019-01-25 中国科学院上海技术物理研究所 一种数字tdi红外探测器的实时盲元检测方法
CN115004017A (zh) * 2020-02-27 2022-09-02 深圳帧观德芯科技有限公司 成像系统
IL274418B (en) * 2020-05-03 2021-12-01 Elbit Systems Electro Optics Elop Ltd Systems and methods for enhanced motion detection, objective tracking, situational awareness and super-resolution video using microscanning images
US11651474B2 (en) 2020-11-04 2023-05-16 Bae Systems Information And Electronic Systems Integration Inc. Real-time super resolution at long standoff ranges
CN115546486A (zh) * 2022-10-17 2022-12-30 深圳市元视芯智能科技有限公司 仿生视觉传感器、成像方法以及无人机图传系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61264874A (ja) * 1985-05-20 1986-11-22 Fujitsu General Ltd 固体撮像装置
JPH0682305A (ja) 1992-08-31 1994-03-22 Shimadzu Corp 2次元検出器
US5371369A (en) 1993-10-13 1994-12-06 Litton Systems, Inc. Conformal cold baffle for optical imaging systems
CA2135676A1 (en) 1994-11-14 1996-05-15 Jean Dumas Device to enhance imaging resolution
US6005682A (en) 1995-06-07 1999-12-21 Xerox Corporation Resolution enhancement by multiple scanning with a low-resolution, two-dimensional sensor array
AUPO615297A0 (en) 1997-04-10 1997-05-08 Commonwealth Scientific And Industrial Research Organisation Imaging system and method
JPH11331857A (ja) * 1998-05-13 1999-11-30 Mitsubishi Electric Corp 撮像装置
EP1198119A3 (en) 2000-10-11 2004-05-26 Charles E. Parsons Improved resolution for an electric image sensor array
US7283231B2 (en) * 2004-07-20 2007-10-16 Duke University Compressive sampling and signal inference
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
GB2462137B (en) * 2008-06-25 2013-01-23 Thales Holdings Uk Plc Imaging apparatus and method
JP4494505B1 (ja) * 2009-02-13 2010-06-30 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
US9291506B2 (en) * 2010-01-27 2016-03-22 Ci Systems Ltd. Room-temperature filtering for passive infrared imaging
JP5341010B2 (ja) * 2010-04-15 2013-11-13 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
US8866951B2 (en) * 2011-08-24 2014-10-21 Aptina Imaging Corporation Super-resolution imaging systems
US10110834B2 (en) * 2011-11-07 2018-10-23 Raytheon Company Hadamard enhanced sensors
IL219773A (en) * 2012-05-13 2015-09-24 Elbit Sys Electro Optics Elop Device and method for increasing the resolution of vacuum-based infrared imaging detectors and cryogenic coolers

Also Published As

Publication number Publication date
US9894292B2 (en) 2018-02-13
AU2013261047A1 (en) 2014-12-04
CA2873196C (en) 2019-02-19
PL2837173T3 (pl) 2017-08-31
ES2626070T3 (es) 2017-07-21
KR20150013795A (ko) 2015-02-05
EP2837173A1 (en) 2015-02-18
WO2013171738A1 (en) 2013-11-21
KR102043325B1 (ko) 2019-12-02
US20140139684A1 (en) 2014-05-22
JP2015519567A (ja) 2015-07-09
SG11201407311RA (en) 2014-12-30
US10547799B2 (en) 2020-01-28
IL219773A (en) 2015-09-24
US20180160056A1 (en) 2018-06-07
BR112014028169A2 (pt) 2020-05-05
CA2873196A1 (en) 2013-11-21
EP2837173B1 (en) 2017-03-22
BR112014028169B1 (pt) 2023-04-04

Similar Documents

Publication Publication Date Title
JP6083833B2 (ja) 画像解像度が向上した赤外線検出器
US5757425A (en) Method and apparatus for independently calibrating light source and photosensor arrays
JP6265153B2 (ja) 撮像素子
JP6307770B2 (ja) 撮像素子
JP4015944B2 (ja) イメージ・モザイク化のための方法および装置
US20150219808A1 (en) Patchwork fresnel zone plates for lensless imaging
Catrysse et al. Roadmap for CMOS image sensors: Moore meets Planck and Sommerfeld
Portnoy et al. Design and characterization of thin multiple aperture infrared cameras
Davis et al. Resolution issues in InSb focal plane array system design
Dittrich et al. Extended characterization of multispectral resolving filter-on-chip snapshot-mosaic CMOS cameras
AU2013261047B2 (en) Infrared detector with increased image resolution
Shtrichman et al. Spatial resolution of SCD's InSb 2D detector arrays
Zhan et al. Intrapixel effects of CCD and CMOS detectors
Ketchazo et al. Intrapixel measurement techniques on large focal plane arrays for astronomical applications: a comparative study
Göttfert et al. Optimizing microscan for radiometry with cooled IR cameras
Sukumar et al. Imaging system MTF-modeling with modulation functions
Crouzet et al. Euclid H2RG detectors: impact of crosshatch patterns on photometric and centroid errors
Cohen et al. Backside illuminated CMOS-TDI line scan sensor for space applications
Mahato et al. Kernel-based crosstalk quantification and analysis of a CMOS image sensor
Carlsson Imaging physics
Boutillier et al. Pixelated multi-spectral filters assessment for space applications
Portnoy et al. Resolution and interpolation of multichannel long wave infrared camera data
JP2013051466A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160425

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160425

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170119

R150 Certificate of patent or registration of utility model

Ref document number: 6083833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250