JP6483080B2 - 遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法 - Google Patents

遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法 Download PDF

Info

Publication number
JP6483080B2
JP6483080B2 JP2016500116A JP2016500116A JP6483080B2 JP 6483080 B2 JP6483080 B2 JP 6483080B2 JP 2016500116 A JP2016500116 A JP 2016500116A JP 2016500116 A JP2016500116 A JP 2016500116A JP 6483080 B2 JP6483080 B2 JP 6483080B2
Authority
JP
Japan
Prior art keywords
slit
dimensional
remote object
dimensional image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016500116A
Other languages
English (en)
Other versions
JP2016510882A (ja
Inventor
エルジン セカンド コムストック,ロヴェル
エルジン セカンド コムストック,ロヴェル
リントン ウィギンス,リチャード
リントン ウィギンス,リチャード
スミス ウッダード,ケネス
スミス ウッダード,ケネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corning Inc
Original Assignee
Corning Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/799,630 external-priority patent/US9341514B2/en
Application filed by Corning Inc filed Critical Corning Inc
Publication of JP2016510882A publication Critical patent/JP2016510882A/ja
Application granted granted Critical
Publication of JP6483080B2 publication Critical patent/JP6483080B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/04Slit arrangements slit adjustment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/04Slit arrangements slit adjustment
    • G01J2003/042Slit wheel
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/04Slit arrangements slit adjustment
    • G01J2003/045Sequential slits; Multiple slits

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

優先権の主張
本出願は、米国特許法第120条の下で、2013年3月13日出願の米国特許出願第13/799630号の優先権の利益を主張し、米国特許法第120の下で、2013年3月13日出願の米国特許出願第13/798816号の優先権の利益を主張し、当該米国出願の内容は、その全体が参照により本明細書において依拠され援用される。
関連特許出願
本出願は、かねて2012年7月23日に出願された、且つ「遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法(Hyperspectral Imaging System and Method for Imaging a Remote Object)」なる名称の米国特許出願第13/555,428号に関連する。この関連特許出願の内容は、これによって、参照により本明細書に援用される。
本発明は、遠隔物体(例えば、興味のあるシーン)におけるエリアのハイパースペクトル画像を提供するためのハイパースペクトル撮像システム及び方法に関する。一態様において、ハイパースペクトル撮像システムは、少なくとも1つの光学素子、回転可能なディスク(その中に形成された少なくとも1つの螺旋状スリットを有する)、分光計、2次元画像センサ、及びコントローラを含む。別の態様において、ハイパースペクトル撮像システムは、少なくとも1つの光学素子、回転可能なディスク(その中に形成された複数の直線スリットを有する)、分光計、2次元画像センサ、及びコントローラを含む。更に別の態様において、ハイパースペクトル撮像システムは、少なくとも1つの光学素子、回転可能なドラム(その外面に形成された複数のスリット及びその中に位置する折り返しミラーを有する)、分光計、2次元画像センサ、及びコントローラを含む。
従来のハイパースペクトル撮像システムは、典型的には、興味のある遠隔物体の画像を固定スリット上に形成する撮像レンズを有し、固定スリットには分光計が続く。分光計は、オフナー分光計、ダイソン分光計、又は幾つかの他のタイプの分光計のいずれか1つとして構成されても良い。しかしながら、固定スリットを備えたハイパー分光計アーキテクチャは、遠隔物体からの単一光線のハイパースペクトルを形成することに制限される。更に、固定スリットを備えたハイパー分光計アーキテクチャは、固定スリットのスペクトルに対応する、画像センサ上の画素だけを満たすことに制限される。遠隔物体からの単一光線のハイパースペクトル画像を遠隔物体の2次元エリアに拡張するための2つの周知の技術が現在存在する。第1の周知の技術は、遠隔物体のエリアのハイパースペクトル画像を取得するために、ハイパースペクトル撮像システム全体を固定スリットに対して垂直な方向に移動させるステップと、画像撮影をその動作と同期させるステップとを含む。この技術は、「押しぼうき」法と呼ばれることが多い。第2の周知の技術は、遠隔物体のエリアのハイパースペクトル画像を取得するために、回転ミラーを撮像レンズの前に配置するステップと、次に画像撮影をミラーの回転と同期させるステップとを含む。遠隔物体のエリアのハイパースペクトル画像を取得するための従来のハイパースペクトル撮像システム及びこれらの周知の技術は、幾つかの用途で功を奏する可能性があるが、遠隔物体のエリアのハイパースペクトル画像を取得するために使用できる新しいハイパースペクトル撮像システムを開発することがやはり望ましい。
遠隔物体のエリアのハイパースペクトル画像を提供するためのハイパースペクトル撮像システム及び方法が、本出願の独立請求項で説明されている。遠隔物体のエリアのハイパースペクトル画像を提供するためのハイパースペクトル撮像システム及び方法の有利な実施形態が、従属請求項で説明されている。
本発明の一態様において、遠隔物体の2次元エリアのハイパースペクトル画像を提供するためのハイパースペクトル撮像システム(及び関連する方法)がある。このハイパースペクトル撮像システムは、(a)遠隔物体に関連する光を受信するように構成された少なくとも1つの光学素子と、(b)螺旋状スリットが形成されたディスクであって、少なくとも1つの光学素子から光を受信するように構成された、少なくとも1つの光学素子の画像面に更に配置される表面を含むディスクと、(c)ディスクを回転させるアクチュエータと、(d)遠隔物体に関連する第1の光線が螺旋状スリットの第1の部分を通過できるように、ディスクが回転されて螺旋状スリットの第1の部分が配置されるようにアクチュエータを制御するように構成されたコントローラと、(e)第1の光線を受信して第1の分散光線を出力するように構成された分散装置を少なくとも備えた分光計と、(f)第1の分散光線を受信して第1の分散光線の第1の2次元画像を提供するように構成された2次元画像センサとを備え、(g)コントローラが、第1の2次元画像を取得するように構成され、且つ遠隔物体に関連する第2の光線が螺旋状スリットの第2の部分を通過できるようにディスクが回転されて螺旋状スリットの第2の部分が配置されるように、アクチュエータを制御するように構成され、(h)分光計が、第2の光線を受信して第2の分散光線を出力するように構成された分散装置を少なくとも備え、(i)2次元画像センサが、第2の分散光線を受信して第2の分散光線の第2の2次元画像を提供するように構成され、(j)コントローラが、第2の2次元画像を取得するように構成され、(k)遠隔物体の光に関連する異なる光線が、螺旋状スリットの異なる部分を通過できるように、ディスクが回転されて螺旋状スリットの異なる部分が配置されるように、コントローラが、アクチュエータを繰り返し制御し、一方で遠隔物体の2次元エリアのハイパースペクトル画像を提供するために、異なる分散光線の2次元画像を2次元画像センサから繰り返し取得し、且つ第1及び第2の2次元画像並びに異なる2次元画像を組み合わせる。
本発明の別の態様において、遠隔物体の2次元エリアのハイパースペクトル画像を提供するためのハイパースペクトル撮像システム(及び関連する方法)がある。このハイパースペクトル撮像システムは、(a)遠隔物体に関連する光を受信するように構成された少なくとも1つの光学素子と、(b)複数の直線スリットが形成されたディスクであって、少なくとも1つの前部光学素子から光を受信するように構成された、少なくとも1つの光学素子の画像面に更に配置される表面を含むディスクと、(c)ディスクを回転させるアクチュエータと、(d)遠隔物体に関連する第1の光線が複数の直線スリットの第1の直線スリットを通過できるように、ディスクが回転されて複数の直線スリットの第1の直線スリットが配置されるようにアクチュエータを制御するように構成されたコントローラと、(e)第1の光線を受信して第1の分散光線を提供するように構成された分散装置を備えた分光計と、(f)第1の分散光線を受信して第1の分散光線の第1の2次元画像を提供するように構成された2次元画像センサとを備え、(g)コントローラが、第1の2次元画像を取得するように構成され、且つ遠隔物体に関連する第2の光線が複数の直線スリットの第2の直線スリットを通過できるようにディスクが回転されて複数の直線スリットの第2の直線スリットが配置されるように、アクチュエータを制御するように構成され、(h)分光計が、第2の光線を受信して第2の分散光線を出力するように構成された分散装置を少なくとも備え、(i)2次元画像センサが、第2の分散光線を受信して第2の分散光線の第2の2次元画像を提供するように構成され、(j)コントローラが、第2の2次元画像を取得するように構成され、(k)遠隔物体の光に関連する異なる光線が、複数の直線スリットの異なる直線スリットを通過できるように、ディスクが回転されて複数の直線スリットの異なる直線スリットが配置されるように、コントローラが、アクチュエータを繰り返し制御し、一方で遠隔物体の2次元エリアのハイパースペクトル画像を提供するために、異なる分散光線の2次元画像を2次元画像センサから繰り返し取得し、且つ第1及び第2の2次元画像、並びに異なる2次元画像を組み合わせる。
本発明の更に別の態様において、遠隔物体の2次元エリアのハイパースペクトル画像を提供するためのハイパースペクトル撮像システム(及び関連する方法)がある。このハイパースペクトル撮像システムは、(a)遠隔物体に関連する光を受信するように構成された少なくとも1つの光学素子と、(b)自身の表面に形成された少なくとも1つのスリット及び自身に位置する折り返しミラーを備えた回転ドラムであって、回転ドラムが、少なくとも1つの前部光学素子からの光が通過し且つ折り返しミラーによって表面の内部の方へ反射される、回転ドラムの一側における開口部を有し、表面の内部が、少なくとも1つの光学素子の画像面に配置される回転ドラムと、(c)ドラムを回転させるアクチュエータと、(d)遠隔物体に関連する第1の光線が少なくとも1つのスリットの第1のスリットを通過できるように、ドラムが回転されて少なくとも1つのスリットの第1のスリットが配置されるようにアクチュエータを制御するように構成されたコントローラと、(e)第1の光線を受信して第1の分散光線を出力するように構成された分散装置を少なくとも備えた分光計と、(f)第1の分散光線を受信して第1の分散光線の第1の2次元画像を提供するように構成された2次元画像センサとを備え、(g)コントローラが、第1の2次元画像を取得するように構成され、且つ遠隔物体に関連する第2の光線が少なくとも1つのスリットの第1の直線スリットを通過できるようにドラムが回転されて少なくとも1つのスリットの第1の直線スリットが配置されるように、アクチュエータを制御するように構成され、(h)分光計が、第2の光線を受信して第2の分散光線を出力するように構成された分散装置を少なくとも備え、(i)2次元画像センサが、第2の分散光線を受信して第2の分散光線の第2の2次元画像を提供するように構成され、(j)コントローラが、第2の2次元画像を取得するように構成され、(k)遠隔物体の光に関連する異なる光線が、少なくとも1つのスリットの第1のスリットを通過できるように、ドラムが回転されて少なくとも1つのスリットの第1のスリットが配置されるように、コントローラが、アクチュエータを繰り返し制御し、一方で遠隔物体の2次元エリアのハイパースペクトル画像を提供するために、異なる分散光線の2次元画像を2次元画像センサから繰り返し取得し、且つ第1及び第2の2次元画像、並びに異なる2次元画像を組み合わせる。
本発明の追加の態様は、以下の詳細な説明、図、及び任意の請求項において部分的に説明され、且つ詳細な説明から部分的に導き出されるか、又は本発明の実施によって学習することができる。前述の概要及び以下の詳細な説明の両方が、例示的で単に説明のためであること、及び開示されているように本発明を限定するものではないことを理解されたい。
本発明のより完全な理解は、添付の図面と共に読まれた場合に以下の詳細な説明を参照することによって、もたらされ得る。
本発明の実施形態に従って、走査可能なスリット機構を有する例示的なハイパースペクトル撮像システムの基本コンポーネントを示す図である。 本発明の第1の実施形態に従って、走査可能なスリット機構が、ディスク(その中に形成された少なくとも1つの螺旋状スリットを有する)及び軸を中心にディスクを回転させるアクチュエータである例示的なハイパースペクトル撮像システムを示す幾つかの図である。 本発明の第1の実施形態に従って、走査可能なスリット機構が、ディスク(その中に形成された少なくとも1つの螺旋状スリットを有する)及び軸を中心にディスクを回転させるアクチュエータである例示的なハイパースペクトル撮像システムを示す幾つかの図である。 本発明の第1の実施形態に従って、図2A〜2Bに示されているハイパースペクトル撮像システムを用いて、遠隔物体の2次元エリアのハイパースペクトル画像を提供するための例示的な方法のステップを示す流れ図である。 本発明の第2の実施形態に従って、走査可能なスリット機構が、ディスク(その中に形成された複数の直線スリットを有する)及び軸を中心にディスクを回転させるアクチュエータである例示的なハイパースペクトル撮像システムを示す幾つかの図である。 本発明の第2の実施形態に従って、走査可能なスリット機構が、ディスク(その中に形成された複数の直線スリットを有する)及び軸を中心にディスクを回転させるアクチュエータである例示的なハイパースペクトル撮像システムを示す幾つかの図である。 本発明の第2の実施形態に従って、図3A〜3Bに示されているハイパースペクトル撮像システムを用いて、遠隔物体の2次元エリアのハイパースペクトル画像を提供するための例示的な方法のステップを示す流れ図である。 本発明の第3の実施形態に従って、走査可能なスリット機構が、回転ドラム(その表面における少なくとも1つの直線スリット及びその中に位置する折り返しミラーを有する)並びに軸を中心にドラムを回転させるアクチュエータである例示的なハイパースペクトル撮像システムを示す幾つかの図である。 本発明の第3の実施形態に従って、走査可能なスリット機構が、回転ドラム(その表面における少なくとも1つの直線スリット及びその中に位置する折り返しミラーを有する)並びに軸を中心にドラムを回転させるアクチュエータである例示的なハイパースペクトル撮像システムを示す幾つかの図である。 本発明の第3の実施形態に従って、図4A〜4Bに示されているハイパースペクトル撮像システムを用いて、遠隔物体の2次元エリアのハイパースペクトル画像を提供するための例示的な方法のステップを示す流れ図である。
図1を参照すると、本発明の実施形態に従って、遠隔物体104のエリアのハイパースペクトル画像102を提供するように構成された例示的なハイパースペクトル撮像システム100の基本コンポーネントを示す図がある。ハイパースペクトル撮像システム100は、1つ又は複数の光学素子106、走査可能なスリット機構108、分光計110、2次元画像センサ112、及びコントローラ114を含む。分光計110は、オフナー分光計(図示されている)、ダイソン分光計、又は分散装置116を含む他の周知の分光計のいずれか1つであっても良い。例えば、分光計110は、屈折ベースのスペクトル撮像アセンブリに対応するプリズム116として構成された分散装置116を備えても良い。又は分光計110は、回折ベースのスペクトル撮像アセンブリ(図示されている)に対応する回折格子116として構成された分散装置116を備えても良い。更に、ハイパースペクトル撮像システム100は、光学素子106、走査可能なスリット機構108、分光計110、及び2次元画像センサ112を囲み支持するハウジング118を含んでも良い。この例において、コントローラ114は、ハウジング118の外側に配置されているように示されているが、しかしやはり光学素子106(光学素子106を合焦させるために)、走査可能なスリット機構108、及び2次元画像センサ112に動作可能に結合される。ハイパースペクトル撮像システム100は、当業者に周知の他のコンポーネントを組み込むことができるが、しかし明確にするために、本発明を説明するために必要とされるコンポーネント106、108、110、112、114、116及び118だけが、本明細書で詳細に論じられる。
光学素子106が、遠隔物体104から光115aを受信し、且つ遠隔物体104の画像107を表す集束光115bを走査可能なスリット機構108上に導くように構成されるように、ハイパースペクトル撮像システム100は、配置される。走査可能なスリット機構108は、光学素子106から光115bを受信する表面109が、光学素子106の画像面に配置されるように、配置される。走査可能なスリット機構108は、光115bを受信し、且つ少なくとも1つの第1の光線115cを分光計110に提供する。この例において、分光計110は、オフナー分光計として構成され、且つ第1のミラー122を含み、第1のミラー122は、走査可能なスリット機構108から少なくとも1つの第1の光線を115c受信し、且つ少なくとも1つの第1の光線115dを回折格子116へ反射し、回折格子116は、少なくとも1つの回折光115eを第2のミラー124に導き、第2のミラー124は、少なくとも1つの回折光115fを2次元画像センサ112へ反射する。2次元画像センサ112は、少なくとも1つの回折光115fの2次元画像117aを生成する。
コントローラ114は、2次元画像117aを受信して記憶し、次に、走査可能なスリット機構108と対話して、遠隔物体104からの少なくとも1つの異なる光線115gが分光計110に提供されるように、スリット機構108が再構成されるようにする。分光計の第1のミラー122は、走査可能なスリット機構108から少なくとも1つの異なる光線115gを受信し、且つ少なくとも1つの異なる光線115hを回折格子116へ反射し、回折格子116は、少なくとも1つの回折光115iを第2のミラー124に導き、第2のミラー124は、少なくとも1つの回折光115jを2次元画像センサ112へ反射する。2次元画像センサ112は、少なくとも1つの回折光115jの2次元画像117bを生成する。コントローラ114は、2次元画像センサ112から回折光115jの2次元画像117bを受信し記憶する。その後、コントローラ114は、遠隔物体104からの異なる光線に関連する異なる2次元画像117c、117d...117nを取得するために、走査可能なスリット機構108及び2次元画像センサ112と同様の方法で対話する(注:異なる光線115c、115g等は、典型的には互いに隣接し、組み合わされた場合には遠隔物体104の撮像エリア全体を表すことになろう)。コントローラ114は、遠隔物体104のエリアのハイパースペクトル画像102を提供するために、2次元画像117a、117b、117c...117nを組み合わせる。幾つかの異なるタイプの走査可能なスリット機構108を組み込むハイパースペクトル撮像システム100の幾つかの異なる実施形態における構成及び操作に関する詳細な説明が、図2〜4に関連して以下で提供される。
図2A〜2Bを参照すると、本発明の第1の実施形態に従って、ハイパースペクトル撮像システム100aを示す幾つかの図があり、そこでは、走査可能なスリット機構108は、少なくとも1つの螺旋状スリット204(この例では、3つの螺旋状スリット204a、204b、及び204cが示されている)が形成されたディスク202と、軸208を中心にディスク202を回転させるアクチュエータ206とである。ハイパースペクトル撮像システム100aは、光学素子106、回転ディスク202、アクチュエータ206、分光計110(少なくとも分散装置116を備える)、2次元画像センサ112、コントローラ114、及びハウジング118(図示せず)を含む。光線が一コンポーネントから別のコンポーネントまで適切に導かれるように、光学素子106、ディスク202、分光計110(分散装置116)、及び2次元画像センサ112が、互いに関連して配置されることになることを理解されたい。しかしながら、ハイパースペクトル撮像システム110aの様々な特徴の説明を助けるために、ディスク表面209に対する光学素子106の向きは変更された。例えば、ディスク表面209は、図示のように読者に面しているのではなく、実際には光学素子106の主面に面することになろう。且つ軸208上のディスク202の回転面は、読者に垂直になろう。
図2A〜2Bに示されているように、ディスク202が、第1の時間「t1」に1つの位置「p1」に螺旋状スリット204aの第1の部分209を有し(図2Aを参照)、且つ次に螺旋状スリット204aの別の部分209が、第2の時間「t2」に位置「p1」にあるように(図2Bを参照)、ハイパースペクトル撮像システム100aが構成される例がある。図2Aにおいて、光学素子106が、遠隔物体104に関連する光115aを受信し、且つ遠隔物体104の画像107を表す集束光115bをディスク202上に導くように、ハイパースペクトル撮像システム100aは、第1の時間「t1」において配置される。特に、コントローラ114は、螺旋状スリット204aの第1の部分209が第1の時間「t1」に位置「p1」にあるように、軸208上のディスク202を回転させるためにアクチュエータ206と対話したことになろう。時間「t1」に、螺旋状スリット204aの第1の部分209は、例えば第1のミラー122(図1を参照)を介して分散装置116によって受信される、画像107に関連する第1の光線115cを分光計110へ通過させるために、光学素子106の画像面に又はその近くに配置される。再び、分光計110は、分散装置116(例えば、プリズム116、回折格子116)を有する任意の周知の分光計110とすることができる。分散装置116は、例えば第2のミラー124(図1を参照)を介して2次元画像センサ112によって受信される分散光115eを生成する。2次元画像センサ112は、2次元画像117aを生成するが、2次元画像117aは、分散光115eの空間情報を表す1つの軸210a(例えば、回折格子116が用いられる場合には回折光115eのゼロ次画像)と、分散光115eのスペクトル情報を表す別の軸210b(例えば、回折格子116が用いられる場合には回折光115eの非ゼロ次画像)と、を含む。コントローラ114は、2次元画像117aを受信して記憶し、且つ次に説明するように、遠隔物体104からの画像107に関連する異なる光線115gを分光計110へ通過させるために螺旋状スリット204aの第2の部分209が、時間「t2」に位置「p1」にあるように、ディスク202を回転させるためにアクチュエータ206と対話する。
図2Bにおいて、ハイパースペクトル撮像システム100aは、第2の時間「t2」において構成されて示され、そこでは、例えば第1のミラー122(図1を参照)を介して分散装置116によって受信される、遠隔物体104の画像107に関連する第2の光線115gを分光計110へ通過させるために、螺旋状スリット204aの第2の部分209が、時間「t2」に位置「p1」にあるように、コントローラ114は、ディスク202を回転させるためにアクチュエータ206と対話する。明らかなように、第1の光線115cは、遠隔物体104の画像107に関連する第2の光線115gに隣接するか又はほぼ隣接する。分散装置116は、例えば第2のミラー124(図1を参照)を介して2次元画像センサ112によって受信される分散光115iを生成する。2次元画像センサ112は、2次元画像117bを生成するが、2次元画像117bは、分散光115iの空間情報を表す1つの軸210a(例えば、回折格子116が用いられる場合には回折光115iのゼロ次画像)と、分散光115iのスペクトル情報を表す別の軸210b(例えば、回折格子116が用いられる場合には回折光115iの非ゼロ次画像)と、を含む。コントローラ114は、2次元画像117bを受信し記憶する。その後、螺旋状スリット204aの残りの部分209、209..209が、位置「p1」に連続的に位置し、一方で時間「t3」、「t4」...「tn」において、2次元画像センサ112が、遠隔物体104の異なる分散光線の異なる2次元画像117c、117d...117nを取得するために始動されるように、コントローラ114は、異なる時間「t3」、「t4」...「tn」にディスク202を回転させるためにアクチュエータ206と対話する。コントローラ114は、遠隔物体104のエリアに関連する全体画像107のハイパースペクトル画像102aを提供するために、2次元画像117a、117b、117c...117nを組み合わせる。この例において、各2次元画像117a、117b、117c...117nは、異なる分散光線115e、115i等に対応し、分散光線115e、115i等は、それらのそれぞれのスペクトル画像が組み合わされた場合に、結果としての組合せが、遠隔物体104のエリアの画像107を表すハイパースペクトル画像102aを形成するように、互いに隣接する。
第1の螺旋状スリット204aを用いて、遠隔物体104のエリアのハイパースペクトル画像102aを取得するために用いられる同じプロセスは、第2の螺旋状スリット204bを用いて、遠隔物体104のエリアのハイパースペクトル画像102bを取得するために繰り返され、次に、第3の螺旋状スリットを204c用いて、遠隔物体104のエリアのハイパースペクトル画像102cを取得するために繰り返されることになろう。従って、3つの螺旋状スリット204a、204b、及び204cを有するディスク202は、遠隔物体104のエリアの同じ画像107における3つの異なるハイパースペクトル画像102a、102b、及び102cをディスク202の単一の360°回転ごとに取得できるようにする。この例において、第1の螺旋状スリット204aの異なる部分209、209、209、209..209の組み合わされた幅は、遠隔物体104の画像107の幅211以上であろう。且つ第1の螺旋状スリット204aの異なる部分209、209、209、209..209のそれぞれにおける高さは、遠隔物体104の画像107の高さ213以上であろう。第2の螺旋状スリット204b及び第3の螺旋状スリット204cは、典型的には、第1の螺旋状スリット204aと同じ幅及び高さを有することになろう。
この例において、コントローラ114は、ディスク202の120°回転中に第1の螺旋状スリット204aを用いることによって、1つのハイパースペクトル画像102aを形成するために組み合わされる異なる2次元画像117a、117b、117c...117nを取得することができる。更に、コントローラ114は、ディスク202の残りの240°回転中に第2の螺旋状スリット204b及び第3の螺旋状スリット204c用いることによって、2つのハイパースペクトル画像102b及び102cを形成するために組み合わされる異なる2次元画像を取得する。代替として、ディスク202が1つの螺旋状スリット204だけを有する場合に、コントローラ114は、ディスク202の単一の回転ごとに、遠隔物体104の1つのハイパースペクトル画像を提供することになろう。同様に、ディスク202が2つの螺旋状スリットを有する場合に、コントローラ114は、ディスク202の単一の回転ごとに、遠隔物体104の2つのハイパースペクトル画像を提供することになろう。いずれにせよ、コントローラ114は、任意の所望のデータ速度で2次元画像117a、117b、117c...117nを取得できるが、しかしそれは、典型的には、それぞれの螺旋状スリット204a、204b、及び204cが十分に回転されて、2次元画像センサ112上のそれらのスリットの画像(画像107からのそれぞれの光線)が一画素だけ横に移動されるようにした後になろう。
前述の例において、遠隔物体104の画像107が、任意の所与の時間に螺旋状スリット204a、204b、又は204cの1つだけに位置するように、螺旋状スリット204a、204b、及び204cは、互いに十分に遠く分離される。換言すれば、画像107は、螺旋状スリット204a及び204b間、螺旋状スリット204b及び204c間、又は螺旋状スリット204a及び204c間のスペースに完全に位置することが可能である。これを達成するために、ディスク202、及び特にディスク202の内部に形成された螺旋状スリット204a、204b、及び204cは、前部光学素子106によって結局は形成される画像107の特定のサイズ及び場所に基づいて配置される。特に、ディスク202は、特定の直径を有しても良く、画像107は、ディスク202の表面209上の特定の位置に所定の幅211及び高さ213を有する。更に、螺旋状スリット204a、204b、及び204cは、画像107の一端部222と整列されるように、ディスク202のエッジからの所定の距離「1」に位置する一端部220a、220b、及び220cをそれぞれ有することになろう。更に、螺旋状スリット204a、204b、及び204cは、画像107の反対側端部226と整列されるように、ディスク202のエッジから所定の距離「2」に位置する反対側端部224a、224b、及び224cをそれぞれ有することになろう。換言すれば、各螺旋状スリット204a、204b、及び204cは、ディスク202の外側エッジに対して、それらのスリットのそれぞれの端部220a−224a、220b−224b、及び222c−224c間の距離に関する距離「1」及び「2」間の差が、遠隔物体104の画像107の幅211以上になるような寸法にされる。
代替として、螺旋状スリット204a、204b、及び204cは、所与の時間に(例えば)螺旋状スリット204a及び204bの任意の2つが、それぞれ、遠隔物体104の画像107からの異なる光線を分光計110へ同時に通過させる部分を有することができるように、互いに対して配置することができる。この場合に、コントローラ114は、2次元画像センサ112から対応する2次元画像を受信すると、第1の螺旋状スリット204aに関連する2次元画像を第2の螺旋状スリット204bに関連する2次元画像から分離するために、2次元画像を処理する必要があろう。次に、コントローラ114は、ハイパースペクトル画像102aを形成するために、第1の螺旋状スリット204aだけに関連する様々な2次元画像を組み合わせ、且つハイパースペクトル画像102bを形成するために、第2の螺旋状スリット204bだけに関連する様々な2次元画像を組み合わせることになろう。
図2Cを参照すると、本発明の第1の実施形態に従って、遠隔物体104の2次元エリア107のハイパースペクトル画像102を提供するために、ハイパースペクトル撮像システム100aを用いるための例示的な方法200Cのステップを示す流れ図がある。方法は、(a)光学素子106と、回転可能なディスク202(その中には少なくとも1つの螺旋状スリット204が形成される)と、アクチュエータ206と、分光計110(少なくとも分散装置116を備える)と、2次元画像センサ112と、コントローラ114と、を含むハイパースペクトル撮像システム100aを提供するステップ(ステップ202C)と、(b)遠隔物体104に関連する光115aを受信する光学素子106を配置するステップ(ステップ204C)と、(c)遠隔物体104に関連する第1の光線115cが、第1の光線115cを受信して第1の分散光線115eを2次元画像センサ112に出力するように構成された分散装置116を少なくとも備えた分光計110へと、螺旋状スリット204の第1の部分209を通過できるように、ディスク202が回転されて螺旋状スリット204の第1の部分209が配置されるようにアクチュエータ206を制御するステップ(ステップ206C)と、(d)2次元画像センサ112から第1の分散光線115eの2次元画像117aを取得するステップ(ステップ208C)と、(e)遠隔物体104に関連する第2の光線115gが、第2の光線115gを受信して第2の分散光線115iを2次元画像センサ112に出力するように構成された分散装置116を少なくとも備えた分光計110へと、螺旋状スリット204の第2の部分209を通過できるように、ディスク202が回転されて螺旋状スリット204の第2の部分209が配置されるようにアクチュエータ206を制御するステップ(ステップ210C)と、(f)2次元画像センサ112から第2の分散光線115iの2次元画像117bを取得するステップ(ステップ212C)と、(g)遠隔物体104に関連する異なる光線が、螺旋状スリット204の異なる部分209、209...209を通過できるように、ディスク202が回転されて螺旋状スリット204の異なる部分209、209...209が配置されるようにアクチュエータ206を繰り返し制御し、一方で遠隔物体104の2次元エリアのハイパースペクトル画像102を提供するために、異なる分散光線の2次元画像117c、117d...117nを2次元画像センサ112から繰り返し取得し、且つ第1及び第2の2次元画像117a及び117b並びに異なる2次元画像117c、117d...117nを組み合わせるステップ(ステップ214C)と、を含む。一例において、コントローラ114は、第1及び第2の2次元画像117a及び117b並びに異なる2次元画像117c、117d...117nを取得しながら、連続的に一定した速度でディスク202を回転させるようにアクチュエータ206を制御することができる。上記の例において、コントローラ114は、メモリ117とインターフェースするプロセッサ115を含んでも良く、メモリ117は、プロセッサ実行可能命令を記憶し、それらのプロセッサ実行可能命令を実行してステップ204C、206C、208C、210C、212C、及び214Cを実行する。
必要に応じて、走査ディスク202及びアクチュエータ206は、システムのサイズに著しい影響を与えずに、既存の設計に追加することが可能である。更に結果として向上したシステム(即ち、ハイパースペクトル撮像システム100a)は、ほぼ100%の走査効率を提供することになろう。前部光学素子の前に走査ミラーを組み込むガルバノメータ駆動スキャナのような他の従来の走査システムは、遠隔物体におけるどのラインが分光計に伝達されているかを知るために、走査装置からのフィードバックを必要とする。しかしながら、ハイパースペクトル撮像システム100aにおいて、2次元画像センサ112が、ゼロ次画像及び回折画像を撮像するほど十分に大きい場合に、ゼロ次画像の位置は、或る走査装置からのフィードバックを必要とせずに、この情報(即ち、遠隔物体におけるどのラインが分光計に伝達されているか)を提供することができる。更に、従来のガルバノメータ駆動スキャナは、振動源であり、且つハイパースペクトル撮像システム100aにおいて用いられる定速度の回転ディスク202と比較した場合に、より高い所要電力を伴う可能性がある。更に、従来のポリゴンスキャナは、典型的には、追加の反射面という貧弱な走査効率を有し、且つ前部光学素子と遠隔物体との間に配置された場合に、ハイパースペクトル撮像システム100aのサイズと比較した場合に、システムサイズの著しい増加を必要とすることになろう。本発明において、ディスク202は、従来のリソグラフィ技術(例として、可視短波長赤外線(SWIR)用途のためのガラス上のクロム)で製造することが可能である。ディスク202はまた、共同譲渡された米国特許第7,697,137号明細書(その内容は、参照により本明細書に援用される)において定義されたプロセスを用いて、金属基板に製造することが可能である。最後に、ディスク202は、単純なモータ206(アクチュエータ206)によって駆動され得、速度制御又は角度位置装置が必要とされない。しかしながら、ディスク202の軸位置は、前部光学素子106の焦点深度内にあるように、名目上制御され配置される必要がある。
図3A〜3Bを参照すると、本発明の第2の実施形態に従ってハイパースペクトル撮像システム100bを示す幾つかの図があり、そこでは、走査可能なスリット機構108は、複数の直線スリット304(この例では、10の直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jが示されている)が形成されたディスク302、及び軸308を中心にディスク302を回転させるアクチュエータ306である。ハイパースペクトル撮像システム100bは、光学素子106、回転ディスク302、アクチュエータ306、分光計110(少なくとも分散装置116を備える)、2次元画像センサ112、コントローラ114、及びハウジング118(図示せず)を含む。光学素子106、ディスク302、分光計110(分散装置116)、及び2次元画像センサ112は、光線が、一コンポーネントから別のコンポーネントへと適切に導かれるように互いに配置されるであろうことを理解されたい。しかしながら、ハイパースペクトル撮像システム110bの様々な特徴の説明を助けるために、ディスク表面309に対する光学素子106の向きは変更された。例えば、ディスク表面309は、図示のように読者に面するのではなく、実際には、光学素子106の主面に面することになろう。且つ軸308上のディスク302の回転面は、読者に垂直になろう。
図3A〜3Bに示されているように、ディスク302が、第1の時間「t1」に1つの位置「p1」に1つの直線スリット304aを有し(図3Aを参照)、次にディスク302が、第2の時間「t2」に位置「p1」に次の直線スリット304bを有する(図3Bを参照)ように、ハイパースペクトル撮像システム100bが構成される例がある。図3Aにおいて、ハイパースペクトル撮像システム100bは、光学素子106が、遠隔物体104に関連する光115aを受信し且つ遠隔物体104の画像107を表す集束光115bをディスク302上に導くように、第1の時間「t1」に配置される。特に、コントローラ114は、第1の直線スリット304aが第1の時間「t1」に位置「p1」にあるように、軸308上でディスク302を回転させるためにアクチュエータ306と対話することになろう。時間「t1」に、第1の直線スリット304aは、例えば第1のミラー122(図1を参照)を介して分散装置116によって受信される、画像107に関連する第1の光線115cを分光計110へ通過させるために、光学素子106の画像面に又はその近くに配置される。再び、分光計110は、分散装置116(例えば、プリズム116、回折格子116)を有する任意の周知の分光計110とすることができる。分散装置116は、例えば第2のミラー124(図1を参照)を介して2次元画像センサ112によって受信される分散光115eを生成する。2次元画像センサ112は、2次元画像117aを生成するが、2次元画像117aは、分散光115eの空間情報を表す1つの軸310a(例えば、回折格子116が用いられる場合には回折光115eのゼロ次画像)と、分散光115eのスペクトル情報を表す別の軸310b(例えば、回折格子116が用いられる場合には回折光115eの非ゼロ次画像)と、を含む。コントローラ114は、2次元画像117aを受信して記憶し、且つ次に説明するように、遠隔物体104からの画像107に関連する異なる光線115gを分光計110へ通過させるために、第2の直線スリット304bが時間「t2」に位置「p1」にあるように、ディスク302を回転させるためにアクチュエータ306と対話する。
図3Bにおいて、ハイパースペクトル撮像システム100bが、第2の時間「t2」において構成されて示され、そこでは、コントローラ114は、例えば第1のミラー122(図1)を介して分散装置116によって受信される、遠隔物体104の画像107に関連する第2の光線115gを分光計110へ通過させるために、第2スリット直線304bが時間「t2」に位置「p1」にあるように、ディスク302を回転させるためにアクチュエータ306と対話した。明らかなように、第1の光線115cは、遠隔物体104の画像107に関連する第2の光線115gに隣接するか又はほぼ隣接する。分散装置116は、例えば第2のミラー124(図1)を介して2次元画像センサ112によって受信される分散光115iを生成する。2次元画像センサ112は、2次元画像117bを生成するが、2次元画像117bは、分散光115iの空間情報を表す1つの軸210a(例えば、回折格子116が用いられる場合には回折光115iのゼロ次画像)と、分散光115iのスペクトル情報を表す別の軸210b(例えば、回折格子116が用いられる場合には回折光115iの非ゼロ次画像)と、を含む。コントローラ114は、2次元画像117bを受信し記憶する。その後、コントローラ114は、残りの直線スリット304c、304d、304e、304f、304g、304h、304i、304jが、時間「t3」、「t4」、「t5」、「t6」、「t7」、「t8」、「t9」、「t10」に、位置「p1」に連続的に位置するように、異なる時間「t3」、「t4」、「t5」、「t6」、「t7」「t8」、「t9」、「t10」にディスク302を回転させるためにアクチュエータ306と対話し、その間に、コントローラ114は、遠隔物体104の異なる2次元画像117c、117d、117e、117f、117g、117h、117i、117jを取得するために、2次元画像センサ112と対話する。コントローラ114は、遠隔物体104のエリアに関連する全体画像107のハイパースペクトル画像102を提供するために、2次元画像117a、117b、117c、117d、117e、117f、117g、117h、117i、117jを組み合わせる。この例において、各2次元画像117a、117b、117c、117d、117e、117f、117g、117h、117i、117jは、異なる分散光線115e、115i等に対応し、分散光線115e、115i等は、それらのそれぞれのスペクトル画像が組み合わされた場合に、結果としての組合せが、遠隔物体104のエリアの全体画像107に関連するハイパースペクトル画像102を形成するように、互いに隣接する。
明らかなように、複数の直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jを有するディスク302は、遠隔物体104のエリアの画像107に関連するハイパースペクトル画像102の生成を、ディスク202の単一の360°回転ごとに得られるようにすることができる。この例において、直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jのそれぞれにおける長さは、遠隔物体104の画像107の幅211以上になろう。且つ直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jの組み合わされた幅は、遠隔物体104の画像107の高さ213以上になろう。図示のように、第1の直線スリット302aが位置「p1」にある場合に、第1の直線スリット302aが、画像107の上部からの光線115cがそのスリットを通過できるようにし、且つ第2の直線スリット302bが位置「p1」にある場合に、第2の直線スリット302bが、画像107の上部のすぐ下からの光線115gがそのスリットを通過できるようにし、残りの直線スリット304c、304d、304e、304f、304g、304h、304i、304jに対しても同様であるように、直線スリット304a、304b、304c、304d、304e 304f、304g、304h、304i、304jは、ディスク302の表面309上にオフセットされて配置されることになろう。このように、直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jの全てが、位置「p1」に存在した後で、それらを通過する光線115c、115g等は、全ての光線115c、115g等が組み合わされた場合に、それらが全体画像107を包含するように、互いに隣接する。任意の数の直線スリット304がディスク302上に形成され得、組み合わされた場合に直線スリット304の幅の全てが遠隔物体104の画像107の高さ213以上である限り、各直線スリット304が同じ又は異なる幅を有し得ることを理解されたい。
前述の例において、コントローラ114は、対応する個別の直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jが位置「p1」にあり、且つ2次元画像センサ112と平行に整列されている場合に、2次元画像117a、117b、117c、117d、117e、117f、117g、117h、117i、117jの「スナップショット」を取得する。従って、コントローラ114は、軸308を中心に36°にわたってディスク306を回転させた後で、2次元画像117a、117b、117c、117d、117e、117f、117g、117h、117i、117jのそれぞれの「スナップショット」を取得することになり、これらの36°の回転の合間には、データは、2次元画像センサ112から得られないことになろう。その結果、ハイパースペクトル撮像システム100bは、100%の走査効率を有しない。なぜなら、直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jが位置「p1」にない場合に、データが、2次元画像センサ112から得られないからである。コントローラ114は、ディスク306の回転を停止する必要なしに、2次元画像117a、117b、117c、117d、117e、117f、117g、117h、117i、117jの「スナップショット」を取得することができる。なぜなら、コントローラ114は、直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jが位置「p1」にある場合はいつでも、2次元画像センサ112と対話し、そこからデータを取得することになるからである。
図3Cを参照すると、本発明の第2の実施形態に従って、遠隔物体104の2次元エリア107のハイパースペクトル画像102を提供するために、ハイパースペクトル撮像システム100bを用いるための例示的な方法300Cのステップを示す流れ図がある。方法は、(a)光学素子106と、回転可能なディスク302((例えば)その中には複数の直線スリット304a、304b、304c、304d、304e、304f、304g、304h、304i、304jが形成される)と、アクチュエータ306と、分光計110(少なくとも分散装置116を備える)と、2次元画像センサ112と、コントローラ114と、を含むハイパースペクトル撮像システム100bを提供するステップ(ステップ302C)と、(b)遠隔物体104に関連する光115aを受信する光学素子106を配置するステップ(ステップ304C)と、(c)遠隔物体104に関連する第1の光線115cが、第1の光線115cを受信して第1の分散光線115eを2次元画像センサ112に出力するように構成された分散装置116を備えた分光計110へと、第1の直線スリット304aを通過できるように、ディスク302が回転されて第1の直線スリット304aが配置されるように、アクチュエータ306を制御するステップ(ステップ306C)と、(d)2次元画像センサ112から第1の分散光線115eの第1の2次元画像117aを取得するステップ(ステップ308C)と、(e)遠隔物体104に関連する第2の光線115gが、第2の光線115gを受信して第2の分散光線115iを2次元画像センサ112に出力するように構成された分散装置116を少なくとも備えた分光計110へと、第2の直線スリット304bを通過できるように、ディスク302が回転されて第2の直線スリット304bが配置されるようにアクチュエータ306を制御するステップ(ステップ310C)と、(f)2次元画像センサ112から第2の分散光線115gの第2の2次元画像117bを取得するステップ(ステップ312C)と、(g)遠隔物体104に関連する異なる光線が、(例えば)異なる直線スリット304c、304d、304e、304f、304g、304h、304i、304jを通過できるように、ディスク302が回転されて(例えば)異なる直線スリット304c、304d、304e、304f、304g、304h、304i、304jが配置されるようにアクチュエータ306を繰り返し制御し、一方で遠隔物体104の2次元エリアのハイパースペクトル画像102を提供するために、異なる分散光線の2次元画像117c、117d、117e、117f、117g、117h、117i、117jを2次元画像センサ112から繰り返し取得し、且つ第1及び第2の2次元画像117a及び117b、並びに異なる2次元画像117c、117d、117e、117f、117g、117h、117i、117jを組み合わせるステップ(ステップ314C)と、を含む。一例において、コントローラ114は、第1及び第2の2次元画像117a及び117b、並びに異なる2次元画像117c、117d...117nを取得しながら、連続的に一定した速度でディスク302を回転させるようにアクチュエータ306を制御することができる。上記の例において、コントローラ114は、メモリ117とインターフェースするプロセッサ115を含んでも良く、メモリ117は、プロセッサ実行可能命令を記憶し、それらのプロセッサ実行可能命令を実行してステップ304C、306C、308C、310C、312C、及び314Cを実行する。
必要に応じて、走査ディスク302及びアクチュエータ306は、システムのサイズに著しい影響を与えずに、既存の設計に追加することが可能である。更に、結果として向上したシステム(即ち、ハイパースペクトル撮像システム100b)は、100%に近い走査効率を提供することになろう。前部光学素子の前に走査ミラーを組み込むガルバノメータ駆動スキャナのような他の従来の走査システムは、遠隔物体におけるどのラインが分光計に伝達されているかを知るために、走査装置からのフィードバックを必要とする。しかしながら、ハイパースペクトル撮像システム100bにおいて、2次元画像センサ112が、ゼロ次画像及び回折画像を撮像するほど十分に大きい場合に、ゼロ次画像の位置は、或る走査装置からのフィードバックを必要とせずに、この情報(即ち、遠隔物体におけるどのラインが分光計に伝達されているか)を提供することができる。更に、従来のガルバノメータ駆動スキャナは、振動源であり、且つハイパースペクトル撮像システム100bにおいて用いられる定速度の回転ディスク302と比較した場合に、より高い所要電力を伴う可能性がある。更に、従来のポリゴンスキャナは、典型的には、追加の反射面という貧弱な走査効率を有し、且つ前部光学素子と遠隔物体との間に配置された場合に、ハイパースペクトル撮像システム100bのサイズと比較した場合に、システムサイズの著しい増加を必要とすることになろう。本発明において、ディスク302は、従来のリソグラフィ技術(例として、可視短波長赤外線(SWIR)用途のためのガラス上のクロム)で製造することが可能である。ディスク302はまた、共同譲渡された米国特許第7,697,137号明細書(その内容は、参照により本明細書に援用される)において定義されたプロセスを用いて、金属基板に製造することが可能である。最後に、ディスク302は、単純なモータ306(アクチュエータ306)によって駆動され得、速度制御又は角度位置装置が必要とされない。しかしながら、ディスク302の軸位置は、前部光学素子106の焦点深度内にあるように、名目上制御され配置される必要がある。
図4A〜4Bを参照すると、本発明の第3の実施形態に従って、ハイパースペクトル撮像システム100cを示す幾つかの図(注:図4A〜4Bは、表面406の一部が切り取られ、その結果、ドラム402の内部に位置する折り返しミラー404を見ることができる)があり、そこでは、走査可能なスリット機構108は、その表面406における少なくとも1つの直線スリット404(この例では、幾つかの直線スリット404a、404b、404c、404d及び404eを見ることができる)及び中に位置する折り返しミラー408を備えたドラム402、並びに軸412を中心にドラム402を回転させるアクチュエータ410である。ハイパースペクトル撮像システム100cは、少なくとも1つの光学素子106、回転可能なドラム402、アクチュエータ410、分光計110(少なくとも分散装置116を備える)、2次元画像センサ112、コントローラ114、及びハウジング118(図示せず)を含む。光学素子106、ドラム402、分光計110(分散装置116)、及び2次元画像センサ112は、光線が一コンポーネントから別のコンポーネントへと適切に導かれるように、互いに配置されるであろうことを理解されたい。かかるものとして、回転ドラム402は、光学素子106からの光115bが通過し且つ表面406の内部418に遠隔物体104の画像107を形成するために折り返しミラー408によって反射される開口部414を自身の一側416に有することになろう。表面406の内部418は、光学素子106の画像面に配置されることになろう(図4A及び4Bにおける分解図420を参照)。
図4A〜4Bに示されているように、回転ドラム402が、第1の時間「t1」(図4Aを参照)に1つの位置「p1」に1つの直線スリット404aを有し、次に回転ドラム402が、第2の時間「t2」(図4Bを参照)に位置「p2」に直線スリット404aを有するように、ハイパースペクトル撮像システム100cが構成される例がある。図4Aにおいて、光学素子106が、遠隔物体104に関連する光115aを受信し、且つ回転ドラム402内の表面406(分解図420を参照)の内部418に遠隔物体104の画像107を形成するために、遠隔物体104の画像107を表す集束光115bを、回転ドラム402の一側416における開口部414を通して、集束光115bを反射する折り返しミラー408に導くように、ハイパースペクトル撮像システム100cは、第1の時間「t1」に配置される。特に、コントローラ114は、第1の直線スリット404aが第1の時間「t1」に位置「p1」にあるように、軸412上でドラム402を回転させるためにアクチュエータ410と対話することになろう。時間「t1」において、第1の直線スリット404aは、例えば第1のミラー122(図1を参照)を介して分散装置116によって受信される、画像107に関連する第1の光線115cを、分光計110へ通過させるために、光学素子106の画像面に又はその近くに配置される。再び、分光計110は、分散装置116(例えば、プリズム116、回折格子116)を有する任意の周知の分光計110とすることができる。分散装置116は、例えば第2のミラー124(図1を参照)を介して2次元画像センサ112によって受信される分散光115eを生成する。2次元画像センサ112は、2次元画像117aを生成するが、2次元画像117aは、分散光115eの空間情報を表す1つの軸410a(例えば、回折格子116が用いられる場合には回折光115eのゼロ次画像)と、分散光115eのスペクトル情報を表す別の軸410b(例えば、回折格子116が用いられる場合には回折光115eの非ゼロ次画像)と、を含む。コントローラ114は、2次元画像117aを受信して記憶し、且つ次に説明するように、遠隔物体104からの画像107に関連する異なる光線115gを分光計110へ通過させるために第1の直線スリット404aが時間「t2」に位置「p2」にあるように、ドラム402を回転させるためにアクチュエータ410と対話する。
図4Bにおいて、ハイパースペクトル撮像システム100cは、第2の時間「t2」において構成されて示され、そこでは、コントローラ114は、例えば第1のミラー122(図1)を介して分散装置116によって受信される、遠隔物体104の画像107に関連する第2の光線115gを分光計110へ通過させるために、第1スリット直線404aが時間「t2」に位置「p2」にあるように、ドラム402を回転させるためにアクチュエータ410と対話した。明らかなように、第1の光線115cは、遠隔物体104の画像107に関連する第2の光線115gに隣接するか又はほぼ隣接する。分散装置116は、例えば第2のミラー124(図1)を介して2次元画像センサ112によって受信される分散光115iを生成する。2次元画像センサ112は、2次元画像117bを生成するが、2次元画像117bは、分散光115iの空間情報を表す1つの軸410a(例えば、回折格子116が用いられる場合には回折光115iのゼロ次画像)と、分散光115iのスペクトル情報を表す別の軸410b(例えば、回折格子116が用いられる場合には回折光115iの非ゼロ次画像)と、を含む。コントローラ114は、2次元画像117bを受信し記憶する。その後、コントローラ114は、第1の直線スリット404aが、位置「p3」、「p4」...「pn」を連続的に有するように、異なる時間「t3」、「t4」...「tn」にドラム402を回転させるためにアクチュエータ410と対話し、一方で時間「t3」、「t4」...「tn」に、2次元画像センサ112は、遠隔物体104の異なる分散光線の異なる2次元画像117c、117d...117nを取得するために作動される。コントローラ114は、遠隔物体104のエリアに関連する全体画像107のハイパースペクトル画像102aを提供するために、2次元画像117a、117b、117c...117nを組み合わせる。この例において、各2次元画像117a、117b、117c...117nは、異なる分散光線115e、115i等に対応し、分散光線115e、115i等は、それらのそれぞれのスペクトル画像が組み合わされた場合に、結果としての組合せが遠隔物体104のエリアの画像107を表すハイパースペクトル画像102aを形成するように、互いに隣接する。
第1の直線スリット404aを用いて、遠隔物体104のエリアのハイパースペクトル画像102aを取得するために用いられる同じプロセスは、第2のスリット404bを用いて、遠隔物体104のエリアのハイパースペクトル画像102bを取得するために繰り返され、次に、第3の直線スリット404c用いて、遠隔物体104のエリアのハイパースペクトル画像102cを取得するために繰り返される等であろう。従って、「x」の数の直線スリット404を有するドラム402は、ドラム402の単一の360°回転ごとに、遠隔物体104のエリアの同じ画像107の「x」の数のハイパースペクトル画像102を取得することができるようにする。コントローラ114は、任意の所望のデータ速度で2次元画像117a、117b、117c...117nを取得できるが、しかしそれは、典型的には、2次元画像センサ112上のそれぞれの直線スリット404a、404b、404c及び404dの画像(画像107からのそれぞれの光線)が一画素だけ横に移動するために、それぞれの直線スリット404a、404b、404c及び404dが十分に回転された後になろう。
この例において、直線スリット402a、402b、402c及び402dのそれぞれにおける長さは、遠隔物体104の画像107の幅211以上になろう。且つ直線スリット402a、402b、402c及び402dの幅は、遠隔物体104の画像107の全高さ213に対処するために、どれほど多くの位置「p1」、「p2」、「p3」...「pn」及び時間「t1」、「t2」、「t3」...「tn」にわたって各直線スリット402a、402b、402c及び402dが、ドラム402を回転させることによって移動されることになるかを規定することになろう。換言すれば、全ての光線115c、115g等が組み合わされた場合に、それらが全体画像107を包含するであろうように、直線スリット402a、402b、402c及び402dの幅は、全ての隣接する光線115c、115g等がそれらのスリットを通過できるようにするために、どれほど多くの位置「p1」、「p2」、「p3」...「pn」及び時間「t1」、「t2」、「t3」...「tn」にわたって各直線スリット402a、402b、402c及び402dが、ドラム402を回転させることによって移動されることになるかを規定することになろう。任意の数の直線スリット404(4つだけが示されている)が、ドラム402上に形成され得ること、及び直線スリット404が、同じ又は異なる幅及び長さを有し得ることを理解されたい。
前述の例において、直線スリット404a、404b、404c及び404dは、遠隔物体104の画像107が、任意の所与の時間に直線スリットは404a、404b、404c及び404dの1つだけに位置するように、互いに十分に遠く分離される。換言すれば、画像107は、直線スリット404a及び404b間、直線スリット404b及び404c間、又は直線スリット404c及び404d間等のスペースに完全に位置することが可能である。この点において、前部光学素子106によって形成された2D画像107は、ドラム402の内部418にあり、且つドラム404の各角度位置に対して、それぞれの直線スリット404a(例えば)は、画像107の一ラインだけを分光計110へ「通過させる」。ドラム402の外径及び走査される2D画像107のサイズに基づいて、直線スリットは404a、404b、404c及び404dは、1つの直線スリット404a(例えば)が光学素子106の2D視野を出る場合に、次の直線スリット404b(例えば)が画像107の2D視野にちょうど入っているように、互いに角度をなして離間される。これは、100%の走査効率に帰着する。この状況において、直線スリット404a(例えば)が、光学素子106の焦点面を横断しながら、それはまた、焦点内及び焦点外に移動する。この問題に取り組むために、ドラム402は、直線スリット404a(例えば)が光学素子106の焦点深度内に残るように、理想的には十分に大きくなろう。
代替として、直線スリット404a、404b、404c及び404dは、所定の時間に直線スリット404a及び404b(例えば)の任意の2つが、それぞれ、遠隔物体104の画像107からの異なる光線を分光計110へ同時に通過させる部分を有することができるように、互いに対して配置することができる。この場合に、コントローラ114は、2次元画像センサ112から2次元画像を受信すると、第1の直線スリット404aに関連する2次元画像を第2の直線スリット404bに関連する2次元画像から分離するために、2次元画像を処理することになろう。次に、コントローラ114は、ハイパースペクトル画像102aを形成するために、第1の直線スリット404aだけに関連する様々な2次元画像を後で組み合わせ、次にハイパースペクトル画像102bを形成するために、第2の直線スリット404bだけに関連する様々な2次元画像を組み合わせることになろう。
図4Cを参照すると、本発明の第3の実施形態に従って、遠隔物体104の2次元エリア107のハイパースペクトル画像102を提供するために、ハイパースペクトル撮像システム100cを用いるための例示的な方法400Cのステップを示す流れ図がある。方法は、(a)光学素子106と、回転可能なドラム402(その表面406上の少なくとも1つの直線スリット404、及びその中に位置する折り返しミラー408を有する)と、アクチュエータ410と、分光計110(少なくとも分散装置116を備える)と、2次元画像センサ112と、コントローラ114と、を含むハイパースペクトル撮像システム100bを提供するステップ(ステップ402C)と、(b)遠隔物体104に関連する光115aを受信する光学素子106を配置するステップ(ステップ404C)と、(c)ドラム402の一側416における開口部414が、光学素子106から光115bを受信するように配置され、且つ折り返しミラー408が、光学素子106から受信された光115bを表面406の内部418の方へ反射するために配置されるように、ドラム402を配置するステップであって、表面406の内部418が、光学素子106の画像面に配置されるステップ(ステップ406C)と、(d)遠隔物体104に関連する第1の光線115cが、第1の光線115cを受信して第1の分散光線115eを2次元画像センサ112へ出力するように構成された分散装置116を少なくとも備えた分光計110へと、スリット404を通過できるように、ドラム402が回転されてスリット404が配置されるようにアクチュエータ410を制御するステップ(ステップ408C)と、(e)2次元画像センサ112から第1の分散光線115gの2次元画像117aを取得するステップ(ステップ410C)と、(f)遠隔物体104に関連する第2の光線115gが、第2の光線115gを受信して第2の分散光線115iを2次元画像センサ112へ出力するように構成された分散装置116を少なくとも備えた分光計110へと、スリット404を通過できるように、ドラム402が回転されてスリット404が配置されるようにアクチュエータ410を制御するステップ(ステップ412C)と、(g)2次元画像センサ112から第2の分散光線115iの2次元画像117bを取得するステップ(ステップ414C)と、(h)遠隔物体104に関連する異なる光線が、スリット404を通過できるように、ドラム402が回転されてスリット404が配置されるようにアクチュエータ410を繰り返し制御し、一方で遠隔物体104の2次元エリア107のハイパースペクトル画像102を提供するために、異なる分散光線の2次元画像117c、117d...117nを2次元画像センサ112から繰り返し取得し、且つ第1及び第2の2次元画像117a及び117b、並びに異なる2次元画像117c、117d...117nを組み合わせるステップ(ステップ416C)と、を含む。一例において、コントローラ114は、第1及び第2の2次元画像117a及び117b、並びに異なる2次元画像117c、117d...117nを取得しながら、連続的に一定した速度でドラム402を回転させるようにアクチュエータ410を制御することができる。上記の例において、コントローラ114は、メモリ117とインターフェースするプロセッサ115を含んでも良く、メモリ117は、プロセッサ実行可能命令を記憶し、それらのプロセッサ実行可能命令を実行してステップ404C、406C、408C、410C、412C、414C、及び416Cを実行する。
本発明の複数の実施形態が、添付の図面に示され、前述の詳細な説明に記載されたが、本発明が、開示された実施形態に限定されず、且つ特許請求の範囲で説明され定義されるような本発明から逸脱せずに、多数の再配置、修正形態、及び置換形態が可能であることを理解されたい。本明細書で用いられる「本発明」又は「発明」への言及が、例示的な実施形態に関連し、必ずしも添付の特許請求の範囲によって包含される全ての実施形態に関連するものではないことにもまた注目されたい。

Claims (5)

  1. 遠隔物体(104)の2次元エリアのハイパースペクトル画像(102)を提供するためのハイパースペクトル撮像システム(100c)において、前記ハイパースペクトル撮像システムが、
    前記遠隔物体に関連する光(115a)を受信するように構成された少なくとも1つの光学素子(106)と、
    自身の表面(406)に形成された少なくとも1つのスリット(404a、404b、404c、404d)及び自身に位置する折り返しミラー(408)を備えた回転ドラム(402)であって、該回転ドラムが、前記少なくとも1つの光学素子からの光が通過し且つ前記折り返しミラーによって前記表面の内部(418)の方へ反射される、該回転ドラムの一側(416)における開口部(414)を有し、前記表面の内部が、前記少なくとも1つの光学素子の画像面に配置される回転ドラム(402)と、
    前記ドラムを回転させるアクチュエータ(410)と、
    前記遠隔物体に関連する第1の光線(115c)が前記少なくとも1つのスリットの第1のスリット(404a)を通過できるように、前記ドラムが回転されて前記第1のスリット(404a)が配置されるように、前記アクチュエータを制御するように構成されたコントローラ(114)と、
    前記第1の光線を受信して第1の分散光線(115e)を出力するように構成された分散装置(116)を少なくとも備えた分光計(110)と、
    前記第1の分散光線を受信して前記第1の分散光線の第1の2次元画像(117a)を提供するように構成された2次元画像センサ(112)と、
    を備え、
    前記コントローラが、前記第1の2次元画像を取得するように構成され、且つ前記遠隔物体に関連する第2の光線(115g)が前記少なくとも1つのスリットの前記第1のスリットを通過できるように前記ドラムが回転されて前記第1のスリットが配置されるように、前記アクチュエータを制御するように構成され、
    前記分光計が、前記第2の光線を受信して第2の分散光線(115i)を出力するように構成された前記分散装置を少なくとも備え、
    前記2次元画像センサが、前記第2の分散光線を受信して前記第2の分散光線の第2の2次元画像(117b)を提供するように構成され、
    前記コントローラが、前記第2の2次元画像を取得するように構成され、
    前記少なくとも1つのスリットが複数のスリットであり、所定の時間で、前記スリットの任意の2つの各々が前記遠隔物体に関連する異なる光線が同時に前記分光計へと通過する部分を有するように、前記スリットの各々が前記ドラム上で互いに分離しており、
    前記コントローラが、(1)前記遠隔物体に関連する前記2つの異なる光線用の前記2次元画像センサからの対応する2つの2次元画像を得て、(2)該得られた2次元画像を前記2つのスリットの第1に関連する2つの2次元画像と、前記2つのスリットの第2に関連する他の2つの2次元画像に分離し、(3)前記第1のスリットにのみ関連する種々の2次元画像を結合して前記遠隔物体の前記2次元エリアの第1のハイパースペクトル画像を形成し、前記第2のスリットにのみ関連する種々の2次元画像を結合して前記遠隔物体の前記2次元エリアの第2のハイパースペクトル画像を形成するように、さらに構成されてなることを特徴とするハイパースペクトル撮像システム(100c)。
  2. 前記遠隔物体の前記光に関連する異なる光線が前記少なくとも1つのスリットの前記第1のスリットを通過できるように、前記ドラムが回転されて前記少なくとも1つのスリットの前記第1のスリットが配置されるように、前記コントローラが、前記アクチュエータを繰り返し制御し、一方で前記遠隔物体の前記2次元エリアの前記ハイパースペクトル画像を提供するために、前記異なる分散光線の2次元画像(117a、117b、117c...117n)を前記2次元画像センサから繰り返し取得し、且つ前記第1及び第2の2次元画像、並びに前記異なる2次元画像を組み合わせることを特徴とする、請求項1記載のハイパースペクトル撮像システム。
  3. 前記コントローラが、前記第1及び第2の2次元画像、並びに前記異なる2次元画像を取得しながら、定速度で前記ドラムを回転させるように前記アクチュエータを制御することを特徴とする、請求項1または2記載のハイパースペクトル撮像システム。
  4. 前記分散装置が、回折格子およびプリズムからなる群より選択されることを特徴とする、請求項1からいずれか1項に記載のハイパースペクトル撮像システム。
  5. 遠隔物体(104)の2次元エリアのハイパースペクトル画像(102)を提供する方法(400c)において、
    ハイパースペクトル撮像システム(100c)であって、
    少なくとも1つの光学素子(106)と、
    自身の表面(406)に形成された少なくとも1つのスリット(404a、404b、404c、404d)及び自身に位置する折り返しミラー(406)を備えた回転ドラム(402)と、
    前記ドラムを回転させるアクチュエータ(410)と、
    コントローラ(114)と、
    分光計(110)と、
    2次元画像センサ(112)と、
    を備えたハイパースペクトル撮像システム(100c)を提供するステップ(402c)と、
    前記遠隔物体に関連する光(115a)を受信するように前記少なくとも1つの光学素子を配置するステップ(404c)と、
    前記ドラムの一側(416)における開口部(414)が前記少なくとも1つの光学素子から前記光を受信するように配置され、且つ前記折り返しミラーが前記少なくとも1つの光学素子から受信した前記光を前記表面の内部(418)の方に反射させるように配置されるように、前記ドラムを配置するステップであって、前記表面の内部が前記少なくとも1つの光学素子の画像面に配置されるステップ(406c)と、
    前記遠隔物体に関連する第1の光線(115c)が、前記第1の光線を受信して第1の分散光線(115e)を前記2次元画像センサに出力するように構成された分散装置(116)を少なくとも備えた前記分光計へと、前記少なくとも1つのスリットの第1のスリット(404a)を通過できるように、前記ドラムが回転されて前記第1のスリット(404a)が配置されるように、前記アクチュエータを制御するステップ(408c)と、
    前記第1の分散光線の第1の2次元画像(117a)を前記2次元画像センサから取得するステップ(410c)と、
    前記遠隔物体に関連する第2の光線(115g)が、前記第2の光線を受信して第2の分散光線(115i)を前記2次元画像センサに出力するように構成された前記分散装置を少なくとも備えた前記分光計へと、前記少なくとも1つのスリットの前記第1のスリットを通過できるように、前記ドラムが回転されて前記少なくとも1つのスリットの前記第1のスリットが配置されるように、前記アクチュエータを制御するステップ(412c)と、
    前記第2の分散光線の第2の2次元画像(117b)を前記2次元画像センサから取得するステップ(414c)と、
    を有してなり、
    前記少なくとも1つのスリットが複数のスリットであり、所定の時間で、前記スリットの任意の2つの各々が前記遠隔物体に関連する異なる光線が同時に前記分光計へと通過する部分を有するように、前記スリットの各々が前記ドラム上で互いに分離しており、
    前記コントローラが、(1)前記遠隔物体に関連する前記2つの異なる光線用の前記2次元画像センサからの対応する2つの2次元画像を得て、(2)該得られた2次元画像を前記2つのスリットの第1に関連する2つの2次元画像と、前記2つのスリットの第2に関連する他の2つの2次元画像に分離し、(3)前記第1のスリットにのみ関連する種々の2次元画像を結合して前記遠隔物体の前記2次元エリアの第1のハイパースペクトル画像を形成し、前記第2のスリットにのみ関連する種々の2次元画像を結合して前記遠隔物体の前記2次元エリアの第2のハイパースペクトル画像を形成するステップを有してなることを特徴とする方法(400c)。
JP2016500116A 2013-03-13 2013-12-03 遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法 Expired - Fee Related JP6483080B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/798,816 2013-03-13
US13/799,630 2013-03-13
US13/799,630 US9341514B2 (en) 2012-11-15 2013-03-13 Hyperspectral imaging systems and methods for imaging a remote object
US13/798,816 US9200958B2 (en) 2012-11-15 2013-03-13 Hyperspectral imaging systems and methods for imaging a remote object
PCT/US2013/072801 WO2014143231A1 (en) 2012-11-15 2013-12-03 Hyperspectral imaging systems and methods for imaging a remote object

Publications (2)

Publication Number Publication Date
JP2016510882A JP2016510882A (ja) 2016-04-11
JP6483080B2 true JP6483080B2 (ja) 2019-03-13

Family

ID=49887228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016500116A Expired - Fee Related JP6483080B2 (ja) 2013-03-13 2013-12-03 遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法

Country Status (3)

Country Link
EP (1) EP2972150A1 (ja)
JP (1) JP6483080B2 (ja)
CN (1) CN105026901B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3086402B1 (fr) * 2018-09-25 2021-01-22 Greentropism Systeme de controle de spectrometre a distance

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4242583A (en) * 1978-04-26 1980-12-30 American Science And Engineering, Inc. X-ray imaging variable resolution
CN2454767Y (zh) * 2000-12-19 2001-10-17 中国科学院安徽光学精密机械研究所 机械扫描式高速光谱采集装置
WO2005010799A2 (en) * 2003-07-16 2005-02-03 Shrenik Deliwala Optical encoding and reconstruction
CN1580719A (zh) * 2003-08-08 2005-02-16 天津市三博科技有限公司 凹面光栅光谱仪的多狭缝扫描式高速光谱采集装置
TWI425203B (zh) * 2008-09-03 2014-02-01 Univ Nat Central 高頻譜掃描裝置及其方法
JP2010276552A (ja) * 2009-05-29 2010-12-09 Toyota Motor Corp スペクトル測定装置
JP2012058037A (ja) * 2010-09-07 2012-03-22 Toyota Motor Corp スペクトル撮像装置及びスペクトル撮像方法及びライン光走査機構

Also Published As

Publication number Publication date
CN105026901A (zh) 2015-11-04
JP2016510882A (ja) 2016-04-11
EP2972150A1 (en) 2016-01-20
CN105026901B (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
JP6333276B2 (ja) 遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法
US7298548B2 (en) Multi-directional viewing and imaging
CN103477267B (zh) 可变取向照明模式旋转器
JP2019533833A (ja) 光学配列、マルチスポット走査顕微鏡及び顕微鏡を作動させるための方法
JP2013072771A (ja) スペクトル画像取得装置
JP4447970B2 (ja) 物体情報生成装置および撮像装置
JP6483080B2 (ja) 遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法
JP2009121986A (ja) 分光装置
JP2016513799A (ja) 遠隔物体を撮像するためのハイパースペクトル撮像システム及び方法
WO2019216213A1 (ja) 分光計測装置、および分光計測方法
JP2015519611A (ja) 単軸光ホモジナイザーを組み込む光画像形成システム
WO1985002254A1 (en) Monochromator
CN114485936B (zh) 一种基于mems光栅反射镜的光谱成像系统及方法
Dominguez-Tagle et al. Optical design of an image-slicer integral field unit with two output slits
US10197444B1 (en) Combined temporal/hyperspectral imager
EP3077782B1 (en) Hyperspectral imaging systems and methods for imaging a remote object
JPH1114457A (ja) 2波長域分光走査装置
WO2008052287A1 (en) Formation of bragg diffraction images by simplified section topography
JPH03146832A (ja) 面走査形2次元像分光装置
JPH09257576A (ja) 結像型分光器
JPH05142400A (ja) 軟x線顕微鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190213

R150 Certificate of patent or registration of utility model

Ref document number: 6483080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees