JP6532185B2 - 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム - Google Patents

露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム Download PDF

Info

Publication number
JP6532185B2
JP6532185B2 JP2013268321A JP2013268321A JP6532185B2 JP 6532185 B2 JP6532185 B2 JP 6532185B2 JP 2013268321 A JP2013268321 A JP 2013268321A JP 2013268321 A JP2013268321 A JP 2013268321A JP 6532185 B2 JP6532185 B2 JP 6532185B2
Authority
JP
Japan
Prior art keywords
filter
array
imaging system
filter array
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013268321A
Other languages
English (en)
Other versions
JP2014132266A (ja
Inventor
エイ シュロフ サプナ
エイ シュロフ サプナ
バークナー キャサリン
バークナー キャサリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2014132266A publication Critical patent/JP2014132266A/ja
Application granted granted Critical
Publication of JP6532185B2 publication Critical patent/JP6532185B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G01J2003/1221—Mounting; Adjustment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1226—Interference filters
    • G01J2003/1243—Pivoting IF or other position variation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G01N2021/1797—Remote sensing in landscape, e.g. crops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、概してフィルタモジュールを使用したプレノプティック（plenoptic）撮像（イメージング）システムのようなフィルタモジュールを使用したマルチモード撮像システムに関する。
マルチモード撮像システムは、従来の撮像システム（例えば、RGB Bayerパターンに基づくもの）により取得される通常の空間情報を超える情報を取得することができる撮像システムである。例えば、マルチモード撮像システムは、スペクトル分析又は物質の識別に使用される更なるスペクトル情報（マルチスペクトル及びハイパースペクトルシステム）を取得し得る。マルチモード撮像システムは、シーンの偏光についての情報も取得し、更に、検出アレイの固有の機能により提供されるものより高いダイナミックレンジも提供し得る。
ほとんどの商用の検出アレイは入来する画像を２次元の画像信号に空間的にセグメント化するため、この更なる情報の取得は困難になることがある。従来では、スペクトル、偏光又は他のモードの更なる情報は、時分割多重により取得されていた。例えば、スペクトル撮像用途では、関心のある異なる波長で物体からの照射を取得することが望ましいことがある。関心のある波長域の数は、マルチスペクトルイメージャでは、5〜20の間になり、ハイパースペクトルイメージャでは20より多くなることがある。従来のマルチスペクトル又はハイパースペクトルイメージャは、関心のある波長域に対応する波長フィルタを含むフィルタホイール、又はプリズム若しくは回折格子のような分散素子に基づく。フィルタホイールが使用される場合、常に、波長フィルタのうち１つのみが撮像経路に配置される。フィルタホイールは、１つの波長フィルタから次の波長フィルタに切り替えるために回転する。従って、マルチスペクトル又はハイパースペクトル撮像は、時分割多重方式で実施される。しかし、結果のシステムは大規模且つ複雑になる可能性がある。異なる波長を空間的に分離するために分散素子が使用される場合、光は、典型的には検出アレイの１つの次元に沿って分散する。他の次元は、物体の１つの次元空間を取得するために使用される。しかし、物体の第２の次元空間も取得することは困難である。場合によっては、例えばスキャンすることにより、第２の次元空間を取得するために時分割多重が導入される。
近年、シーンのマルチモード情報を同時に又は「単一スナップショット」で取得することが、ますます注目されている。これらの単一スナップショットシステムは、異なるモードの信号を検出アレイの異なる検出画素に多重する。すなわち、マルチモード情報は、時分割多重ではなく、空間多重される。
単一スナップショットのマルチスペクトル撮像アーキテクチャは、概して２つの種類に分類され得る。一方の種類は、何らかのビーム分割素子（例えば、プリズム又はマスク）と組み合わせて異なる波長を空間的に分離するために、プリズム又は回折格子のような分散素子を使用する。このアーキテクチャは、典型的には分散素子が平行ビーム又は介在する像平面に適用されるという欠点を有する。その結果、これらのシステムの多くは、非常に大きくなる可能性があり、及び／又は限られた視野を有する可能性がある。
他方の種類の単一スナップショットイメージャでは、従来のカラー撮像システムにあるRGB Bayerパターンと同様に、別々のフィルタが各検出器に取り付けられる。すなわち、カラーフィルタアレイは、個々のフィルタ（マイクロフィルタと呼ばれる）のそれぞれが個々の検出器に向かう光をフィルタリングするように、検出アレイの上に配置される。個々のマイクロフィルタは、マルチモード撮像を実施するように設計される。例えば、フィルタアレイは、マルチスペクトル撮像を実施するために、20個の異なる波長応答を備えたマイクロフィルタを含むことがある。この種類のシステムの１つの欠点は、コストの増加及び生産の複雑さにある。マイクロフィルタと検出器との間に１対１の対応が存在するため、また、マイクロフィルタが検出器に取り付けられるため、マイクロフィルタは、検出器と同じ大きさになり、小さくなる。多くの異なる小さいマイクロフィルタは、アレイ上に配置され、基礎となる検出器と整列されなければならない。他の欠点は、柔軟性の欠如である。マイクロフィルタアレイが検出アレイに取り付けられると、マイクロフィルタアレイを変更することは困難である。
従って、マルチモード撮像システムの改善が必要である。
本発明は、調整可能なマルチモード光照射野撮像システムを提供することにより、従来技術の制約を克服する。非均質フィルタモジュール（例えば、フィルタアレイ）が、光照射野撮像システムの主な（又は１次の）画像形成光学モジュールの瞳孔面に又は瞳孔面の近くに配置され、マルチモード機能を提供する。フィルタモジュールは、相応に調整された露光条件で撮像システムに対して動かされてもよい。従って、マルチモード機能の調整が可能になる。
一実施例では、調整可能なマルチモード光照射野撮像システムは、物体の視像を形成する光学モジュールを含む。光学モジュールは、撮像光学素子、瞳孔面及び像平面により特徴付けられる。フィルタアレイは、瞳孔面の近くに配置される。フィルタアレイは、光学モジュールに対して移動可能である。マイクロ撮像素子のアレイは、像平面の近くに配置される。検出アレイは、マイクロ撮像素子がフィルタアレイを検出アレイ上に映すように配置される。検出アレイは、露光条件に従って物体のマルチモード画像を取得する。フィルタアレイの位置の変化は、撮像システムのマルチモード機能を変化させる。コントローラは、フィルタアレイの位置に応じて露光条件を調整する。
露光条件は、異なる方法で調整されてもよい。例えば、コントローラは、顕微鏡の設定と同様に、物体を照らす光源の強度を調整してもよい。或いは、コントローラは、例えばシステムの中性フィルタの減衰を調整することにより、撮像システムの光通過量を調整してもよい。コントローラはまた、検出アレイの露光／積分時間を調整してもよい。
他の態様では、露光条件は、画像品質メトリックに応じて調整されてもよい。このようなメトリックの例は、信号対雑音比（SNR：signal to noise ratio）、信号エネルギー、コントラスト、輝度及び露光指数を含む。
本発明の他の態様は、前述のデバイス及びシステムに対応する方法と、前述の用途とを含む。
本発明によれば、露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システムの動的な調整が可能になる。
本発明による調整可能なマルチモード光照射野撮像システムの図 瞳孔面上の検出器の投影を示す図 図１Ａの詳細を示す図 図１のシステムの動作を更に示す図 図１のシステムの動作を更に示す図 フィルタモジュールと光学モジュールとの間の異なる種類の相対運動を示す図 瞳孔面で平行移動するフィルタアレイに基づく例を示す図 瞳孔面で平行移動するフィルタアレイに基づく例を示す図 瞳孔面で平行移動するフィルタアレイに基づく例を示す図 瞳孔面で平行移動する非アレイ型フィルタモジュールに基づく他の例を示す図 瞳孔面で平行移動する非アレイ型フィルタモジュールに基づく他の例を示す図 瞳孔面で回転するフィルタアレイに基づく例を示す図 瞳孔面で回転するフィルタアレイに基づく例を示す図 光軸に沿った移動に基づく例を示す図 光軸に沿った移動に基づく例を示す図 トウモロコシ及び米について乾いた植物と新鮮な植物とを区別する例を示す図 トウモロコシ及び米について乾いた植物と新鮮な植物とを区別する例を示す図 検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図 検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図 検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図 検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図 図９Ａのフィルタモジュール位置に対応するマルチモード画像 図９Ｂのフィルタモジュール位置に対応するマルチモード画像 図９Ｃのフィルタモジュール位置に対応するマルチモード画像 図９Ｄのフィルタモジュール位置に対応するマルチモード画像 フィルタモジュール位置及び露光条件を調整する方法の例のフローチャート
本発明は、添付図面と共に、本発明の以下の詳細な説明及び特許請求の範囲から容易に明らかになる利点及び特徴を有する。
図面は、単なる例示目的で本発明の実施例を示している。当業者は、ここに記載の本発明の原理を逸脱することなく、ここに記載の構成及び方法の別の実施例が使用されてもよいことを、以下の説明から容易に理解する。
図１Ａ〜１Ｃは、本発明による調整可能なマルチモード光照射野撮像システムの図である。このシステムは、物体150のマルチモード画像を取得する。物体150は、顕微鏡の設定の場合のように、別の光源190により照らされてもよい。マルチモード光照射野撮像システムは、画像形成光学モジュール105を含む。図１では、画像形成光学モジュール105は、単一のレンズ素子で表されているが、光学モジュール105は、複数のレンズ素子及び／又は非レンズ素子（例えば、鏡）（複数の撮像光学素子）を含んでもよい。光学モジュール105は、物体150の視像（光学画像）160を形成する。視像160は、光学モジュール105の像平面125に形成される。光学モジュール105は、瞳孔117及び瞳孔面115により特徴付けられる。図１では、瞳孔117及び瞳孔面115は、単一のレンズ素子と同じ場所にある物理的な絞りにより表されている。更に複雑な光学モジュール105では、瞳孔117及び瞳孔面115は、光学モジュール内の光学素子のいずれかと同じ場所にある必要はない。
従来の撮像システムでは、検出アレイは、視像160を取得するために、像平面125に存在する。従来のカラー撮像システムでは、それぞれ個々の検出器がデータの赤、緑又は青のチャネルを取得するために、マイクロフィルタのアレイ（例えば、RGB Bayerパターンで構成されたもの）が像平面125の検出アレイに取り付けられる。
しかし、図１では異なる。まず、非均質フィルタモジュール110が瞳孔面115に配置される。フィルタモジュールは、フィルタリング特性が位置の関数として変化するという点で非均質である。以下の例では、フィルタモジュール110は、異なるフィルタ111を含むフィルタアレイである。例えば、フィルタ111は、異なる波長応答、異なる偏光応答又は異なる輝度応答を有してもよい。しかし、フィルタモジュールは、フィルタアレイである必要はない。例えば、フィルタモジュールは、連続的に変化する応答を備えたフィルタでもよい。この例では、フィルタアレイは例示目的で使用される。典型的には、フィルタモジュールは、フィルタモジュールの一部のみが照らされるように、瞳孔117より大きい。
次に、マイクロ撮像素子121が像平面125に存在する。図１では、マイクロ撮像素子121は、マイクロレンズとして示されている。例えば、ピンホール（小さい穴）のアレイのような他の素子が使用されてもよい。検出アレイ130は、マイクロ撮像素子のアレイ120の後ろ（すなわち、光学的に下流）に存在する。より具体的には、検出アレイ130は、瞳孔面115に対する共役平面135に位置する。すなわち、各マイクロ撮像素子121は、共役平面135において瞳孔面115から検出アレイ130に光を向ける。
マイクロレンズの場合、各マイクロレンズ121は、共役平面135で瞳孔（及びフィルタモジュール）の画像170を形成する。検出アレイ130の対応する部分は、単一の検出器131を含んでもよく、複数の検出器131を含んでもよく（好ましくは複数の検出器を含む）、これは「サブアレイ」133と呼ばれる。従って、図１の例では、検出アレイ130はサブアレイ133に細分され、各マイクロレンズ121は、瞳孔及びフィルタモジュールを対応するサブアレイ133に映す。各サブアレイ133は、１つ以上の検出器131を含む。
逆に、図１Ｂを参照すると、それぞれ個々の検出器131は、マイクロレンズ121を通じて瞳孔面115及びフィルタモジュール110の対応する位置119に投影されてもよい。この特定の検出器131について、マイクロレンズ121は、対応する位置119からの光を集める。図１Ｂは、中央のマイクロレンズを通じた位置119Aへの検出器131Aの投影と、位置119Bへの検出器131Bの投影とを示している。検出器の投影119は、実際の検出器のサイズに対して少なくとも10倍だけ拡大される。
更なる詳細について図１Ｃを参照すると、各マイクロレンズ121は、全体のフィルタアレイ110（瞳孔内に入るもの）をサブアレイ133に映す。各フィルタ111は、フィルタアレイ110の一部のみをカバーするため、各フィルタ111の画像171は、サブアレイ133の一部のみをカバーする。その部分は、図１Ｃの詳細に示すように、サブピクセル132と呼ばれる。すなわち、各マイクロレンズ121は、フィルタ111から対応するサブピクセル132に光を向ける。各サブピクセル132は、１つ以上の検出器を含んでもよい。
各検出器131は、１つのマイクロレンズ121を通過する１つのフィルタ111からの光を集める。マイクロレンズアレイ120は、物体150に対して共役平面に存在するため、物体150とマイクロレンズアレイ120との間に撮像関係が存在する。従って、マイクロレンズに入射する光は、全体の物体からではなく、物体の一部から生じる光である。従って、各検出器131は、対応するフィルタ111によりフィルタリングされた物体の対応する部分（マイクロレンズの範囲により判定される）からの光を集める。
図２Ａは、この概念を更に詳細に示している。明瞭にするために、主レンズ105が省略されている。この例では、物体150は、３つの部分151A、B、Cに分割される。同様に、フィルタアレイ110の照らされる部分は、４つのフィルタ111x、x、y、zを含む。フィルタモジュール110は大きく、図２Ａでは照らされていないフィルタ111vも含む。物体150は、マイクロレンズアレイ120に映される。より具体的には、部分物体151Bは、マイクロレンズ121Bに映される。これは、部分物体151Bを離れた各光線が瞳孔を通過して（及び瞳孔の場所に応じて異なるフィルタ111を通過して）マイクロレンズ121Bに到達することを意味する。同様に、部分物体151Aは、マイクロレンズ121Aに映され、部分物体151Cは、マイクロレンズ121Cに映される。
同様に、マイクロレンズ121Bは、全体のフィルタアレイ110（少なくとも照らされた部分）をサブアレイ133Bに映す。従って、フィルタ111wはマイクロレンズ121Bによりサブピクセル132B(w)に映され、フィルタ111xはサブピクセル132B(x)に映され、他のフィルタ／サブピクセルの対及び他のマイクロレンズ121についても同様に映される。サブピクセル132B(w)内に完全に入る検出器131では、これらの検出器は、フィルタ111wを通過する部分物体151Bから入来する光を検出する。他のサブピクセル132A(w)〜132C(z)についても同様である。
撮像システムは、検出器により集められる光線が（従来の撮像システムのように）物体平面の位置の関数だけでなく、瞳孔面の位置の関数でもあるため、「光照射野（lightfield）」撮像システムである。撮像システムは、フィルタモジュール110がマルチモード画像を取得するため、マルチモード撮像システムである。これらのシステムは、場合によってプレノプティック撮像システムと呼ばれる。
再び図１を参照すると、デジタル処理ユニット180は、検出アレイ130からデータを集め、相応にデータを処理する。簡単な例では、デジタル処理ユニット180は、フィルタ111wによりフィルタリングされた画像を形成するために、サブピクセル132A(w)、132B(w)及び132C(w)からのデータを集めて、データを並び替えてもよい。フィルタ111x、y、zについても同じことが行われてもよい。
このシステムは、アクチュエータ140と光源コントローラ142も含んでもよい。アクチュエータ140は、光学モジュール105に対するフィルタモジュール110の位置を変化させてもよい。このように、どのフィルタ111がどのサブピクセル132に向かうかが変化することにより、有効フィルタリングを変化させてもよい。例えば、図２Ｂでは、フィルタアレイ110は、フィルタ111v、w、x、yが照らされるように、下方向に平行移動している。光源コントローラ142は、相応に光源の照射190（照度）の強度を変化させてもよい。例えば、新たなフィルタセットは、強い照射又は弱い照射を享受してもよい。図１Ａは、光源190を調整するコントローラ142を示しているが、コントローラは、全体の露光を調整する他の機構を使用してもよい。例えば、コントローラは、光源の照射の強度を変化させることなく、全体の光通過量を調整するために、システムのどこかに位置する中性フィルタの減衰を調整してもよい。或いは、コントローラは、検出器131の露光／積分時間を増加又は減少させてもよい。「露光条件」という用語は、これらの量を示すために使用される。露光条件に対する調整は、SNR（信号対雑音比）、信号エネルギー、コントラスト、輝度、露光指数又は他の画像品質メトリックの増加に基づいて行われてもよい。
図３〜８は、相対運動のいくつかの例を示しており、図９〜１１は、露光条件の調整のいくつかの例を示している。
図３は、フィルタモジュール110と光学モジュールとの間の異なる種類の相対運動を示す図である。この例では、光学モジュール105は２つのレンズグループG1及びG2を含み、瞳孔面及びフィルタモジュール110が２つのレンズグループの間に存在する。一例として、アクチュエータ140は、光軸に対して平行の方向310に沿って、瞳孔面に存在する方向320に沿って、又は他の方向に沿って、光学モジュール105に対してフィルタモジュール110を平行移動させてもよい。或いは、アクチュエータ140は、瞳孔面内でフィルタモジュール110を回転させてもよい330。他の例として、アクチュエータ140は、光学モジュール105に対してフィルタモジュール110を傾斜させてもよい340。アクチュエータは、フィルタモジュールと光学モジュールとの間に相対運動が存在する限り、フィルタモジュールを動かすのではなく、光学モジュール（又は光学モジュール内の光学素子）を動かしてもよい点に留意すべきである。運動350は、光学モジュール内の光学素子の動き（例えば、ズーム動作）を示している。
図４Ａ〜４Ｃは、瞳孔面に存在する方向に沿って平行移動したときのフィルタアレイ110の照射を示している。この例では、フィルタアレイは、点線の輪郭で示すように、４つのフィルタF1〜F6を含む。１つのサブアレイ133からの検出器（すなわち、１つのマイクロレンズに対応する検出器）の投影は、実線で示されている。便宜上、サブアレイ133は、正方形として示されているが、ほとんどの場合に瞳孔が丸いため、典型的にはサブアレイ133は丸い。検出サブアレイ133内の各正方形は、異なる検出器131を表す。
図４Ａ〜４Ｃのそれぞれは、異なる位置のフィルタアレイに対応する。図４Ａの位置では、光はアレイのフィルタセットF1、F2、F4、F5を照らす。フィルタF1を通過する光は、フィルタF1に対応するサブピクセル132Aを形成する25個の検出器に集められ、これらの信号は、F1によりフィルタリングされた光に対応する。同様に、サブピクセル132Bを形成する25個の検出器は、フィルタF4を通過する光を集め、フィルタF2及びF5を通過する光を集める対応するサブピクセルも存在する。各サブピクセルの光の全ては、全てが同じマイクロレンズを通過するため、同じ部分物体から生じる。従って、サブピクセルのそれぞれは、全体の物体の１つの部分物体の領域についてのスペクトル情報（又は他のマルチモード情報）を取得する。
図４Ｂでは、フィルタアレイが動かされている。この位置では、光はアレイのフィルタセットF2、F3、F5、F6を照らす。サブピクセル132Aの25個の検出器は、フィルタF2を通過する光を集め、サブピクセル132Bの25個の検出器は、フィルタF5を通過する光を集め、以下同様である。
多くの場合に、フィルタアレイは、各フィルタが等しい数の検出器をカバーするように配置されてもよい。しかし、このことは必要ではない。図４Ｃの位置では、フィルタF1からの光は、サブピクセル131Aの5個の検出器のみを照らし、フィルタF2からの光は、30個の検出器を照らし、フィルタF3からの光は、15個の検出器を照らす。図４は、単なる例である。フィルタアレイは、様々なマルチモード撮像を実施するために、別の幾何学的レイアウト及び形状と、フィルタの異なる組み合わせとを有してもよい。
このアーキテクチャは、従来の手法に対して複数の利点を有する。従来の手法は、２つのフィルタホイールを使用することがあり、一方はスペクトル分析が望まれる場合のフィルタF1、F2、F4、F5を含み、他方は別のスペクトル分析のためのフィルタF2、F3、F5、F6を含む。F1、F2、F4、F5のフィルタホイールが使用される場合、フィルタF1、F2、F4、F5のそれぞれは順に照射光路に通じて回転する。これは、（スペクトル情報の単一スナップショットの取得ではなく）スペクトル情報の時間多重を生じる。更に、F2、F3、F5、F6の分析が望まれる場合、単に図４のようなフィルタモジュールの移動ではなく、フィルタホイールが変更されなければならない。
図５Ａ〜５Ｂは、フィルタモジュールがアレイではないが、連続的に変化する非均質フィルタである例を示している。この例では、フィルタモジュール110は、x及びy方向に変化する。例えば、フィルタモジュールは、x方向に沿って異なる中心波長を有し、y方向に沿って異なるフィルタ幅を有する波長フィルタでもよい。フィルタモジュールが位置５Ａから５Ｂに動かされた場合、各サブアレイは、フィルタモジュールのどの部分が当該サブアレイに対応するかに応じて異なる情報を取得する。
他の例として、図５のフィルタモジュールは、xの関数として変化する波長応答と、yの関数として変化する偏光応答とを有してもよい。更に、これは、互いに独立して動かされる２つのフィルタ（波長フィルタ及び偏光フィルタ）として実装されてもよい。
図６Ａ〜６Ｂは、瞳孔面で回転するフィルタモジュールに基づく例を示している。この例では、フィルタモジュールは、異なるフィルタ応答を有する４つの象限Q1〜Q4を有する。実線の輪郭133が、瞳孔面に投影される検出器のサブアレイの輪郭である。図６Ａでは、象限1が照らされる。図６Ｂでは、フィルタは90度だけ時計方向に回転し、象限2が照らされ、異なるフィルタリングを生じる。
図７Ａ〜７Ｂは、光軸に沿った移動に基づく例を示している。この例では、フィルタモジュールは、同心のフィルタ1〜3のセットである。図７Ａの位置では、（実線の円133で示すように）全ての３つのフィルタが照らされる。図７Ｂでは、中央のフィルタ1のみが照らされる。これは、例えばズームレンズで実現されてもよい。図３を参照すると、双方のレンズグループG1及びG2は、光軸に沿って移動してもよい。フィルタモジュールが２つのレンズグループの間に存在する場合、レンズのズームは、フィルタモジュール上の光ビームのフットプリント（占有場所）を変化させることができる。その結果、光がフィルタモジュールの大きい部分又は小さい部分のみを通過する。フィルタモジュールが図７のように区分されている場合、ズームイン構成では、内側のリングの数個のフィルタのみが実質上使用され得るが、ズームアウト構成では、外側のリングのフィルタも使用され得る。
この手法は、空間分解能及びスペクトル分解能がトレードオフになっている用途で使用されてもよい。物体の詳細な画像（すなわち、高い空間分解能）は、ズームインにされた場合に、低いスペクトル分解能又は少ないスペクトル情報で形成されてもよい。ズームアウトされた場合、更なるスペクトル分解能が、空間分解能を犠牲にして実現されてもよい。
どのフィルタが照らされるかを変化させるために、他の種類の移動も使用されてもよい。
最後の例として、異なる種類のスペクトル信号を検出することを含むマルチスペクトル撮像タスクについて検討する。例えば、乾いたもの又は新鮮なものとしての植物の分類は、米、トウモロコシ、小麦のような異なる穀物の種類に対して異なるスペクトルシグネチャ（spectral signature）を必要とする。好ましくは、単一のマルチスペクトル撮像システムは、穀物の種類毎に別のフィルタホイールを必要とするのではなく、異なる穀物の種類に対処するように調整され得る。
図８Ａ〜８Ｂは、瞳孔面におけるフィルタモジュールの簡単な移動を使用して、乾いた植物と新鮮な植物とを区別するフィルタアレイの例を示している。フィルタf1〜f4及びc5、c6、r5、r6が表１〜３で指定される。
フィルタf1〜f4及びc5、c6は、トウモロコシを識別するために使用され、新鮮なトウモロコシの葉と乾いたトウモロコシの葉とを区別するために使用される。フィルタf1〜f4及びr5、r6は、米を識別するために使用され、新鮮な米の葉と乾いた米の葉とを区別するために使用される。フィルタf1〜f4は、トウモロコシと米とに共通する共用のフィルタである点に留意すべきである。表１〜３のフィルタ仕様は、商用に利用可能なフィルタの辞書から選択されている。
トウモロコシを検出する場合、フィルタアレイは、サブアレイ133に対して図８Ａに示すように位置し、フィルタf1〜f4及びc5、c6を照らす。米を検出する場合、フィルタアレイは、フィルタf1〜f4及びr5、r5を使用して、図８Ｂに示すように位置する。従って、トウモロコシと米との双方に同じシステムが使用可能になる。
非均質フィルタモジュールの使用は、単一スナップショットでマルチモード画像の取得を可能にする。すなわち、フィルタF1、F2等によりフィルタリングされた画像が同時に取得され得る。しかし、異なるモードは異なる照射（照度）を受けてもよい。例えば、F1が赤色フィルタであり、F2が青色フィルタであり、検出アレイ又はシーンが青色より赤色に対して感度がよい場合、青色の画像は、強い照射を受けてもよい。しかし、赤色及び青色の画像が同時に取得されるため、強い照射は、赤色及び青色の画像の双方に対して強い照射を生じる。これは、フィルタモジュールを再配置し140、光源の強度（又は他の露光条件）を調整する142ことにより対処されてもよい。
図９〜１０は、この概念を示している。この例では、フィルタモジュール110は、２つの帯域通過波長フィルタを有する。フィルタF1は450nmを中心とし、フィルタF2は650nmを中心とする。図９Ａは、フィルタF1のみが使用される場合のサブアレイ133を示している。花びらの対応する画像が図１０Ａに示されている。表面に斑点が存在する点に留意すべきである。図９Ｂは、フィルタF2のみが使用される場合のサブアレイ133を示している。花びらの対応する画像が図１０Ｂに示されている。花びらの表面にリングが存在する点に留意すべきである。図９Ｃは、双方のフィルタF1及びF2が使用されが、等しい割合で使用されている場合のサブアレイ133を示している。すなわち、フィルタF1は瞳孔の50%を占有し、フィルタF2は他の50%を占有する。結果のマルチモード画像が図１０Ｃに示されている。650nmのリングは見えるが、450nmの斑点は見えない点に留意すべきである。これは、450nmの成分は、長い露光又は強い照射を必要とするからである。しかし、単に露光を増加させることは、650nmの成分を過度に露光する。
図９Ｄ及び１０Ｄが解決策を示している。フィルタモジュールは、図９Ｄに示すように、450nmのフィルタF2が瞳孔領域の多くを占有するように配置される。双方のフィルタF1及びF2からの成分が正確な露光を受け取ることができるように、露光条件も調整される。この例では、それぞれのフィルタの後方の全ての検出器で集められる光子の和が最適化される。各フィルタの後方の検出器が飽和しないように、フィルタ領域に対する露光／光出力を調整するよう注意が払われる。結果のマルチモード画像が図１０Ｄに示されている。450nmの斑点と650nmのリングとの双方が見える。
図１１は、この解決策のフローチャートである。フィルタモジュールは、何らかの初期位置1110にて始まる。例えば、フィルタモジュールは、異なるフィルタが同じ瞳孔領域をカバーするように配置されてもよい。この位置のフィルタモジュールにより、マルチモード画像が取得され1120、処理される1130。処理された画像は、画像品質メトリックを計算する1140ために使用される。画像品質メトリックの例は、SNR、信号エネルギー、コントラスト、輝度及び露光指数を含む。品質が十分でない場合1150、フィルタモジュールの位置及び露光条件が調整される1160。十分な品質が得られるまで、これが繰り返される。結果の設定は格納されてもよい1170。
マルチモード画像は、多くの方法で処理されてもよい1130。処理の方法は、画像品質メトリックに影響を与えてもよい1140。例えば、処理された画像は、各フィルタに対応する全ての検出器を合計又は平均化することにより生成されてもよい。或いは、１つのフィルタについて複数の部分画像が、小型レンズの背後の検出器を１つの部分画像に多重分離することにより生成されてもよい。第２の方法が選択された場合、画像品質メトリックをより良く定めるために、更なる処理が適用されてもよい。この更なる処理は、所与のフィルタについて全ての部分画像を平均化することでもよく、「最も先鋭な特徴量」の画像、「最高のSNR」の画像等を定めるように各部分画像で最高の特徴量を選択することでもよい。
以下は、フィルタモジュールの位置に対応して露光条件を判定する他の方法の例である。Qを画像品質メトリックとする。K個のフィルタfkが存在することを仮定する。この例では、画像の系列を取得する前に、初期のキャリブレーション（ステップ1及び2）が存在する。
ステップ1．フィルタモジュールの異なる位置について、どの検出器が各フィルタfk（k=1,...K）に対応するどのサブピクセルに入るかを判定する。すなわち、フィルタモジュール位置1について、どの検出器がフィルタf1によりフィルタリングされた光を集めるか、どれがf2によりフィルタリングされた光を集めるか等を判定する。これは、実験的に行われてもよく、モデリング又はシミュレーションを通じて行われてもよい。例えば、検出アレイへのフィルタを通過する光を反映させるために、幾何学的光学計算が使用されてもよい。
ステップ2．フィルタfkのうち１つのみが（例えば、図９Ａ又は９Ｂに示すように）露光されるようにフィルタモジュールを配置する。最適な露光条件（例えば、光源の強度レベルLk,cal及び積分／露光時間Tk,cal）を判定する。対応する画像品質メトリックQk,calを計算する。フィルタ毎にこれを繰り返す。この時点で、フィルタ毎に１つずつ、K個の画像品質メトリックQk,calが存在する。
ステップ3．各フィルタfkが（例えば、図９Ｃに示すように）瞳孔の等しい領域をカバーするようにフィルタモジュールを配置する。単一スナップショットの取得について露光条件を調整する。L0及びT0を照度及び露光時間とする。部分画像毎に画像品質メトリックQk,0を計算する。すなわち、１つのフィルタに対応する検出器のセット毎に画像品質メトリックを計算する。
ステップ4．フィルタモジュールの他の位置を以下のように処理する。
●新たな位置では、フィルタfkのうちどれが領域が増加しているか、どれが減少しているかを識別する。例えば、図９Ｄでは、図９Ｃに対してフィルタF2は領域が増加しているが、フィルタF1は領域が減少している。{fk_m,m=1,...M}を領域が増加しているフィルタのセットとし、。{fk_n,n=1,...N}を領域が減少しているフィルタのセットとする。
●フィルタの領域が減少している場合の部分画像についてQk_n,newを計算する。これらは、画像品質の低減を受ける可能性が高い部分画像である。この理由は、減少した瞳孔領域のため、これらの部分画像の全体の光通過量が減少しているからである。
●減少した領域のフィルタの画像品質メトリックQk_n,newが十分になるように露光条件を調整する。以下は、このようなことを行ういくつかの可能な方法である。
○計算された画像品質メトリックQk_n,newがキャリブレーション値に到達するまで、照度及び／又は露光時間を増加させる。例えば、
maxk_n(Qk_n,new)=mink_n(Qk_n,cal)、又は
maxk_n(Qk_n,new)=meank_n(Qk_n,cal)
○フィルタfk_nにより照らされる検出器が飽和するまで、照度及び／又は露光時間を増加させる。
○現在の照度設定とLk_n,calの平均との間の中間に照度を設定する。
Lnew=[Lold+meank_n(Lk_n,cal)]/2
○設定ファイルにおける（例えば、予め生成された参照テーブル（へのアクセス）を介した）品質メトリックQk_n,newの仕様に従って露光条件を調整する。
○或る場合には、照度及び／又は露光時間の増加は、飽和を生じることがあるため、これも検査されてもよい。
●Qk_m,newの露光条件（すなわち、フィルタ領域の増加したもの）も十分であることを検査する。例えば、前述のステップは、照度及び／又は露光の増加を生じてもよい。多すぎる増加は、領域が増加しているフィルタの部分領域を飽和させる可能性がある。
特定の場合、画像品質メトリックは、露光指数である。
EV=log2(A/T) (1)
ただし、Aは、関係するフィルタによりカバーされる瞳孔の領域であり、Tは、積分／露光時間である。この場合、露光指数の対数の性質のため、いくつかの計算は簡略化される。他の変形では、前述の手法が使用されるが、初期のキャリブレーション段階は存在しない。
フィルタモジュールの異なる位置について異なる露光条件が判定されるため、この情報は、将来の使用のために格納されてもよい。１つの手法では、データは参照テーブルに格納される。次に、異なるフィルタモジュールの位置が照射野で使用された場合、対応する露光条件が参照テーブルから判定されてもよい。
詳細な説明は、多くの細部を含むが、これらは本発明の範囲を限定するものとして解釈されるべきではなく、単に本発明の異なる例及び態様を示すものとして解釈されるべきである。本発明の範囲は、上記に詳細に説明されていない他の実施例を含むことが分かる。
例えば、多くの種類のフィルタアレイが実装されてもよい。フィルタは、異なる波長応答を有してもよい。フィルタの全てが異なってもよく、一部が異なり一部が同じでもよい。複数のフィルタ又はフィルタアレイも使用されてもよい。例えば、それぞれが他のものに対して独立して動かされる（又は動かされない）複数のフィルタアレイ又はフィルタモジュールが使用されてもよい。波長応答の数及び種類も、用途に応じて変化してもよい。或る用途は多くの異なる波長フィルタ（10個、20個、25個又はそれ以上）を使用する。或る場合には、特定の波長ラインが検出されるため、狭帯域干渉フィルタが使用されてもよい。波長フィルタ以外のフィルタ（例えば、偏光フィルタ、輝度フィルタ及び中性フィルタ）が使用されてもよい。
フィルタは、システムの他の箇所に実装されてもよい。例えば、本発明は、検出アレイを用いた従来のマイクロフィルタの使用を妨げない。反射及び反射屈折系を含み、様々な種類の光学モジュールが使用されてもよい。或る用途では、光学モジュールは、テレセントリックであることが好ましい。最後に、「光」及び「光学」のような用語は、電磁スペクトルの可視領域又は純粋に光学的な領域に限定されることを意味するものではなく、紫外線及び赤外線（これらに限定されない）のような領域を含むことを意味するものである。
特許請求の範囲に定義される本発明の要旨及び範囲を逸脱することなく、当業者に明らかな様々な他の変更、変化及び変形が、ここに開示された本発明の方法及び装置の構成、動作及び詳細において行われてもよい。従って、本発明の範囲は、特許請求の範囲及びその法的な均等物により判定されるべきである。
105 光学モジュール
110 フィルタモジュール
111 フィルタ
115 瞳孔面
117 瞳孔
120 マイクロレンズアレイ
121 マイクロレンズ
125 像平面
130 検出アレイ
131 検出器
133 サブアレイ
135 共役平面
140 アクチュエータ
142 コントローラ
150 物体
160 視像
170 画像
180 デジタル処理ユニット
190 光源

Claims (19)

  1. 調整可能なマルチモード光照射野撮像システムであって、
    物体の視像を形成する光学モジュールであり、撮像光学素子、瞳孔面に位置する瞳孔及び像平面により特徴付けられる光学モジュールと、
    前記瞳孔面の近くに配置されるフィルタアレイであり、前記フィルタアレイは、複数の異なるフィルタを含み、前記フィルタアレイは、前記光学モジュールに対して移動可能であり、前記フィルタアレイの異なる位置で、前記フィルタアレイのフィルタは、前記瞳孔の異なる部分を占有するフィルタアレイと、
    前記像平面の近くに配置されるマイクロ撮像素子のアレイと、
    前記マイクロ撮像素子が前記フィルタアレイを検出アレイ上に映すように配置される検出アレイであり、前記検出アレイは、露光条件及び前記フィルタアレイの位置に従って前記物体のマルチモード画像を取得し、前記マルチモード画像は、前記フィルタアレイの異なるフィルタによりフィルタリングされた前記物体の画像を有する検出アレイと、
    前記フィルタアレイの位置を調整し、前記フィルタアレイの位置の調整によって前記瞳孔を占有する領域が減少するフィルタの画像品質メトリックが十分になるように一律に露光条件を調整するコントローラと
    を有する光照射野撮像システム。
  2. 前記フィルタアレイは、前記瞳孔面に存在する方向に沿って移動可能である、請求項１に記載の光照射野撮像システム。
  3. 前記フィルタアレイが前記瞳孔面に存在する方向に沿って移動したときに、前記フィルタは、前記瞳孔の異なる部分を占有する、請求項２に記載の光照射野撮像システム。
  4. 前記コントローラは、前記物体を照らす光源の強度を調整する、請求項１に記載の光照射野撮像システム。
  5. 前記コントローラは、前記光学モジュールの光通過量を調整する、請求項１に記載の光照射野撮像システム。
  6. 前記コントローラは、中性フィルタの減衰を調整する、請求項１に記載の光照射野撮像システム。
  7. 前記コントローラは、前記検出アレイの露光／積分時間を調整する、請求項１に記載の光照射野撮像システム。
  8. 前記画像品質メトリックは、信号対雑音比である、請求項１に記載の光照射野撮像システム。
  9. 前記画像品質メトリックは、信号エネルギーである、請求項１に記載の光照射野撮像システム。
  10. 前記画像品質メトリックは、露光指数である、請求項１に記載の光照射野撮像システム。
  11. 前記コントローラは、前記露光条件への調整を判定するために、参照テーブルにアクセスし、前記参照テーブルは、前記画像品質メトリックと前記露光条件との間の関係を定義する、請求項１に記載の光照射野撮像システム。
  12. 前記フィルタアレイは、異なる波長応答を備えたフィルタを含む、請求項１に記載の光照射野撮像システム。
  13. 前記フィルタアレイは、マルチスペクトル撮像を実施する、請求項１に記載の光照射野撮像システム。
  14. 前記マイクロ撮像素子のアレイは、マイクロレンズアレイを含む、請求項１に記載の光照射野撮像システム。
  15. 前記光学モジュールは、テレセントリックである、請求項１に記載の光照射野撮像システム。
  16. 前記瞳孔面は、前記検出アレイに対して少なくとも10:1の倍率を有する、請求項１に記載の光照射野撮像システム。
  17. プレノプティック撮像システムの瞳孔面の近くに配置されたフィルタアレイを有するプレノプティック撮像システムを調整する方法であり、前記フィルタアレイは、複数の異なるフィルタを含み、前記フィルタアレイは、前記瞳孔面に対して移動可能であり、前記フィルタアレイの異なる位置で、前記フィルタアレイのフィルタは、瞳孔の異なる部分を占有する方法であって、
    前記フィルタアレイの位置を調整し、前記フィルタアレイの位置の調整によって前記瞳孔を占有する領域が減少するフィルタの画像品質メトリックが十分になるように一律に露光条件を調整するステップと、
    前記露光条件で、前記フィルタアレイの異なるフィルタによりフィルタリングされた物体の画像を有する物体のマルチモード画像を取得するステップであり、前記フィルタリングは、前記フィルタアレイの位置に基づくステップと、
    を有する方法。
  18. 前記フィルタアレイが前記瞳孔面に存在する方向に沿って移動したときに、前記フィルタは、前記瞳孔の異なる部分を占有する、請求項１７に記載の方法。
  19. 前記露光条件を調整するステップは、前記物体を照らす光源の強度を調整することを有する、請求項１７に記載の方法。
JP2013268321A 2013-01-07 2013-12-26 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム Expired - Fee Related JP6532185B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/735,297 2013-01-07
US13/735,297 US9219866B2 (en) 2013-01-07 2013-01-07 Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position

Publications (2)

Publication Number Publication Date
JP2014132266A JP2014132266A (ja) 2014-07-17
JP6532185B2 true JP6532185B2 (ja) 2019-06-19

Family

ID=51039624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013268321A Expired - Fee Related JP6532185B2 (ja) 2013-01-07 2013-12-26 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム

Country Status (3)

Country Link
US (1) US9219866B2 (ja)
JP (1) JP6532185B2 (ja)
CN (1) CN103913807B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10327627B2 (en) 2013-01-18 2019-06-25 Ricoh Company, Ltd. Use of plenoptic otoscope data for aiding medical diagnosis
US9565996B2 (en) 2013-01-18 2017-02-14 Ricoh Company, Ltd. Plenoptic otoscope
US9030580B2 (en) * 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
CN106575035B (zh) * 2014-06-25 2020-09-11 技术创新动力基金（以色列）有限合伙公司 用于光场成像的系统和方法
JP6384183B2 (ja) * 2014-08-05 2018-09-05 株式会社リコー 試料測定装置および試料測定プログラム
EP3001672A1 (en) * 2014-09-25 2016-03-30 Thomson Licensing Plenoptic camera comprising a spatial light modulator
US10117579B2 (en) * 2014-11-14 2018-11-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
CN104537917A (zh) * 2015-01-15 2015-04-22 四川川大智胜软件股份有限公司 飞行模拟器投影系统
JP2017009396A (ja) * 2015-06-19 2017-01-12 パナソニックＩｐマネジメント株式会社 撮像装置
WO2016203690A1 (ja) * 2015-06-19 2016-12-22 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
CN105021282B (zh) * 2015-07-06 2017-12-19 中国科学院遥感与数字地球研究所 快照式偏振高光谱相机及成像方法
US10066990B2 (en) * 2015-07-09 2018-09-04 Verifood, Ltd. Spatially variable filter systems and methods
US10062158B2 (en) * 2015-07-10 2018-08-28 Globalwafers Co., Ltd. Wafer nanotopography metrology for lithography based on thickness maps
US10823615B2 (en) * 2015-08-04 2020-11-03 Agency For Science, Technology And Research Hyperspectral imaging apparatus and method
EP3145168A1 (en) 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
CN105158893B (zh) * 2015-09-29 2017-09-15 南京理工大学 基于lcd液晶面板的可编程孔径显微镜系统的光场成像方法
US10098529B2 (en) 2015-10-28 2018-10-16 Ricoh Company, Ltd. Optical design of a light field otoscope
US10018560B2 (en) * 2016-02-02 2018-07-10 Kla-Tencor Corporation System and method for hyperspectral imaging metrology
CN107347129B (zh) * 2016-05-05 2020-02-14 中强光电股份有限公司 光场相机
US10296780B2 (en) 2017-03-07 2019-05-21 Ricoh Company, Ltd. Automatic eardrum registration from light field data
US10275644B2 (en) 2017-03-08 2019-04-30 Ricoh Company, Ltd Automatic classification of eardrum shape
US10616461B2 (en) * 2017-04-25 2020-04-07 Raytheon Company Broadband optical systems and methods
US10909723B2 (en) * 2017-06-13 2021-02-02 X-Rite, Incorporated Hyperspectral imaging spectrophotometer and system
EP3462724A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing Reduced optical crosstalk plenoptic imaging device, corresponding method, computer program product, computer-readable carrier medium and apparatus
JP7285322B2 (ja) * 2019-06-11 2023-06-01 富士フイルム株式会社 撮像装置
JP7335969B2 (ja) * 2019-09-27 2023-08-30 富士フイルム株式会社 光学素子、光学装置、撮像装置、及び光学素子の製造方法
US11480519B2 (en) * 2020-04-24 2022-10-25 Honeywell International Inc. Methods, apparatuses, and systems for improving gas detecting devices
DE102021108745A1 (de) 2021-03-05 2022-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Anordnung zur multispektralen Lichtemission sowie damit ausgestatteter Multispektralsensor

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54111878A (en) * 1978-02-22 1979-09-01 Hitachi Ltd Multiwavelength spectrophotometer
JPH02150831A (ja) * 1988-12-01 1990-06-11 Fuji Photo Film Co Ltd 写真プリンタの測光装置
JP3047252B2 (ja) 1990-11-05 2000-05-29 コニカ株式会社 合焦制御装置
US5521695A (en) 1993-06-25 1996-05-28 The Regents Of The University Of Colorado Range estimation apparatus and method
US5870179A (en) 1993-06-25 1999-02-09 The Regents Of The University Of Colorado Apparatus and method for estimating range
US20030057353A1 (en) 2001-07-20 2003-03-27 Dowski Edward Raymond Wavefront coding zoom lens imaging systems
WO1996024085A1 (en) 1995-02-03 1996-08-08 The Regents Of The University Of Colorado Extended depth of field optical systems
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US20020195548A1 (en) 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
US20020118457A1 (en) 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
US6911638B2 (en) 1995-02-03 2005-06-28 The Regents Of The University Of Colorado, A Body Corporate Wavefront coding zoom lens imaging systems
EP1019686B1 (en) 1997-07-12 2009-08-26 Roper Industries, Inc. Multi-spectral two-dimensional imaging spectrometer
US6071748A (en) 1997-07-16 2000-06-06 Ljl Biosystems, Inc. Light detection device
US6021005A (en) 1998-01-09 2000-02-01 University Technology Corporation Anti-aliasing apparatus and methods for optical imaging
US6069738A (en) 1998-05-27 2000-05-30 University Technology Corporation Apparatus and methods for extending depth of field in image projection systems
US5982497A (en) 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
TW546699B (en) 2000-02-25 2003-08-11 Nikon Corp Exposure apparatus and exposure method capable of controlling illumination distribution
EP1134565B1 (en) * 2000-03-13 2004-07-28 CSEM Centre Suisse d'Electronique et de Microtechnique SA Imaging pyrometer
US6873733B2 (en) 2001-01-19 2005-03-29 The Regents Of The University Of Colorado Combined wavefront coding and amplitude contrast imaging systems
US6525302B2 (en) 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
EP1478966B1 (en) 2002-02-27 2007-11-14 CDM Optics, Incorporated Optimized image processing for wavefront coded imaging systems
US7031054B2 (en) 2002-10-09 2006-04-18 The Regent Of The University Of Colorado Methods and systems for reducing depth of field of hybrid imaging systems
US7180673B2 (en) 2003-03-28 2007-02-20 Cdm Optics, Inc. Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
WO2004090581A2 (en) 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
WO2006001785A1 (en) 2003-05-30 2006-01-05 Cdm Optics, Inc. Lithographic systems and methods with extended depth of focus
JP4112469B2 (ja) * 2003-10-07 2008-07-02 オリンパス株式会社 マルチバンドカメラの制御装置及び制御方法
JP2007513427A (ja) 2003-12-01 2007-05-24 シーディーエム オプティックス， インコーポレイテッド 光学システムおよびデジタルシステムの設計を最適化するシステムおよび方法
US7433042B1 (en) 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
JP2006106457A (ja) 2004-10-07 2006-04-20 Pentax Corp ストロボ撮影が可能なカメラ
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7616841B2 (en) 2005-06-17 2009-11-10 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems
WO2007008826A2 (en) 2005-07-11 2007-01-18 Infotonics Technology Center, Inc. High speed, optically-multiplexed, hyperspectral imagers and methods thereof
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
EP1941314A4 (en) 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
US20070081224A1 (en) 2005-10-07 2007-04-12 Robinson M D Joint optics and image processing adjustment of electro-optic imaging systems
EP1990828A4 (en) * 2006-02-16 2010-09-15 Nikon Corp EXPOSURE DEVICE, EXPOSURE METHOD AND METHOD FOR PRODUCING COMPONENTS
US7692709B2 (en) 2006-05-12 2010-04-06 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems with adjustable optical cutoff frequency
JP5123509B2 (ja) * 2006-09-28 2013-01-23 オリンパス株式会社 測定領域設定装置、測定領域設定方法および分光測定装置
JP2009008793A (ja) * 2007-06-27 2009-01-15 Nikon Corp 撮像装置付顕微鏡及びその露出時間を算出する方法
US8330087B2 (en) 2007-10-16 2012-12-11 Cambridge Research & Instrumentation, Inc. Spectral imaging system with dynamic optical correction
FR2924235B1 (fr) 2007-11-27 2010-08-20 Commissariat Energie Atomique Dispositif d'imagerie visible a filtre colore
TWI401522B (zh) * 2008-12-31 2013-07-11 Altek Corp Flash intensity adjustment method
JP5012823B2 (ja) * 2009-01-28 2012-08-29 ソニー株式会社 撮像装置および撮像方法
US8149400B2 (en) 2009-04-07 2012-04-03 Duke University Coded aperture snapshot spectral imager and method therefor
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8248511B2 (en) 2009-09-30 2012-08-21 Ricoh Co., Ltd. Dual-mode extended depth-of-field imaging systems
US8143565B2 (en) * 2009-09-30 2012-03-27 Ricoh Co., Ltd. Adjustable multimode lightfield imaging system having an actuator for changing position of a non-homogeneous filter module relative to an image-forming optical module
US9250131B2 (en) 2011-01-17 2016-02-02 Ricoh Co., Ltd. Multi-imaging system with interleaved images
US8949078B2 (en) 2011-03-04 2015-02-03 Ricoh Co., Ltd. Filter modules for aperture-coded, multiplexed imaging systems
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
US8761534B2 (en) 2012-02-16 2014-06-24 Ricoh Co., Ltd. Optimization of plenoptic imaging systems
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images

Also Published As

Publication number Publication date
CN103913807A (zh) 2014-07-09
US9219866B2 (en) 2015-12-22
US20140192255A1 (en) 2014-07-10
CN103913807B (zh) 2016-09-28
JP2014132266A (ja) 2014-07-17

Similar Documents

Publication Publication Date Title
JP6532185B2 (ja) 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム
JP5840834B2 (ja) 調節可能なマルチモードの光照射野撮像システム
US9716846B2 (en) Full-frame, programmable hyperspectral imager
EP2495540B1 (en) Design of filter modules for aperture-coded, multiplexed imaging systems
JP5723881B2 (ja) マルチスペクトル撮像
US5982497A (en) Multi-spectral two-dimensional imaging spectrometer
AU731476B2 (en) Multi-spectral two-dimensional imaging spectrometer
US7894058B2 (en) Single-lens computed tomography imaging spectrometer and method of capturing spatial and spectral information
CN113884184B (zh) 使用光学滤波器子阵列的光谱传感器系统
JP6348271B2 (ja) 混合材マルチスペクトル・スターリングアレイセンサ
US9041930B1 (en) Digital pathology system
JP5612894B2 (ja) 撮像装置
KR20190118560A (ko) 광학 시스템
US11696043B2 (en) White balance compensation using a spectral sensor system
EP3966536B1 (en) Illumination device for a spectrophotometer having integrated mixing optics, and method for illuminating a sample
CN108801459B (zh) 一种光谱成像系统
CN114397014A (zh) 一种渐变滤光片装置、超高光谱成像系统及其成像仪
CN117805132A (zh) 光学检测装置和光学检测系统
CN111551251A (zh) 有序光谱成像

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190521

R150 Certificate of patent or registration of utility model

Ref document number: 6532185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees