JP4860174B2 - 撮像システム及び画像を検出する方法 - Google Patents

撮像システム及び画像を検出する方法 Download PDF

Info

Publication number
JP4860174B2
JP4860174B2 JP2005122524A JP2005122524A JP4860174B2 JP 4860174 B2 JP4860174 B2 JP 4860174B2 JP 2005122524 A JP2005122524 A JP 2005122524A JP 2005122524 A JP2005122524 A JP 2005122524A JP 4860174 B2 JP4860174 B2 JP 4860174B2
Authority
JP
Japan
Prior art keywords
light
pixel
filter
filter layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005122524A
Other languages
English (en)
Other versions
JP2005321388A (ja
Inventor
ジュリー・イー・フォーケット
リチャード・イー・ヘブン
スコット・ダブリュ・コージン
Original Assignee
アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド filed Critical アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Publication of JP2005321388A publication Critical patent/JP2005321388A/ja
Application granted granted Critical
Publication of JP4860174B2 publication Critical patent/JP4860174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/26Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32Investigating bands of a spectrum in sequence by a single detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Light Receiving Elements (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

本発明はハイブリッド・フィルタを利用した波長依存型の撮像および検出の方法に関する
対象物の検出または撮像が行われる用途がいくつか存在する。対象物の検出によって、該対象物の有無が判断される一方、撮像結果として、対象物が表現されることになる。対象物は、用途に応じて、日光の下でまたは暗闇で撮像または検出されることができる。
波長に依存した撮像(wavelength dependent imaging)は、対象物の撮像または検出に関する1つの技術であり、一般に、対象物から反射する、または、対象物を透過する1つ以上の特定の波長の捕捉を必要とする。用途によっては、対象物の検出または撮像に、太陽光または周囲光による照明のみが必要とされる場合もあれば、他の追加の照明が必要になる場合もある。しかし、光は、可視波長および不可視波長を含む多くの異なる波長で、大気を伝わる。波長が不可視の場合もあるので、問題とする波長の検出が困難になる可能性がある。
図1には、太陽光線、発光ダイオード、および、レーザのスペクトルが例示されている。図に示すように、レーザのスペクトル100は極めて狭く、発光ダイオード(LED)のスペクトル102は、レーザのスペクトルに比べて広い。太陽光線では、スペクトル104が、LEDとレーザの両方に比較して極めて広い。広スペクトルの太陽放射が同時に存在すると、アイセーフ(eyesafe)LEDまたはレーザから放出され、対象物から反射される光の検出が、日中は極めて困難になる。太陽放射が、検出システムを支配し、アイセーフ光源からの比較的弱い散乱が、該太陽放射に比してかなり小さくなってしまうおそれがある。
さらに、フィルタ材料には、テール(tail)が特定の波長に向かって延びる、明確な吸収スペクトル・ピークを示すものもある。図2には、吸収ピーク202と、より短い波長側に向かうテール204を有するフィルタのスペクトル200が描かれている。問題となる波長(例えば、λおよびλ)の間隔が互いに近接している場合、1つ以上の特定の波長を弁別または検出するのは困難なおそれがある。例えば、図2の場合、フィルタ材料は、波長λの光を有効に吸収する。しかし、波長λで透過する光も部分的に吸収する。このため、波長λで透過する光の量を検出するのは困難になる可能性がある。
本発明によれば、ハイブリッド・フィルタを利用した波長依存型の撮像および検出の方法およびシステムが得られる。撮像または検出される対象物は、単一の広帯域光源または異なる波長の光を放出する複数光源によって照明される。光は、光検出センサおよびハイブリッド・フィルタを備える受光モジュールによって受光される。ハイブリッド・フィルタは、複数帯域の狭帯域フィルタとパターン化フィルタ層を含む。パターン化フィルタ層は、狭帯域フィルタから受光する光の一部を透過するフィルタ材料領域と、狭帯域フィルタから受光する光の全てを透過するフィルタ無し領域を含む。フィルタ材料領域は、フィルタ材料を通過する光の一部を吸収するので、フィルタ材料領域を透過する光に利得係数が適用される。利得係数は、1つ以上の画像のシーン(scene)信号のバランスをとり、1つ以上の画像における特徴(feature)信号を最大化するのに利用される。
本発明については、図面と関連づけて、本発明に従う一実施形態についての詳細な説明を参照することによって、理解が深まるであろう。
以下の説明は、当業者が、本発明を創り、利用することができるようにするために提示されるものであり、特許出願およびその要件との関連においてなされるものである。当業者には、開示の実施形態に対するさまざまな修正が容易に明らかになるであろうし、本明細書での一般原理は他の実施形態にも適用することが可能である。従って、本発明は、示された実施形態に制限することを意図したものではなく、特許請求の範囲および本明細書に記載の原理および特徴と整合しつつ、最も広い範囲が与えられるよう意図されている。また、本説明において言及される図面は、一定の比率で描かれたものではない点に注意されたい。
本発明に従う一実施形態は、ハイブリッド・フィルタを用いた波長依存型の撮像および検出の方法およびシステムに関する。詳細な説明には、瞳孔の検出手法が、本発明に従うハイブリッド・フィルタを利用する典型的なシステムとして含まれている。しかし、本発明に従うハイブリッド・フィルタは、対象物またはシーン(scene)の波長依存型の検出および/または撮像が望まれるさまざまな用途において使用することができる。例えば、本発明に従うハイブリッド・フィルタは、地震断層に沿った移動の検出、人物または被験者の存在、注意深さ(attentiveness)、または位置の検出、および、製造における湿気の検出または強調に使用することができる。さらに、本発明に従うハイブリッド・フィルタは、例えば、組織内の体液または酸素を検出するシステム、および、目または目鼻立ちを利用した個人の識別システムといった、医療および生物測定の用途において使用することができる。これらの生物測定識別システムの場合、最小限のユーザ訓練で必要なデータを収集するため、瞳孔検出を利用して、イメージャ(imager、撮像装置)の照準を正確に合わせることができる。
図3を参照すると、本発明に従う一実施形態における、ハイブリッド・フィルタを使用する第1の瞳孔検出システムの図が示されている。このシステムは、検出器300および光源302、304を含む。光源302、304は、図3の実施形態では、検出器300の両側に示されている。本発明に従う他の実施形態では、検出器300の同じ側に、光源302、304を配置することができる。本発明に従うさらに他の実施形態では、検出器300の両側それぞれに、1組の光源302、304を配置することができる。光源302、304を、例えば太陽のような、2つ以上の異なる波長の光を放出する単一の広帯域光源に置き換えることもできる。
瞳孔検出のための実施形態では、検出器300を用いて、被験者306の顔および/または目から2つの画像が捕捉される。該画像のうちの1つは、検出器300の軸308に近いか、または、軸308上にある光源302(「軸上光源」)を使用して捕捉される。もう1つの画像は、検出器300の軸308に対し、大きい角度をなすよう離れて配置された光源304(「軸外し光源」)を使用して捕捉される。被験者306の目が開いている場合、これらの画像間の差によって、目の瞳孔が強調される。これは、網膜からの正反射(specular reflection)が、軸上画像だけでしか検出されないためである。他の顔の特徴および周囲の特徴からの拡散反射(diffuse reflection)はほとんど相殺されるので、差分画像には、主たる特徴として瞳孔が残されることになる。これを利用すると、該差分画像において瞳孔が検出することができない場合、被験者306の目が閉じていると推定することができる。
本発明に従うこの実施形態では、被験者306の目が開いている、または、閉じている時間量を、しきい値に対して監視することができる。このしきい値が満たされなければ(例えば、目が開いている時間の割合が、しきい値未満になる)、アラームまたは他の処置をとることによって、被験者306に注意を喚起することができる。まばたきの頻度または持続時間を、本発明に従う他の実施形態における基準として用いることができる。
被験者306の網膜からの差分反射率は、光源302と検出器300の軸308との角度310、および、光源304と軸308との角度312によって決まる。一般に、角度310を小さくすると、網膜反射が増すことになる。本明細書において用いられる限りにおいて、「網膜反射(retinal return)」は、被験者306の目の奥から反射され、検出器300によって検出される強度(明るさ)を表わしている。「網膜反射」はまた、目の奥の他の組織(網膜以外の、すなわち、網膜とは別の)からの反射も含むように用いられる。従って、角度310の選択は、光源302が軸308上またはその近くに位置するように行われる。本発明に従うこの実施形態の場合、角度310は、一般に、約0〜2度の範囲内である。
一般に、角度312の大きさは、検出器300において、光源304からの低い網膜反射だけが検出されるように選択される。(瞳孔のまわりの)虹彩によって、この信号は遮られるので、角度312の大きさを選択する時には、異なる照明条件下における瞳孔サイズを考慮すべきである。本発明に従うこの実施形態の場合、角度312は、一般に、約3〜15度の範囲内である。本発明に従う他の実施形態では、角度の大きさ310および312が異なることもあり得る。例えば、ある特定の被験者の特徴によって、角度310、312を決めてもよい。
本発明に従うこの実施形態において、光源302、304は、ほぼ等しい画像の強度(明るさ)を生じさせる異なる波長の光を放出する。光源302、304は、任意の波長とすることができるが、この実施形態で選択される波長は、その光によって被験者の気が散乱することのないように、また、目の虹彩が光に反応して縮小することがないように選択される。選択される波長は、一般に、検出器300の応答を可能にする範囲内である。本発明に従うこの実施形態の場合、光源302、304は、赤外波長または近赤外波長を有する発光ダイオード(LED)またはマルチモード・レーザとして実現される。各光源302、304は、1つの光源または複数光源として実現されてもよい。
コントローラ316は、検出器300によって捕捉された画像を受信し、該画像に処理を施す。図3の実施形態の場合、コントローラ316は、利得係数を決定して、軸外し光源304によって捕捉された画像に該利得係数を適用する。画像の処理方法については、図19および図20を参照してより詳細に解説する。
図4は、図3のシステムに使用することのできる装置を示す。装置400は、検出器300、軸上光源302、および、軸外し光源304を備える。図4において、光源302は、検出器300のまわりに円形パターンをなすように配置され、検出器300と共に収容されている。本発明に従う他の実施形態では、光源304を、光源302および検出器300から独立したハウジング内に配置することができる。本発明に従うさらに他の実施形態では、光源302を、検出器300と対象物の間にビーム・スプリッタを配置することによって、検出器300から独立したハウジング内に配置することができ、これには、照明の有効な軸上角をより小さくすることが可能になるという利点がある。
次に図5を参照すると、本発明に従う一実施形態における第2の瞳孔検出システムが示されている。このシステムは、図3からの検出器300、軸上光源302、軸外し光源304、および、コントローラ316を備える。このシステムは、さらに、ビーム・スプリッタ500を備える。この実施形態の場合、検出器300は、光源304に隣接して配置される。本発明に従う他の実施形態では、検出器300および光源302の配置を入れ替えて、光源302が光源304に隣接するようにすることができる。
軸上光源302は、ビーム・スプリッタ500に向かって光ビームを放出する。ビーム・スプリッタ500によって、軸上の光が2つのセグメントに分割され、一方のセグメント502が被験者306に向けられる。検出器300と被験者306の間にビーム・スプリッタ500を配置すると、より小さくなるが有効な照射の軸上角度とすることができる。
軸外し光源304も、被験者306に向けて光ビーム504を放出する。セグメント502、504からの光は、被験者306から反射され、ビーム・スプリッタ500に向けて送られる。セグメント502、504からの光は、光源302、304がいつ光を放出するかに応じて、被験者306から同時に反射されることもあれば、被験者306から交互に反射されることもあり得る。ビーム・スプリッタ500によって、反射光は2つのセグメントに分割され、一方のセグメント506が、検出器300に向けて送られる。検出器300は、反射光を使用して、被検者306の2つの画像を捕捉し、その画像を、処理のためにコントローラ316に送る。
図6は、本発明に従う一実施形態における第3の瞳孔検出システムである。このシステムは、2つの検出器300a、300b、2つの軸上光源302a、302b、2つの軸外し光源304a、304b、および、2つのコントローラ316a、316bを備える。このシステムは、エピポーラ・ステレオ(epipolar stereo)構成に図3のシステムの2つを使用して、被験者306の片目または両目の3次元画像を生成する。この実施形態の場合、各検出器300a、300bの対応するピクセル列が、同じ面内にある。本発明に従う他の実施形態では、対応するピクセル列は同じ面内になく、列構成を補償するよう調整値が生成される。
各コントローラ316a、316bは、個別に解析して、被験者306の片目または両目の2次元位置を確認する。ステレオ・コントローラ600が、両コントローラ316a、316bによって生成されたデータを使用して、被験者306の片目または両目の3次元位置を生成する。軸上光源302a、302bおよび軸外し光源304a、304bは、任意の所望の位置に配置することができる。本発明に従う一実施形態の中には、軸上光源(例えば、302b)を、反対側のシステムの軸外し光源(例えば、304a)として使用することができるものもある。
図7Aには、図3、図5、および、図6の実施形態に従って、軸上光源によって第1のフレームに生成された画像が例示されている。画像700には、開いた目が示されている。目の瞳孔は、軸上光源302によって生じる強い網膜反射のために明るい。目を閉じるか、または、ほぼ閉じると、明るい瞳孔が検出されることも撮像されることもないであろう。
図7Bには、図3、図5、および、図6の実施形態に従って、軸外し光源によって第2のフレームに生成された画像が例示されている。図7Bの画像702は、図7Aの画像と同時に捕捉することもできるし、または、画像700に対して(連続的または不連続的に)交互のフレームで捕捉することもできる。画像702には、通常の暗い瞳孔が例示されている。目を閉じるか、または、ほぼ閉じると、通常の瞳孔が検出されることも撮像されることもないであろう。
図7Cには、図7Aの第1のフレームの画像から図7Bの第2のフレームの画像を減算することによって生成される差分画像704が例示されている。2つの画像700、702の差分を取ることによって、目が開いている場合、比較的暗い背景708に対して、比較的明るいスポット706が残ることになる。背景708に、目の他の特徴の痕跡が残ることがある。しかし、一般には、明るいスポット706は、背景708と比較して目立つことになる。目を閉じるか、またはほぼ閉じると、差分画像704に明るいスポット706が生じることはないであろう。
図7A〜図7Cには、被験者306の片目が例示されている。当業者には明らかなように、両目を監視することもできる。また、画像に被験者306の他の特徴(例えば、他の顔の特徴)、並びに、被験者306の周囲の特徴が含まれる場合にも、同様の効果が得られる。これらの特徴は、前述したのと同様にほぼ相殺され、目を開けていれば明るいスポット706が残るし(または、それぞれの目に1つずつ、2つの明るいスポット)、そうではなく、目が閉じているか、またはほぼ閉じている場合には、スポットは残らない。
次に図8を参照すると、本発明に従う一実施形態におけるセンサおよびパターン化フィルタ層の平面図が示されている。この実施形態の場合、センサ800は、検出器300(図3)に組み込まれており、相補型金属酸化膜半導体(CMOS)の撮像センサとして構成されている。しかし、本発明に従う他の実施形態では、センサ800を、例えば、電荷結合素子(CCD)イメージャのような、他の種類の撮像装置で実現することもできる。
パターン化フィルタ層802は、センサ800の交互のピクセルを覆うフィルタ材料を使用して、センサ800上に形成される。このフィルタは、光源302、304によって用いられている波長によって決まる。例えば、本発明に従うこの実施形態の場合、パターン化フィルタ層802には、光源302によって用いられる波長の光を阻止し、光源304によって用いられる波長の光を透過するフィルタ材料を含む領域(1で識別される)が含まれている。他の領域(2で識別される)は、覆わないまま放置され、光源302、304からの光を受光する。
図8の実施形態では、パターン化フィルタ802層は、例えば、従来の堆積およびフォトグラフィ処理を使用して、ウェーハの形態をなしたまま、下層の上に、センサ800とは別の層として堆積される。本発明に従う他の実施形態では、パターン化フィルタ802層は、センサ800と入射光の間の独立した要素(エレメント)として生成されることができる。さらに、フィルタ材料のパターンは、市松模様以外のパターンをなすように構成されることもできる。例えば、パターン化フィルタ層は、インターレースされた縞模様の(interlaced striped)構成または非対称構成(例えば、3ピクセル×2ピクセル形状)に形成されることができる。パターン化フィルタ層は、カラー・イメージャのような、他の機能と組み合わせられることもできる。
パターン化フィルタ層802には、さまざまな種類のフィルタ材料を使用することができる。この本発明に従う一実施形態の場合、フィルタ材料は、顔料(pigment)または染料(dye)をドープしたポリマーを含む。本発明に従う他の実施形態の場合、フィルタ材料は、半導体、他の無機材料、または有機材料で作られた干渉フィルタ、反射フィルタ、および、吸収フィルタを含むことができる。
図9は、本発明に従う一実施形態における検出器の断面図である。この図には、検出器の一部のみが示されている。検出器300は、ピクセル900、902、904、906を含むセンサ800と、フィルタ材料の交互領域910、および交互空(すなわち、フィルタ材料無し)領域912を含むパターン化フィルタ層908と、ガラス・カバー914と、二重帯域(dual band)の狭帯域フィルタ916とを含む。本発明に従うこの実施形態では、センサ800は、CMOSイメージャとして構成され、パターン化フィルタ層908は、顔料または染料をドープしたポリマーとして構成されている。パターン化フィルタ層908の各フィルタ領域910(例えば、市松模様における1つの正方形)は、CMOSイメージャの1つのピクセル上に重なる。
本発明に従うこの実施形態の場合、狭帯域フィルタ916は、誘電体スタック(dielectric stack)・フィルタである。誘電体スタック・フィルタは、特定のスペクトル特性を有するように設計されている。本発明に従うこの実施形態の場合、誘電体スタック・フィルタは、二重帯域フィルタとして形成される。狭帯域フィルタ916は(すなわち、誘電体スタック・フィルタ)は、λに1つのピークを持ち、λにもう1つのピークを持つように設計されている。本発明に従うこの実施形態の場合、短いほうの波長λは軸上光源302に関連付けられ、長いほうの波長λは、軸外し光源304に関連付けられている。しかし、本発明に従う他の実施形態では、短いほうの波長λが軸外し光源304に関連付けられ、長いほうの波長λが、軸上光源302に関連付けられることもできる。
光が狭帯域フィルタ916に当たると、光源302(λ)および光源304(λ)以外の波長の光に対しては、狭帯域フィルタ916の通過が遮られ、すなわち阻止される。従ってこの実施形態では、可視波長(λVIS)および波長(λ)の光は、遮られるが、波長λおよびλまたはこれらの波長に近い波長の光は、狭帯域フィルタ916を透過する。従って、波長λおよびλまたはこれらの波長に近い波長の光だけが、ガラス・カバー914を通過する。その後、フィルタ領域910は、波長λの光を透過させるが、波長λの光を阻止する。従って、ピクセル902および906は、波長λの光だけを受光する。
フィルタ無し領域912は、波長λおよびλの光を透過させる。一般に、覆われていないピクセル900、904に到達する光は、フィルタ領域910によって覆われたピクセル902、906に到達する光よりも多い。コントローラ316の画像処理ソフトウェアを使用して、第2のフレームに生じる画像(覆われたピクセル902、906に対応する)と第1のフレームに生じる画像(覆われていないピクセル900、904に対応する)を分離することができる。例えば、コントローラ316は、差分画像を算出するのに、パイプライン処理を備えた特定用途向けIC(ASIC)を含むことができる。マサチューセッツ州ナティックを所在地とするThe MathWorks,Inc.の製品であるMATLAB(商標)を使用して、該ASICを設計することができる。
本発明に従うこの実施形態の場合、狭帯域フィルタ916およびパターン化フィルタ層908によってハイブリッド・フィルタが形成される。図10には、図9に示すパターン化フィルタ層および狭帯域フィルタのスペクトルが描かれている。前述のように、狭帯域フィルタ916は、波長λ(スペクトル・ピーク916a)およびλ(スペクトル・ピーク916b)またはこれらの波長に近い光を除く全ての光を遮る。パターン化フィルタ層908は、λ(スペクトル910において最小)またはそれに近い光を阻止するが、λまたはそれに近い光を透過させる。λまたはそれに近い光は、フィルタ領域910を通過するので、本発明に従うこの実施形態では、差分画像の計算前に、第2のフレームに対して或る利得係数が適用される。この利得係数は、フィルタ領域910によって吸収された光、および、2つの波長間におけるセンサ感度の差を補償する。利得係数の決定については、図20および図21に関連して、さらに詳述することにする。
当業者には明らかなように、パターン化フィルタ層908は、ピクセル空間解像度でチャネルを選択する機構を提供する。本発明に従うこの実施形態の場合、チャネル1は軸上画像に関連付けられ、チャネル2は軸外し画像に関連付けられている。本発明に従う他の実施形態では、チャネル1が軸外し画像に関連付けられ、チャネル2が軸上画像に関連付けられることもできる。
本発明に従うこの実施形態の場合、センサ800は、キャリヤ(図示せず)上に位置している。ガラス・カバー914は、一般に、損傷および粒子汚染(例えば、ほこり)からセンサ800を保護する。本発明に従う他の実施形態によれば、ハイブリッド・フィルタは、パターン化フィルタ層908、ガラス・カバー914、および、狭帯域フィルタ916を含む。この実施形態におけるガラス・カバー914は、着色ガラス・フィルタとして形成され、誘電体スタック・フィルタ(すなわち、狭帯域フィルタ916)の基板として含まれる。着色ガラス・フィルタは、所定のスペクトル特性を持つように設計されており、顔料または染料でドープされている。着色ガラス・フィルタに利用可能な着色ガラスを製造している企業の1つに、ドイツ、マインツを所在地とする企業Schott Optical Glass,Inc.がある。
次に図11を参照すると、本発明に従う一実施形態における、ある対象物を透過する波長を検出するためのシステムが示されている。前述の図を参照して説明したように機能する要素には、同様の参照番号が用いられている。検出器300は、センサ800、パターン化フィルタ層908、ガラス・カバー914、および、狭帯域フィルタ916を備える。
広帯域光源1100が、透明な対象物1102に向けて光を送る。広帯域光源1100は、複数波長の光を放出し、そのうちの2つ以上が、検出器300によって検出される波長である。本発明に従う他の実施形態では、広帯域光源1100の代わりに、異なる波長の光を送り出す2つの光源を利用することもできる。
レンズ1104は、透明な対象物1102を透過した光を捕捉し、狭帯域フィルタ916の上面に集束させる。2つの波長を使用するシステムの場合、検出器300は、そのうちの1つの波長で透過した光を使用して、1つの画像を捕捉し、他の波長で透過した光を使用して、もう1つの画像を捕捉する。次に、画像は、図20および図21を参照してさらに詳述される画像処理方法を用いて処理される。
前述のように、狭帯域フィルタ916は、二重帯域フィルタとして形成された誘電体スタック・フィルタである。誘電体スタック・フィルタは、任意のフィルタタイプの組み合わせを含むことができる。完成した誘電体スタック・フィルタの所望のスペクトル特性によって、スタック層に含まれるフィルタがどのタイプのフィルタであるかが決まる。
例えば、二重帯域フィルタは、3つの結合された空洞共振器を次々と上に積み重ねることによって製作されることができ、各結合空洞共振器は、2つのファブリ・ペロー共振器によって形成される。図12には、本発明に従う一実施形態における二重帯域の狭帯域フィルタの製作で用いられるファブリ・ペロー(FP)共振器が例示されている。共振器1200は、上方の分布型ブラッグ反射器(DBR(Distributed Bragg reflector)層1202および下方のDBR層1204を含む。これらのDBR層を形成する材料には、N個の対をなす四分の一波長(mλ/4)厚の低屈折率材料と四分の一波長(nλ/4)厚の高屈折率材料が含まれている。ここで、変数Nは整数であり、変数mおよびnは奇数である。波長は、ある層における光の波長として定義され、これは、該層の屈折率で割った自由空間波長に等しい。
空洞(キャビティ)1206によって、2つのDBR層1202、1204が隔てられている。空洞1206は、二分の一波長(pλ/2)厚の空洞として構成されており、pは整数である。空洞1206の厚さおよびDBR層1202、1204の材料によって、FP共振器1200の透過ピークが決まる。図13には、図12のファブリ・ペロー共振器のスペクトルが示されている。FP共振器1200は、単一の透過ピーク1300を有している。
二重帯域の狭帯域フィルタを製作するためのこの第1の方法では、2つのFP共振器1200を積み重ねて、結合空洞共振器(coupled cavity resonator)が形成される。図14には、本発明に従う一実施形態において、二重帯域の狭帯域フィルタの製作方法に用いられる結合空洞共振器が示されている。結合空洞共振器1400は、上方DBR層1402、空洞1404、強結合DBR1406、空洞1408、および、下方DBR層1410を含む。上部FP共振器の下方DBR層(すなわち、層1204)が底部FP共振器の上方DBR層(すなわち、層1202)と結合するとき、強結合DBR1406が形成される。
2つのFP層を積み重ねると、図13における単一透過ピーク1300が、図15に示すように2つのピークに分割される。強結合DBR層1406における四分の一波長厚の屈折率材料の対の数によって、空洞1404、1408間の結合強度が決まる。空洞1404、1408間の結合強度によって、ピーク1500とピーク1502との間隔が制御される。
図16には、本発明の一実施形態における二重帯域の狭帯域フィルタを形成する3つの結合空洞共振器スタックが例示されている。二重帯域の狭帯域フィルタ1600は、上方DBR層1602、空洞1604、強結合DBR1606、空洞1608、弱結合DBR1610、空洞1612、強結合DBR1614、空洞1616、弱結合DBR1618、空洞1620、強結合DBR1622、空洞1624、および、下方DBR層1626を含む。
3つの結合空洞共振器を積み重ねると、2つのピーク1500、1502のそれぞれが、ピーク1700、1702の3つ組にそれぞれ分割される。図17には、図16の二重帯域の狭帯域フィルタのスペクトルが示されている。結合DBR1610、1618におけるミラー(mirror)の対の数が増すと、弱結合DBR1610、1618における結合強度が低下する。結合強度が低下すると、ピーク1700、1702の各3つ組が組み合わさって、単一で広くかなりフラットな透過帯域になる。弱結合DBR1610、1618における四分の一波長厚屈折率材料の対の数を変えると、ピーク1700、1702の3つ組内の間隔が変化する。
次に、図18を参照すると、本発明に従う一実施形態において、二重帯域の狭帯域フィルタを製作するための第2の方法が示されている。この実施形態において、二重帯域の狭帯域フィルタは、2つのフィルタ1800、1802を組み合わせることによって製作される。帯域阻止フィルタ1800によって、波長λおよびλ付近の領域間にある波長の光が遮られ、帯域通過フィルタ1802によって、波長λおよびλに近い光、およびその間の光が透過される。フィルタ1800、1802を組み合わせると、ハッチングを施した領域内の光が透過され、他の全ての波長の光が阻止される。図19には、図18の二重帯域の狭帯域フィルタのスペクトルが示されている。図示のように、光が、該組み合わせフィルタを透過するのは、問題となる波長λ(ピーク1900)およびλ(ピーク1902)か、またはこれらの波長に近い場合に限られる。
図20は、図9の検出器300によって捕捉された画像の画像処理方法のフローチャートである。最初に、利得係数が決定され、該利得係数が、検出器が捕捉した画像のいくつかに適用される。このステップが、ブロック2000に示されている。例えば、図9の実施形態において、波長λで伝わる光が、パターン化フィルタ層908のフィルタ領域910を通過する。従って、利得係数は、フィルタ領域910で吸収された光を補償し、かつ2つの波長間におけるセンサ感度の差を補償するため、波長λで捕捉された画像に適用される。
次に、ブロック2002では、1つ以上の差分画像が生成される。生成される差分画像の数は、用途によって決まる。例えば、図7の実施形態の場合、第1のフレームにおける画像(図7A)から第2のフレームの画像(図7B)を減算することによって、1つの差分画像が生成された。本発明に従う他の実施形態では、例えば、K個の波長を検出するシステムによって、K!/2個の差分画像を生成することができる。
次に、ブロック2004では、画像に畳み込み(convolution)および局所しきい値処理が適用される。各ピクセルのピクセル値が所定の値と比較される。該所定の値に与えられる値は、用途によって左右される。各ピクセルには、該所定の値に関連したそのピクセル値のランクに基づき、色が割り当てられる。例えば、ピクセル値が該所定値を超えると、そのピクセルには白色が割り当てられる。そのピクセル値が該所定値未満のピクセルには、黒色が割り当てられる。
次に、差分画像のそれぞれに、画像分析を実施して、瞳孔が、差分画像内にあるか否かが判断される。例えば、本発明に従う一実施形態では、偏心(eccentricity)およびサイズ(size)の解析アルゴリズムが実施される。偏心アルゴリズムでは、結果として生じた白と黒のピクセル・グループを解析して、各グループの形状が求められる。サイズ・アルゴリズムでは、結果として生じたピクセル・グループを解析して、各グループ内におけるピクセルの数が求められる。瞳孔を形成するグループ内のピクセルが少なすぎるか、または、多すぎる場合、そのグループは瞳孔ではないと判断される。グループの形状が瞳孔の形状に対応しない場合、そのグループは、やはり、瞳孔ではないと判断される。例えば、矩形形状をなすグループは、瞳孔の形状に一致しない。本発明に従う他の実施形態では、1つのみのアルゴリズムを実施してもよい。例えば、1つ以上の差分画像に対して偏心アルゴリズムのみを実施してもよい。さらに、本発明に従う他の実施形態では、画像に対して追加の画像分析機能または異なる画像分析機能を実施してもよい。
利得係数の計算に用いられる変数、数式、および、前提(仮定)は、用途によって決まる。図21には、本発明に従う一実施形態における、差分画像におけるピクセルのグレースケール・レベルのヒストグラムが示されている。本発明に従う一実施形態では、まず、差分画像におけるピクセルのグレースケール・レベルのヒストグラムを生成することによって、利得係数が計算される。この実施形態の場合、軸上光源で照明された場合の目の瞳孔と軸外し光源で照明された場合の目の瞳孔との間におけるコントラストは高い。高コントラストの差分分画像を得るための1つの手法は、2つの波長帯域を選択し、それによって、該2つの波長帯域間のコントラストの高コントラスト度で、問題としている特徴(feature)を表し、該2つの波長帯域間のコントラストの低コントラスト度で、背景シーン(scene)を表現するようにすることである。差分波長イメージャにおいて良好なコントラストを得るために、2つの波長帯域における特徴信号レベル間の差を大きくし、該2つの波長帯域における背景シーン信号レベル間の差を最小にすることが望ましい。これらの2つの条件は、下記のように表わすことができる。
(1)|フレーム1の特徴信号−フレーム2の特徴信号|を最大にする。
(2)フレーム1のシーン信号とフレーム2のシーン信号のバランス(釣り合い)をとる。
ピクセルに基づくコントラストは、上記表現から次のように定義することができる。
Figure 0004860174
この場合、Cを最大にすると、コントラストが最大になる。背景シーンを表わすピクセルについては、背景シーンに広がっているピクセルのグレースケール・レベルの平均差(mean difference)が、下記の式によって計算される。
Figure 0004860174
ここで、添え字iは背景ピクセルに対する合計を示し、rは背景シーンにおけるピクセルの数である。問題となる特徴(例えば、1つまたは複数の瞳孔)を表わすピクセルについては、問題となる特徴にわたって広がるピクセルのグレースケール・レベルの平均差が、下記の式によって計算される。
Figure 0004860174
ここで、添え字iは問題となる特徴を示すピクセルに対する合計であり、sは問題となる特徴を示すピクセルの数である。図21の各ヒストグラムは、平均グレースケール値Mと標準偏差σを有している。
この実施形態では、|M−M|が、意図的に(σ+σ)よりも大きい。スペクトル差分画像形成では、2つの波長帯域を適正に選択すると、高コントラストが得られて、|M|が大きくなり、利得を適正に選択すると、2つのフレームにおける背景信号のバランスを取ることによって|M|が小さくなる。目の検出では、2つのチャネル間における網膜反射の角度の感度によって、|M|が大きくなり、利得を適正に選択すると、2つのフレームにおける背景信号のバランスがとられることによって、|M|が小さくなる。標準偏差は、ソース画像、信号のグレーレベル、2つのチャネル間における照明の均一性、チャネル2(例えば、軸外し画像)に用いられる利得、および、もう一方のフレームのピクセルを表わすために用いられるタイプの補間アルゴリズムを含む、いくつかの要因によって決まる。
この実施形態では、背景シーンの大部分には、多種多様なグレーレベルが含まれるものと前提する。従って、適正な利得が適用されていない限り、標準偏差σは大きくなる傾向がある。一般に、差信号Mの値が大きいと、標準偏差σの値が大きくなる、すなわち、
σ=αM
ここで、αは、ほぼ一定であり、正の標準偏差σを示すのに必要な符号を取る。本発明に従う他の実施形態では、他の前提を用いてもよい。例えば、定数αの代わりに、より複雑な定数を用いてもよい。
平均値に基づくコントラストは、下記のように定義することができる。
Figure 0004860174
この実施形態では、また、σ>σと仮定し、よってCは、下記のように近似される。
Figure 0004860174
を最大にするため、M>>0になり、かつMが最小になるようにチャネルを割り当てることによって、該式の|(M/M)−1|の部分を最大にする。こうして、Cの式は、次のようになる。
Figure 0004860174
上記のパラメータは、次のように定義される。
Figure 0004860174
ここで、
λ=波長
(λ)は、対象物における差分画像形成システムの光源の単位波長m当たり単位面積当たりのパワーであり、ここで、mは1つの波長帯域を表わしている。波長帯域mにわたって積分すると、L=∫L(λ)dλである。
A(λ)は、単位波長当たり単位面積当たりの周囲光源のパワーである。波長帯域mにわたって積分すると、A=∫A(λ)dλである。
(λ)は、波長帯域mについての、単位波長当たりの波長λにおける、問題となるポイント(特徴部分)の反射率(拡散反射または正反射)である。波長帯域mにわたって積分すると、P=∫P(λ)dλである。
x,y,m(λ)は、波長帯域mで観測される、単位波長当たりのイメージャの位置x、yにおける背景シーンの反射率(拡散反射または正反射)である。
m,n(λ)は、帯域nの波長において測定される、波長帯域mに関連付けられたピクセルについての単位波長当たりのフィルタ透過率(filter transmission)である。m=nの場合について波長帯域にわたって積分すると、Tm、m=∫Tm、m(λ)dλである。
S(λ)は波長λにおけるイメージャの感度である。
Gは、1つのフレームに適用される利得係数である。
この実施形態では、Tm,n(λ)には、例えば、二重帯域の狭帯域フィルタおよびパターン化フィルタ層の両方のような、直列をなす全てのフィルタが含まれる。フレーム1の特徴信号について、波長帯域が正しく選択されていれば、P>>Pになり、右側の第2の積分はごく小さくなる。Pが比較的小さいので、フレーム2の特徴信号に関する式の第1の積分はごく小さくなる。従って、分子の積分を組み合わせると、上記の条件(1)は、次のようになる。
Figure 0004860174
本発明に従うこの実施形態では、上記の条件(1)を満たすため、L、P、および、Sは、目の安全/快適さの範囲内において最大にされる。1つのアプローチは、T1,1を最大にし、その一方で、チャネル2の波長帯域においてより小さい利得Gを使用し、および、弁別力の高いフィルタの利用によってT2,1が0に等しいかまたは0にほぼ等しくなるようにする。近赤外範囲における目の検出の場合、波長が短いほうのチャネルが軸上チャネルであれば、950nmに近い硝子体液(vitreous humor)および他の組織における吸水のために、Pが高くなる。波長が短いほうのチャネルが軸上チャネルであれば、該短いほうの波長で検出感度が高くなるので、Sも高くなる。
フレーム1におけるシーン信号については、T1,2が小さければ、第2の積分が小さくなるはずであるという点に留意されたい。フレーム2におけるシーン信号では、T2,1が小さければ、第2の積分が小さくなるはずである。より一般的には、分母の積分を組み合わせると、上記の条件(2)は、次のようになる。
Figure 0004860174
本発明に従うこの実施形態では、上記の条件(2)を満たすため、分母の2つのフレームにおけるシーン信号レベルのバランスがとられる。従って、以下の式のようになる。
Figure 0004860174
利得Gについて解くと、以下のようになる。
Figure 0004860174
この実施形態では、ほとんどの場合、以下の式が成立する。
Figure 0004860174
したがって、利得の上記式は、次のようになる。
Figure 0004860174
本発明に従う実施形態のうちには、いずれの方向においてもフィルタのクロストークが生じないものもある。この場合、T1,2,T2,1=0になり、利得の上記式は、次のようになる。
Figure 0004860174
誘電体スタック・フィルタが他のフィルタと直列に用いられる場合、両帯域ともピーク・レベルが同じなので、フィルタの透過関数は同じとみなすことができる。従って、利得の上記式は、次のようになる。
Figure 0004860174
S≡S(λ)/S(λ)と定義すると、利得の式は、次のようになる。
Figure 0004860174
光源がオフになると、L、L=0になり、従って、以下のようになる。
Figure 0004860174
ここで、GAnoXtalkは、周囲照明だけの場合の最適利得である。この実施形態の場合、関連するコントラストを求めるため、この計算では、画像全体が解析される。本発明に従う他の実施形態には、画像全体を解析する必要のないものもある。例えば、本発明に従う他の実施形態では、問題となる特徴の近くの一部の画像のみを選択してもよい。
太陽放射による周囲スペクトルおよび2つのチャネル間の周囲光の比が、その日の経過につれて、および、方向に応じて変化するので、この実施形態では、利得を決めるための測定が、周期的に繰り返される。測定される光レベル間の比は、光源をオフにして、2つのチャネル間におけるシーン信号の比を求め、かつ上述と同じ前提を適用することによって、次のように計算される。
Figure 0004860174
真の周囲光レベル比A/Aについて解く式は、次のようになる。
Figure 0004860174
AnoXtalkについての式にこの式を代入すると、次のようになる。
AnoXtalk=RAnoXtalk

このように、周囲照明に関する利得を、誘電体スタック・フィルタによって選択される2つのチャネル間の真の周囲光レベル比(A/A)として選択することができる。
光源が、下記の式によって定義されるように、周囲照明に対して駆動されるとき、
Figure 0004860174
周囲照明によるクロストークのない場合と意図的な照明によるクロストークのない場合の両方に関する利得式は、システム光源がより重要になる周囲が暗い状況においても、等しくなる、すなわち、GnoXtalk=GAnoXtalkとなる。従って、光源が、2つのチャネル間のその比が真の周囲光レベル間の比と一致するレベルで駆動される場合、広範囲の周囲光強度にわたって利得は一定になる。
フィルタの一方だけにクロストークを生じる実施形態の場合、利得に関する式は次のように表現することができる。
Figure 0004860174
ここで、T2,1=0であり、よって、波長帯域1におけるクロストークが、波長帯域2に関連したピクセルに混入することが阻止される。ここで、下記のように仮定する。
Figure 0004860174
この仮定により、上記の利得の式は、次のように書くことができる。
Figure 0004860174

この実施形態の場合、フィルタ透過関数を、(ピーク透過レベルにより乗算された適正な波長における)デルタ関数と同様に扱うことができるのでで、利得に関する式は、次のようになる。
Figure 0004860174
S≡S(λ)/S(λ)を定義すると、上記式は次のように単純化される。
Figure 0004860174
真の周囲光レベルの比は、光源をオフにして、2つのチャネル間におけるシーン信号の比を求め、上述のものと同じ仮定を適用することによって計算される。従って、測定される信号レベルの比は、次のようになる。
Figure 0004860174
/Aについて解くと、該式は次のようになり、やはり、G=Rになる。
Figure 0004860174
このように、クロストークを生じる実施形態の場合、周囲利得(ambient gain)は、測定される周囲光レベルの比として設定される。上記のクロストークのない実施形態と同様、照明レベルは、真の周囲光レベルの比に比例するように設定される。システムは、次に、広い範囲の照明条件の下で、一定の利得で動作する。
実際、用途によっては、特徴信号は、少数のピクセルしか充填しないので、サブフレーム全体の統計を使用することによって、利得係数を決めることができる場合もある。例えば、全視野が25度のVGAイメージャを用いて、60cmの距離の瞳孔を検出する場合、利得は、チャネル1の平均グレースケール値をチャネル2の平均グレースケール値で割った比として設定することができる。さらに、当業者には明らかなように、利得係数を決定する場合に、上記計算においてなされたものとは異なる前提(仮定)を行うことができる。これらの前提は、用いられるシステムおよび用途によって決まる。
ハイブリッド・フィルタおよび利得係数の計算については、2つの波長λおよびλの光の検出に関して説明したが、本発明に従う他の実施形態のハイブリッド・フィルタを使用して、問題となる3つ以上の波長を検出することもできる。図22には、本発明に従う一実施形態におけるパターン化フィルタ層および3帯域の狭帯域フィルタに関するスペクトルが例示されている。この実施形態におけるハイブリッド・フィルタは、問題となる3つの波長λ、λ、および、λの光を検出する。波長λ、λ、および、λのスペクトル2200、2202、および、2204は、それぞれ、撮像システムによって検出される3つの信号を表わしている。一般に、1つの波長が基準として選択されるが、この実施形態の場合、波長λが基準として用いられる。
本発明に従うこの実施形態では、3帯域の狭帯域フィルタは、問題となる波長(λ、λ、および、λ)またはこれらの波長に近い光を透過させるが、他の全ての波長の光の透過を阻止する。従って、パターン化フィルタ層のフォトレジスト・フィルタによって、波長λ、λ、および、λで受光される光間の弁別が行われる。図23には、図22に示す実施形態によるセンサが描かれている。パターン化フィルタ層は、3つの異なるフィルタを用いてセンサ2300上に形成される。各フィルタ領域は、1つの波長だけを透過する。例えば、本発明に従う一実施形態では、センサ2300は、3帯域のカラー・フィルタ・パターンを含むことができる。領域1はλの光を透過し、領域2はλの光を透過し、領域3はλの光を透過する。
図23のセンサに関する利得係数の決定は、
(1)|フレーム1の特徴信号−フレーム2の特徴信号|を最大にすること、
(2)|フレーム3の特徴信号−フレーム2の特徴信号|を最大にすること、および、
(3)フレーム1のシーン信号とフレーム2のシーン信号のバランスをとることと、
(4)フレーム3のシーン信号とフレーム2のシーン信号のバランスをとること
から開始され、その結果、次のようになる
Figure 0004860174
および
Figure 0004860174
ここで、G1,2は、チャネル1(例えば、λ)と整合させる(マッチングをとる)ために、(λ)の基準チャネルに適用される利得であり、G3,2は、チャネル3(例えば、λ)と整合させるために、基準チャネル(λ)に適用される利得である。2波長実施形態による計算の後(図21およびその説明を参照されたい)、利得係数は、次のように決定される。
Figure 0004860174
ここで、G1,2=R1,2、すなわち、シーン信号の比である。また、
Figure 0004860174
ここで、G3,2=R3,2、すなわち、シーン信号の比である。
図8の2チャネルの実施形態と同様、図23の3つのチャネルのうちの1つ(例えば、チャネル2)は、ピクセル・フィルタによって覆われないようにしてもよい。利得係数は、図21に関連して説明した実施形態と同様に計算することができる。
太陽光線、発光ダイオード、および、レーザに関するスペクトルを例示した図。 吸収ピークと、短いほうの波長側に向かって延びるテールを有するフィルタのスペクトルの図である。 本発明に従う一実施形態における、ハイブリッド・フィルタを用いる第1の瞳孔検出システムの図。 図3のシステムに用いることができる装置の図。 本発明に従う一実施形態における第2の瞳孔検出システムの図である。 本発明に従う一実施形態における第3の瞳孔検出システムの図である。 図3、図5、および、図6の実施形態による軸上光源によって第1のフレームに生じた画像を例示する図。 図3、図5、および、図6の実施形態による軸外し光源によって第2のフレームに生じた画像を例示する図。 図7Aの第1のフレームの画像から図7Bの第2のフレームの画像を差し引くことによって得られる差分画像を例示した図。 本発明に従う一実施形態におけるセンサおよびパターン化フィルタ層の平面図。 本発明に従う一実施形態における検出器の断面図。 図9に示すパターン化フィルタ層および狭帯域フィルタに関するスペクトルを描いた図。 本発明に従う一実施形態における、ある対象物を透過した波長の検出システムの図である。 本発明に従う一実施形態における、二重帯域の狭帯域フィルタの第1の製作方法において用いられるファブリ・ペロー共振器を例示した図。 図12のファブリ・ペロー共振器に関するスペクトルを描いた図。 本発明に従う一実施形態における、二重帯域の狭帯域フィルタの第1の製作方法において用いられる結合空洞共振器を例示した図。 図14の結合空洞共振器に関するスペクトルを描いた図。 本発明に従う一実施形態における、二重帯域の狭帯域フィルタを形成する3つの結合空洞共振器のスタックを例示した図。 図16の二重帯域の狭帯域フィルタに関するスペクトルを描いた図。 本発明に従う一実施形態における、二重帯域の狭帯域フィルタの第2の制作方法を例示した図。 図18の二重帯域の狭帯域フィルタに関するスペクトルを描いた図。 図9の検出器によって捕捉される画像の画像処理方法に関するフローチャート。 本発明に従う一実施形態における、第1の画像のピクセルのグレースケール・レベルのヒストグラムおよび第2の画像のピクセルのグレースケール・レベルのヒストグラムを描いた図。 本発明に従う一実施形態における、パターン化フィルタ層および3帯域の狭帯域フィルタに関するスペクトルを描いた図。 図22に示す実施形態によるセンサを描いた図。
符号の説明
306 対象物
316 コントローラ
704 差分画像
800 光検出センサ
908 パターン化フィルタ層
910 フィルタ材料領域
912 フィルタ無し領域
916 狭帯域フィルタ層

Claims (6)

  1. 受光モジュールと、
    前記受光モジュールに接続されたコントローラと、
    受光した光に応答して画像信号を生成するための光検出センサ
    を備える撮像システムであって、
    前記受光モジュールは、狭帯域フィルタ層、パターン化フィルタ層、及び光検出センサがこの順で配置されてなり、
    前記狭帯域フィルタ層は、該受光モジュールへの被撮像物からの入射光を受けて、該入射光のうちの2つ以上の所定の波長及びその近傍の波長の光のみを通過させるように構成されており、
    前記パターン化フィルタ層は、前記狭帯域フィルタ層を通過して入射してきた光のうちの一部の波長帯の光を通過させる複数のフィルタ材料領域と、前記狭帯域フィルタ層を通過して入射してきた光のすべてを通過させる複数のフィルタ無し領域とを有し、該フィルタ材料領域の各々と該フィルタ無し領域の各々とは前記光検出センサの対応する各ピクセル上に、かつ、該光検出センサの面上の縦と横の両方向に交互に配置され、
    前記光検出センサは、前記フィルタ材料領域を通過した光を受光するように配置された第1のピクセルと、前記フィルタ無し領域を通過した光を受光するように配置された第2のピクセルから構成され、前記第1のピクセルによって受光された光に応答して第1のフレームの画像信号を生成し、前記第2のピクセルによって受光された光に応答して第2のフレームの画像信号を生成するように構成され、
    前記コントローラは、前記第1及び第2のフレームの画像信号のうち、前記第1のピクセルによって生成された前記被撮像物中の特徴部を表す画像信号の信号レベルを該第1のピクセル毎に合計した値と、前記第2のピクセルによって生成された該特徴部を表す画像信号の信号レベルを該第2のピクセル毎に合計した値との差分を該第1または第2のピクセル数で除した第1の値を決定し、及び、前記第1及び第2のフレームの画像信号のうち、前記第1のピクセルによって生成された前記被撮像物中の背景シーンを表す画像信号の信号レベルを該第1のピクセル毎に合計した値と、前記第2のピクセルによって生成された該背景シーンを表す画像信号の信号レベルを該第2のピクセル毎に合計した値との差分を該第1または第2のピクセル数で除した第2の値を決定し、前記第2の値に対する前記第1の値の比が最大となるように、前記フィルタ材料領域を通過した光に適用するための利得係数を決定するように動作する、撮像システム。
  2. 前記狭帯域フィルタ層が誘電体スタック・フィルタから構成される、請求項1に記載の撮像システム
  3. 着色ガラス・フィルタが、前記狭帯域フィルタ層と前記パターン化フィルタ層の間に配置される、請求項に記載の撮像システム
  4. 前記誘電体スタック・フィルタは、共に積み重ねられたN個の結合空洞共振器として形成され、該Nは、整数である請求項2に記載の撮像システム
  5. 前記コントローラ(316)は、前記光検出センサによって検出される1つ以上の画像に含まれるピクセルの値から構成される2つ以上のヒストグラムを使用することにより、少なくとも1つの前記利得係数を決定する請求項に記載の撮像システム。
  6. 狭帯域フィルタ層、パターン化フィルタ層、及び光検出センサがこの順で配置された受光モジュールを用いて、被撮像物の画像を検出する方法であって、
    前記パターン化フィルタ層は、前記狭帯域フィルタ層を通過して入射してきた光のうちの一部の波長帯の光を通過させる複数のフィルタ材料領域と、前記狭帯域フィルタ層を通過して入射してきた光のすべてを通過させる複数のフィルタ無し領域とを有し、該フィルタ材料領域の各々と該フィルタ無し領域の各々とは前記光検出センサの対応する各ピクセル上に、かつ、該光検出センサの面上の縦と横の両方向に交互に配置され、
    前記被撮像物からの2つ以上の波長の光を含む光を前記狭帯域フィルタ層で受光するステップと、
    前記狭帯域フィルタ層によって、前記2つ以上の波長及びそれらの近傍の波長のみを通過させるステップと、
    前記狭帯域フィルタ層を通過した光を前記フィルタ材料領域に入射させて該入射した光のうちの一部の波長帯の光を通過させ、及び、前記狭帯域フィルタ層を通過した光を前記フィルタ無し領域に入射させて該入射した光のすべてを通過させるステップと、
    前記光検出センサの第1のピクセルによって、前記フィルタ材料領域を通過した光を受光して、該受光した光に応答して第1のフレームの画像信号を生成し、前記光検出センサの第2のピクセルによって、前記フィルタ無し領域を通過した光を受光して、該受光した光に応答して第2のフレームの画像信号を生成するステップと、
    前記第1及び第2のフレームの画像信号のうち、前記第1のピクセルによって生成された前記被撮像物中の特徴部を表す画像信号の信号レベルを該第1のピクセル毎に合計した値と、前記第2のピクセルによって生成された該特徴部を表す画像信号の信号レベルを該第2のピクセル毎に合計した値との差分を該第1または第2のピクセル数で除した第1の値を決定し、及び、前記第1及び第2のフレームの画像信号のうち、前記第1のピクセルによって生成された前記被撮像物中の背景シーンを表す画像信号の信号レベルを該第1のピクセル毎に合計した値と、前記第2のピクセルによって生成された該背景シーンを表す画像信号の信号レベルを該第2のピクセル毎に合計した値との差分を該第1または第2のピクセル数で除した第2の値を決定するステップと、
    前記第2の値に対する前記第1の値の比が最大となるように、前記フィルタ材料領域を通過した光に適用するための利得係数を決定するステップ
    を含む、方法。
JP2005122524A 2004-05-10 2005-04-20 撮像システム及び画像を検出する方法 Active JP4860174B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/843,517 2004-05-10
US10/843,517 US7583863B2 (en) 2004-05-10 2004-05-10 Method and system for wavelength-dependent imaging and detection using a hybrid filter

Publications (2)

Publication Number Publication Date
JP2005321388A JP2005321388A (ja) 2005-11-17
JP4860174B2 true JP4860174B2 (ja) 2012-01-25

Family

ID=34927610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005122524A Active JP4860174B2 (ja) 2004-05-10 2005-04-20 撮像システム及び画像を検出する方法

Country Status (5)

Country Link
US (1) US7583863B2 (ja)
EP (1) EP1595492A1 (ja)
JP (1) JP4860174B2 (ja)
CN (1) CN100374883C (ja)
TW (1) TWI380117B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7473884B2 (en) * 2005-04-21 2009-01-06 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Orientation determination utilizing a cordless device
US20060279745A1 (en) * 2005-06-13 2006-12-14 Wenstrand John S Color imaging system for locating retroreflectors
CA2642722A1 (en) * 2006-02-16 2007-08-30 Clean Earth Technologies, Llc Method for spectral data classification and detection in diverse lighting conditions
US7796119B2 (en) * 2006-04-03 2010-09-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Position determination with reference
FI119830B (fi) * 2006-05-24 2009-03-31 Valtion Teknillinen Spektrometri ja inferferometrinen menetelmä
JP5015496B2 (ja) * 2006-06-01 2012-08-29 ルネサスエレクトロニクス株式会社 固体撮像装置、撮像方法および撮像システム
JP2008128675A (ja) * 2006-11-16 2008-06-05 Olympus Corp 分光装置
US8216312B2 (en) * 2007-05-31 2012-07-10 Zimmer Spine, Inc. Spinal interbody system and method
US7821524B2 (en) * 2007-06-26 2010-10-26 Microsoft Corporation Adaptive contextual filtering
KR100922066B1 (ko) * 2007-08-01 2009-10-16 삼성모바일디스플레이주식회사 광 감지센서 및 이를 이용한 발광표시장치
US7978330B2 (en) * 2008-03-24 2011-07-12 Raytheon Company Detecting a target using an optical augmentation sensor
GB2479533A (en) * 2010-04-13 2011-10-19 Vehicle Occupancy Ltd Dual Wavelength Infrared Vehicle Occupant Detector
DE102010036550A1 (de) * 2010-07-21 2012-01-26 Wincor Nixdorf International Gmbh Ein Verfahren und eine Vorrichtung zur Farbcharakterisierung in Tunnelscanner und Leergut-Automaten
CN103688145B (zh) 2011-03-03 2020-03-17 恩光码公司 多频带色觉滤波器和使用线性程序解算器优化的方法
JP5878723B2 (ja) * 2011-10-04 2016-03-08 浜松ホトニクス株式会社 分光センサ
TWI813693B (zh) * 2012-03-05 2023-09-01 美商恩光碼公司 多頻帶色覺濾光器及使用線性規劃最佳化之方法
TWI491102B (zh) * 2012-09-05 2015-07-01 Nat Changhua University Ofeducation Balanced Ultra Wideband Bandpass Filter
US9081289B2 (en) * 2013-03-15 2015-07-14 Taiwan Semiconductor Manufacturing Company, Ltd. System and method for optimization of an imaged pattern of a semiconductor device
EP3004924B1 (en) 2013-06-06 2021-10-06 Heptagon Micro Optics Pte. Ltd. Sensor system with active illumination
KR20150144185A (ko) * 2014-06-16 2015-12-24 현대자동차주식회사 안구 중심점 추출 방법
WO2017100099A1 (en) * 2015-12-07 2017-06-15 Flir Systems, Inc. Uncooled gas imaging camera
CN106769736B (zh) * 2017-01-18 2022-09-23 西安航空学院 一种粉尘浓度测量系统
TWI673481B (zh) * 2018-02-02 2019-10-01 國立交通大學 共振波長量測裝置及其量測方法
JP6693537B2 (ja) * 2018-04-20 2020-05-13 ソニー株式会社 撮像素子および撮像装置
US10736506B2 (en) * 2018-06-14 2020-08-11 Broadspot Imaging Corp Composite image with cross-channel illumination
KR102650661B1 (ko) 2018-10-02 2024-03-25 삼성전자주식회사 듀얼 이미지 센서
CN113382674A (zh) * 2018-11-28 2021-09-10 布罗德斯普特成像公司 后段的超宽视野成像系统
US10950638B2 (en) * 2019-03-29 2021-03-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tunable imaging systems and methods thereof
US10867173B1 (en) * 2019-07-01 2020-12-15 Quantum Biometronics Private Company System and method for biometrics identification and pupillometry
US11940675B2 (en) 2020-09-04 2024-03-26 Enchroma, Inc. Spectral glare control eyewear for color blindness and low vision assistance

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3771857A (en) * 1971-04-19 1973-11-13 Optical Coating Laboratory Inc Striped dichroic filter and method for making the same
EP0024876B1 (en) 1979-08-21 1984-02-15 Matsushita Electric Industrial Co., Ltd. Semiconductor stripe filter
GB2218307A (en) * 1988-04-08 1989-11-08 British Library Board Noise reduction in the playback of recorded sound
US5072109A (en) * 1990-03-07 1991-12-10 Aguilera Jr John A Photocell array with multi-spectral filter
US5514888A (en) * 1992-05-22 1996-05-07 Matsushita Electronics Corp. On-chip screen type solid state image sensor and manufacturing method thereof
US5901257A (en) * 1996-05-03 1999-05-04 Omnivision Technologies, Inc. Single chip color MOS image sensor with two line reading structure and improved color filter pattern
US20010016053A1 (en) * 1997-10-10 2001-08-23 Monte A. Dickson Multi-spectral imaging sensor
US6539239B1 (en) * 1998-02-13 2003-03-25 Lucent Technologies, Inc. Wireless telecommunications system architecture supporting receive diversity
GB2341029B (en) * 1998-08-29 2002-12-31 Marconi Gec Ltd Cameras
AUPP697398A0 (en) 1998-11-06 1998-12-03 Lions Eye Institute Of Western Australia Incorporated, The Eye tracker for refractive surgery
JP4414568B2 (ja) * 2000-07-24 2010-02-10 三菱電機株式会社 液晶表示装置のtftアレイ基板製造方法
US6788813B2 (en) * 2000-10-27 2004-09-07 Sony Corporation System and method for effectively performing a white balance operation
JP2003004535A (ja) * 2001-05-22 2003-01-08 Xerox Corp 織物およびその他の面における角度による色の変化の測定
JP4031824B2 (ja) * 2001-05-22 2008-01-09 ゼロックス コーポレイション カラープリント用色修正システム及び分光光度計
US6864557B2 (en) * 2001-06-18 2005-03-08 Foveon, Inc. Vertical color filter detector group and array
US6822220B2 (en) * 2002-06-20 2004-11-23 Hewlett-Packard Development Company, L.P. Optical pattern for an optical encoder
US7202793B2 (en) * 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
US7257278B2 (en) * 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
US7280678B2 (en) 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US7920908B2 (en) * 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
US7224468B2 (en) 2003-10-20 2007-05-29 Agilent Technologies, Inc. En-face functional imaging using multiple wavelengths
US7180044B2 (en) * 2004-12-03 2007-02-20 United Microelectronics Corp. Image sensor device with color filters and manufacturing method thereof

Also Published As

Publication number Publication date
JP2005321388A (ja) 2005-11-17
CN100374883C (zh) 2008-03-12
US7583863B2 (en) 2009-09-01
CN1704776A (zh) 2005-12-07
EP1595492A1 (en) 2005-11-16
TWI380117B (en) 2012-12-21
US20050249377A1 (en) 2005-11-10
TW200619795A (en) 2006-06-16

Similar Documents

Publication Publication Date Title
JP4860174B2 (ja) 撮像システム及び画像を検出する方法
US7655899B2 (en) Method and system for wavelength-dependent imaging and detection using a hybrid filter
US10606031B2 (en) Imaging apparatus, imaging system that includes imaging apparatus, electron mirror system that includes imaging apparatus, and ranging apparatus that includes imaging apparatus
EP1745413B1 (en) Method and system for pupil detection for security applications
JP7186298B2 (ja) 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
US7580545B2 (en) Method and system for determining gaze direction in a pupil detection system
US20060279745A1 (en) Color imaging system for locating retroreflectors
US7912315B2 (en) Method and system for reducing artifacts in image detection
US20070058881A1 (en) Image capture using a fiducial reference pattern
US20070031002A1 (en) Method and system for reducing artifacts in image detection
US20230082539A1 (en) Illuminant correction in an imaging system
US8036423B2 (en) Contrast-based technique to reduce artifacts in wavelength-encoded images

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070323

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070405

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070419

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111102

R150 Certificate of patent or registration of utility model

Ref document number: 4860174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250