JP4369365B2

JP4369365B2 - 検出システム用事象同期化装置

Info

Publication number: JP4369365B2
Application number: JP2004514326A
Authority: JP
Inventors: オストロメック、ティモシー; ホーガン、ティモシー; バカレラ、アントニオ; ショート、ジェフリー; ポーター、ジェリー
Original assignee: リットン・システムズ・インコーポレイテッド
Priority date: 2002-06-12
Filing date: 2003-06-12
Publication date: 2009-11-18
Anticipated expiration: 2023-06-12
Also published as: JP2005530409A; US20030234870A1; EP1512281A4; WO2003107650A2; IL164972A0; IL164972A; US6970190B2; EP1512281A2; AU2003248674A8; WO2003107650A3; AU2003248674A1

Description

本願は “EVENT SYNCHRONIZATION FOR DETECTOR SYSTEMS”と題する２００２年６月１２日出願の米国仮特許出願第60/319,310号の利益を主張するものである。

本発明は概して画像装置の分野に関し、特に複数のセンサーを使ってイメージデータを収集するためのデジタルイメージ増強カメラに関する。

複数センサー画像装置は複数のセンサーを使って収集したデータを融合することにより物体の画像を生成する。しかし、複数のセンサーを使用して画像データを収集することは挑戦をもたらした。ある装置では、センサーは別々の孔から受け取った光を検出する。しかし、別々の孔からの光から生成されたデータはデータをひとつの画像に融合するために調整する必要がある物体の異なる視点を記述する。付加的に、異なるセンサーに対して別々の孔を使用することは画像装置の寸法を増加させる。

他の装置では、孔からの光はセンサーに入射する前に成分に分割される。典型的に、異なるセンサーへ光を向けるのに反射及び屈折エレメントが使用される。例えば、Hallらの米国特許第5,729,376号に記載された装置は、ひとつのセンサー方向へ光を反射させかつ他のセンサー方向へ光を屈折させるレンズのような複数の反射及び屈折エレメントを含む。
米国特許第5,729,376号

しかし、各個々のセンサーは光の特定の波長の成分のみを検出するため、完全スペクトルの画像データを生成することができない。さらに、複数の反射及び屈折エレメントは画像装置の寸法及び重量を増加させる。結果として、複数のセンサーから画像データを収集することは画像装置の設計に対して問題となっていた。

上記引例は多くの利点及び技術的改良を開示するが、本発明によって達成される特定の目的を完全に満たしてはいない。

既知のアプローチは以前に比べ改良をもたらしたが、画像装置分野の挑戦はより大きな効果を有するより良い技術に対する要求とともに増加しつづけた。こうして、複数のセンサーを使用してイメージデータを収集するための新規な方法及び装置への要求が高まった。

本発明に従う、イメージデータを収集するためのイメージ増強カメラ装置は受光した光を増幅させるためのイメージ増強管を含む。CMOSまたはCCD素子のようなデジタルイメージセンサーとイメージ増強管との間には光学リレー組立体が接続されている。イメージまたは関連データを処理または出力するためにデジタル論理回路が使用される。

本発明の実施例は有効かつコンパクトな方法で複数のセンサーからのイメージデータを収集するための装置及び方法を与える。

本発明のこれら及び他の目的、利点及び特徴は好適実施例を示した図面を参照して以下の詳細な説明から明らかとなる。

本発明の上記特徴、利点及び目的が達成される方法が詳細に理解されるように、上で要約された本発明の特定の説明が添付図面に図示される実施例を参照してもたらされる。すべての図面において、同じ数字は同一エレメントを表す。

図１Aはイメージデータを収集するためのシステム100のひとつの実施例の側面図を示す。システム100は物体110から反射された光またはエネルギー信号を受信しかつ光または入力信号からの情報を収集してディスプレイ142に物体110のイメージを生成する。システム100は光が通過する孔114を有する外部ケーシング112を含む。外部ケーシング112は直径８〜１２cm（例えば、約１０cm）で長さが１２〜１５cm（例えば、約１４cm）の円筒のような適当な形状を有する。システム100は図１Bに示されるようなブレース124により外部ケーシング112へ結合された内部組立体116を含む。図１Bはブレース124によりケーシング112へ結合された内部組立体116の正面図を示す。

図１Aを参照して、内部組立体116は光学要素118及びセンサー120を含み、各々は内部ケーシング117へ結合されている。内部ケーシング117は直径３〜６cm（例えば、約４.５cm）で長さが７〜１０cm（例えば、約８cm）の円筒のような適当な形状を有する。光学要素118は物体110から反射された光をセンサー120上へ集束させる。光学要素118は例えば３〜５cm（例えば、約４cm）の半径及び２０〜２２mm（例えば、約２２mm）の焦点距離を有するガラスまたはポリマーから成るレンズを含む。しかし、光学要素118は物体110からの光をセンサー120上へ集束させるためのあらゆる適当な光学要素または光学要素の組合せを含む。

センサー120は孔114を直接通過する（すなわち、遮るものがない経路を通る）物体110からの反射光を検出する。センサー120は光が物体110から孔114へ進む方向で光を受けるように配置される。センサー120は光のある種のエネルギー（例えば、赤外線エネルギー）を検出することもできる。センサー120は、例えばイメージ増強管またはセンサーのような光または信号のある特徴を強化することもできる。しかし、センサー120は例えば、長波長赤外線センサー、低光レベル電荷結合デバイス(LLLCCD)、または相補型金属酸化膜半導体(CMOS)センサーのようなあらゆる適当なセンサーから成る。概して増強管の設計は赤外線を受光しかつ可視光出力信号を生成するものであり、一方センサーの設計は可視光を受光するようなものである。

センサー120は受光した光に応答してセンサーデータセットS1を生成する。センサーデータセットS1は光の点に対応する画素に割り当てられた値を含み、その値は光の点に関連する輝度または色のようなイメージ情報を表す。センサー120はセンサーデータセットS1を融合モジュール140へ送信する。

システム100はまた反射面130及び132並びにセンサー134から成る外部組立体138を含む。反射面130及びセンサー134は外部ケーシング112へ結合され、反射面132は内部ケーシング117へ結合される。しかし、あらゆる適当な構成が使用可能であり、例えば外部組立体138はシュミットカセグラン・カタジオプトリック光学組立体、回折光学システム、または適当な構成の任意の組合せとして構成される。

反射面130は孔114を通じて物体110からの光を受光し、受光した光を反射する。反射面130は直径８〜１０cm（例えば、約９cm）で焦点距離が２４〜２６mm（例えば、約２５mm）の金属またはダイクロイックミラーから成る。しかし、反射面130は任意の材料から成り、孔114を通じて光を受光しかつその光を反射面132へ反射させるあらゆる適当な形状を有する。反射面132は反射面130からの光を受光し、受光した光を反射する。反射面132は直径７〜１０cm（例えば、約８cm）で焦点距離が２４〜２６mm（例えば、約２５mm）の金属またはダイクロイックミラーから成る。しかし反射面132は任意の材料から成り、反射面130からの光を受光しかつその光をセンサー134のレセプター領域133へ反射させるあらゆる適当な形状を有する。

センサー134のレセプター領域133は反射面132から反射された光を検出する。センサー134は例えば赤外線センサーまたはイメージ増強センサーを含む。しかし、センサー134は例えば、長波長赤外線センサー、中間波長赤外線センサー、短波長赤外線センサー、低光レベル電荷結合素子(LLLCCD)または相補型金属酸化膜半導体(CMOS)センサー等のあらゆる適当なセンサーから成ることもできる。センサー134は受光した光に応答してセンサーデータセットS2を生成する。センサー134はセンサー120によって生成されたものと異なるタイプのデータセットを生成する。例えば、センサー120はデータセットを生成するべく受光した光の赤外線エネルギーを検出する赤外線センサーを含み、センサー134は異なるタイプのデータセットを生成するべく受光した光のある特徴を強化するイメージ増強センサーを含む。センサーデータセットS2は光の点に対応する画素に割り当てられた値を含み、該値は光の点に関連するイメージ情報を表す。センサー134は融合モジュール140へセンサーデータセットS2を送信する。

システム100は物体110からセンサー134のレセプター領域133への光路にほぼ沿って配置された中心軸線136を有する。センサー120及びセンサー134は中心軸線136にほぼ沿った点で光を受光するように実質的に同軸に配置されている。センサー120及びセンサー134は、内部組立体116の直径が反射面130の直径より小さくかつ内部組立体116が図１Bに示されるように反射面130に対してほぼ中心に配置されるように構成されている。図１Bはシステム100の正面図を示し、内部組立体116は反射面130の正面のほぼ中央に配置されている。図示された実施例において、センサー120及びセンサー134の構成により、センサー120及びセンサー134は最少の反射及び屈折要素により同一の孔114からの光を受光することができ、その結果コンパクトな画像装置を与えることができる。

融合モジュール140はセンサー120及びセンサー134からそれぞれセンサーデータセットS1及びS2を受信する。融合モジュール140は融合データを生成するべくセンサーデータセットS1及びS2を融合させる。例えば、融合モジュール140は融合データを生成するべく光の同一点に対応する画素用のセンサーデータセットS1及びS2の値を結合する。融合モジュール140は例えば、デジタルイメージ処理、光学オーバレイまたはアナログビデオ処理のようなデータセットS1及びS2を融合するためのあらゆる適当な処理を使用することができる。

図示された実施例において、センサー120及びセンサー134は同一の孔114を通じて受光した光を検出し、その結果センサー120及び134は物体110の同じ視点を記述する光を受光する。結果として、融合モジュール140は異なる視点を結合するデータ処理を実行する必要がない。付加的に、最少の反射及び屈折要素が使用されるため、センサー120及び134により検出された光はほとんど変更されない。結果として、融合モジュール140は複数の反射及び屈折要素による変更を補償するための処理を実行する必要がない。

ディスプレイ142は融合モジュール140から融合データを受信し、該融合データを使って物体110のイメージを生成する。ディスプレイ142は、パネルディスプレイ、接眼レンズディスプレイ、または眼付近ディスプレイフォーマットの、有機発光ダイオード(OLED)、ネマチック液晶ディスプレイ(LCD)、または電界放出ディスプレイ(FED)のようなイメージデータを表示するためのあらゆる適当な装置を含む。付加的に、ディスプレイ142は外部ディスプレイ、テレビ、USBタイプ接続、IEEE1394またはファイヤワイヤ型接続等である。図示される実施例は２つのセンサー120及び134を有するが、本発明に係るシステムは図２で説明されるように任意の数のセンサーを含むことができる。

図２はイメージデータを収集するための３個のセンサーを含むシステム200のひとつの実施例のブロック図である。システム200は外部ケーシング212へ結合された内部組立体216を含む。内部組立体は実質的に図１のシステム100と類似し、２個のセンサー120及び134を含む。外部組立体238は外部組立体138と実質的に類似する。すなわち、反射面130及び132と実質的に類似する反射面230及び232がそれぞれ内部組立体216及び外部ケーシング212へ結合される。付加的に、センサー134と実質的に類似するセンサー234が外部ケーシング212へ結合される。センサー120、134及び234は実質的に同軸である。融合モジュール140がセンサー120、134及び234へ接続され、ディスプレイ142が融合モジュール140へ接続される。

動作中、システム200は物体110からの反射光を受光する。内部組立体216は図１のシステム100と実質的に類似の方法でデータセットS1及びS2を生成する。センサー234はセンサー134と実質的に類似の方法で反射面230及び232からの反射光を受光しデータセットS3を生成する。融合モジュール140はデータセットS1、S2及びS3を受信し、該データセットを融合して融合データを生成する。ディスプレイ142は融合データを受信しかつ該融合データからイメージを生成する。さらに多くのセンサーがシステム200に付加されてもよい。

図３は図１のシステム100を使ってイメージデータを収集するための方法のひとつの実施例を示すフローチャートである。当該方法は、物体110からの反射光が孔114により受光されるところの工程210で始まる。反射光は物体110のイメージを形成するのに使用されるイメージ情報を含む。工程212において、センサー120は受光した光を検出する。光をセンサー120へ集束させるために光学要素118が使用される。工程214において、センサー120は検出された光からデータセットS1を生成しかつデータセットS1を融合モジュール140へ送信する。例えば、センサー120は物体110から反射された赤外線を検出しかつ赤外線を記述するデータセットS1を生成してもよい。

工程216において、反射面130は物体110から光を受光しかつ受光した光を反射面132へ反射させる。工程218において、反射面132は反射光を受光しかつ受光した光をセンサー134へ反射させる。工程220において、センサー134は反射面132から反射された光を検出する。工程222において、センサー134は受光した光からデータセットS2を生成する。センサー134は物体110から受光した光のある特徴を強化するイメージ増強センサーを含み、強化された特徴を記述するデータセットを生成する。

工程224において、融合モジュール140はデータセットS1及びS2を受信しかつ受信したデータセットを融合して融合データを生成する。融合モジュール140は例えば光の同一点に対応する画素に対するデータセットS1及びS2からの値を組み合わせる。ディスプレイ142は融合データを受信し、その後工程226で物体110のイメージを表示する。イメージを表示した後、方法は終了する。

特定的に図４を参照して、デジタルイメージ増強(I2)カメラ装置Cのひとつの実施例が多重スペクトル融合イメージ装置において使用される。

好適には、I2カメラCは以下のコンポーネント、すなわち
（１）観測すべき情景314から受光した光を増幅するイメージ増強管装置310
（２a）イメージ増強管310とデジタルイメージセンサー318の間を結合し、イメージ増強管310により生成された出力信号を伝達するための光学リレー組立体または光ファイバー結合316
（２b）光の輝度条件に対する光学システム伝達制御リミッタ340
（３）CMOSデバイスまたは電荷結合デバイス(CCD)のようなイメージセンサー318
（４）イメージまたは関連データを所望により処理、強化及び／または出力するためのデジタル論理回路322
から成る。

付加的に、本発明のI2カメラCはさらに、a)適応情景解析及び強化、b)自動不良センサー画素検出及び補正、及びc)外部または内部カメラ制御、同期またはタイミング、を制御、モニターまたは作用するための電子回路322を含む。デジタル論理回路322はセンサー318からの入力信号324を受信する。デジタル論理回路322はひとつまたはそれ以上の制御信号326を生成し、それはデジタル論理回路322の出力328を介してイメージ増強管310またはセンサー318のいずれかまたは両方へ送信される。さらに、デジタル論理回路322は付加的に制御プロセッササブシステム330を含み、それとデジタル論理回路322内部に設計された他のサブシステムとの間で信号332が伝達される。

イメージ増強管組立体310は既知のイメージ増強管及びその動作用の典型的な付属電子回路を含む。

適応情景解析及び強化：デジタル論理回路322はセンサー318により感知したイメージ320の全部または特定領域の連続輝度プロファイルを維持する。その後以下のパラメータのいずれかまたはすべてがデジタル論理回路322またはユーザーによって自動的または手動で調節され、任意の情景に対する最適イメージを作る。

概して、自動最適化アルゴリズムは現イメージを調べ、それを入力情景条件に対する最適イメージパラメータに関する保存情報と比較する。例えば、明るい光の下で、カメラCはイメージ増強管310及び利得を減少させ、センサー318ADCに基準電圧を立ち上げ、出力情景内のある非常に明るい特徴部分をデジタル的に弱める。情景の明るさが減少するに従い、デジタル論理回路322は増強管の寿命及び信号対ノイズ比を維持するよう増強管利得を増加させる前にセンサー利得を増加させる。非常に暗い情景では、デジタル論理回路322はセンサーの利得を相当な動作限界まで上げ、増強管の利得を上げ、イメージ露光時間を増加させるようフレーム速度をできるだけ減少させる。

そのようなカメラは、さまざまな光条件に応答するイメージ増強管の事前知識から利益を得る。それぞれの場合、イメージパラメータは他の同様に取り付けられたカメラ以上のイメージ性能を達成するよう同時に調節される。

別々に調節可能なパラメータの分類は以下の通りである。

１．センサーフレーム速度
センサー318のフレーム速度及び露光時間はダイナミックに変化する。例えば、薄暗い情景では、イメージ増強管の利得が減少（信号対ノイズ比は増加）し、フレーム速度が減少する。これにより付加的な入力光が無くてもイメージ品質が増加する。

２．コントラスト／輝度／デジタルイメージ強化
デジタル論理回路322は感知した情景の画素の最適な輝度分布を数学的に決定することによりコントラストをダイナミックに増加させる。この自動強化は好適なユーザー輝度パラメータまたはプリセットイメージモード（例えば、晴れモード、霧モード等）により重み付けされる。デジタル論理回路は完全な入力輝度解像度を使用する。例えば、ひとつの実施例において、デジタル論理回路322は最小の２ビットを単純に打ち切って、１０ビット入力データを８ビット出力データへダイナミックにマッピングする。

３．デジタル的に制御されたイメージ増強管利得
増強管利得は、システム目標に応じて、寿命、信号対ノイズ比、または情景輝度を増加させるよう自動的または手動で調節される。

４．デジタル的に制御されたイメージ増強管ゲート
デジタル論理回路322は、イメージ増強管310をデジタルセンサー318露光時間と同期させる。これは、増強管露光頻度とセンサー露光頻度との差によって生じる情景の間に輝度の変動が存在しないことを保証する。この機能はグラフィカル・ユーザー・インターフェース(GUI)を通じてユーザーが制御可能である。

５．電子的及び手動的に制御可能な、デジタルセンサーアナログ基準
イメージセンサー318のイメージ及びタイミング制御パラメータは自動的に制御可能であり、すべての光条件に対して最適なイメージパラメータを与える。イメージ増強管310とイメージセンサー318パラメータとの間の最適なバランスがあらゆる外光条件に対して見つけられる。ユーザーはGUIを介してこれらのパラメータを手動で調節することができる。

このようなイメージ調節は、伝送リミッタ340、イメージ増強管310の利得、管ゲート、CMOSタイプセンサーのセンサーフレーム速度または画素あたりのセンサー積分時間を制御するプロセッサ322により実行される。該プロセッサ回路322は、すべての適用可能な光条件に対してリアルタイムで最適な情景明瞭性または他の所望の効果に対する同定パラメータを制御することができる。

伝送リミッタ340は可変LCD伝送フィルタのような電気機械絞りまたは同等の電気光学(EO)フィルタである。

自動不良センサー画素検出及び補正：付加的に、本実施例のI2カメラCはセンサー318に明るさ（または暗さ）を残す画素を補間によって自動的にデジタル検出及び補正する。

外部または内部カメラ同期及びタイミング：カメラCは、外部装置からの要求に応じて、所望のフレーム速度で連続的に動作し、デジタルデータを一度に一本のラインだけ出力334へ与えることができる。この能力により、単一のイメージ融合装置内で単一センサー及び複数センサーの両方に理想的なカメラCが作成される。

図５を参照して、レーザー放電336により照らされた観測情景314を見るのに使用されるデジタルカメラ装置Cと、レーザー338により生成されたレーザービーム放電336を同期化するために本発明の事象同期装置及び方法が使用される。

事象同期用の本発明のシステムEは以下の２つの主なサブコンポーネントを含む。
１．本発明のひとつの実施例における事象検出電子回路340は、経路または電気接続344により結合されるレーザー338からの電気信号342をデジタル化する回路、またはレーザーエネルギーを検出しかつ適当なデジタル信号346を検出するための装置である。
２．デジタルカメラ装置Cは以下の部品、すなわち、
a)動作用の付属電子回路を有するイメージ増強管サブシステム348であって、イメージ増強管348は好適にはレーザー338のスペクトル領域または他の選択された光学事象に感度が良いところのイメージ増強管サブシステム、
b)光学リレー組立体または光ファイバー結合316によりイメージ増強管348へ光学的に結合されたデジタルイメージセンサー350（CCD、CMOSまたは他の素子を含む）、
c)イメージまたは関連データを受信し、処理し、強化し及び出力するためのデジタル論理回路352、
から成る。

本発明の方法において、好適にはデジタル論理回路352は事象の時間的位置(t0)を決定するのに事象検出器340からのデジタル情報または信号346を使用する。いくつかまたはすべてのカメラコンポーネントは、デジタル論理回路352を使って制御可能であり、レーザー放電によりt0に関する正確なカメラ制御が可能となる。例示されたシステムにおいて、イメージ増強管利得、時間及びゲートディスエーブル信号がt0に関して正確に制御可能である。センサー露光窓及び利得パラメータもまたt0に関して制御可能である。

本発明の特徴及び利点のいくつかが画像装置の実施例に関連して説明される。

１．イメージ機器はレーザーエネルギーが情景内に存在する非常に短い時間の間だけオンになるので、従来の画像装置に比べ信号対ノイズ比は増加する。しかしこの時間の間、カメラ利得はもしそれが非同期的に映したなら情景を露光しすぎるであろう通常より十分上のレベルまですぐに設定される。レーザーエネルギーは周囲の情景より非常に明るく、その結果イメージ強化をデジタル回路用のより簡単なタスクにする。

２．上記１の利点が与えられると、デジタル論理回路352はデジタル的に捕捉された情景内のレーザーエネルギーの存在及び位置を検出することができる。その後、さまざまなイメージ強化、デジタルグラフィックオーバレイ、及び更なる情報計算（例えば、ターゲットのサイズ）を実行することができる。

３．同期化論理は、映される範囲（距離）を効果的に制御しながらt0に関する正確な時間的露光窓を制御する。上記特徴２の自動検出能力と組み合わされると、システムはユーザーの入力が無くても範囲データを自動的に与えることができる。概して、従来の装置はレーザーエネルギーの存在を視覚的に決定するのに観測範囲を手動で変化させることをユーザーに要求していた。

４．デジタル論理回路352内の予測事象予想論理モジュールは、最小観測範囲が事象とカメラがオンされる間の伝播遅延の間に光が進む距離により決定されるところの無効同期システムより短い観測範囲を提供する。デジタル論理回路352は次の事象が最も起きやすい時を決定するために過去の事象同期データを処理しかつ保存し、事象それ自身の精度まで光学事象を予測する能力を与える。

イメージ増強管348、センサー350、及び所望のデジタル論理回路352を協同して制御することにより、本発明の画像装置Eは同様に取り付けられた従来の画像装置より高い性能を達成することができる。

本発明の上記開示及び説明は例示に過ぎず、発明の思想から離れることなく図示された構成のサイズ、形状及び材料のさまざまな変更が可能である。

図１Aは、イメージデータを収集するための装置のひとつの実施例を示す。図１Bは、イメージデータを収集するための装置のひとつの実施例の正面図を示す。図２は、３個またはそれ以上のセンサーを含むイメージデータを収集するための装置のひとつの実施例を示す。図３は、図１の装置で使用される方法のひとつの実施例を示すフローチャートである。図４は、イメージ増強カメラ装置の実施例を示す。図５は、本発明のイメージ増強カメラ装置の他の実施例を示す。

Claims

イメージデータを収集するためのイメージ増強カメラ装置用の事象同期化装置であって、
受光した光を増幅するためのイメージ増強管手段と、
前記イメージ増強管からの増幅された受光した光を伝送するための、前記イメージ増強管とデジタルイメージセンサーとの間にある光伝送組立体と、
前記イメージ増強管からの増幅された受光した光を受光しかつ電子的に変換するためのデジタルイメージセンサーと、
少なくとも前記デジタルイメージセンサーと電子的に接続され、イメージまたは関連データを処理するためのデジタル論理回路と、
照明ソースからの入力信号をデジタル化し、かつ、前記照明ソースからの前記入力信号に応答して出力信号を生成し、前記出力信号を前記デジタル論理回路へ伝達するための事象検出回路と、
から成る装置。
請求項１に記載の装置であって、デジタル論理回路は、デジタルフレーム速度、コントラスト及び輝度、デジタルイメージ強化、不良センサー画素検出及び補正、並びにカメラ同期化から成る集合から選択されたデジタルイメージセンサーのひとつまたはそれ以上の動作特性を調節する、ところの装置。
請求項１に記載の装置であって、デジタル論理回路は、イメージ増強管利得、ゲート及び同期から成る集合から選択されたイメージ増強管のひとつまたはそれ以上の動作特性を調節する、ところの装置。
請求項１に記載の装置であって、デジタルイメージセンサーは電荷結合素子(CCD)である、ところの装置。
請求項１に記載の装置であって、デジタルイメージセンサーはCMOS素子である、ところの装置。
請求項１に記載の装置であって、光伝送組立体は光学リレーである、ところの装置。
請求項１に記載の装置であって、光伝送組立体は光ファイバー接続である、ところの装置。