JP6672326B2 - 異なる照明条件下でのイメージングのためのデュアルモード照明器 - Google Patents

異なる照明条件下でのイメージングのためのデュアルモード照明器 Download PDF

Info

Publication number
JP6672326B2
JP6672326B2 JP2017549335A JP2017549335A JP6672326B2 JP 6672326 B2 JP6672326 B2 JP 6672326B2 JP 2017549335 A JP2017549335 A JP 2017549335A JP 2017549335 A JP2017549335 A JP 2017549335A JP 6672326 B2 JP6672326 B2 JP 6672326B2
Authority
JP
Japan
Prior art keywords
light
targets
wavelength
sensor
dual mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017549335A
Other languages
English (en)
Other versions
JP2018515958A (ja
JP2018515958A5 (ja
Inventor
ウィリアム ホワイトハウス
ウィリアム ホワイトハウス
エリック フォクスリン
エリック フォクスリン
トーマス キャロウェイ
トーマス キャロウェイ
ジョン ポプーラペイド
ジョン ポプーラペイド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Visionix Inc
Original Assignee
Thales Visionix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Visionix Inc filed Critical Thales Visionix Inc
Publication of JP2018515958A publication Critical patent/JP2018515958A/ja
Publication of JP2018515958A5 publication Critical patent/JP2018515958A5/ja
Application granted granted Critical
Publication of JP6672326B2 publication Critical patent/JP6672326B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Description

関連出願についてのクロス・リファレンス
本出願は、その全体が本願明細書において明白に引用され、「DUAL-MODE ILLUMINATOR FOR IMAGING UNDER DIFFERENT LIGHTING CONDISIONS」の名称で２０１５年３月１３日に出願されたアメリカ合衆国仮出願番号Ｎｏ.６２／１３３,１３８の利益を請求する。
本開示は、例えば、オプティカル追跡に用いられる、異なる照明条件下でのデュアルモード撮像に一般に関する。
基準点または目標のイメージングなどを含むオプティカル追跡は、照明条件が異なる場合には挑戦的なものとなる。例えば、照明条件が白昼光と夜間との間で変化する場合、終日に渡って正確に目標を撮像することはイメージング・システムにとって困難である。
オプティカル追跡は、移動物体の位置を決定するために、基準点のような受動的な目標のイメージ取得を含むことがある。上記目標を撮像するためには、例えば、カメラまたは他のセンサを用いることができる。周囲の照明条件は可変であり、１つの照明条件の下で適切である照明は、異なる照明条件の下では役に立たない、或いは問題を含むことがある。
前記本開示は、これらの課題および満たされていない要求に鑑み、異なる照明条件の下でのセンサのデュアルモード撮像を提供するシステム、方法および装置を提供する。本願明細書において示される態様は、例えば、オプティカル追跡システムの一部として使用することができる。本願明細書において示される態様は参照目標を照らすデュアルモード照明光源を含み、センサは、波長の異なる少なくとも２つの光を用いて上記目標を撮像する。デュアルモード照明光源は、異なる照明条件で上記目標を撮像するうえで適切な露出時間と結び付けて、上記２つの異なる波長を使用することができる。上記センサおよびデュアルモード照明光源と共に、例えば、狭バンド通過帯域フィルタを用いることができる。
これらの態様の付加的な利点および新しい特徴は、以下に続く詳細な説明中に部分的に現れており、また、部分的には、下記の精査により、または本発明を実施して学習することにより、当業者にとって明らかになる。
以下の図面を参照して、上記システムおよび方法の様々な態様を詳細に記述する。
図１は、本発明の態様に従う、デュアルモード照明器を有する装置例を示す。
図２は、本発明の態様に従う使用のために、背面に直に太陽光を有している基準点のイメージ例を示す。
図３は、本発明の態様に従う追跡の構成要素の例を示す。
図４は、本発明の態様に従う使用のためのデュアルモード照明器を有するオブジェクト追跡システムの一例を示す。
図５は、本発明の態様に従う、車両追跡システムと関連した座標軸を有するジェット戦闘機コックピットの一例を示す。
図６は、本発明の態様に従うデュアルモード照明器を有する装置例を示す。
添付の図面に関連して以下に述べる詳細な説明は、各種の構成の説明を意図したものであり、本願明細書において記載されている概念が実施され得る唯一の構成を表すことを目的とするものではない。詳細な説明は、各種の概念の完全な理解を提供するために、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしで実施可能であることは当業者にとって明らかである。幾つかの場合には、この種の概念が不明瞭となるのを避けるために、周知の構造および構成要素をブロック図の形式で開示する。
以下、モーション追跡システムのいくつかの態様が、各種の装置および方法に関して示される。これらの装置および方法は、以下の詳細な説明に記載されており、各種のブロック、構成要素、回路、ステップ、方法、アルゴリズムなど（集合的に「素子」と称する）によって、添付の図面に図示される。これらの素子は、電子ハードウェア、コンピューターソフトウェアまたはそれらの如何なる組み合わせを使用しても実現することができる。この種の素子が、ハードウェアまたはソフトウェアとして実現されるか否かは、システムの全体に課される特定の用途および設計の制約に依存する。
例証として、素子も、または素子のいかなる部品も、または複数の素子のいかなる組み合わせも、一つ以上のプロセッサを含む「演算処理システム」で実現され得る。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、デジタル信号処理装置（ＤＳＰ）、フィールドプログラマブルゲート配列（ＦＰＧＡｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、ステート・マシン、ゲーテッド・ロジック、別個の複数のハードウェア回路、およびこの開示の全体にわたって記載されている各種機能を実行するように構成された他の適切なハードウェアを含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその他で呼称されるか否かによらず、広く、インストラクション、インストラクション・セット、コード、コード・セグメント、プログラムコード、プログラム、サブプログラム、ソフトウェア・コンポーネント、アプリケーション、ソフトウェア・アプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、エグゼキュータブル、実行の脈絡、手順、機能などを意味するものと解釈される。
したがって、一つ以上の例示的実施形態において記載されている機能は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの如何なる組み合わせによっても実現され得る。ソフトウェアで実現される場合、その機能は、コンピュータ読み取り可能な媒体において、一つ以上のインストラクションまたはコードとしてコード化され、または格納されることができる。コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータがアクセスできる利用可能な如何なる媒体であってもよい。これらの例に限られるものではないが、例えば、この種のコンピュータ読み取り可能な読媒体は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、ＣＤ−ＲＯＭ（ＣＤ−ＲＯＭ）または他の光学ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、または、インストラクションまたはデータ構造の形で所望のプログラムコードを担持または格納するために用いることができ、かつコンピュータがアクセスできる他の如何なる媒体をも含むことができる。ディスク（Disk）およびディスク（Disc）は、本願明細書において用いられるように、ＣＤ、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）およびフロッピーディスクを含み、ディスク（Disk）は通常磁気的にデータを再生する一方、ディスク（Disc）はレーザにより光学的にデータを再生する。上記の組合せも、コンピュータ読み取り可能な媒体の範囲内に含まれるべきものである。
［デュアルモード照明器］
オプティカル追跡は、移動物体の位置を決定するために、基準点のような受動的な目標のイメージ捕獲を含むことができる。目標を撮像するためには、例えばカメラまたは他のセンサを用いることができる。そのカメラ／センサは、目標を撮像するために、時には照明を必要とすることがある。周囲の照明条件は可変であり、１つの照明条件の下で適切である照明は、異なる照明条件の下では役に立たず、または問題を含むことがある。
例えば直射日光は、この種の目標の撮像を困難にする場合がある。目標がコックピットのキャノピーに配置されると、直射日光が目標の後でキャノピーを通して輝き、特定の目標の正確なイメージの捕獲と干渉することがある。夜間では、それ自体は光を発しない受動的な目標を検出するために照明が必要となることがあり、異なる課題が発生する。目標の照明は、日光の下および暗中条件の下の双方においてセンサが目標を検出するのを助けるために用意されることがある。加えて、この種の照明には、ＮＶＩＳ装置と互換性を持って、その種の装置から見えないように、または検知されないようにする必要が生ずる場合がある。ＮＶＩＳ装置との干渉を回避する波長範囲は、通常のシリコン・イメージ・センサのスペクトル・レスポンス曲線のエッジ近傍である。この特性は、日中のオペレーションで太陽光の下で良質なイメージを得るのに十分な明るさで目標を照らすことを非常に困難にする。異なる照明条件の下で異なる波長を用いて目標を照らすデュアルモード照明器を提供することによって、本願明細書において示される態様はこの種の課題を解決する。
図１は、異なる照明条件の下でデュアルモード撮像を行うための例示の装置１００を示す。この装置は、例えば、オブジェクトを追うことに関連して用いることができる。この装置は、少なくとも一つの目標１０８を撮像するために構成されたセンサ１１０を含む。例えば、このセンサは、オブジェクトの変化を追跡するために目標のイメージを捕えるカメラを備えることができる。数ある中で、この種のカメラは、ＣＭＯＳグローバル・シャッタ・イメージャのような相補型金属酸化膜半導体（ＣＭＯＳ）イメージャを備えることができる。魚眼・レンズのようなレンズをこの種のイメージャと組み合わせて用いることもできる。これは、センサが目標の至近距離に配置されるような状況において有用となり得る。
この装置は、センサ１１０が目標を撮像する間に、この目標１０８を照らすように構成されたデュアルモード照明光源１１２を含む。デュアルモード照明光源は、第１の照明条件の下では第１波長の光を用いて目標を照らし、かつ、第２の照明条件の下では第２波長の光を用いて目標を照らすように構成されることができる。
照明器１１２は、例えば、日中の間のように環境光が閾値以上となるときに第１波長の光を発し、また、より暗い夜間条件の間のように環境光が閾値を下回る値に低下するときに第２波長の光を発することができる。照明器１１２は、少なくとも一つのＬＥＤを備えることができる。照明器１１２は、２つの異なる発光体、即ち、第１の波長で光を発する第１の発光体と、第２の波長で光を発する第２の発光体とを備えることができる。日中の照明は、例えば少なくとも一つのＬＥＤによって提供されることができる。夜間の照明は、例えば、縦型空洞表面放出レーザ（ＶＣＳＥＬ）発光体、レーザダイオード、ＬＥＤなどによって提供されることができる。この種の発光体は、ＵＶ範囲、またはＮＶＧが高い感度を示さない可視スペクトルの特定部分において作動することができる。
照明器１１２は、フラッシュ光を発し、または周期的に光を発することにより、イメージングのために目標を照明することができる。或いは、照明器は、環境光の条件に応じて、２つの波長のうちの１つを常に発することができる。
日中光の条件の下では、追跡カメラ（例えば、センサ１１０）が効率的に検出することが可能であるスペクトルの一部の範囲内で、照明器が光を発することが重要であることがある。照明器のための適切な波長の選択は、カメラの露出時間の調整と組み合わせて用いられる場合がある。例えば、露出時間の減少は、目標のイメージにおける直射日光１１４の効果を制限することがある。より明るい照明条件の下での露出時間は、より暗い照明条件の下での露出時間と比較して減らされる場合がある。例えば、露出時間は、満足な量の太陽光線を除去するため、最も低い使用可能な設定、例えば、１mm秒〜５０μ秒をかなり下回る時間に下げられる場合がある。日中光の条件の下では、露出時間は、例えば、大凡１５μ秒〜１５０μ秒の範囲に収めることができる。これにより、太陽光の可読性とＮＶＧ互換性の双方が、ユニークな照明器の設計により提供され得る。露出時間は、検出される周辺の環境光の量に基づいて調整されることがある。環境光が閾値を満たすと検出された場合は、短い露出時間が用いられる場合がある。
一つの例においては、日中照明のための光源は、人の眼に見えないものを選択することができる。その波長は、例えば赤外線の波長とすることができる。しかしながら、可視波長を用いることも可能である。昼光条件の間に用いられる波長は、大凡７００〜１０００nmの範囲、例えば、大凡８５０nmとすることができる。
対照的に、夜間モードの照明波長は、９４０nmで概して感度がゼロ付近に低下するＮＶＧの範囲外となるように選択することができる。したがって、夜間モードの照明波長は、大凡９４０nmを超える値、例えば、大凡９８０nmとすることができる。一つの例では、ＶＣＳＥＬＳ発光体を用いることができる。ＮＶＩＳ互換の波長を用いるデュアル波長照明器は、例えば夜間に用いることができる。
より暗い条件の下では、ＮＶＩＳ互換の波長を、昼光条件に適するよりも長い露出時間と共に用いることができる。例えば、その長い露出時間は、太陽光を完全には除去しないかもしれない。その夜間の露出は、大凡５００μ秒〜２０００μ秒の範囲とすることができる。日中の間は、ＮＶＩＳ互換とする必要のない、より容易に検出できる波長を用いることができる。その容易に検出できる波長は、太陽光の干渉を大部分除去する極端に短い露出を用いてイメージ化することができる。より長い露出時間は、環境光が閾値以下に低下したと検出された場合に用いることができる。
例えば、太陽光の除去は、合理的な数のＬＥＤを用いて８５０nmで達成できる場合があるが、この種のＬＥＤは、ＮＶＧ互換性を持たないことがある。９８０nmのＶＣＳＥＬｓを使用すると、ＮＶＧ互換性を提供できる場合が生ずるが、太陽光を除去するために必要な短い露出時間に適合する十分な光出力を提供できない事態が生じ得る。従って、１つの例では、８５０nmの波長を有するＬＥＤ発光体を日中モードのために用いる一方、大凡９５０nmの波長を有するＶＣＳＥＬＳ発光体を夜間モードのために用いることができる。
直射日光の中での目標の読み取り易さについての課題に更に対処するために、２つの波長に対応する通過帯域を有する干渉フィルタ１１８を用いると、目標のイメージングを改良することができる。そのフィルタは、例えば、レンズとセンサの間などのように、目標とセンサの間に配することができる。日中の照明のための８５０nmの波長、および夜間の照明のための９８０nmの波長を用いる例においては、例えば、８５０nmおよび９８０nmの２つの狭い通過帯域を有する干渉フィルタを用いることができる。この例は、２つの通過帯域の使用を示すために用いられる。異なる波長を用いることも可能である。
この種のデュアルモード照明器は、異なる照明条件の下、例えば、昼光および夜間の条件の下で、受動的な基準マーカに対する充分な照明を提供する。
太陽によるバックライトで照らされた際に、デュアルモード撮像装置に関連して用いられる目標１０８は比例してより明るくなるように構成されることができる。例えば、航空機に関連したオプティカル追跡のために、センサ１１０は航空機のキャノピーの方向に向けられる場合がある。このため、時として目標は太陽によるバックライトに照らされることがあり、目標を正確に撮像することが困難になる。デュアルモード照明器は、太陽光１１４により照らされているか、より暗い照明条件の下にあるかに関わらず、目標の正確な検出を可能とする。
付加的なオプションとしては、レンズに対する照明をできる限り多く戻して拡散した基準点からの逆二乗損失に打ち勝つために、再帰反射材のステッカーをキャノピーの基準点のために用いることができる。この種の基準の設計については、大部分の１４０度ＦＯＶ（視野）の全体に渡って高い読み込み率を得るために、その基準はＮＶＧ互換の波長によって照明することとしてもよい。
図２は、後方から太陽１１４の直射を受けている基準点１０８の光学センサ・イメージ２００の例を示す。そのイメージは、昼光条件の下でデュアルモード照明器を用いて取り込まれたものである。基準点の夫々は、隣接する位置に識別子番号を付して示す。この図は、デュアルモード照明器を用いて撮られたイメージの太陽光除去能力を示している。日中照明のためのより効果的な波長と、よりタイトな帯域通過濾過およびより短い露出期間との組合せは、イメージ上の直射日光１１４の影響を低減させる。図１０のイメージは、センサ・レンズに太陽光が直接射し込んでいる状況下で、透明プラスチックに取り付けられた基準コンスタレーションのＨＯｂＩＴ光学センサを通して撮影されている。図２において、すべての基準点は明らかに認識される一方、太陽からの光１１４は基準点１０８のサイズ程度の点に減少されている。太陽が基準点に隣接して撮像される場合には、もはやその基準点は認識されないものと思われる。しかしながら、図２に示されるように、一度につき最大１つの基準点は太陽に隠れることがある。従って、図２に示されるような複数の基準点のコンスタレーションのイメージは、太陽光の干渉による影響を受け難い。このイメージと、イメージ内の他の基準点の識別は、カメラの位置を検出するために用いることができる。
図３は、例えば、オプティカル・トラッカーとして用い得るデュアルモード照明構成要素の例を示す。図３は、目標３０４を撮像するためのセンサとして用い得るカメラ３０２を示す。本発明の態様に従い、慣性測定ユニット（ＩＭＵ）３０６は、オブジェクトの運動を追うために用いることができる。再帰反射する目標を直接照明することにより、逆光または露出不足のような環境光による課題を回避することができる。一つの例においてデュアルモード照明光源は、カメラ３０２を囲むように構成される場合がある。図３に示す例におけるカメラは、目標を撮像する開口部３０８を含んでいる。図３は、開口部３０８を丸い開口部として示す。デュアルモード照明器３１０は、丸い開口部３０８の周囲に配置することができる。他の例では、デュアルモード照明器は、カメラと関連して異なる位置に置かれる場合がある。
一つの例において、本願明細書に示される態様は、オブジェクトの変化を追う追跡装置に関連して用いられる場合がある。図４は、移動式プラットフォーム４０４と関連して移動するオブジェクト４０２を追うための追跡装置４００を示す。
図４に示すように、オブジェクト４０２および移動式プラットフォームは、外部座標系４０６と関連して移動することがある。外部座標系４０６は固定座標系、例えば、地球であることがあり、また、移動式プラットフォーム４０４は、飛行機または他の乗り物のようにオブジェクト４０２が共に移動する移動乗り物であることがある。オブジェクトは、車両と関連して移動するユーザ表示である場合がある。移動するオブジェクトは、例えばヘッド・マウンテッド・ディスプレイ（ＨＭＤ）であることがあり、また、移動式プラットフォームは航空機のような乗り物であることがある。
反射する基準点のような参照目標４０８は、移動式プラットフォーム４０４に固定されることがある。航空機の例において基準点は、航空機のキャノピーに固定されることがある。追跡装置４００は、移動式プラットフォーム４０４と関連してオブジェクト４０２の移動を追うために目標４０８を撮像する少なくとも一つのセンサ４１０を含むことがある。一つの例において、基準点は航空機のキャノピーに固定することができ、また、上記のオブジェクトはＨＭＤを備えることができる。
この装置は、少なくとも一つの目標４０８を撮像するために構成されるセンサ４１０を含んでいる。図示してはいないが、この種の映像器４１０と組み合わせて魚眼レンズのようなレンズを用いることができる。センサが目標の非常に近くに配置されるような状況では、これが有用であり得る。
航空機に適用する場合には、カメラが航空機のキャノピーから約５〜１０ｃｍしか離れていないため、光学系には、例えば、超広視野魚眼レンズが必要とされることがある。１４０ＦＯＶ（１４０度視野）の全体に渡って、良好で明瞭なイメージングが接近領域で必要とされる場合がある。カメラが航空機のキャノピーの方向に向くので、太陽は直接カメラのＦＯＶに入り込むことがあり、それにより非常に困難なダイナミックレンジの問題が生ずる。キャノピーの方向に向かうカメラによって引き起こされる潜在的な課題に対処するためには、太陽によって背面が照らされる際に比例的により明るくなるように基準点４０８を構成することとしてもよい。この種の基準点を夜間に用いるためには、照明器を追加してもよい。
従って、この装置は、センサ４１０が目標を撮像する間に目標４０８を照明するように構成されるデュアルモード照明光源４１２、つまり、少なくとも２つの異なる光波長を用いる照明光源４１２を含むことがある。センサ４１０、目標４０８およびデュアルモード照明光源４１２は、図１乃至図３に関連して記載されたものと類似したものであってもよい。
例えば、照明器４１２は、２つの異なる発光体、すなわち、第１の波長で光を発する第１の発光体４１４と第２の波長で光を発する第２の発光体４１６とを備えることができる。日中照明は、例えば、少なくとも一つのＬＥＤによって提供することができる。夜間照明は、例えば、縦型空洞表面放出レーザ（ＶＣＳＥＬ）発光体、レーザダイオード、ＬＥＤなどによって提供することができる。この種の発光体は、ＵＶ範囲において、または、ＮＶＧの感度が高くない可視スペクトルの特定の部分において作動させることができる。２つの異なる発光体のうちの１つは、環境光が閾値を満たすかどうかに応じて目標４０８を照らすために用いることができる。
図５は、キャノピー５０２に配置された目標５１０を有するジェット戦闘機コックピット５００の一例を示す。図５は、本発明の態様に従い、プラットフォームＩＮＳ（ｐ）５０４、ディスプレイ（ｄ）５０６、センサボディ（ｂ）５０８、基準のコンスタレーション（ｎ）５１０および地面（ｉ）５１２と関連する座標軸の例を示す。表１は、５つの関連する座標フレームの一覧を示す。
Figure 0006672326
図６は、本発明の態様に従う追跡装置の例を示す。図６の例において、ＨＭＤ６０２の動作は航空機と関連して追跡される。反射する基準点６０８は、パイロットの頭上において航空機のキャノピー６０４上に目標として配置される。カメラ６１０は、ＨＭＤの追跡動作の態様として基準点６０８を撮像するためにＨＭＤに連結される。デュアル照明光源６１２は、センサの近くに配置され、一般に基準点の方向に向けられる。基準点６０８、カメラ６１０およびデュアル照明光源６１２は、図１乃至図４と関連して説明したものと類似したものであってもよい。カメラまたは照明器は、制御ユニット６０６により制御してもよい。この明細書に記載されるように、制御ユニットは、カメラおよび／または照明器のオペレーションを制御するように構成されたメモリおよび少なくとも一つのプロセッサを含むことができる。例えば、制御ユニットは、カメラまたはセンサが用いる露出時間を制御してもよい。制御ユニットは、検出された環境光の量に関する情報を受信することがあり、かつ、環境光の検出量および第1の閾値に基づいて露出時間を制御することがある。制御ユニットは、環境光の検出量および第２の閾値に基づいて、照明光源が発する光の波長を制御することがある。第1の閾値と第２の閾値は、同一であってもよく、また、異なっていてもよい。
オプティカル・ポーズの回復のために、カメラ６１０としてＣＭＯＳグローバル・シャッタＳＸＧＡ（１２８０ｘ１０２４）映像器を用いることができる。カメラ６１０は、１５０°（±７５°）視野の魚眼レンズと結合することができる。この種の追跡装置のオプティカル歪曲補償は、例えば、±７０°までのオフ・アクシス基準認識を許容する。センサは、９４０nmを越える波長に感度を有する。照明器は、ＮＶＧが感度を有する範囲を超える波長で作動することにより、ＮＶＧ互換性と目の安全性の双方を実現する。
航空機に搭載する適用において、基準点は、大凡６ｍｍから２５ｍｍの大きさにわたることがある。要求されるサイズは、センサから基準点までの距離により決定される。戦術的な適用としては、数ある中で８ｍｍの基準点を用いることがある。天井が不規則である場合には、異なるサイズの基準点が用いられることもある。基準点自体は、太陽光線への耐性につき、高い湿度、温度および温度衝撃の下での使用につき、また、洗浄液への耐性につき、例えば、ＭＩＬ−８１０の規格を満たしていてもよい。用いられるベース材料は、道路標識のために設計されたような再帰反射材を備えていてもよい。
［可能な適用］
本願明細書において示される態様は、「Motion Tracking」の名称で２００２年１１月５日に出願された米国特許第６,４７４,１５９号、「Improved Registration for Vehicular Augmented Reality Using Auto-Harmonization」の名称で２０１４年５月２日に出願された米国仮出願番号第６１／９８８,１０６号および米国特許２０１５／０３１７８３８Ａ１公報として公表された対応出願１４／７０２，４０２号に記載されているモーション追跡に関連して用いることができ、上記の各々の全コンテンツは、本願明細書に引用したものとする。
様々な航空機および地上の乗り物におけるＡＲのための説得力のある適用が同様に存在する。事実、「ＡＲ」という用語が造り出される数十年前に、最も初期の視点追従型シースルーＨＭＤが航空機に用いられている。更なる詳細が、Furness, T.A.著、１９８６年、The Super Cockpit and Human Factors Challenges、Ung, M.著 Proceedings of Human Factors Society 30th Annual Meeting内、４８−５２頁に記載されており、その全コンテンツは本願明細書に引用したものとする。車両における視野ベースの追跡は、通常の地上ベースのＡＲのためより、非常に異なった挑戦を提供する。直覚の視覚環境は、指標の使用が完全に実用的であり得る車両の内部である。しかしながら、これらの標識は（または車両の他のいかなる視覚の特徴も）、安定した拡張が望まれる世界のフレームとの関連では移動しており、したがって、達成のためには、車両とその車両と関連するヘッドを追跡し、その全てを十分な正確さで結合するための慎重な工学が必要とされる。
１９９１年以前に飛行機において用いられていた、例えば大部分が機械式、光学式および磁気式である様々なヘッド追跡装置は、F. Ferrin著、「Survey of helmet tracking technologies」、SPIE、第１４５６巻、８６−９４頁、１９９１年に記載されており、本願明細書は参照によりその全コンテンツを引用したものとする。航空機のためのハイブリッド慣性式ヘルメット追跡装置は、Foxlin, E.著、Head-tracking relative to a moving vehicle or simulator platform using differential inertial sensors、Proceedings of Helmet and Head-Mounted Displays V, SPIE第４０２１巻、AeroSenseシンポジウム、オーランド、フロリダ２０００年４月２４−２５日、に記載されており、本願明細書は参照によりその全コンテンツを引用したものとする。光学式の内側および外側におけるものを含めて更なる態様が、Foxlin, E.、Altshuler, Y.、Naimark, L.およびHarrington, M.著、FlightTracker: A Novel Optical/Inertial Tracker for Cockpit Enhanced Vision.、IEEE/ACM、複合および拡張現実についての国際シンポジウム（ワシントンD.C.、ISMAR 2004)、２００４年１１月２−５日；Foxlin, E.およびNaimark, L.著（２００３年）、VIS-Tracker: A Wearable Vision-Inertial Self-Tracker.、IEEE 仮想現実についての会議（ロサンゼルス、カリフォルニア、２００３年）；並びにAtac, R.およびFoxlin, E.著、Scorpion hybrid optical-based inertial tracker (HObIT).、議事録、SPIE８７３５、Head- and Helmet-Mounted Displays XVIII: Design and Applications、８７３５０２、２０１３年５月１６日、において記載されており、本願明細書は参照によりその全コンテンツを引用したものとする。
本願明細書において提示される装置、システムおよび方法の態様は、軍事用および民間用の航空機双方を含む各種の乗り物と互換性を有する。例えば、航空機にすでに存在することのある異なるミッション・コンピュータ（ＭＣ）と互換性を有するために、本発明の態様に従うディスプレイ・システムは、全ての乗り物のARシステムに共通である一般的なヘッド追跡、レンダリングおよびディスプレイ機能だけを実現し、ターゲティング、キューイング、強化ビジョンのようなミッションに特有な機能を何れも実現しないこととしてもよい。この種のシステムはレンダリングに対して責任を負うが、何が描かれるかを決定しないため、ＭＣが、如何なる色または厚みおよび／またはビットマップの線分を含む如何なる二次元または三次元の形状を含む「シンボル」の任意セットを設定し、またダウンロードするかは、ＭＣに対するインタフェースによって許可される。各シンボルが、地上で安定化されるか、またはヘッドで安定化されるか、または乗り物で安定化されるかは、ＭＣによって特定されることとしてもよい。
例えば、ARシステムは、追跡構成要素およびディスプレイを含むＨＭＤを含んでもよい。制御ユニットおよびイメージ発生器は、ＨＭＤに関する追跡データを受信し、生成したイメージをＨＭＤに伝達する。制御ユニットは、例えば、航空機ＧＰＳ／ＩＮＳからのシンボルデータおよびデータを含む入力を乗り物のミッション・コンピュータから受け取ることとしてもできる。
本願明細書に示される態様は、コックピットに装着されるアクティブ・デバイス（磁気ソースまたは光学式カメラなど）をシステムに含めないために、磁気追跡装置を交換する構成を含むことができる。その代わりに、全ての慣性式および光学式センサは、例えばヘルメットに載置される完全独立式のセンサの中に提供されることとしてもよい。このセンサは、ヘルメット−乗り物・インターフェース（ＨＶＩ）を介してコックピット搭載式の制御ユニットのような制御ユニットと通信することができる。このセンサは、例えばディスプレイ・ポッドと同じＨＶＩケーブルを用いて制御ユニットと通信することとしてもよい。基準のステッカーは、モーション追跡における支援のために、パイロットまたはドライバの頭上でキャノピーに配置されることもできる。
航空機に加えて、本願明細書において示されるモーション追跡の態様には多くの可能な用途が存在する。例えば、地上車両におけるＡＲ適用である。大量の雪を受けるアラスカのような気候においては、雪の堆積が非常に高くなることがあり、除雪機のドライバが沿道のガイダンス・ポールの上部を見ることができない事態が生ずる。この状況において、ＡＲシステムは除雪機のドライバをガイドするために用いることができる。
他の可能性は、地ならし機器および他の建設重機のオペレータをより効率的に支援し、ＣＡＤモデルにおいて計画された所望の結果を正確に達成するためのＡＲガイダンスである。ＡＲヘッドセットは、彼らが現場まで運転する間、および彼らが現場で車両から降りた後においても、第１応答者に状況認識を提供するうえで有用である。
本願明細書において示される態様は、基準点のイメージの精度を改善することによってこの種の乗り物におけるモーション追跡を改良する。
本願明細書において示される態様は、充分な視野（ＦＯＶ）を有する小型で快適なＨＭＤを生産するオプティカル・テクノロジーと、未準備の現実世界の環境における対応物体への拡張の説得力のある時空登録を生成することのできるヘッド追跡と、を含む課題に対処する。更なる詳細は、Azuma, R.およびBishop, G.著、"Improving Static and Dynamic Registration in a See- Through HMD"、１９９４年SIGGRAPH 37会報、コンピュータ・グラフィックス年次大会シリーズ、オーランド、フロリダ、１９７−２０４頁、１９９４年；Krevelen, D.W.F.およびPoelman, R.著、A Survey of Augmented Reality Technologies, Applications and Limitations.、The International Journal of Virtual Reality, 9(2):1-20、２０１０年；Daniel Wagner、Gerhard Reitmayr、Alessandro Mulloni、Tom Drummond、Dieter Schmalstieg.著、Pose tracking from natural features on mobile phones.、複合および拡張現実についての第７回IEEE/ACM国際シンポジウム会報１２５−１３４頁、ISMAR２００８年；Welch, G.、Bishop, G.、Vicci, L.、Brumback, S.、Keller, K.およびColluci, D.著（２００１年）、High-Performance Wide-Area Optical Tracking: The HiBall Tracking System. Presence: Teleoperators and Virtual Environments第１０巻、第１刷、MITプレス；およびZhou, F.、Been-Lirn Duh, Henry.、Billinghurst, M.著、Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR.、複合および拡張現実についての第７回IEEE/ACM国際シンポジウム会報１９３−２０２頁、ISMAR２００８年；およびRoberts, D.、Menozzi, A.、Cook, J.、Sherrill, T.、Snarski, S.、Russler, P.、...およびWelch, G.著、Testing and evaluation of a wearable augmented reality system for natural outdoor environments.、SPIE defense, Security, and Sensing内 （８７３５０A−８７３５０A頁）、International Society for Optics and Photonics.、２０１３年５月、において見つけることができ、本願明細書は参照によりその全コンテンツを引用したものとする。
ここまで、本願明細書に記載の態様を、上記に概説した態様例と関連して説明してきたが、各種の代替、変形、バリエーション、改良および／または実質的等価物は、公知であるか否か、または現時点で予知されておらずまたは予知されていない可能性があるか否か、に関わらず、少なくとも当業者にとっては明らかであり得る。したがって、上記の態様例は、制限的なものではなく例示を意図したものである。各種の変化は、本発明の趣旨と技術的範囲から逸脱することなくなされることができる。従って、本発明は、周知または後発的に生じた代替、変形、バリエーション、改良および／または実質的均等物の全てを含むことを意図している。
従って、請求項は、本願明細書において示された態様に限定されることを意図したものではなく、請求項の文言と整合する完全な範囲と一致するべきものであり、特に言及されていない限り、単数の要素の参照は「唯一のもの」を意味するものではなく、むしろ「一つ以上」を意味する。当業者に公知であるかまたは後で公知になるこの開示の全体にわたって記載されている各種の態様の要素に対するすべての構造および機能的等価物は、参照により明確に本願明細書に引用したものであり、請求項の範囲に含まれることを意図している。さらに、本願明細書において開示される全ては、この種の開示が請求項に明確に列挙されるか否かに関わらず、公衆のために献じられることを意図するものではない。請求項に記載の要素は、その要素が「手段」のフレーズを用いて明確に列挙されていない限り
ミーンズプラスファンクションとして解釈されるものではない。

Claims (20)

  1. 異なる照明条件の下でデュアルモード撮像を行うための装置であり、
    ヘルメットまたはヘッドギアと、
    前記ヘルメットまたはヘッドギアに載置され、かつレンズを備えるセンサであって、乗り物または航空機の一つ以上の表面に載置された複数の目標を撮像するように構成されるセンサと、
    前記ヘルメットまたはヘッドギアに載置され、前記センサが前記複数の目標を撮像するのと同時に、前記乗り物または航空機の前記一つ以上の表面に載置された前記複数の目標を照射するように構成されたデュアルモード照明光源と、を備え、
    前記デュアルモード照明光源は、第１の照明条件の下では第１赤外波長の光を用いて前記複数の目標を照明し、かつ、第２の照明条件の下では第２波長の光を用いて前記複数の目標を照明するように構成され、
    前記デュアルモード照明光源は、増大した光条件では前記第１赤外波長の光を照射し、減少した光条件では、ナイトビジョンゴーグルの作動範囲を外れた前記第２波長の光を照射する装置。
  2. 前記デュアルモード照明光源は、環境光が環境光の閾値レベルを超えるときには前記第１赤外波長の光を発し、環境光が環境光の前記閾値レベルを下回るときには前記第２波長の光を発する請求項１に記載の装置。
  3. 前記センサは、前記目標が前記第１赤外波長の光を用いて照明されるときには第１の露出時間を用いて前記複数の目標を撮像し、前記複数の目標が前記第２波長の光を用いて照明されるときには第２の露出時間を用い、前記第１の露出時間は前記第２の露出時間より短い請求項２に記載の装置。
  4. 前記第１の露出時間は大凡１５〜１５０μ秒から成る第１の範囲の中にあり、前記第２の露出時間は大凡５００〜２０００μ秒から成る第２の範囲の中にある請求項３に記載の装置。
  5. 前記第１赤外波長は大凡８５０nmの範囲の中にあり、前記第２波長は大凡９４０nmを超えている請求項２に記載の装置。
  6. 前記第１赤外波長は大凡８５０nmであり、前記第２波長は大凡９８０nmである請求項５に記載の装置。
  7. 前記センサと前記複数の目標との間に配置された干渉フィルタを更に備え、前記センサおよび前記デュアルモード照明光源は前記干渉フィルタの、前記複数の目標と反対の側に配置される請求項１に記載の装置。
  8. 前記干渉フィルタは、
    大凡前記第１赤外波長の狭い通過帯域と、
    大凡前記第２波長の第２の狭い通過帯域と、
    を備える請求項７に記載の装置。
  9. 前記デュアルモード照明光源は、
    前記第１赤外波長で光を発する第１の発光体と、
    前記第２波長で光を発する第２の発光体と、
    を備える請求項１に記載の装置。
  10. 前記第１の発光体は少なくとも一つのＬＥＤを備える請求項９に記載の装置。
  11. 前記第２の発光体は、縦型空洞表面放出レーザ（ＶＣＳＥＬ）発光体、レーザダイオード、および発光ダイオード（ＬＥＤ）からなるグループから選択した少なくとも１つを備える請求項９または１０に記載の装置。
  12. 前記第２の発光体は紫外線領域の光を発する請求項１１に記載の装置。
  13. 前記第２の発光体は可視スペクトルにおける光を発する請求項１１に記載の装置。
  14. 前記デュアルモード照明光源は前記センサの周囲に配置される複数の発光体を含む請求項１に記載の装置。
  15. 異なる照明条件の下で複数の目標を撮像するためのデュアルモード撮像システムであり、
    前記複数の目標と、
    ヘルメットまたはヘッドギアに載置され、かつレンズを備えるセンサであって、乗り物または航空機の一つ以上の表面に載置された複数の目標を撮像するように構成されるセンサと、
    前記ヘルメットまたはヘッドギアに載置され、かつ前記センサが前記複数の目標を撮像するのと同時に、前記乗り物または航空機の前記一つ以上の表面に載置された前記複数の目標を照射するように構成されたデュアルモード照明光源と、を備え、
    前記デュアルモード照明光源は、前記複数の目標の方向に第１赤外波長の光または第２波長の光を照射するように構成され、第１の照明条件の下では前記第１赤外波長の光を用いて前記複数の目標を照明し、かつ、第２の照明条件の下では前記第２波長の光を用いて前記複数の目標を照明するように構成され、
    前記デュアルモード照明光源は、増大した光条件では前記第１赤外波長の光を照射し、減少した光条件では、ナイトビジョンゴーグルの作動範囲を外れた前記第２波長の光を照射するシステム。
  16. 前記複数の目標は再帰反射材を備える請求項１５に記載のシステム。
  17. 前記複数の目標はプラットフォームに配置され、かつ、前記センサは前記プラットフォームとの関係で移動可能なオブジェクトに配置され、
    前記システムは、前記複数の目標のイメージに基づいて、前記プラットフォームと関連して移動する前記オブジェクトの位置を追跡するように構成されるプロセッサを更に備える請求項１５に記載のシステム。
  18. 前記デュアルモード照明光源は、環境光が環境光の閾値レベルを超えるときには前記第１赤外波長の光を発し、環境光が環境光の前記閾値レベルを下回るときには前記第２波長の光を発する請求項１５に記載のシステム。
  19. 前記センサは、前記複数の目標が前記第１赤外波長の光を用いて照明されるときには第１の露出時間を用いて前記複数の目標を撮像し、前記複数の目標が前記第２波長の光を用いて照明されるときには第２の露出時間を用い、前記第１の露出時間は前記第２の露出時間より短い請求項１８に記載のシステム。
  20. 前記センサは、前記第１赤外波長の照明下または前記第２波長の照明下で前記複数の目標から基準の目標を撮影するように構成された単一のセンサを備える請求項１に記載の装置。
JP2017549335A 2015-03-13 2016-03-02 異なる照明条件下でのイメージングのためのデュアルモード照明器 Expired - Fee Related JP6672326B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562133138P 2015-03-13 2015-03-13
US62/133,138 2015-03-13
US15/052,712 US10212355B2 (en) 2015-03-13 2016-02-24 Dual-mode illuminator for imaging under different lighting conditions
US15/052,712 2016-02-24
PCT/US2016/020462 WO2016148920A1 (en) 2015-03-13 2016-03-02 Dual-mode illuminator for imaging under different lighting conditions

Publications (3)

Publication Number Publication Date
JP2018515958A JP2018515958A (ja) 2018-06-14
JP2018515958A5 JP2018515958A5 (ja) 2019-04-11
JP6672326B2 true JP6672326B2 (ja) 2020-03-25

Family

ID=56919299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017549335A Expired - Fee Related JP6672326B2 (ja) 2015-03-13 2016-03-02 異なる照明条件下でのイメージングのためのデュアルモード照明器

Country Status (8)

Country Link
US (1) US10212355B2 (ja)
EP (2) EP3268798B1 (ja)
JP (1) JP6672326B2 (ja)
KR (2) KR102561173B1 (ja)
ES (2) ES2910417T3 (ja)
IL (1) IL253944B (ja)
WO (1) WO2016148920A1 (ja)
ZA (1) ZA201706737B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029738A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180248B2 (en) 2015-09-02 2019-01-15 ProPhotonix Limited LED lamp with sensing capabilities
US10401956B2 (en) 2017-05-11 2019-09-03 Microsoft Technology Licensing, Llc Infrared eye-tracking in high ambient light conditions
US10394315B2 (en) * 2017-05-25 2019-08-27 Acer Incorporated Content-aware virtual reality systems and related methods
US10274979B1 (en) * 2018-05-22 2019-04-30 Capital One Services, Llc Preventing image or video capture of input data provided to a transaction device
US20190377538A1 (en) 2018-06-08 2019-12-12 Curious Company, LLC Information Presentation Through Ambient Sounds
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US11291507B2 (en) 2018-07-16 2022-04-05 Mako Surgical Corp. System and method for image based registration and calibration
US11155226B2 (en) 2018-08-17 2021-10-26 Veoneer Us, Inc. Vehicle cabin monitoring system
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11272118B2 (en) * 2018-10-11 2022-03-08 Stmicroelectronics (Grenoble 2) Sas Method for processing signals from an imaging device, and associated device
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10438010B1 (en) 2018-12-19 2019-10-08 Capital One Services, Llc Obfuscation of input data provided to a transaction device
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11487124B2 (en) 2019-08-14 2022-11-01 Thales Defense & Security, Inc. Methods and systems for auto-alignment of displays
US11249546B2 (en) * 2019-10-22 2022-02-15 Rockwell Collins, Inc. Night vision compatible short-wave infrared eye tracking system
DE102019218178A1 (de) * 2019-11-25 2021-05-27 Robert Bosch Gmbh Bildaufnahmeverfahren und landwirtschaftliche Maschine
KR20210141036A (ko) 2020-05-15 2021-11-23 삼성전자주식회사 광원 패키지 및 이를 포함하는 모바일 기기
US11363188B2 (en) 2020-06-17 2022-06-14 Microsoft Technology Licensing, Llc Motion-based operation of imaging devices
US11920922B2 (en) 2021-04-02 2024-03-05 Rockwell Collins, Inc. Combiner alignment detector

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169096A (ja) * 1999-12-08 2001-06-22 Canon Inc 画像読取方法及び装置並びに記憶媒体
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US20030067537A1 (en) * 2001-10-04 2003-04-10 Myers Kenneth J. System and method for three-dimensional data acquisition
US20030093805A1 (en) * 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
JP4033008B2 (ja) * 2003-03-17 2008-01-16 日産自動車株式会社 車両用暗視装置
US7217913B2 (en) 2003-12-18 2007-05-15 Micron Technology, Inc. Method and system for wavelength-dependent imaging and detection using a hybrid filter
US7095002B2 (en) * 2004-02-23 2006-08-22 Delphi Technologies, Inc. Adaptive lighting control for vision-based occupant sensing
CA2543521C (en) 2005-04-13 2014-05-27 Frederick David King Particle imaging system with a varying flow rate
US7609249B2 (en) 2005-04-21 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination utilizing a cordless device
US7515822B2 (en) 2006-05-12 2009-04-07 Microsoft Corporation Imaging systems' direct illumination level adjusting method and system involves adjusting operation of image sensor of imaging system based on detected level of ambient illumination
JP4891666B2 (ja) 2006-06-22 2012-03-07 東芝モバイルディスプレイ株式会社 液晶表示装置
US8077914B1 (en) 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
JP5259937B2 (ja) * 2006-08-11 2013-08-07 株式会社島津製作所 表示装置および表示システム
WO2008097933A1 (en) 2007-02-04 2008-08-14 Miralex Systems Incorporated Systems and methods for gaze tracking using multiple images
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
JP4915314B2 (ja) * 2007-08-23 2012-04-11 オムロン株式会社 撮像装置および撮像制御方法
JP2009153578A (ja) * 2007-12-25 2009-07-16 Hitachi Maxell Ltd 生体情報取得装置及び電子機器
JP5395512B2 (ja) * 2009-05-26 2014-01-22 オリンパスイメージング株式会社 撮影装置
US8746914B2 (en) 2010-02-15 2014-06-10 Webb T. Nelson Sports set that utilize stereoscopic illumination and retroreflective materials
US9253419B2 (en) 2011-01-24 2016-02-02 The Governing Council Of The University Of Toronto System and method for optical imaging with vertical cavity surface emitting lasers
US9027838B2 (en) * 2012-02-06 2015-05-12 Cognex Corporation System and method for expansion of field of view in a vision system
US20140028861A1 (en) 2012-07-26 2014-01-30 David Holz Object detection and tracking
CN104780834B (zh) * 2012-11-12 2016-12-28 阿尔卑斯电气株式会社 生物体信息计测装置及使用该装置的输入装置
JP5853947B2 (ja) 2012-12-27 2016-02-09 株式会社デンソー 暗視装置
DE102013102653A1 (de) * 2013-03-14 2014-09-18 Finatec Holding Ag Vorrichtung und Verfahren zum Transport und zur Untersuchung von schnelllaufenden Behandlungsgütern
US9766075B2 (en) 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
KR20170056753A (ko) * 2015-11-13 2017-05-24 현대오트론 주식회사 헤드업 디스플레이를 이용한 주행 보조정보 표시 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029738A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102341181B1 (ko) 2021-12-21
US20170026560A1 (en) 2017-01-26
EP3268798A1 (en) 2018-01-17
ES2830178T3 (es) 2021-06-03
EP3786686B1 (en) 2022-03-16
KR20210154998A (ko) 2021-12-21
KR20170137102A (ko) 2017-12-12
EP3268798A4 (en) 2018-10-24
JP2018515958A (ja) 2018-06-14
WO2016148920A1 (en) 2016-09-22
US10212355B2 (en) 2019-02-19
KR102561173B1 (ko) 2023-07-27
EP3268798B1 (en) 2020-10-14
ES2910417T3 (es) 2022-05-12
IL253944A0 (en) 2017-10-31
IL253944B (en) 2019-11-28
ZA201706737B (en) 2020-01-29
EP3786686A1 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
JP6672326B2 (ja) 異なる照明条件下でのイメージングのためのデュアルモード照明器
US20220017012A1 (en) System for assisted operator safety using an hmd
ES2926177T3 (es) Registro mejorado para realidad aumentada en vehículos que usa autoarmonización
US6232602B1 (en) Enhanced vision system sensitive to infrared radiation
CN107683220B (zh) 投影型显示装置以及投影显示方法
CN102447911B (zh) 图像获取单元、其方法以及相关控制单元
CN107250882A (zh) 用于头戴式计算的电源管理
WO2022256122A1 (en) Metalens for use in an eye-tracking system of a mixed-reality display device
WO2017095790A1 (en) Improved safety for a vehicle operator with an hmd
EP3812824A1 (en) Night vision compatible short-wave infrared eye tracking system
CN111221414A (zh) 信息处理方法、信息处理装置和电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190227

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R150 Certificate of patent or registration of utility model

Ref document number: 6672326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees