JP7394135B2 - ダイレクト拡張ビュー光学部品 - Google Patents

Description

本発明は、銃器及び砲兵光学系に関するものであって、特にＤＥＶＯ（Ｄｉｒｅｃｔ Ｅｎｈａｎｃｅｄ Ｖｉｅｗ Ｏｐｔｉｃ）に関する。

今日の銃と弾道ミサイルは、発射体を高速で加速させ、遠方の標的を攻撃するが、その中には肉眼で見たり、追跡したりするのが難しい、又は不可能なものもある。このような発射体を遠方の標的に向けるために、使用者のビジョンを利用して標的に銃を照準できる照準器が開発された。射撃照準器は、高度に発達したものである。初期には可視性を改善し、遠方の標的を狙うのに役立つ支柱と十字線を組み込んだ望遠鏡が開発された。最近では、使用者が倍率を変えることができるズームレンズ付き可変倍率スコープが開発された。標的までの距離を測定したり推定したりする照準線と、標的までの発射体の距離や落下を調節／補正する手段もさらに開発された。スコープを使用すると、比較的遠距離（例えば、１，０００メートル以上）の標的に命中する確率を高めることができる。

米国特許第１００８８２８６号明細書

しかしながら、照明、距離、動き、精神的疲労、（発砲されるときの）状況的要因などのような周辺及び使用者の要因は、ライフル及び他の発射体の銃の精度に大きな影響を与えうる。正確な距離と感覚情報がなければ、対象となる範囲内の標的に命中する確率が１０％未満になる可能性がある。また、発射距離が遠いほど、環境的及び使用者の要因の影響とそれに伴うターゲティングの不正確さが指数関数的に増幅される可能性がある。

一実施形態において、光学機器を介して使用者のビューを拡張するディスプレイ・システムは光学機器に連結するホログラフィック・ディスプレイ要素を含む。ホログラフィック・ディスプレイ要素は、光エンジン、レンズ、少なくとも一つのホログラフィック光学要素及び画像ガイドを含む。光学機器に連結されたホログラフィック・ディスプレイ要素は、光学機器を介した使用者のビューにシースルー・ホログラフィック・イメージ・オーバーレイを送信する。

また、銃器用のダイレクト拡張ビュー光学部品は、前方対物レンズ、後方接眼レンズ出口、及び導波路を有する光学装置を含む。前方対物レンズと後方接眼レンズ出口は、導波路によって分離されており、光学装置は、ディスプレイに遠距離画像を投影する。回折基盤のホログラフィック・ディスプレイ・システムが光学装置に連結され、ホログラフィック・ディスプレイ・システムは、ディスプレイにシースルーＩＯ（ｉｎｆｏｒｍａｔｉｏｎ ｏｖｅｒｌａｙ）を提供する。

また、ロック機構を有する銃、ロック機構に連結された光学装置、前方対物レンズ、後方接眼レンズ出口、導波路を有する光学装置を備えた銃を含み、ダイレクト拡張ビュー光学部品を備えた安全なトリガー式銃も提供され、前方対物レンズ及び後方接眼レンズ出口は、導波路によって分離されており、光学装置は、ディスプレイに遠距離画像を提供し、光学装置に回折基盤のホログラフィック・ディスプレイ・システムが連結される。

ホログラフィック・ディスプレイ・システムは、ディスプレイにシースルーＩＯを提供し、回折基盤のホログラフィック・ディスプレイ・システムは、プロセッサを含み、ディスプレイから標的を識別し、標的をロックし、標的ロック後にのみロック機構を解除する一連の命令を含むプロセッサを含む。

また、銃に取り付けるホログラフィック・ディスプレイ・システムは、エンクロージャとレセプタクルを有するケーシング、エンクロージャに収容された光エンジン、レセプタクルに囲まれた導波路と、ケーシングに取り付けられたカプラーを含み、カプラーは銃に取り付けられるサイズで構成される。光エンジンは、情報を導波路に送信し、導波路は、ディスプレイ・システムの使用者に対してホログラフィック画像を生成する。

また、シーンのビューを拡張するために使用されるダイレクト拡張ビュー光学部品を含むホログラフィック・ディスプレイ・システムが、多数のリモートソース装置それぞれから信号を受信し、この信号に基づいて情報を準備するプロセッサ；プロセッサと通信しながら、複数のビデオ入力と情報を受信し、ディスプレイ情報を準備するために、低消費電力のビデオ処理を遂行するビデオプロセッサ；ビデオプロセッサからディスプレイ情報を受信し、このディスプレイ情報を表す画像を投影するプロジェクター；及びプロジェクターから画像を受信し、使用者にディスプレイするホログラフィック画像ディスプレイを含むこともできる。このような画像は、プロセッサによって受信された情報と複数のビデオ入力とに基づく。

本発明に係るダイレクト拡張ビュー光学部品の平面断面図である。 本発明に係るホログラフィック・ディスプレイ・システムの概略図である。 本発明に係る追加の光学要素を含むホログラフィック・ディスプレイ・システムの他の概略図である。 本発明に係るホログラフィック・ディスプレイ・システムのブロック図である。 本発明に係る他のホログラフィック・ディスプレイ・システムのブロック図である。 本発明に係るまた他のホログラフィック・ディスプレイ・システムのブロック図である。 本発明に係るホログラフィック・ディスプレイ・システムの斜視図である。 本発明に係る他のホログラフィック・ディスプレイ・システムの斜視図である。 本発明に係るホログラフィック・ディスプレイ・システムを含むダイレクト拡張ビュー光学部品の断面図である。 本発明に係るホログラフィック・ディスプレイ・システムを含むダイレクト拡張ビュー光学部品の他の断面図である。 ホログラフィック・ディスプレイ・システムの位置を示すダイレクト拡張ビュー光学部品の断面図である。 本発明に係るダイレクト拡張ビュー光学部品を通じたビューのグラフィカルな表現である。 弾道情報を有するホログラフィック・ディスプレイを生成する方法のフローチャートである。 本発明の実施形態によるコンピューティングシステムである。

本発明に係るＤＥＶＯ（Ｄｉｒｅｃｔ Ｅｎｈａｎｃｅｄ Ｖｉｅｗ Ｏｐｔｉｃ）は、リアルタイム弾道ソリューション（ｂａｌｌｉｓｔｉｃ ｓｏｌｕｔｉｏｎｓ）、融合熱画像、拡張ズーム、及び自動標的識別のような拡張標的捕捉情報を使用者に提供する。ＤＥＶＯは、以下のような要素と機能のうち１つ以上を含むことができる：レーザー距離計；多数のセンサーに連結された弾道エンジン（例えば、周辺、高度／傾き、コンパス、慣性測定器）；高性能、低電力画像処理及びニューラルネットワークシステム；軸外光システム（例えば、熱画像カメラ又は銃器のサイドレールに付いている拡張ズームカメラ）を調整するための画像処理機能を有する統合外部画像センサー；ダイレクト拡張ビュー光学部品（スコープ）の十字線に画像を表示するためのセルフキャリブレーション技術；弾道ソリューションのリアルタイム表示；電源／データレールに対するインタフェース；入力されたビデオのリアルタイム画像処理（例えば、ハイダイナミックレンジ、センサー融合、コントラストの向上、複数のスペクトル、低照度処理）；地理基準拡張現実情報の表示；ニューラルネットワークの自動標的捕捉と強調（視野範囲に見える人をボックスで囲むか、使用者が選択できる物体を「ロック」）。ＤＥＶＯは、標的捕捉時間を短縮し、状況認識と初弾命中確率を高め、精神的負担を軽減させ、訓練条件を減らし、全体的な致死率を高めることができる。

図１の本発明に係るＤＥＶＯ１００は、ハウジング１０４、対物レンズ群１０８、エレクターレンズ群１１２、接眼レンズ群１１６、及びホログラフィック・ディスプレイ・システム１２０を含む。対物レンズ群１０８、エレクターレンズ群１１２、及び接眼レンズ群１１６は、全体的に視覚経路１２４を含み、視覚経路は、対物レンズ群１０８付近でＤＥＶＯ１００に入射する光が移動する経路である。

ハウジング１０４は、内部レンズを保護しながら、銃に結合され、前述したレンズ群によって形成される視覚経路１２４の基礎を提供するサイズで構成される。一般に、ハウジング１０４のサイズと構成は、ＤＥＶＯ１００の所望の機能の関数である。例えば、調整制御、拡大、及び対物レンズ直径は、ハウジング１０４のサイズと構成に影響を与える。一般に、ハウジング１０４は、金属、プラスチックなどの様々な材料、サイズで構成されることができる。一般に、長距離および／または低照度用途のＤＥＶＯ１００（ＤＥＶＯの対物端部で測定したとき）は、ハウジング１０４の直径がより大きいという特徴を有する。

対物レンズ群１０８は、利用可能な周辺光をハウジング１０４内に送る。図１の対物レンズ群１０８は、多数のレンズで構成されるが、一つのレンズのみを使用することもできる。対物レンズ群１０８の各レンズは、直径が１９～７５ｍｍまたはそれ以上であることができ、対物レンズが大きいほど、より多くの周辺光をハウジング１０４に送ることができる。長距離および／または低照度用ＤＥＶＯ１００は、一般に大きな対物レンズを使用する。

エレクターレンズ群１１２は、ＤＥＶＯ１００の拡大性能を決定する。一例として、調整ノブ１２８が、エレクターレンズのいずれかを、他のエレクターレンズにより近づけるか、遠く動かして倍率を変えることができる。エレクターレンズ群１１２が図１には、２つ示されているが、より多くのレンズを使用することもできる。固定倍率スコープでは、エレクターレンズ群が固定されている。

接眼レンズ群１１６（アイピースとも呼ばれる）は、使用者に最終的なイメージを提供する。接眼レンズ群１１６の構成は、全体のイメージが見えるように位置づけされた使用者の目と接眼レンズの表面との間の距離を決定する。接眼レンズ群１１６は、十字線（図示せず）に焦点を合わすように視度調整セッティングを調整できるように構成されている。対物レンズ群１０８と、エレクターレンズ群１１２のように、使用者に所望の出力を生成するように接眼レンズ群１１６のレンズ数を調整することができる。

図２Ａ～Ｂに示すように、ホログラフィック・ディスプレイ・システム１２０は、ＤＥＶＯ１００を介して見える画像にシースルー方式でオーバーレイする追加情報を使用者に提供し、これについては後述する。ホログラフィック・ディスプレイ・システム１２０は、光エンジン１３２、レンズ１３６、ホログラフィック光学要素ＨＯＥ；１４０、１４０Ａ、１４０Ｂ、および使用者に見えるホログラフィック画像表示（ＨＩＤ）１４８を生成する画像ガイド１４４を含む（図３参照）。ホログラフィック・ディスプレイ・システム１２０は、光エンジン１３２からレンズ１３６へ、レンズからＨＯＥ１４０Ａへ送られ、画像ガイド１４４に沿ってＨＯＥ１４０Ｂに伝播される可視情報１５２を生成し、ＨＯＥは、この情報をホログラフィック画像表示１４８の形で使用者に反映する。図２Ａ～Ｂにおいて、ＨＯＥ１４０ＡとＨＯＥ１４０Ｂが画像ガイド１４４の両側にあるが、両方片側にあることもある（図８Ｂ参照）。

ホログラフィック・ディスプレイ・システム１２０は、ＤＥＶＯ１００に入射する光の２％未満を減衰する。これは、基本的に入射光の２０～３０％程度を減衰させ、低照度条件でのスコープの使用を制限し、標的感知と捕捉を困難にするビーム分割技術に比べると注目に値する。ホログラフィック・ディスプレイ・システム１２０は、網膜認証や識別など、さまざまな入力のために（光路１５４に沿って）使用者の眼球を追跡するためのカメラ１５０を含むか、視差補正により（使用者の頬に一定して密着するか否か、或いは使用者の目が毎回同じ位置に位置しているか否かを決定する）訓練を支援することができる。または、赤外線などの照明をカメラ１５０に提供し、眼球の位置分析を支援することもできる（赤外線を使用者の目に送り、目の画像を「プルする」ことに使用することができる）。光は、使用者の虹彩及び網膜を照らす。この光は、カメラ１５０が画像をキャプチャして処理する（光路１５４に沿って）画像ガイドに戻る。このように、画像ガイドは、使用者に画像を見せ、目から画像を収集することに使用される。

ホログラフィック・ディスプレイ・システム１２０は、銃から発射された弾薬が飛ぶ間、その位置を通知したり、弾薬が飛ぶ間、弾丸を追跡し、導いたりする。ホログラフィック・ディスプレイ・システム１２０は、例えば、弾丸が下降するとき弾丸を追跡する追跡カメラまたはセンサーを利用して、このような情報を提供することができる。

カメラとしては、熱画像カメラ、高速カメラ、パッシブウェーブフロントカメラなどが適しており、または弾丸の後方に「トレーサ」を配置するように改造することができる。ホログラフィック・ディスプレイ・システム１２０は、弾丸を追跡し、飛行経路を再構成し、使用者に表示し、修正されて地理変更された経路を３Ｄで使用者に表示し、使用者が、次のショットを修正できるようにする。追加的に又は代替的に、ホログラフィック・ディスプレイ・システム１２０が下方飛行する弾丸と通信し、飛行パターンを変更することができる。追跡と修正のための武器の一例が、「標的割り当て発射体」というタイトルの米国特許第１００８８２８６号明細書に記載されており、本発明は、これを参照する。

光エンジン１３２は、ＤＥＶＯ１００の使用者に送信するフルカラー、太陽光の測定値、高解像度ホログラフィック画像を生成することができる。光エンジン１３２で生成された画像は、最も明るい風景（例えば、太陽が映る雲）に対して読み取ることができるが、暗視ゴーグルで見られるほど暗い。ビーム分割プリズムは、前述した減衰以上のさらなる減衰なしではフルカラーを処理することができず、明るい光（例えば、日光）において、所望の鮮明度／可読性を有する画像を生成することができない。

光エンジン１３２は、プロセッサ１５６を含み、１つ以上の入力１６０から情報を受信する（図３参照）。プロセッサ１５６としては、画像処理を加速する高性能、低消費電力プロセッサを用いて、光エンジン１３２が入力１６０からホモグラフィック画像表示１４８が生成されるように一連の命令を実行することができる。また、プロセッサ１５６は、視差を緩和するために軸外光学システムをスコープを通して見た現実の世界に整列することもできる。例えば、プロセッサ１５６がＤＥＶＯ１００に近接装着された熱画像カメラ（図示せず）に入力や拡張光学ズームカメラ（図示せず）の入力を整列することができる。プロセッサ１５６は、ハイダイナミックレンジ処理、センサー融合、コントラストの向上及び低照度処理などのような入力されたビデオのリアルタイム画像処理を提供することができる。特定の実施形態において、プロセッサ１５６は、入力１６０と結合して、リアルタイムで連結されたとき、または、予めロードされたオブジェクトの位置情報と一緒に地理基準拡張現実の情報を提供する。

レンズ１３６は、ディスプレイ情報が画像ガイド１４４を介して伝送されるように、光エンジン１３２からＨＯＥ１４０Ａへ表示情報を送信するサイズで構成される。ＨＯＥ１４０Ａは、レンズ１３６の光学的機能を設計に含ませることができるので、他の余分な光学系が不要である。

ＨＯＥ１４０は、ディスプレイ情報１５２を画像ガイド１４４に対して操縦するように構成された半透明の選択波長格子であって、全内部反射を用いて画像ガイド１４４を介して表示情報１５２を導くことができる。図２Ａ～Ｂのように、ＨＯＥ１４０Ａは、光エンジン１３２から受信した表示情報１５２を修正し、画像ガイド１４４を介してＨＯＥ１４０Ｂに案内する。ＨＯＥ１４０Ｂは、ディスプレイ情報をＤＥＶＯ１００を介して使用者に見えるようにする。ＨＯＥ１４０は、レーザービームの干渉技術を用いて準備される。例えば、格子のピッチがλ／ｓｉｎθである正弦波断面を有する直線パターンを生成するように、２つのレーザービームが基板に向けられることができる。図２Ａ～Ｂは、レンズ１３６と画像ガイド１４４との間にＨＯＥ１４０Ａが位置するが、ＨＯＥが画像ガイドの反対側に位置することもできる。

画像ガイド１４４は、波長を内部に伝播する反透光プレートであって、長方形と円形を含み、多様な形状を有することができる（図６参照）。

前述したように、光エンジン１３２は、一つ以上の入力１６０を受信する。入力１６０のソースでビデオ入力、距離計入力、ＧＰＳ座標や関連情報（例えば、方向、高度および／または傾斜ドット）、慣性測定単位、１つ以上のセンサー入力（例えば、温度、圧力、湿度、風速、光など）と弾道情報があるが、これらに限定されない。図４に示すように、ある入力１６８は、まず風速、弾薬情報、３Ｄシーン情報、温度、高度、および湿度のような感知された情報から標的までの距離及び投影経路のような弾道情報を生成する弾道エンジン１６４に先に伝送されることができる。光エンジン１３２は、弾道エンジンを含むか、または一体であることができる。

図２Ｂによれば、ホログラフィック・ディスプレイ・システム１２０がさらなる光学要素１５１Ａ～Ｂを有する。画像ガイドがＤＥＶＯ１００と干渉してはならないので、追加の光学要素を用いて第一、または第二の焦点面に画像を置く必要がある。光学要素１５１Ａ～Ｂは、ワールドビュー（ｗｏｒｌｄ ｖｉｅｗ）と使用者に表示されるコンテンツ間の整列と焦点を支援する。光学要素１５１Ａ～Ｂは、屈折、回折またはハイブリッド光学要素であることができる。光学要素１５１Ａ～Ｂが、図２Ｂに、特定の形状に示されているが、光エンジン１３２で生成された画像と一緒に表示するためにＤＥＶＯ１００内の画像を適切に整列し、焦点を合わせることに光学要素（または追加要素）を多様に組み合わせることができるので、このような特定の形状に制限してはならない。

図５において、ＤＥＶＯ１００に含まれた他のホログラフィック・ディスプレイ・システム２００が示されている。ホログラフィック・ディスプレイ・システム２００は、ＤＥＶＯ１００の光学装置を介して使用者が見ることができることにオーバーレイする有用な情報をＤＥＶＯ１００の使用者に提供し、このような有用な情報が多数のソース装置２１２；２１２Ａ～Ｇから収集／受信される。例えば、周辺情報、弾道情報、状況情報などを含み、ＤＥＶＯ１００使用者に有用な追加情報がホログラフィック・ディスプレイ・システム２００を経て、ＤＥＶＯ１００を介して使用者に提供されることができる。図５に示すように、ホログラフィック・ディスプレイ・システム２００は、一つ以上のポート２０８；２０８Ａ～Ｂと１つ以上のソース装置２１２（センサーや類似する情報収集器）から情報を受信するプロセッサ２０４を含む。プロセッサ２０４は、ビデオプロセッサ２１６と連結され、ビデオプロセッサは、ビデオ入力２２０；２２０Ａ～Ｂから入力を受け、プロジェクター２２４の情報を提供し、プロジェクターはホログラフィック画像表示２２８に示される画像を送信する。

プロセッサ２０４としては、かなりの電力（好ましくは０．５ワット未満）を要しない大量の情報を処理するマイクロプロセッサがよい。プロセッサ２０４は、ＲＳ－２３２シリアルポート、マイクロ－ＵＳＢポート、ＵＳＢ－Ａ、Ｂ、Ｃ、ポートなどのように当業界に知られた連結ハードウェアを通じてプロセッサに連結される１つ以上のポート２０８から情報が伝送されるように構成することができる。このようなポート２０８は、インターネットプロトコルを介してインターネットに連結される熱画像カメラ、光学ズーム、投光照明機器や通信機器などの補助機器から情報を収集し整列し、ＤＥＶＯ使用者に追加情報を提供することができる。プロセッサ２０４は、ＧＰＳセンサー２１２Ａ、温度センサー２１２Ｂ、圧力センサー２１２Ｃ、湿度センサー２１２Ｄ、慣性測定ユニットＩＭＵ２１２Ｅ－Ｆ、距離計２１２Ｇなどのような１つ以上のソース装置２１２からの情報を受信することができる。一つ以上のソース装置２１２からの情報が、プロセッサ２０４によって組み合わされ、使用者に有益な情報を提供することができる。例えば、ソース装置２１２Ｂ－Ｄは、弾薬の軌道に関連する情報である弾道情報を提供することに使用されることができる。ＩＭＵ２１２Ｅ～２１２Ｆは、コンパスの方向だけでなく、９度の姿勢推定の自由度（方向、傾き及びカント／ロール）を生成することができる。一例として、プロセッサ２０４がＩＭＵ２１２Ｅ－Ｆを用いて、ＤＥＶＯ１００の十字線内の標的の地理的位置座標を決定することができる。プロセッサ２０４は、ＲＦＩＤ、ブルートゥース（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＷｉＭａｘ（登録商標）、ＷｉＧｉｇ（登録商標）、Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ、またはワイヤレスＷＡＮ（例えば、ＴＤＭＡ、ＣＤＭＡ、ＧＳＭ、ＵＭＴＳ、ＥＶ－ＤＯ、ＬＴＥ）のような任意の無線規格やプロトコルを通じた情報送信を行うように構成することもできる。

ビデオプロセッサ２１６は、特に低消費電力のビデオプロセッシングをするように構成される。一例として、ビデオプロセッサ２１６は、最大６つのビデオ入力２２０の情報を処理することができる。ビデオプロセッサ２１６は、また、プロジェクター２２４と情報のディスプレイをホログラフィック画像表示２２８に駆動する。ビデオプロセッサ２１６は、ビデオ入力２２０Ａから外部電力を受けて、ビデオ入力２２０Ｂから外部ビデオフィードを受け取ることができる。

プロジェクター２２４は、ビデオプロセッサ２１６からディスプレイ情報を受け、ホログラフィック画像表示２２８に投影する。プロジェクター２２４とホログラフィック画像ディスプレイ２２８の組み合わせは、ホログラフィック・ディスプレイ・システム１２０の設定と類似し、プロジェクター２２４は、ディスプレイの情報を使用者にディスプレイする前に、レンズを介してＨＯＥに、画像ガイドを介して他のＨＯＥに送る。

図１、６～９に示すように、ホログラフィック・ディスプレイ・システムは、使用者のニーズに合ったフォームファクターで提供されることができる。例えば、ホログラフィック・ディスプレイ・システム１２０が（図１、６、８Ａのように）別途の装置である、ライフルスコープのように着脱型である、又はさまざまな位置でダイレクト拡張ビュー光学部品内に全体または一部であることもできる（図９参照）。図１に示すように、ホログラフィック・ディスプレイ・システム１２０は、接眼レンズ群１１６に近接装着される。ホログラフィック・ディスプレイ・システム１２０は、クリップ－オンスタイル付着器を使用して、ハウジング１０４に着脱可能に連結することができる。この実施形態では、ホログラフィック・ディスプレイ・システム１２０が接眼レンズ群１１６に近接位置し、ホログラフィック・ディスプレイ・システムからのディスプレイの解像度は、エレクターレンズ群１１２を用いたズームに関係なく同一である。しかし、このような配置の欠点は、妨害された十字線に対するズーム設定を追跡することにある。ホログラフィック・ディスプレイ・システム１２０が図１ではハウジング１０４の外部に装着されるものとして示されているが、接眼レンズ群１１６の内部や第２の焦点面にあることもある。

図６において、別途の装置として示されたホログラフィック・ディスプレイ・システム３００は、ケーシング３０４、カプラー３０８、エンクロージャ３１２を含み、使用者用イメージ３２４を生成する導波路３２０（及びＨＯＥ）に情報を送信する光エンジンがエンクロージャ３１２に収納されている。ケーシング３０４は、ホログラフィック・ディスプレイ・システムのさまざまな要素を収容し、光エンジン用エンクロージャ３１２と導波路３２０のレセプタクル３２８を提供する。ケーシング３０４は、銃に装着されるサイズと構成を有するカプラー３０８に取り付けられる。

図７の他のホログラフィック・ディスプレイ・システム４００は、エンクロージャ４０４から見える光エンジンをダイレクト拡張ビュー光学部品外部に配置し、導波路４０６の少なくとも一部（例えば、画像部分４１２）は、スコープ内の所望位置に配置することができるフォームファクターを有する。

図８Ａのホログラフィック・ディスプレイ・システム４００は、エレクターレンズ群１１２に近接して位置する。このような配置の利点は、ホログラフィック・ディスプレイ・システムによって生成された画像を十字線により容易に整列し、テキスト／グラフィックスサイジングに加えて十字線に対するズームセッティングを追跡する必要がないことである。ホログラフィック・ディスプレイ・システム４００は、十字線と一直線になるよう、第１の焦点面の一部として、エレクターレンズ群に近い任意の場所に配置することができる。

図８Ｂは、ホログラフィック・ディスプレイ・システム４００の装着位置の他の例を示す。ホログラフィック・ディスプレイ・システム４００がＤＥＶＯ１００内外のどこにあっても、使用者はＤＥＶＯを介して見える実際の画像と光エンジン１３２から出てくるディスプレイされた画像が整列され、焦点が合うだろうと予想する。図８ＢのＤＥＶＯでは、ホログラフィック・ディスプレイ・システム４００は、第２の焦点面４０４の一部として位置し、光学要素４０８Ａ～Ｂを含み、これらの光学要素は、図２Ｂで説明したように、使用者のために（実際とディスプレイの両側）画像の整列とフォーカシングを支援することができる。

光学要素４０８Ａ～Ｂは、ＤＥＶＯ１００内で視準された光区間を生成することができる。画像ガイド４１２は、光学ＤＥＶＯ経路４１６の残りの部分を通じて進行する前の画像の形で他の視準された光を結合し、使用者の目にフォーカシングする。または、光学要素４０８Ａ～Ｂは、所望する光学機能を提供する各光学要素と協力し、実際の画像とディスプレイ画像を適宜整列し、フォーカシングすることもできる。特に、ＨＯＥ、屈折、回折、およびハイブリッド光学要素を多様に組み合わせて、実際のビューとディスプレイコンテンツ間の整列しと焦点を保証することができる。

図９は、ＤＥＶＯにホログラフィック・ディスプレイ・システム１２０（１２０’－１２０’’’’）を配置する４つの位置である、眼の位置５０４、第２の焦点面の位置５０８、第１の焦点面の位置５１２、対物レンズの位置５１６を示すダイレクト拡張ビュー光学部品５００の断面図であるが、別の場所でも可能である（調整にさらなる光学系が必要な場合がある）。

ホログラフィック・ディスプレイ・システムは、一般に、リアルタイム弾道ソリューション、融合熱画像、拡張ズーム及び自動標的捕捉のような拡張された標的獲得情報を提供するように構成される。ホログラフィック・ディスプレイ・システムは、以下の機能をすることができる：レーザー距離計；（周辺、高度／傾き、コンパスと慣性測定器など）多数のセンサーに連結された弾道エンジン；高性能、低電力画像処理、ニューラルネットワークシステム；外部画像センサーを連結し、軸外光学系を共同整列（例えば、武器のサイドレールにある熱画像カメラ又は拡張ズームカメラ）；ダイレクト拡張ビュー光学部品（スコープ）十字線に画像を表示するためのセルフキャリブレーション技術；弾道ソリューションのリアルタイム表示；電源／データレールの干渉；入力されたビデオのリアルタイム画像処理（例えば、ハイダイナミックレンジ、センサー融合、コントラストの向上、及び低照度処理）；地理基準拡張現実情報の表示；ニューラルネットワークの自動標的捕捉及びハイライト（スコープ視野に見える人の周りにボックスを配置したり、使用者の選択物体に「ロック」表示）。ホログラフィック・ディスプレイ・システムは、標的捕捉時間を減らし、状況認識及び初弾的中確率を高め、精神的負担を軽減し、訓練条件を減らし、全体的な致死率を高めることができる。

ホログラフィック・ディスプレイ・システムに関する光エンジンは、プロセッサがアクセスすることができるソフトウェアモジュールを１つ以上有する。ソフトウェアモジュールは、外部ソース、画像処理、弾道学およびディスプレイからデータを取得し、相関、処理、生成することに有用である。

画像処理は、光エンジンに連結されたさまざまな外部データソースのイメージの向上、補正、融合を含み、その一例として、ディスプレイへの熱画像の重畳部のエッジ検出、重畳部を整列し、および待機時間補償を含む。ＩＭＵは、スコープの動きを決定し、ディスプレイで画像を動かし、ダイレクト拡張ビュー光学部品（ＤＥＶＯ）を通して見える画像に整列し、混乱を減らし、状況認識能力を向上させることができる。また、画像処理は、サイドレールに装着された画像のＤＥＶＯのビューに対する視差問題を解決すべくＤＥＶＯと整列されない画像に対する立体整列を含むこともできる。画像処理がハイダイナミックレンジの向上、低照度画像の向上、及びコントラストの向上などをしたりする。また、バレルと放射状の歪みのようなカメラの歪みを補正したりする。また、局部的な明るさの調整をピクセル単位で行うこともできる。特に、熱画像をオーバーレイする過程を低照度イメージング、短波赤外線、ＬＩＤＡＲ、増強可視光線、紫外線、またはこれらの融合のような他のイメージの向上や増強にも適用することができる。

図１０に示すように、ホログラフィック・ディスプレイ・システムを有するダイレクト拡張ビュー光学部品を通したビュー５５０のグラフィック表現は、標的を追跡することができる。標的を確認し、バウンディングボックス５５４；５５４ａ～ｄが標的の周囲に位置する。バインドされた標的がセンサーの視野にある限り追跡することができる。光エンジンが人、顔、腕、車両などの形を感知し、例えば、「Ｃａｒ」のような識別子で強調するように畳み込みニューラルネットワークを具現することもできる。

正確な距離計と周辺センサーパッケージなしに標的に向けると、的中確率が１０％未満である場合がある。これは、主に使用者が標的までの距離を正確に測定し、周辺のデータを収集して弾道コンピュータに直接入力することができないことが原因である。この過程は時間がかかり、エラーが発生しやすく、実際のシナリオとの互換性がない。本発明のホログラフィック・ディスプレイ・システムは、迅速で正確な射撃制御ソリューションの自動計算のために距離計を周囲センサーに連結することができ、このようなソリューションは、ディスプレイを通じてダイレクト拡張ビュー光学部品の視野に直接表示される。

ホログラフィック・ディスプレイ・システムは、標的がロックされたとき銃を自動激発し、標的にロックされた場合、標的ピクセルサイズによる受動距離測定を用いて、迅速かつ継続的に距離を推定して拡張現実情報、弾丸履歴とオーバーレイスナイパ探知システムを提供することはもちろん、ロックされた目標位置を記憶して予測したりもする。

図１１に示す弾道情報を決定し、表示するための方法６００の６０４段階で、光エンジンおよび／または弾道エンジンが入力される。入力には、周辺入力、ビデオ入力、拡張現実入力、動作入力および／またはその他の感知された入力がある。

６０８段階で弾道情報が作成される。例えば、風速、温度、湿度、方向に沿ったコリオリ効果とＧＰＳのような特定の情報を利用して標的までの距離を推定することができる。弾道情報発生と同時に、光増強、標的間の関係、同僚の位置と同じような状況の増強についても起こることがある。このような２つの情報（状況と弾道）が組み合わせて、使用者に提供されることができる。

６１２段階において、情報が使用者に提供され、この情報がダイレクト拡張ビュー光学部品を介して見える画像にオーバーレイされることもある。

図１２は、ホログラフィック・ディスプレイ・システムの要素、例えば、光エンジン１３２が、本発明を実行するようにするための命令を具現することに用いられることができるマシン／コンピューティング装置７００の一例のブロック図である。ホログラフィック・ディスプレイ・システムがダイレクト拡張ビュー光学部品の一部であることが一般的であるが、アームバンド、リストバンド、手首マウントまたは胸マウントシステムのように、使用者に付着したり装着されるＨＭＤ（Ｈｅａｄ－ｍｏｕｎｔａｂｌｅ ｄｅｖｉｃｅ）やディスプレイのようにウェアラブル方式も可能である。

この装置７００は、プロセッサ７０４とメモリ７０８を有し、これらはバス７１２を介して、相互の通信のみならず、入力１６０のような他の要素とも通信する。プロセッサ７０４としては、マイクロプロセッサやデジタル信号プロセッサがある。バス７１２は、メモリバス、メモリコントローラ、周辺バス、ローカルバス、およびこれらの組み合わせを含む様々な種類の通信構造を有することができる。

メモリ７０８としては、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ及びこれらの組み合わせを含む様々な要素（例えば、マシンリーダブル媒体）がある。例えば、起動中など、装置７００内の要素間で情報を伝送するのに役立つ基本ルーチンを含むＢＩＯＳ７１６がメモリ７０８に保存されることができる。メモリ７０８は、本発明の方法を具現する（ソフトウェアなど）コマンド７２０も保存し、例えば、マシンリーダブル媒体に保存される。一方、メモリ７０８が、オペレーティングシステム、アプリケーションプログラム、他のプログラム・モジュール、プログラムデータ及びこれらの組み合わせを含む、プログラムモジュールをいくつもさらに有することもできる。

この装置７００は、ハードディスクの読み書きのためのハード・ディスク・ドライブ、フラッシュ－ドライブ、ソリッド－ステートメモリ装置などの保存装置７２４も含む。保存装置は、適切なインタフェース（図示せず）によってバス７１２に連結される。

インタフェースとしては、ＳＣＳＩ、ＡＴＡ（Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）、シリアルＡＴＡ、ＵＳＢ、ＩＥＥＥ １３９５、およびこれらの組み合わせがあるが、これらに限定されない。保存装置７２４は、例えば、外部ポートコネクタを通じて装置７００と着脱式にインタフェースされることができる。特に、保存装置７２４と関連マシン－リーダブル媒体７２８は、光エンジン１３２のために不揮発性および／または揮発性マシン－リーダブルコマンド、データ構造、プログラムモジュール、および／または他のデータを保存することができる。コマンド７２０は、マシン－リーダブル媒体７２８又はプロセッサ７０４に全体または一部を有することができる。

この装置７００が入力１６０，１６８および／またはソース装置２１２などの１つ以上の入力／センサーに対する連結部を含むことができる。センサーは、直並列インタフェース、ゲームポート、ＵＳＢインタフェース、ＦＩＲＥＷＩＲＥ（登録商標）インタフェース、バス７１２に対する直接連結、ワイヤレス、及びこれらの組み合わせを含む、様々なインタフェースを介してバス７１２にインタフェースすることができる。一方、装置７００の使用者が入力装置（図示せず）を介してコマンドおよび／または他の情報を入力することもできる。入力装置７３２としては、英数字入力装置（例えば、キーボード）、ポインティング装置、音声入力装置（例えば、マイク、音声応答機など）、カーソル制御装置（例えば、マウス）、タッチパッド、光学スキャナ、ビデオキャプチャ機（例えば、スチールカメラ、ビデオカメラ）、タッチスクリーン、およびこれらの組合せがある。

使用者が保存装置７２４（例えば、リムーバブルディスクドライブ、フラッシュドライブなど）および／またはネットワークインタフェース装置７３６を介して装置７００にコマンド及び／または他の情報を入力することもできる。このようなネットワークインタフェース装置７３６は、ネットワーク７４０及びここに連結されたリモート装置７４４の装置７００を連結するために使用することができる。

ネットワークインタフェース装置としては、ネットワークインタフェイスカード、モデム、およびこれらの組合せがある。ネットワークとしては、ＷＡＮ（例えば、インターネット、企業ネットワーク）、ＬＡＮ（例えば、オフィス、建物、キャンパス、またはその他の比較的小さなスペース）、電話網、２つのコンピュータ間の直接連結、およびこれらの組合せがある。ネットワーク７４０は、有線・無線通信モードを利用することができる。

一般に、すべてのネットワークトポロジを使用することができる。データ、コマンド７２０などの情報は、ネットワークインタフェース装置７３６を介して装置７００に対して通信することができる。

この装置７００は、ＲＦＩＤ、ブルートゥース（登録商標）、Ｗｉ－Ｆｉ、ＺｉｇＢｅｅ、ＷｉＭａｘ、ＷｉＧｉｇ、Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ、またはワイヤレスＷＡＮ（例えば、ＴＤＭＡ、ＣＤＭＡ、ＧＳＭ、ＵＭＴＳ、ＥＶ－ＤＯ、ＬＴＥ）などの無線規格やプロトコルに応じてビデオ、センサーまたはその他のデータを無線で受信することができる。一方、処理装置３３０は、ＵＳＢプロトコル、Ｒｅｇｉｓｔｅｒｅｄ Ｊａｃｋプロトコル（例えば、ＲＪ－２５）または有線ＬＡＮプロトコル（例えば、イーサネット）のような有線プロトコルによってビデオ、センサーまたは他のデータを受信することもできる。ビデオ、センサーまたは他のデータがメモリカード、フラッシュドライブ、またはｚｉｐドライブなどのポータブル保存装置から処理装置に受信されることもできる。

装置７００が、ディスプレイ装置７５２に画像を伝送するためのビデオディスプレイアダプタ７４８をさらに含むことができる。ディスプレイ装置７５２としては、ホログラフィック・ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、およびこれらの組み合わせがある。

ディスプレイ装置７５２の他に、装置７００は、オーディオスピーカーを含む他の周辺出力装置に対する連結部を有することができる。周辺出力装置は、周辺インタフェース７５６を介してバス７１２に連結することができる。周辺インタフェースとしては、シリアルポート、ＵＳＢ連結部、ＦＩＲＥＷＩＲＥ（登録商標）連結部、並列連結部、無線連結部、およびこれらの組み合わせがある。

以上、銃と弾道について説明したが、本発明のホログラフィック・ディスプレイ・システムは、望遠鏡、双眼鏡、顕微鏡及びカメラを含む任意の光学機器により使用者の視野を拡張することができる。

実施形態において、光学機器を使用して、使用者の視野を拡張するディスプレイ・システムは、この光学機器に連結されるホログラフィック・ディスプレイ要素を含む。ホログラフィック・ディスプレイ要素としては、光エンジン、レンズ、少なくとも一つのホログラフィック光学要素及び画像ガイドがある。光学機器に連結されたホログラフィック・ディスプレイ要素は、光学機器を通して使用者の視野にシースルーホログラフィックイメージオーバーレイを送る。

一方、正弦波断面を有する直線パターンを有する格子を形成するように、２つのレーザービームを基板に向かうようにして少なくとも一つのホログラフィック光学要素を準備することもできる。

または、銃用ダイレクト拡張ビュー光学部品が前方対物レンズ、後方接眼レンズ出口、及び導波路を有する光学装置を含むことができる。前方対物レンズと後方接眼レンズ出口は、導波路によって分離され、光学装置は、ディスプレイに遠方の画像を提供する。回折基盤のホログラフィック・ディスプレイ・システムが光装置に結合され、ディスプレイにシースルーＩＯを提供することができる。

また、回折基盤のホログラフィック・ディスプレイ・システムは、ディスプレイのシースルーＩＯの昼夜可読性を向上させることができる光エンジンを含むことができる。

回折基盤のホログラフィック・ディスプレイ・システムが弾道エンジンを含み、弾道エンジンは、多数のセンサーに結合され、多数のセンサーそれぞれは弾道エンジンに信号を提供し、それぞれの信号は、標的捕捉に関する情報を示すこともできる。

また、多数のリモートセンサーには、大気センサー、ＧＰＳ、慣性測定ユニットセンサー、デジタルコンパス、ウィンドセンサーと温度センサーのいずれかを含むことができる。

回折基盤のホログラフィック・ディスプレイ・システムが前方対物レンズの前や後方接眼レンズ出口の後ろに、またはその間に配置されることができる。

回折基盤のホログラフィック・ディスプレイ・システムがダイレクト拡張ビュー光学部品に脱着式で結合されるクリップ－オンスタイルの装置であることができる。

回折基盤のホログラフィック・ディスプレイ・システムが少なくとも一部が光装置のハウジング内部にあることができる。

ディスプレイにオーバーレイされる外部イメージング出力を生成する外部イメージング装置を含むこともできる。

イメージ出力が熱的特性を示すことができる。

イメージ出力が熱画像、低照度イメージ増強画像、短波赤外線画像、ＬＩＤＡＲ画像、補強された可視光画像、及び紫外線画像であることができる。

ＩＯが地理基準拡張現実情報、標的捕捉または標的マーカーを含むことができる。

標的マーカーは、リードシステムを含むか、計算された弾着点を提供することができる。

ＩＯがロック標的マーカーや、それぞれ可能な標的を示す多数のロック標的マーカーを含むことができる。

ダイレクト拡張ビュー光学部品が、ディスプレイの遠距離画像および／または情報を外部の受信機に送信する送信機を有することができる。

ダイレクト拡張ビュー光学部品が、プロセッサと、多数のセンサーを含み、プロセッサは、遠隔画像の位置を決定するために、多数のセンサーから情報を受信することができる。

ホログラフィック・ディスプレイ・システムがディスプレイにフルカラー画像を提供することができる。

プロセッサは、キャプチャされた標的画像のサイズに基づいて、標的までの距離を受動的に推定したり、更新することができる。

プロセッサは、標的が座ったり、立ったり、ひざまずいたり、うつ伏せ状態にあるか否か決定し、次の標的のサイズを推定することができる。

標的の能動測定を決定する距離計が含まれ、プロセッサは、能動測定に基づいて、視野内の残りのすべての標的を推定することができる。

距離計は、ＬＩＤＡＲ、波面カメラ及びＴｏＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラのいずれかを含み、視野内の複数の点の範囲を決定する。

ホログラフィック・ディスプレイ・システムは、光源用レシーバアパーチャとして使用することができる。

光源は、画像センサーや距離計であることができる。

ホログラフィック・ディスプレイ・システムが十字線を基準に、使用者の目を追跡することができる。

ホログラフィック・ディスプレイ・システムは、使用者の頬密着位置や、使用者の銃使用能力を決定することができる。

ホログラフィック・ディスプレイ・システムが狙撃手の認証や識別を行うことができる。

ホログラフィック・ディスプレイ・システムがオーバーレイ情報の有無に関係なく、使用者がディスプレイで見ていることを使用者から離れた別の場所に伝送することができる。

ダイレクト拡張ビュー光学部品は、プロセッサと、多数のセンサーを含み、プロセッサは、センサーによって受信された情報から、使用者が銃を照準する場所を決定し、方位角、傾斜、ＧＰＳ座標の一つ以上を使用者に提供することができる。

ホログラフィック・ディスプレイ・システムは、弾薬がディスプレイ上で飛んでいる間、銃から発射された弾丸の位置を伝達することができる。

ホログラフィック・ディスプレイ・システムは、弾丸が飛んでいる間、銃から発射された弾丸を追跡し、弾丸が飛んでいる間に弾丸を導くことができる。

ロック機構を備えた銃、ロック機構に作動可能に連結された光学装置、前方対物レンズ、後方接眼レンズ出口、導波路を備えた光学装置を備え、ダイレクト拡張ビュー光学部品がついた安全トリガー式銃も提供されることができ、前方対物レンズと後方接眼レンズ出口は、導波路によって分離され、光学装置は、ディスプレイに遠距離画像を提供し、回折基盤のホログラフィック・ディスプレイ・システムが、光学装置に連結される。ホログラフィック・ディスプレイ・システムは、ディスプレイにシースルーＩＯを提供し、回折基盤のホログラフィック・ディスプレイ・システムは、ディスプレイの標的を識別してロックした後、標的ロック後にのみロック機構を解除する一連の命令を備えたプロセッサを含む。

また、標的をロックした後、標的までの距離を更新する距離推定機も有することができる。

プロセッサがディスプレイに投影された発射体経路を予測し、表示することもできる。

プロセッサが標的をロックした後、標的の将来の位置を予測することもできる。

プロセッサは、安全トリガー式銃の移動後の標的の将来の位置を決定することもできる。

回折基盤のホログラフィック・ディスプレイ・システムが昼夜可読性を向上させる光エンジンを含むこともできる。

回折基盤のホログラフィック・ディスプレイ・システムは、弾道エンジンを含み、弾道エンジンは、多数のセンサーに結合され、多数のセンサーそれぞれは弾道エンジンに信号を提供し、それぞれの信号は、標的捕捉に関する情報を示すようにすることもできる。

安全トリガー式銃は、シースルーＩＯが遠距離画像を干渉しないように、第１の焦点面にシースルーＩＯを配置するように構成された追加の光学要素をさらに含むことができる。

一方、光学機器を介した使用者のビューを拡張するディスプレイ・システムが光学機器に連結される回折基盤のホログラフィック・ディスプレイ要素を含むことができる。ホログラフィック・ディスプレイ要素は、光エンジン、レンズ、多数のホログラフィック光学要素及び画像ガイドを含む。光学機器に連結されたホログラフィック・ディスプレイ要素は、使用者のビューにシースルーホログラフィックＩＯを送る。

格子ピッチがλ／ｓｉｎθ程度である正弦波断面を有する直線パターンを有する格子を形成するように基板に２つのレーザービームを指向し、多数のホログラフィック光学要素のそれぞれを準備することもできる。

一方、銃に取り付けるホログラフィック・ディスプレイ・システムは、エンクロージャとレセプタクルを有するケーシング、エンクロージャに収容された光エンジン、レセプタクルに囲まれた導波路、ケーシングに取り付けられたカプラーを含み、このカプラーは、銃に装着されるサイズで構成されることができる。光エンジンは、情報を導波路に送り、導波路は、ディスプレイ・システムの使用者にホログラフィック画像を生成する。

このシステムが、多数のホログラフィック光学要素を含むこともできる。
ホログラフィック画像が熱的特性を有することもできる。

ホログラフィック画像は、低照度画像向上画像、短波赤外線画像、ＬＩＤＡＲ画像、向上された可視画像、及び紫外線画像を含むことができる。

一方、ビューを拡張することに用いられるダイレクト拡張ビュー光学部品を含むホログラフィック・ディスプレイ・システムは、多数のリモートソース装置のそれぞれから信号を受信し、この信号に基づいた情報を準備するプロセッサ、プロセッサと通信しながら複数のビデオ入力と情報を受信し、ディスプレイ情報を準備するために低消費電力のビデオ処理をビデオプロセッサ、ビデオから表示情報を受信し、この情報を表す画像を投影するプロジェクター、およびプロジェクターから画像を受信して使用者にディスプレイするホログラフィック画像表示を含むことができる。画像は、プロセッサによって受信された情報と複数のビデオ入力とに基づく。

リモートソース装置としては、ＧＰＳセンサー、温度センサー、圧力センサー、湿度センサー、慣性測定ユニットが有することができる。

システムは、単一ポートと、少なくとも一つの補助装置をさらに含み、このポートは、補助装置の出力をダイレクト拡張ビュー光学部品を介して見えるシーンに整列し、補助装置は、熱画像カメラ、光学ズーム、及び暗視装置から選択されることもできる。

プロセッサが慣性測定ユニットを用いて、ダイレクト拡張ビュー光学部品の十字線内の標的の地理的座標を決定することもできる。このシステムが、標的と投影された発射体経路までの距離を決定する弾道エンジンをさらに含むこともできる。

Claims (4)

1. ダイレクト拡張ビュースコープを含み、前記ダイレクト拡張ビュースコープは、シーンのビューを拡張するのに用いられるホログラフィック・ディスプレイ・システムであって、
   複数のリモートソース装置それぞれから信号を受信し、前記信号に基づいて情報を準備するプロセッサ、
   前記プロセッサと通信しながら、複数のビデオ入力と情報を受信し、ディスプレイ情報を準備するために、低消費電力のビデオ処理を実行するビデオプロセッサ、
   前記ビデオプロセッサからディスプレイ情報を受信し、前記ディスプレイ情報を示す画像を投写するプロジェクター、および
   前記プロジェクターから画像を受け、使用者にディスプレイするホログラフィック画像表示を含み、
   画像が前記プロセッサによって受信された情報と前記複数のビデオ入力とに基づき、
   前記プロセッサが、慣性測定ユニットを利用して前記ダイレクト拡張ビュースコープの十字線内に標的の地理的座標を決定することを特徴とするホログラフィック・ディスプレイ・システム。
2. 前記複数のリモートソース装置がＧＰＳセンサー、温度センサー、圧力センサー、湿度センサー、慣性測定ユニットを含むことを特徴とする、請求項１に記載のホログラフィック・ディスプレイ・システム。
3. １つのポートと、少なくとも一つの補助装置をさらに含み、前記ポートは、前記補助装置の出力を前記ダイレクト拡張ビュースコープを介して見えるシーンに整列し、前記補助装置が熱画像カメラ、光学ズーム、及び暗視装置の中から選択されることを特徴とする、請求項１に記載のホログラフィック・ディスプレイ・システム。
4. 標的までの距離と投影された発射体経路を決定する弾道エンジンをさらに含むことを特徴とする、請求項１に記載のホログラフィック・ディスプレイ・システム。