JP5891560B2 - 三次元画像を形成するための識別専用オプトロニックシステムおよび方法 - Google Patents

Description

本発明は、従来にはない光学イメージング、特に三次元フォトニックイメージングの技術分野で物体を識別するためのオプトロニックシステムに関する。このイメージングは一般に「フル３Ｄ」と呼ばれ、２Ｄの輝度情報に加えて奥行き情報を含むだけの２．５Ｄの画像とは区別すべきものである。

オプトロニックシステムによる物体の自動識別は、複数の分野で用いられている。一例として、防衛・安全分野での標的認識、医療分野での皮下腫瘍や皮膚腫瘍の検出、あるいはマイクロエレクトロニクス分野での部品製造時にこれを観察することなどがあげられる。オプトロニックシステムでは、複雑なオプトロニックシーンに存在する物体の３Ｄ画像を生成する。この画像は、たとえばカモフラージュネットの中や樹の下でカモフラージュされた標的を判別できるものでなければならない。この動作条件が主な問題となっている。

この３Ｄイメージングの分野では、再構成対象となる物体について可変パラメータ（角度および／または奥行き寸法など）に応じた一組の測定値を得る必要がある。このデータセットを用いると、逆再構成技術によってボリュームを再構成することができる。数学的な観点で、この技術は、測定される物理現象のモデルを用いて実施され得る直接的な測定と、この直接的な測定結果を反転する再構成という２つのステップに分けられる。第１の問題は、反転プロセスで利用できる一組の直接的なデータを妥当な時間内に提供することにある。当然ながら、この問題はあらゆる技術的な問題（高性能の照明用レーザー、短パルス、高速検出器ブロック、ポインティング）に波及する。第２の問題は、使用される反転手順と、その数学的な実施に関するものである。

物体を識別するための第１のオプトロニックシステムが周知である。これは、プロフィロメトリック３Ｄアクティブイメージングシステムを必要とするものであり、その特徴は刊行物に開示されている。参考文献として、以下のものがあげられる。「Ｌｉｎｃｏｌｎ ｌａｂｏｒａｔｏｒｙ Ｊｏｕｒｎａｌ 第１５巻、第１号、２００５、Ｊｉｇｓａｗ：ａ ｆｏｌｉａｇｅ Ｐｅｎｅｔｒａｔｉｎｇ ３Ｄ ｉｍａｇｉｎｇ ｌａｓｅｒ ｒａｄａｒ ｓｙｓｔｅｍ」。また、空撮画像のレジストレーション方法を示す米国特許出願公開第２００８／０１８１４８７号明細書が周知である。この出願は、あるオプトロニックシーンを異なる観測角から特定の回数測定する空／地収集システムに関するものである。このシステムでは、観測角ごとに大きな（＞２５６×２５６）格子点で距離情報と輝度情報を得る。このシステムでは、形状計測の原理を用いて同一視線上にある反射波の各点を判別している。この３Ｄイメージングの原理には、サンプリングレートの高い短パルス（ナノ秒台）レーザー源を使用する前提がある。単一のレーザーパルスでシーン全体を照明し、２Ｄマトリクス検出器によって、そのシーンから後方散乱するフォトンと、放出に対する遅延を計測する。画像は走査によって生成される。この技術では、ＵＡＶ（「無人航空機」）などの移動に合わせて画像を生成するのに走査を最適化しなければならない。この装置で生成される画像は、視線上の複数の反射波を利用して３Ｄで検出されたフォトンのマップである。空間レジストレーション後に異なる観測角についてこのタイプのマップを蓄積すると、識別対象となる物体表面の外郭をなす点の集合が得られる。３Ｄ画像を構成する逆関数の問題は、一組のデータを同じ基準フレームで連結することと、識別対象となるデータを含む着目ゾーンを抽出することに絞られる。このシステムには、技術的にいくつかの難点がある。まず、レーザー源と各画素用の検出器とのあいだの距離を求めるのに、短パルスレーザーと高速エレクトロニクス型の検出システムを用いる必要がある。また、同一の基準フレーム内で画像を連結できるようにするには、点の集合をレジストレーションするステップに、効果的なポインティング・ジオロケーションシステムを用いる必要がある。要するに、このような対応策では画像収集用の技術に関連して多大なコストがかかるため、このような「フル３Ｄ」の検出例をあらゆる分野で民生化することはできない。さらに、この対応策を無人空中システムで実施するのは依然として困難である。

医療イメージングで用いられる透過型３Ｄ断層撮影イメージングの第２のオプトロニックシステムが周知である。一般原理は以下のとおりである。平行線源からのＸ線ファインペンシルで患者の身体を走査し、物体についての第１のプロファイリングを実施する。次に、基本要素を回転させて同じプロセスを繰り返すことで、異なる投射角から新たなプロファイルを得る。ラドンの理論によるアルゴリズムを用いて、これらのデータから断面の各点における減衰係数の値を計算し、内部組織をマッピングしなければならない。このように、スキャナではＸ線が透過する際の吸収が媒質によって多かったり少なかったりする性質を利用している。この場合の直接的な課題は、Ｘ線が透過する組織の電磁吸収パラメータの把握にある。

第３の周知の対応策に、複数のビューに基づいて３Ｄ物体をモデリングするシステムがある。この原理によって物体を合成して構成する方法としては、大きく分けて主に以下の２つが周知である。

第１の方法は、シルエットを抽出するものである。この考え方では、三次元表現の対象となる物体をターンテーブルに載せ、従来の可視イメージングによってさまざまな角度からスナップショットを撮影する。各画像で物体のシルエットを抽出した後、ボリュームのシルエット内にある部分だけを維持しつつ、それぞれのシルエットを観測角に応じて３Ｄボリュームに適用する。この方法には、物体に光をあてる際にできるだけ影が少なくなるようにし、どの角度でも背景と物体とを明確に区別しなければならないという課題がある。この手段で得られるのは物体の大雑把な輪郭であって、物体に影やノイズになる部分が含まれると、情報の大部分が失われてしまう。さらに、この方法では部分的に隠れた物体を識別することはできない。

第２の方法は、表面積を最小にする方法である。この技術では、表面積を最小にするか小さなパッチをつなげるアルゴリズムを利用して、物体の２Ｄ画像の目立つ点から表面を再構成する。このように遠隔計測した点の格子点にパッチを適用する技術は通常、単一の観測角で利用される。かなりの時間をかけて相当な計算手段を使用する前提であれば、複数の角度でも完全な再構成のフレームワークにまで拡張できるが、パッチ間に連続性が必要であるため部分的に隠れた物体には適用できない。これらの方法は、２つの平面画像から浮き上がって見える感覚を再生できるようにする立体視技術（２．５Ｄ画像、奥行感覚）のようなものである。

最終的に、従来技術における対応策の問題は、一方ではコストと技術的手段が非実用的だということであり、他方では未知の環境や制御されていない環境で使用できないか、あるいはカモフラージュされた物体を検出できないことである。

本発明の目的は、コストと性能の点で実用的な技術的手段を有する３Ｄ検出および再構成の解決策を提供することにある。さらに、この技術的な解決策は、観察対象となるシーンがオペレータに制御されておらず、部分的に隠れていても使用できるものでなければならない。

より正確には、本発明は、光センサと、通信手段と、コンピュータ処理手段とを含み、センサが捕捉した画像から三次元の物体を再構成し、当該再構成に基づいて物体を識別可能にする、物体を識別するためのオプトロニックシステムであって、光センサが、物体周囲の何通りかの観測角で捕捉される、物体表面で反射される電磁放射の輝度レベルを表す物体の画像を記録でき、通信手段が、物体表面で反射される電磁放射の輝度レベルを表す前記物体の画像を処理すべく構成された断層撮影機能によって、三次元で物体を再構成できるよう、前記画像をコンピュータ処理手段に送信できることを特徴とする。

好ましい実施形態によれば、このシステムは、物体に向けて放出可能な電磁パルスを放出するための手段を含み、光センサが、物体で反射される電磁パルスの輝度レベルを検出可能である。

好都合なことに、このシステムは、基準位置をポインティングし、基準位置付近に集中した観測角で捕捉される画像のシーケンスを光センサが記録できるようにする手段も含み、コンピュータ処理手段が、基準位置からずれたシーケンスの各画像を基準位置に位置決めできる。

好都合なことに、このシステムは、再構成に用いられる同一シーケンスの画像内の物体の寸法が複数の画像間で等しくなるように、画像内の物体の寸法を前記距離の関数としてコンピュータ処理手段が調整できるよう、光センサと基準位置との間の距離を測定するための手段も含む。

好都合なことに、コンピュータ処理手段が、再構成に用いられる同一シーケンスの画像が等しい照明レベルになるように、画像の照明を光センサと基準位置との間の距離の関数として調整できる。

上述したいずれかの実施形態によれば、光センサが物体の周囲を移動できる移動体に搭載される。

アクティブイメージングを用いるいずれかの実施形態によれば、電磁パルスを放出するための手段と光センサとが、物体の周囲を移動できる移動体に搭載される。

好ましい実施形態によれば、移動体が航空機であり、コンピュータ処理手段が、通信手段によってセンサと接続された光センサから離れたコンピューティングステーションに所在する。

上述したいずれかの実施形態によれば、システムは、三次元再構成との比較によって物体を識別するための基準物体データベースを含む。

また、本発明は、三次元での物体再構成による物体識別用のコンピュータ処理の方法にも関する。

好都合なことに、この方法は以下の連続したステップを含む。
物体の表面で反射する電磁放射の輝度レベルを表す物体の画像のシーケンスを収集
物体の表面で反射する電磁放射の輝度レベルを表す二次元画像を用いる断層撮影機能によって、三次元で物体を再構成
識別対象となる物体を含む三次元再構成のゾーンを抽出
三次元で物体表面を再構成
基準物体に対して三次元で物体を比較

好都合なことに、この方法は、画像収集ステップの後に、画像を基準位置に位置決めするステップを含む。

好都合なことに、この方法は、画像収集ステップの後に、画像で検出された物体の寸法が、基準画像における物体の寸法に近くなるように、基準画像に対して画像を寸法調整するステップを含む。

好都合なことに、この方法は、画像収集ステップの後に、画像の照明が基準画像の照明に近くなるように、画像の照明を基準画像の関数として調整するステップを含む。

好都合なことに、この方法は、画像収集ステップの後に、画像の他の情報から物体関連の情報を抽出するよう画像のサイノグラムを処理するステップを含む。サイノグラムは、画像とそのバリエーションの同じ行（または同じ列）を回転させ、第２の次元（縦座標）における角度の関数として表したものである。

このオプトロニックシステムおよび関連の画像再構成方法の第１の利点は、高い収集・処理性能を必要としない技術的な手段を用いて、部分的に隠れた物体を検出できることである。特に、従来技術のプロフィロメトリックアクティブイメージングでの解決策とは異なり、レーザー放射光センサには従来の検出手段を用いている。よって、本発明では、この画像処理方法によって二次元画像からの３Ｄ再構成における問題が解決され、一層低コストの解決策が得られる。電磁パルス放出手段、光センサ、ジオロケーション手段は、開発に伴う制約を減らし、制約のある使用環境での実装用途で一層低コストの解決策を可能にするものである。

本発明の第２の利点は、使用する断層撮影方法が、それまでの透過型断層撮影による解決策とは対照的に、光センサを搭載した移動体すなわち位置、動きまたは向きの細かな空間制御を必要とせず（医用イメージングでの従来のプロフィロメトリック装置または固定軌道が自由度６であるのに対して自由度が３しかない）、シーン内に存在する物体の吸収係数も把握しなくてよい点にある。よって、このシステムおよび画像処理方法を、さらに多くの応用分野に利用でき、特にカモフラージュされた標的での用途に利用できる。

３Ｄ再構成方法に固有の第３の利点は、２Ｄまたは２．５Ｄの画像から検出する対応策よりもかなり有効な物体検出策が得られることである。特に、３Ｄ画像によって、オペレータおよび解析システムが物体に関して一層多くの情報を得られるため、診断能力が改善される。

非限定的かつ添付の図面を参照した以下の説明を読むことで、本発明について一層よく理解でき、他の利点も明白になろう。

空中収集プラットフォームと画像処理用の地上局を含むシステムについての本発明による実施形態の基本図を示す。 断層撮影による三次元再構成の原理を示す。 本発明による画像処理方法のステップを示す。 規模を縮小した研究室での実験のフレームワーク内で画像のシーケンスを収集するための図を示す。 基準位置からずれた、レジストレーション用の第１の画像補正機能の原理を説明するための図を示す。 基準画像に対して画像を寸法調整するための第２の画像補正機能の原理を説明するための図を示す。 同一シーケンスの画像の照明が一様になる、第３の画像補正機能の原理を説明するための図を示す。 レーザー装置の焦点の欠陥を軽減するための第４の画像補正機能の原理を説明するための図を示す。 逆変換アルゴリズムのステップを説明するための図を示す。 この方法に基づいて３Ｄゾーンで着目ゾーンを抽出するステップの原理を説明するための図を示す。 検出された３Ｄ物体の表面を構成するステップの原理を説明するための図を示す。 シーンの背景および関連のサイノグラムに対する第５の画像補正機能の結果よりも全体的に反射しない標的の事例を示す。サイノグラムは、画像とそのバリエーションの同じ行（または同じ列）を回転させ、第２の次元（縦座標）における角度の関数として表したものである。

本発明の優先的なモードでは、従来のアクティブイメージングを使用すなわち、従来のモノスタティックレーザーレーダー（ｌａｄａｒ）システムを活かして輝度２Ｄ画像を実現している。しかしながら、特許請求の範囲に記載したようなシステムならびに方法は、パッシブイメージングにも適用される。図１に示すような優先的なモードによれば、空中プラットフォーム３を用いることで、周知の観測角６１および６２に応じてあらかじめ規定される軌道３１で、他の物体４すなわち樹木またはカモフラージュネットなどによって部分的にカモフラージュされた標的物体５（この場合は自動車である）を含む地表の広いシーンに関する一連の画像を収集することができる。通信手段２１および２２を用いることで、収集した画像を、遠隔地にある地上局１に設けられた画像処理手段まで送信可能である。

図２に示されるように、これらの画像１１および１２を任意にレジストレーションおよび処理した後、フィルタ補正逆投影アルゴリズムによって、断層撮影による当該シーンの３Ｄボリューム１３を再構成すればよい。標的物体がレーザーの電磁パルスに対して不透明すなわち物体表面でパルスが反射するとすれば、視線追随積分の範囲が、ある点で後方散乱する輝度の値に制限されるため、直接測定値の補正は不要である。このボリュームの断面による掃引によって、着目領域にタグ付けすることができる。この領域を処理することで特定数のボクセル（「ｖｏｌｕｍｉｃ ｐｉｘｅｌｓ（体積画素）」）を抽出できるが、これらのボクセルの集合が表面の外郭となり、（「マッチング」、形状認識、スピン画像との比較などによる）識別目的で、ＣＡＤ（コンピュータを用いる設計）タイプの周知の３Ｄ構造に匹敵する三次元形状を得られる。

また、本発明は、図３に示されるような画像のコンピュータ処理方法にも関するものであり、この方法は特定数のステップを含む。ここで、想定した結果を得るには、その仕様どおりにするほうがよい。この方法については、本発明を実施するための構造的な手段に関する詳細な説明を終えた後で説明する。

空中プラットフォーム３は、電磁パルスを放出するための手段を含む。これは、モノスタティックまたは準モノスタティック構成（送信角が受信角と等しい）で用いられるレーザーレーダー装置であり、この構成の利点として、照明されるシーンに影の部分が最小限しか含まれないことがあげられる。さらに、ここでもそのシャープネスとコントラストを改善する目的で、使用する光学機器を、選択したセンサと波長に合わせて寸法調整する。レーザーパルスの空間幅と時間幅は、シーン全体を照明できるだけの十分なものでなければならず、一般に数十メートルである。

非限定的な例として、３０メートル×３０メートル×３０メートルのボリュームに含まれるシーンを照明するためのレーザーの特徴は以下のとおりである。
−パルスが２００ｎｓを超えるレーザー、
−レーザーの拡がり：１ｋｍで１５ｍｒａｄから５ｋｍで３ｍｒａｄ、
−ポストインテグレーションを可能にするために、繰り返し周波数は一般に最低でも数百ヘルツでなければならない。このレートで、たとえば５０ｍ／ｓで移動するキャリアの場合、２つの連続した画像間の変位量は５０ｃｍである。５ｋｍでは、対応する角変位が１００μｒａｄであるため、ポストインテグレーションが可能になる。これは、２つの画像間に必要な角変位が１度程度のためである（換言すると１７．５ｍｒａｄすなわち一般に１７５倍大きい）、
−波長１．５μｍ（ステルス性、視覚のセキュリティ）、
−１パルスあたりのエネルギ量が小さい（一般におよそ１０ｍＪ程度）。

空中プラットフォーム３にも搭載される光センサは、近赤外線を感知する検出器からなる（たとえば、大型のＩｎＧａＡｓ２Ｄマトリクス）。この場合、収集プロセスは、輝度ベースの二次元レーザーアクティブ画像のものである。

収集された画像は、当業者間で周知の無線周波数または光学通信手段２１および２２（その特徴は本発明を限定するものではない）によってすみやかに地上処理ステーションに送られる。処理ステーションと画像収集手段が搭載された移動体との間をどのくらいの距離にできるかは、通信手段の技術的な特徴次第で決まる。空／地構成では、乱気流、キャリアの移動速度、センサのダイナミクス、ポインティング精度に関する制約がゆえに、キャリアと標的との間で可能な距離は一般に５ｋｍ前後である。

画像処理手段１は、画像補正の後処理を実行できるようにするものであり、その機能の詳細については後述する。これらの処理手段は、物体の再構成の精度が改善されるよう、３Ｄ再構成プロセスの実行前に画像の補正を可能にする。この同じ画像処理手段が、その後、識別動作を自動で実行できるようにするか、オペレータによる手動操作のために３Ｄ再構成を表示手段に送信できるようにする。

空中プラットフォーム３で放出／検出ブロックを位置決めすることで、大きな角変位範囲にて複数の軌道に沿ってシーンを観察できるようになる。このような航空機を用いる実施形態では、航空機（無人飛行機またはヘリコプターなど）の複数の経路が異なる方位角観察面に従って実行される。観測角を増やせば追加の情報が得られ、最終的な再構成の解像度が細かくなる。

ジオロケーション手段は、空間内の基準点に対する各２Ｄ画像のレジストレーションを可能にするものでなければならない（理論的には自由度３で、回転自由度が最も制限される）。基準点の精度は高度数キロメートルで１ｍ前後であり、再構成には十分な精度である。これらのジオロケーション手段は、遠隔計測装置であってもよいし、衛星ベースの位置決め装置であってもよい。この遠隔計測または衛星ベースの位置決めデータがあれば、固定点を画像内で特定し、この固定点に対してシーケンス全体をレジストレーションできるため、これらのデータが必須である。遠隔計測と空中プラットフォーム３（または航空機）の慣性ユニットを使用してもよく、これによって回転中心の位置決め精度を高めやすくなる。

レーザー光線および光センサをポインティングする手段を使用して、スナップショットを基準点に集中させる。

実用上、従来の無線通信手段によって画像を段階的に地上の処理ステーションまで送信してもよいし、空中プラットフォームのレベルで直接処理してもよい。

特許請求の範囲に記載した主題は、物体を識別するための画像処理方法にも関する。図３は、本発明による画像処理方法の各ステップを示す。この画像処理方法は、画像を収集する第１のステップ１０１と、画像を補正する第２のステップ１０２と、収集したシーンを３Ｄ再構成する第３のステップ１０３と、物体を含む再構成３Ｄから着目ゾーンを抽出する第４のステップ１０４と、再構成した物体の表面を形成する第５のステップ１０５と、再構成した物体を識別する第６のステップ１０６とを含む。これらのステップはいずれも連続して実施されるが、本発明の主旨を逸脱することなく、この方法の途中に他の予備ステップ、中間ステップまたは追加のステップを加えてもよい。

一層正確には、第１の収集ステップ１０１では、信号対雑音比が可能な範囲で最も大きくなるように、何通りかの観測角で画像のシーケンスを提供し、また、同一の観測角について何通りかの画像を提供する。さらに、ここに提案された技術での利用が可能で最適な表示が得られるように、特に三次元表現で見たい標的とシーンの残りの部分とのコントラストならびにダイナミクスのある画像でなければならない。図４は、電磁パルスを放出する線源４３で識別対象物体４１を照明し、光センサ４２によって何通りかの角度で検出する収集ステップを単純な形で表現できる、研究室での小規模な実験を示す。最適な収集ステップでは、できるだけ完全な形で物体を再構成するために、ある面に含まれる可能なすべての観測角からその物体を見る。それにもかかわらず、収集ステップでの視角数を減らし、三次元で部分再構成をモデリングすることが可能である。このため、２Ｄで見た識別より３Ｄモデルからの識別のほうが改善される。

第２の画像補正ステップ１０２は、互いに独立したいくつかの補正機能を含む。第１の補正機能は、画像内の基準位置に対する画像の位置決めである。軌道が完全に制御されるわけではない航空機などの移動体に光センサを搭載する場合、画像の位置決めまたは画像レジストレーション機能によって、観測角が極めて近い画像シーケンスの信号対雑音指数を改善できるようになる。このように基準位置に対して画像をレジストレーションする機能は、シーケンスの２つの連続画像間の相関係数を求めることで実施される。

近傍にあるが互いに（Δｘ、Δｙ、Δθ）だけずれている２つの画像を示す図５では、相関マトリクスでのレジストレーションプロセスによって画像の飛躍なしにシーケンスを得られるが、遠隔計測または衛星ベースの位置決めに関する知識がない状態で、ある画像から別の画像に回転固定点の位置を補正することも可能である。相関係数ρ（Ｘ，Ｙ）は通常、以下の式で与えられる。
式中、Ｃｏｖ（Ｘ，Ｙ）は、
で規定される共分散関数であり、
Ｖａｒ（Ｘ）は、
で規定される変数である。

画像Ｎｏ．２をδθだけ回転させ、大きなサイズの画像（特にレジストレーション対象となる標的が存在する画像部分を含む）の一部での２つの画像間の相関係数を計算する。この第２の画像を、あらかじめ規定された大きさのウィンドウでδｘ方向とδｙ方向にずらす。これが、ある画像から他の画像に想定される最大シフト量に相当する。角度の変位量を許容最大値まで増やしながら、同じ操作を繰り返す。得られた相関の最大マトリクスが、特定のΔθについて２つの画像間のずれ（Δｘ、Δｙ）を示す値である。この操作をシーケンスの各画像について繰り返す。その後、複数のレジストレーション画像が十分に近い観測角に対応しているのであれば、これらの画像の平均をとって画像のダイナミクスを高めることが可能である。

さらに、そのまま利用できるようにするために、画像捕捉シーケンス全体で光センサと基準位置との間の距離のばらつきに対して第２の補正機能を実行する必要がある。特に、この基準位置から一定距離で画像を捕捉する必要がある。実用上、光センサを航空機に搭載する優先的な実施形態では、軌道はおおむね直線で、曲線まではあるが、円形になることはまれである。したがって、幾何学的な補正機能を用いることで、センサと目的の基準位置との間の距離がばらつく問題を解消できる。この機能を用いると、一定の場での作業だと仮定した場合に、シーケンスの全画像に共通の表面寸法が等しくなり、画素数での寸法も等しくなるので、円形軌道までの距離に応じて（比Γの適用）それぞれの画像の大きさを調整することができる。幾何学的な補正機能の展開には、光センサが標的に最も近いシーケンスの基準画像を判断する第１のステップを含む。この画像は、再構成の空間基準として作用することになる。この基準画像について、標的／キャリア距離を図６にＤ_ｒｅｆとして示す。次に、ジオロケーションデータに基づいて、画像ごとにＤ_Ｎで示す標的／キャリア距離を求める第２のステップがある。シーケンスの各画像Ｎは、幅ｄ_Ｎの格子点で基準画像ｄ_ｒｅｆの幅に応じてオーバーサンプリングされていなければならない。これらの２つの幅には、
という関係が成り立つ。

シーンを照明するための第３の補正機能によって、３Ｄ再構成が改善される。これは、検出器で受信される光束が以下のように変動するためである。
式中、Ｄはレーザーレーダー／標的距離である。図７は補正原理を示す。パワーＰ_ｒｅｆの信号は、最も近い標的／キャリア距離Ｄ_ｒｅｆに対応する距離Ｄ_ｒｅｆで受信される光束を示す。Ｐ_Ｎは、軌道の画像Ｎの場合に、標的／キャリア距離Ｄ_Ｎで受信される光束を示す。照明補正機能は、雑音を減らす第１のステップと、続いて基準画像のレベルを達成すべく画像のダイナミクスを広げるステップとを含む。

ここで用いる第４の補正機能（その原理を図８に示す）は、レーザー光線の空間形状に関連する照明パターンに関するものである。これは、ガウス（単一モードレーザーの理想的な事例）であってもよいし、「トップハット」またはマルチモードであってもよい。補正をしないと、画像は特定の部分が極めて明るく、画像の境界部分で次第にぼんやりとしていく。レーザーの照明パターンでは、この第４の補正機能を用いることで画像の表面に均一の照明を近づけられるようになる。この第４の機能は、複数のステップを含む。第１のステップは、鏡面反射輝度のピークが除去された画像に対する低域通過フィルタの適用であり、第２のステップは、フィルタ画像と初期画像の減算であり、第３のステップは、得られた画像と逆プロファイルとの乗算である。

標的が全体的に背景よりも反射しやすく、背景と区別できる場合はいずれも、画像に対して前処理を追加することなく再構成アルゴリズムを利用すればよい。一方、標的全体がシーンの残りの部分よりも反射しにくいのであれば、画像処理で画像を背景と分けることを想定した第５の補正機能を画像の初期シーケンスに適用することになる。画像１２１は、この事例を示す。すなわち標的画像のダイナミクスは良好であるが、シーンの残りの部分が反射している。よって、この生画像に再構成アルゴリズムを適用すればよい。ただし、コントラストを反転させるとすると再構成した３Ｄ画像の処理が一層困難になる。実際、三次元ネガに出現するのはあまり反射のない部分である。このため、三次元で再構成した画像の読み取りが困難になる。この場合、標的が視覚的に背景と区別できるのであれば、サイノグラムで直接的に作業して着目標的を背景から分離する。この技術では、まずは最初の画素、次は反対方向にある最後の画素から開始して、サイノグラム１２２を線ごとに（すなわち角度ごとに）読み取り、背景からの信号と標的からの信号との間の輝度の境目を利用するものである。こうして、サイノグラム１２３が得られる。この処理を自動化してもよい。標的に関するサイノグラムの外郭を平滑化することで、画像処理をさらに洗練させてもよい。サイノグラム１２４はシーンの背景の残りであり、これはサイノグラム１２５での平滑化後に消失する。この補正は、コントラストが弱かったりコントラストが反転したりする複雑な環境で本発明を使用する上で都合がよい。この問題の解消は、観察されるシーンでカモフラージュされた物体を識別する上で特に有意である。

本発明の主旨を逸脱することなく、画像処理方法の過程で、３Ｄ再構成を容易にするための他の画像処理機能を用いてもよい。

第３のステップ１０３は、シーケンスのすべての画像に共通するシーン全体を再構成するステップに対応し、ラドン変換（フィルタ補正逆投影など）技術によって実施される。これは、すべての投影をフィルタ補正して変数を変更することで、円柱座標の系（ｘ，ｙ，θ）をデカルト系（ｘ，ｙ，ｚ）に切り替えられるようにするものである。シーンに含まれる不透明な物体表面での電磁パルスの反射に関するデータを表す画像で、逆ラドン変換機能を実施する。通常、逆ラドン変換技術は、医療分野などで物体の構造による吸収に関するデータに基づいて実施される。考慮対象となる媒質での電磁波の伝播をシミュレートして、媒質の吸収機能を判断する必要がある。このシミュレーションは、あらゆる場合において数学的に近似される。その精度は、使用する物理モデルに左右されるが、これは単に物理的実体を数学的に近似したものにすぎない。反転されるのは、これらの吸収機能である。反転の精度は、直接的にはシミュレートされた吸収データに左右される。本発明者らが考慮している事例では、直接的な問題のフレームワークで実測値を直接反転させる。ここで考慮する反転問題は、近似モデルを用いてシミュレートした中間値に左右されるものではない。

このアルゴリズムは、完全な画像のシーケンスすなわち、物体周囲の何通りかの観測角θで捕捉される画像のシーケンスを読み取る第１のステップ９１を含む。これは、画像の中心までの間隔の関数として画素に重み付けをする第２のステップ９２を含む。このステップは、再構成時の雑音指数を低減すべく、画像境界にある点のずれを最小限にすることを意図している。その後、このアルゴリズムは、画像を平滑化するための低域通過フィルタタイプの第３のステップ９３を含み、続いて、逆投影によって各断面のボクセルを計算する第４のステップ９４、さらには逆投影を組み合わせてボリュームを再構成する第５のステップ９５を含む。

逆ラドン変換関数は以下のとおりである。
Ｉは、第４のステップ９４に起因する逆投影による各断面におけるボクセルの計算結果であり、Ｐは、第３のステップ９３に起因するフィルタ後の投影画素であり、ｗはステップ９２の重み付け係数である。

図１０は、着目ゾーンの抽出である画像処理方法の第４のステップ１０４を示す。再構成されたシーンは、輝度を表す実数１０１４の３Ｄマトリクスの形を取っている。これを利用するには、立方体の３本の主軸に沿った２Ｄ断面ＸＹ、ＸＺ、ＺＹの表示を使用して、着目領域１０１１、１０１２、１０１３を可視的に分離できるようにする。この操作を実施したら、表現したい情報が選択された着目ボリュームを得る。これらの操作はいずれも手作業でなされるが、シーン内の場所（たとえば求めている物体がシーン内の地面に対して特定の高さになることは周知である）または輝度あるいは、形状の認識に関する基準を加えることでうまく自動化してもよい。

第５のステップ１０５は、ボクセルをグループ化することで物体１１１の表面を構成するステップである。物体１１１は、複数のボクセルで形成されたものである。このステップで展開される機能では、着目領域におけるボクセルを輝度の関数としてグループ化するための基準を利用する。このグループ化によって形が現れるが、この形は単に同密度であることと表現のための光によって物体の表面を再構成するにとどまる。

この方法の第６のステップは、物体のデータベースを用いて、再構成された物体を識別するステップである。再構成された表面は、オペレータによって、「マッチング」、形状認識、「スピン画像」との比較などでＣＡＤデータベースと比較される。この処理を自動化してもよいし、地上局またはＵＡＶコンピュータで実施してもよい。

オプトロニックシステムおよび３Ｄ画像を計算するための方法は通常、あるシーンで部分的に隠れている場合があってオペレータが直接操作できない物体の識別に適用される。本発明は、安全・防衛分野でのカモフラージュされた標的の検出、医療分野での皮膚腫瘍または皮下腫瘍の検出ならびに、マイクロエレクトロニクスの分野に適用される。

１ コンピュータ処理手段
３ 移動体
４ 物体
５ 標的物体
１１，１２ 画像
１３ ３Ｄボリューム
２１，２２ 通信手段
３１ 軌道
４１ 識別対象物体
４２ 光センサ
４３ 電磁パルス放出手段
６１，６２ 観測角
１１１ 物体
１２１ 画像
１２２，１２３，１２４，１２５ サイノグラム
１０１１，１０１２，１０１３ 着目領域
１０１４ 輝度を表す実数の３Ｄマトリクス

Claims (14)

1. 物体に向けて放出可能な電磁パルスを放出するための手段と、前記物体で反射される前記電磁パルスの輝度レベルを検出することができる２Ｄ光センサと、通信手段と、前記２Ｄ光センサが捕捉した２Ｄ画像から三次元の物体を再構成し、当該再構成に基づいて物体を識別可能にするコンピュータ処理手段とを含むオプトロニックシステムであって、
   前記２Ｄ光センサが、前記物体周囲の何通りかの観測角で捕捉される該物体の表面で反射される電磁放射の輝度レベルを表す物体の画像を記録し、
   前記通信手段が、反射モードで行われた逆ラドン変換を使用する前記物体の画像を処理すべく構成された断層撮影機能によって、三次元で物体を再構成できるよう、前記画像を前記コンピュータ処理手段に送信する
   ことを特徴とするオプトロニックシステム。
2. 基準位置をポインティングし、基準位置付近に集中した観測角で捕捉される画像のシーケンスを光センサが記録できるようにする手段をさらに含み、前記コンピュータ処理手段が、基準位置からずれたシーケンスの各画像を基準位置に位置決めできることを特徴とする請求項１に記載のオプトロニックシステム。
3. 光センサと基準位置との間の距離を測定するための手段をさらに含み、
   前記コンピュータ処理手段は、前記測定した距離にしたがって再構成に用いられる同一シーケンスの画像内の物体の寸法が複数の画像間で等しくなるように、画像内の物体の寸法を調整可能である
   ことを特徴とする請求項２に記載のオプトロニックシステム。
4. 前記コンピュータ処理手段が、再構成に用いられる同一シーケンスの画像が等しい照明レベルになるように、前記測定した距離の関数として調整することを特徴とする請求項３に記載のオプトロニックシステム。
5. 前記２Ｄ光センサが物体の周囲を移動できる移動体に搭載されることを特徴とする請求項１から請求項４のいずれか１項に記載のオプトロニックシステム。
6. 前記電磁パルスを放出するための手段と前記２Ｄ光センサとが、前記物体の周囲を移動できる移動体に搭載されることを特徴とする請求項２から請求項４のいずれか１項に記載のオプトロニックシステム。
7. 前記移動体が航空機であることを特徴とする請求項５または請求項６のいずれか１項に記載のオプトロニックシステム。
8. 三次元再構成との比較によって前記物体を識別するための基準物体データベースを含むことを特徴とする請求項１から請求項７のいずれか１項に記載のオプトロニックシステム。
9. 前記コンピュータ処理手段は、前記２Ｄ光センサから離れたコンピューティングステーションに所在し、前記通信手段によって前記２Ｄ光センサと接続されていることを特徴とする請求項６または請求項７のいずれか１項に記載のオプトロニックシステム。
10. 三次元での物体の再構成による物体識別用のコンピュータ処理方法であって、
    何通りかの観測角で捕捉され、物体の表面で反射する電磁放射の輝度レベルを表す物体の２Ｄ画像のシーケンスを収集するステップと、
    二次元画像を用いる断層撮影機能によって三次元で物体を再構成するステップと、
    識別対象となる物体を含む三次元再構成のゾーンを抽出するステップと、
    三次元で物体表面を再構成するステップと、
    基準物体に対して三次元で物体を比較するステップと
    を含むことを特徴とする方法。
11. 前記２Ｄ画像のシーケンスを収集するステップの後に、画像を指示された基準位置に位置決めするステップを含むことを特徴とする請求項１０に記載の方法。
12. 前記２Ｄ画像のシーケンスを収集するステップの後に、
    前記物体の最も近くから収集した２Ｄ画像を基準画像とするステップと、
    各２Ｄ画像で検出された物体の寸法が、前記基準画像における物体の寸法に近くなるように、該各２Ｄ画像を寸法調整するステップと
    を含むことを特徴とする請求項１０に記載の方法。
13. 前記２Ｄ画像のシーケンスを収集するステップの後に、
    前記物体の最も近くから収集した２Ｄ画像を基準画像とするステップと、
    各２Ｄ画像の照明が前記基準画像の照明に類似するように、該各２Ｄ画像の照明を調整するステップと
    を含むことを特徴とする請求項１０に記載の方法。
14. 前記２Ｄ画像のシーケンスを収集するステップの後に、画像の他の情報から物体関連の情報を抽出するよう画像のサイノグラムを処理するステップを含むことを特徴とする請求項１０に記載の方法。