JP4970408B2 - 物体特性のロバストな推定を用いる適応型運転者支援システム - Google Patents

Description

本発明は一般的に運転者支援システム（例えば、自動車の）に関し、更に具体的には、人工認知システム、特に適応型運転者支援システムで、オンライン学習を実施する手法に関する。

人工認知システムは、（例えば、ビデオ）センサ信号を供給されて多くのタスクを遂行し、それらのタスクに関して人のパフォーマンスの１つ又は幾つかの態様を再現できるデータ処理システムとして定義されてよい。

人のパフォーマンスの幾つかの態様は、適応型運転者支援システムの情況で特に関連がある。第１に、前の経験から学習し、学習されたものを使用して、未知であっても質的に類似したタスク又は状況を成功裏に処理する能力である。第２に、人工的シナリオの代わりに現実世界シナリオでタスクを遂行するとき、不完全、矛盾、又は歪曲された入力データに対する強靱性である。第３に、臨界状況に置かれても結果を生成する能力である。この臨界状況は、システムの入力データ（これは、通常、外部世界を観察することから来る）の強い変動に起因して生じるか、１つ又は幾つかの内部処理ステップの損傷パフォーマンスに起因して生じ得る。

いずれの場合にも、運転者支援システムの故障は回避されなければならない。最後に、学習手続きによって部分的又は全体的に指定され、追加の設計努力なしに運転者支援システムに収容される全てのデータをアクセス及び使用できる新しい関数によって、運転者支援システムを増分的に拡張する広範な可能性が特に関連する。

適応型運転者支援システムにおける上記の特徴を実現する有望なアプローチは、ニューラルネットワークを使用することである。離散的及び連続的な場合におけるニューロン分野力学並びにニューロン分野で動作する学習メカニズムの基本概念は、非特許文献１、２および３で公式化されている。

より具体的には、Amariダイナミックス（dynamics、以下、力学という。）のモデル化アプローチは、協力及び競争の概念、並びにア
トラクタ力学を含む。ニューロン協力及び競争の概念は、記憶されたデータに対する類似
性尺度を暗黙に意味する。類似性尺度は、反復的に類似情報を抑圧して非類似情報を強化
するために使用される。これは、記憶された情報が冗長性から大きく解放される最終安定
ネットワーク状態につながる。そのような安定状態は、雑音又は矛盾した入力に対するか
なりの強靱性によって更に特徴づけられる。なぜなら、ネットワーク内の協力及び競争原
理は、そのような場合でシステムを安定性へ押し戻すからである。これは、Amariによっ
て提案されるようなニューラルネットワークはアトラクタ力学を実現し、安定状態は常に
この強靱性特性を有することが示され得るという事実に起因する。

しかしながら、Amariらによって説明された方法は、単一のニューラルシートをモデル化するだけである。更にまた、これらの参考文献は、データが符号化される方途に対処していない。

Amari力学又は類似の力学に基づく表現の利点及び認知特性は、例えば、非特許文献４、５および６で検討されている。しかしながら、これらの刊行物は、概念的論証のみに使用される比較的小さいシステムを説明する。これらの参考文献では、学習問題は対処されておらず、学習メカニズムも対処されていない。

学習メカニズムは、非特許文献７で検討されている。学習メカニズムは、動的表現の動的特性、並びに、どの重みを適応すべきかを同定する最大検出スキームを採用する。しかしながら、上記の学習メカニズムはニューラルマップを採用せず、２つのシート間の重みは始めから全部対全部の接続性を有し、Amari力学の内在ブロブ形成特性を利用する近似スキームは存在しない。これに加えて、Ｋｏｎｅｎらによる論文は主として視覚センサからの非構造化入力に取り組んでいる。

最後に、特許文献１は、様々な座標系の変換を遂行するニューラルシートシステムを開示している。このシステムにおいて、シート内のデータは、集団符号、即ち、共通データ符号化スキーム（ＣＤＥＳ）によって表現され、シートはAmari力学に類似した時間力学を所有し、情報は複数のシート間で伝達される。しかしながら、特許文献２は学習システム（ＬＳ）を検討していない。

ドイツ特許第１９８４４３６４（M. Giese） ドイツ特許第１９８４４３６４

Amari, S. "Dynamics of pattern formation in lateral inhibition type neural fields", Biological Cybernetics 27:77-87 Amari, S. "Mathematical foundations of Neurocomputing", Proceedings of the IEEE 78:1443-1463 Taylor, J.G. "Neural ‘bubble’ dynamics in two dimensions: foundations", Biological Cybernetics 80:393-409 Cisek, P. "Integrated neural processes for defining potential actions and deciding between them: a computational model. Journal of Neuroscience 26:9761-9770 Engels, C. et al. "Dynamic fields endow behavior based robots with representations", Robotics and Autonomous Systems 14:55-77 Erlhagen et al. "Dynamic field theory of movement preparation", Psychological Review 109:545-572 Konen et al. "A fast dynamic link marching algorithm for invariant pattern recognition", Neural Networks 7:1019-1030

それ故に、本発明の目的は、「知的車両」に関連する関数に必要なシーン特性の効率的推定を用いる適応型運転者支援システムを提供することである。

本目的は、独立請求項に従った方法及びデバイスによって達成される。有利な実施形態は従属請求項で規定される。

提案された手法を使用して、運転者支援システムは、「知的車両」で動作している運転者支援システムへ高度に関連する幾つかの相互依存量を推定する能力を徐々に展開する。

所望の量の相互依存性は、提案された発明によって利用され、全ての量を独立に推定するときに達成され得る点を超えて推定値の品質を改善するために使用される。

問題とされる量は、全て、関連シーン物体（例えば、自動車や歩行者など）の検出に関係する。即ち：
（１）正確な場所
（２）アイデンティティ
（３）距離

指定されたセンサから来る入力データは、指定されたアクチュエータを制御するために学習手法を使用して処理され、アクチュエータ制御を案内するために推定量を使用して処理される。

提案される学習手法は、ニューラルマップ（「ニューロン」と呼ばれるコンピューティング要素の２次元シートの集合）間の新規なメモリ空間効率学習スキーム（ＬＳ）から成る。ここでニューラルマップは、Amari力学の拡張に従った時間発展の力学に供される。ニューラルマップへの情報符号化は、データ符号化スキーム（ＣＤＥＳ）に従って遂行される。本発明によれば、学習スキーム（ＬＳ）は、２つ以上のニューラルマップ間の相関活動を捕獲するため具体的に公式化されてよく、幾つかの単純化仮定を正当化するためニューラルマップのAmari力学を利用する。これは、学習スキーム（ＬＳ）によって適応されるべきパラメータ（「重み」と呼ばれる）の数を大きく低減することにつながる。学習に使用されるデータの性質に関する暗黙的仮定は、行われる必要はない。

共通データ符号化スキーム（ＣＤＥＳ）が固守される限り、新しい情報源（ソース）が任意の時点で学習スキーム（ＬＳ）へ提供され得る。これは、学習タスクの複雑性を漸進的に増加することを許す。学習スキーム（ＬＳ）も、注目すべき自己組織化能力を所有する。これは、この学習スキームが、実地検証データを入手できない非監督オンライン学習シナリオに特に適していることを意味する。

Amari力学は、動作中に再パラメータ化されてよい。これは、記憶された情報の融合及びそれら情報間の競争を含むAmari力学の既に十分豊富な情報処理能力に関して、柔軟性及び適応可能性の増加につながる。

本発明に従った方法及びデバイスは、人工認知システムが自立的又は半自立的に「現実世界」のタスクに取り組まなければならない全ての分野、最も具体的には、「知的車両」の中で動作している運転者支援システムで有利に採用されてよい。タスクが、通常、部分的にのみ良好に規定される応用、又はタスクが複雑で、タスクの解決法の設計を困難にする応用において、この手法を使用する認知システムは、新しいパフォーマンス品質を達成することができる。

本発明は、３つのサブシステムを統合する。各サブシステムにおいて、提案される学習手法は特定の目的を達成するために採用され得る。即ち：
（１）異なる空間座標フレーム間のマッピングを学習するサブシステム。
（２）物体アイデンティティ及び物体場所の関連づけを学習するサブシステム。
（３）見かけの物体サイズ、物体アイデンティティ、及び物体距離の関連づけを学習するサブシステム。

これらのサブシステムは、前述した量を、分離された各サブシステムを使用して推定する場合よりもロバストに及び信頼性をもって推定するために組み合わせられてよい。取得されたロバストな推定値は、アクチュエータ制御、特に運転者支援システムで直接役立つ。（ロバストな物体アイデンティティ推定から）歩行者として同定された物体が、（ロバストな深度推定から）安全閾値よりも低い距離で、（ロバストな座標変換及び融合を使用して）視覚／範囲センサによって検出されるとき、簡単な論理がブレーキ操作を起動してよい。

本発明のこれら及び他の態様及び利点は、図面と結びつけて本発明の実施形態の下記の詳細な説明を研究するとき、一層明らかになる。

本発明によって採用される基本的エンティティ、即ち、シート及び重みを備えるニューラルマップを示す。 共通データ符号化スキーム（ＣＤＥＳ）としての集団符号化スキームの使用を図解する。 本発明の実施形態に従った拡張Amari力学の図解である。 提案される発明についてのシミュレーションスキームの基本要素を示す。 本発明の実施形態に従ったシステムの中のデータフローの概観である。 全ての提案されるシナリオについての一般的システムアーキテクチャを示し、入力から出力へのデータフロー、及び本発明の実施形態によって達成される実用的結果を示す。 本発明の実施形態に従って、視覚センサ上の場所における物体アイデンティティの潜在的依存性の学習を図解するダイアグラムである。 例えば、視覚センサ及びレーダセンサから結果する、異なる座標系における物体位置の間の依存性の学習を図解する。 見かけの物体サイズ（視覚センサからの）、物体距離、及び物体アイデンティティの間の依存性の学習を図解する。 同じ量の測定及び予測の融合の図解を示す。

図１は、本発明によって採用される基本エンティティ、即ち、シート及び重みを備えるニューラルマップを示す。

発明的学習方法が動作するシステムに関する仮定は行われない。しかしそれでも、データを交換する処理モジュールの大型システムで発明的学習方法を動作させるとき、この方法の利点が最良に理解される。データは「ニューラルマップ」によってモデル化されてよい。「ニューラルマップ」は、ここでは「ニューロン」と呼ばれる離散的要素から構成された２次元シートの集合である。「入力マップ」又は「ソースマップ」と呼ばれるニューラルマップから、「出力マップ」又は「宛先マップ」へのデータ伝達は、「重み」と呼ばれる調節可能パラメータによって支配されてよい。各々の重みは、ソースニューロンと宛先ニューロンとの間の一意の接続を実現する。各ニューロンは、ソースマップ及び宛先マップの或るシートの中にある。

分散されたサブシステム間で情報を交換できることは、人工認知システム、例えば、適応型運転者支援システムにおける学習の中心である。これは、異なるサブシステム内で誘導された情報から学習することを可能にし、現在使用される人工認知システムの典型的ではない品質である。

本発明の１つの態様によれば、学習スキーム（ＬＳ）によって使用されるデータは、共通データ符号化スキーム（ＣＤＥＳ）に従って符号化されてよい。C++又はPASCALのような現代プログラミング言語で使用される複雑で構造化されたデータ型（「struct」、「record」、「class」）の使用は回避されてよく、その代わりに、浮動小数点数の２次元配列のみが基本型として使用されてよい。これらの配列は前述したニューラル「シート」である。これらの簡単なデータ構造の上で、共通データ符号化スキーム（ＣＤＥＳ）が、異なるソースからの情報を均一な方途で符号化してよい。

図２は、共通データ符号化スキーム（ＣＤＥＳ）としての集団符号化スキームの使用を図解する。本発明の態様によれば、共通データ符号化スキーム（ＣＤＥＳ）は集団符号化戦略を使用して、数の２次元配列を浮動小数点数の２次元配列の集合へ符号化してよい。集団符号化戦略では、数が離散化され、各離散値は２次元配列の集合の中で局所的に活性化することによって表現されてよい。この集合は、前に紹介された「ニューラルマップ」を組成する。単一の数及び数の１次元配列は、１つの項目を有する２次元配列、又は１つの行だけを有する２次元配列として扱われてよい。

集団符号化スキームのステップは、言い換えると、
（Ｉ）単一の数ｘを共通データ符号化スキーム（ＣＤＥＳ）へ変換してよい。数ｘは、数のベクトルによって置き換えられてよい。各ベクトルは、或る値へのｘの類似性を表現する。類似性の尺度として、しばしばガウス関数が使用される。即ち、

（ＩＩ）２次元配列を共通データ符号化システム（ＣＤＥＳ）へ変換してよい。全ての点で、（Ｉ）の方法が適用され、原初の２次元データのマルチシート表現を形成する。

データを表現するこの方途は統合学習を容易にする。統合学習の意味は、認知システムの中で情報を組み合わせることによって情報を獲得することである。これは、通常、異なるサブシステムで使用される異なるデータ構造に起因して、問題となる。更にまた、普遍的共通データ符号化スキーム（ＣＤＥＳ）は、システム全体で同じ学習アルゴリズムを使用することを可能にする（もっとも、可能性として、異なるパラメータ化を用いる）。

本発明の実施形態によれば、ニューラルマップの中に記憶されたデータは、自立的力学へ供されてよい。全てのデータは共通データ符号化スキーム（ＣＤＥＳ）で符号化されるので、共通力学（即ち、時間の経過と共に定義された振る舞い）を使用することが可能である。もっとも、共通力学は、異なるパラメータ化に供される可能性もある。このようにして、時間の発展及び任意の入力へのニューラルマップの反応は、曖昧さを除いて定義されてよい。即ち、ニューラルマップの各要素に関連づけられた数値（「活性化値」）は、全ての時点で力学によって定義されてよい。力学の目的は、記憶されたデータの上で共通演算を遂行し、データが専門アルゴリズムによってどのように準備されるべきかの基準を設定して、前述した関数の少なくとも幾つかを達成することである。共通データ符号化スキーム（ＣＤＥＳ）は、選ばれたデータ力学と自然に相互作用及びサポートするように設計されてよい。

より具体的には、前述した共通力学を現実化するため、Amari（前掲のAmari，S）力学の拡張２次元（前掲のTaylor, J.G.を参照）版が使用されてよい。元来、皮質性脳関数のモデルとして提案されたが、Amari力学は刺激統合／競争又はデータ融合のような基本認知関数を遂行する能力も所有する。Amari力学の提案された拡張は、単一のシートの中の相互作用とは反対に、異なるニューラルシート間の競争／協力相互作用に関係する。

図３は、本発明の実施形態に従った拡張Amari力学の図解である。協力／競争の概念はAmari力学の中心である。競争するニューロンは相互の値を低減しようと試みるが、協力するニューロンは値を向上しようと試みる。ニューロンが競争するか協力するかは、使用された相互作用核関数の値（「相互作用力」）によって判定される。相互作用力は、単一のニューラルシートの中にある２つのニューロン間の距離に依存するか、シート間の距離に依存する。そのような関数の典型的な例は、１つのニューラルシート内の競争が示される左側、並びに異なるニューラルシートの同じ位置にあるニューロン間の競争が視覚化される右側の双方で描かれる。

本発明によれば、Amari力学のパラメータ化は、異なる力学的振る舞いが、異なる認知関数を結果するように変更されてよい。

言い換えれば、公知のAmari力学の発明的拡張は、ニューラルマップの１つのシート内だけでなく、異なるシートの同じ位置にあるニューロン間の競争又は協力相互作用の存在に関係する。標準Amari力学のシート内相互作用と全く同じように、これらの相互作用は、相互作用の力及び型を判定する相互作用核関数の見地から公式化される（もし関数がゼロよりも小さければ競争、もし大きければ協力、ゼロであるとき影響なし）。

図４は、提案される発明のシミュレーションスキームの基本要素を、ダッシュ線ボックスで象徴化して示す。全体の処理は、そのような基本要素から構築されてよい。

入って来る矢印及び出て行く矢印は、データ通信を表示する。処理モジュールの上の数字は、シミュレーションステージを表示し、最も右のモジュールの疑問符は任意のアルゴリズムを表示する。任意のアルゴリズムは省略されてもよく、この場合では、それはアイデンティティ変換として考えることができる。基本要素の原理は、同じステージのモジュールが１つの時間ステップ内で通信することを効果的に防止する。これはシステムを制約するが、並列分散シミュレーションを実行可能にする。これは運転者支援システムで特に役立つ。

本発明の更なる態様によれば、ニューラルマップ（「ソースマップ」及び「標的マップ」と命名される）間の記憶効率データ伝達スキーム（ＤＴＳ）が採用され、データ上で動作するAmari力学の特性を活用してよい。Amari力学は、（或る条件のもとで）或るサイズの活性化区域（「ブロブ」として知られる）を局所的に産出するので、２つのニューラルマップを接続するために要求される重みの数は低減されてよい。Amari力学によって支配されるニューラルマップ内のブロブのサイズは、ブロブの（固定された）パラメータ化によって特徴づけられ、ブロブ解決はガウス関数に類似したプロフィールを有するので、このブロブ内の全情報は単一の重みを経由して伝達されてよい。それ故に、全部対全部接続を仮定するとき、全ての関連情報を伝達しても、はるかに少ない重みが要求され、こうして記憶装置を節約する。これは、全ての関与したニューラルマップをダウンサンプリングし、ダウンサンプリングされた版の上にデータ伝達スキーム（ＤＴＳ）を適用し、結果（即ち、伝達／変換されたデータ）をアップサンプリングすることによって達成されてよい。こうして、データ伝達スキーム（ＤＴＳ）のアップサンプリングされた結果は、標的マップを支配するAmari力学へ入力として呈示されてよい。それによって、双方のマップのダウンサンプリング因子は、双方のマップで発生するブロブのサイズと両立するように選ばれてよい。

本発明の他の態様によれば、物体特性を推定する学習方法は、幾つかのコンピュータ上で並列分散して実現されてよい。これは関連シナリオである。なぜなら、計算量はかなり高いことが予期されるので、単一の計算機だけを使用して現実化することは不可能だからである。システム構造はモジュール式であること、及びモジュールの型は３つだけであることが仮定される。これらの型は：
型Ｉ：ニューラルマップの力学をシミュレートし、よって共通データ符号化スキーム（ＣＤＥＳ）を実現して、Amari力学によって生成された或る動的振る舞いをモデル化するモジュール。
型ＩＩ：データ伝達スキーム（ＤＴＳ）及び学習スキーム（ＬＳ）を実現するモジュール。
型ＩＩＩ：システム内に記憶されるか（共通データ符号化スキーム（ＣＤＥＳ）によって符号化されて）、外部ソース又はセンサから取得されたデータの上で、アルゴリズムプロセスを遂行するモジュール。これは、センサデータをシステムで単に利用できるようにするモジュールを含むものである。

システム内のデータフローは、図４で示されるように、形態

型Ｉ→型ＩＩ→型ＩＩＩ

の１つ又は複数の処理連鎖から構築され得るという意味で、制約されると仮定される。

幾つかの計算機（例えば、標準のローカルエリアネットワーク）に計算負荷を分散できるように、全てのモジュールの実行は、全ての計算機間で適正に同期化されてよい。本発明によれば、離散的時間ステップに基づく同期化解法が使用されてよい。それは３つのステージから成り、各ステージは前述した３つの型のモジュールの１つに対応する。各ステージは、全ての対応するモジュールについて１つの時間ステップを実行する。

全てのステージの時間ステップは、外部の制御信号によってトリガされてよい。１つの処理ステージの中のモジュールは相互へデータを送らないので（仮定によって）、ステージ内の実行順序は任意である。全てのモジュールが現在の時間ステップの処理を終了したことを信号で知らせたとき、いずれのステージの時間ステップも完了する。この場合では、制御信号が生成され、続くステップへ送られてよい。ステージは循環的に配列されてよい（即ち、ステージＩはステージＩＩＩに続く）。物理時間への固定関係を維持するため、全てのモジュール内で各時間ステップを処理するアルゴリズムは、一定時間アルゴリズムでなければならないことが要求されてよい（これは、ＡＤ、学習スキーム（ＬＳ）、及びデータ伝達スキーム（ＤＴＳ）をシミュレートする場合である）。

本発明の更なる実施形態によれば、データ伝達スキーム（ＤＴＳ）は自立的学習スキーム（ＬＳ）によって適応及び拡張されてよい。自立的学習スキームの目的は、この学習スキームのソース及び宛先マップ内で相関づけられた活動を検出することである。

図５は、本発明の実施形態に従った自立的学習方法の必須の詳細部分を要約する。関連づけられたデータフローは、３つのサブシステム（ダッシュ線のボックスによって表示される）、即ち、座標変換、物体融合、及び深度推定から構築されてよい。楕円は本発明の出力量を表示する。

上記で説明された単純化手法を使用することによって、単純な初期状態から、小さいメモリ及びリソース要件を用いて適当なデータ伝達スキーム（ＤＴＳ）を作成及び適応することができる。

データ伝達スキーム（ＤＴＳ）の適応は、データ伝達の前又は後のどちらで起こってもよい。しかしながら、データ伝達の後でそれを遂行することが好ましい。なぜなら、データ伝達は、学習スキーム（ＬＳ）に関連する量を計算するため既に使用されているかも知れないからである。ソースマップ及び宛先マップのダウンサンプリング版の間の全部対全部接続性を再び仮定すると、学習スキーム（ＬＳ）は、対応する補正を各重みについて計算及び適用してよい。重み補正を計算する可能な規則は、後続の重み正規化を有するHebbian学習規則である。即ち、

ここで、重み正規化は、或る規準に従って、例えば、１．０の平方合計を有するように、１つの宛先ニューロンへ接続する全ての重みを尺度変更する。これは、重みが境界外へ成長することを防止するために行われる。

学習スキーム（ＬＳ）は、前述した単純化手法を適用するとき及び適用しないときの双方で使用するのに適している。

呈示された方法を活用する３つの機能性を今から詳説する。後続では、これらの個々の機能性を、はるかに信頼可能で正確な推定値を潜在的に提供できる処理システムへ、どのようにして組み合わせることができるかを示す。

図６は、全ての提案されたシナリオについての一般的システムアーキテクチャを示し、入力から出力へのデータフロー及び本発明の実施形態によって達成される実用的結果を示す（右側上方部分）。標準方法によって可視入力を適当に処理することから結果するセンサ情報、即ち、標準視覚分類器を使用する物体アイデンティティ（例えば、［１９］）、視覚センサ上の物体位置、視覚センサ上の物体サイズ、オーディオ／レーダセンサ上の物体位置、物体距離（立体視からの、又は、レーダセンサからの）が入手可能であることを仮定してよい。

本発明の重要な要素は、前述した全ての手法を使用して到着データを表現し、それらデータ間の相関を検出するモジュールである。この目的のため、到着センサデータは適当な方途で共通データ符号化スキーム（ＣＤＥＳ）へ変換され、提案された学習スキーム（ＬＳ）が到着データに適用されてよい。こうして、学習された相関が読み出され、及び／又は後続の処理モジュールによって利用されてよい。

図７は、本発明の実施形態に従って、視覚センサ上の場所における物体アイデンティティの潜在的依存性の学習を図解するダイアグラムである。単純化するため、共通データ符号化スキーム（ＣＤＥＳ）は２つのニューラルマップによって現実化され、各ニューラルマップは１つのシートを収容してよい。物体アイデンティティ及び位置のような量は、変動する力の局所化された活性化として表現されてよい。物体アイデンティティをニューラルシート内の場所へ割り当てることは任意である。なぜなら、一般的に、想定されたシナリオで識別されるべき物体の種類は全く少ないからである。こうして、学習スキーム（ＬＳ）は、システム動作の正規課程で、もし存在するならば所望の依存性を検出する。

場所に基づく他の機能性は、物体位置と物体アイデンティティとの間の依存性の学習である。再び、２つのニューラルマップの間で学習が遂行される。各ニューラルマップは１つのシートを収容する。１つのマップは、共通データ符号化スキーム（ＣＤＥＳ）へ変換された物体アイデンティティを収容し、他のマップは物体場所を収容する。多くの場合では、或る物体は制限された場所の集合で発生する。これは、物体アイデンティティに関する正しくない判定を却下するために使用され得る事実である。物体アイデンティティは、通常、位置推定よりもずっと誤りやすい。それ故に、補正される必要があるのは、物体場所ではなく物体アイデンティティである。場所は多様な座標フレームで表現されてよい。座標フレームは、可能性として、前のシナリオで概説された方法によって相互へ変換されてよい。通常、技術システム内で一時に１つの物体のみが検出され、したがって物体アイデンティティと物体位置との間に不明瞭な対応の問題は存在しない。それ故に、前述された学習方法は、物体アイデンティティから物体位置へのマッピング、又は逆のマッピングを学習するために適用され得る。再び、このマッピングは１対１である必要はない。学習された関連づけは、Amari力学のデータ融合特性を使用して物体アイデンティティの判定を補正するために使用され得る。全ての機能性の例示的な場合は、図１０で示される。

図８は、異なる座標系における物体位置の間の依存性学習を図解する。これは、例えば、視覚センサ及びレーダセンサから結果する。代替として、シナリオはオーディオセンサにも当てはまる。

異なる座標系で表現される場所の間の依存性は、次のように学習されてよい。最も簡単な場合では、各々が１つのシートを収容する２つのニューラルマップを仮定する。マップ内の各々の活性化ブロブは、共通データ符号化スキーム（ＣＤＥＳ）に従って、異なる座標フレーム内で同じ物体の場所を符号化してよい。座標フレームは、例えば、レーダ（又は、オーディオ）誘導自己中心フレーム及び網膜部位（カメラ誘導）フレームであり得る。提案される学習スキームの適用は２つのマップ間の接続性形成を結果し、この接続性形成は参照フレーム間の変換を遂行する。この変換が１対１でない場合には、常に接続性はこの事実を反映し、曖昧な変換規則によって許される全ての場所へ１つの場所を投影してよい。同じ学習メカニズムを使用し、追加情報、例えば、このシナリオでは深度情報を追加することによって、曖昧さを解決することが可能である。

２つの異なるマップ内の活動ブロブは同じ物体を表現することが、この機能性に欠かせないことに注意すべきである。これは、各座標フレームについて初歩的な「危険対策」を導入することによって善処され得る。危険対策は、レーダセンサの場合では相対的速度であってよく、ビデオセンサの場合ではオプティックフローから計算されたタイム−トゥー−コンタクト（ｔｉｍｅ−ｔｏ−ｃｏｎｔａｃｔ）であってよい。高度に関連及び危険な物体は、２つのマップ内の対応場所で高い値を展示し、したがって正しい変換の学習を可能にする。

更なる機能性は、見かけの物体サイズ、物体アイデンティティ、及び物体距離の間の依存性の学習に関係し、人は見慣れた物体の見かけのサイズを評価することによって物体の距離を判断できるという事実を反映する。

図９は、見かけの物体サイズ（視覚センサからの）、物体距離、及び物体アイデンティティの間の依存性の学習を図解する。この場合で相関を学習及び利用するため、物体アイデンティティ及び見かけの物体サイズのニューラルマップは、提案される学習スキーム（ＬＳ）によって現実化され得る自己組織原理を使用して、単一のニューラルマップへ合併されてよい。こうして、組み合わせられたアイデンティティサイズマップと物体距離マップとの間の学習スキーム（ＬＳ）によって、相関が検出されてよい。

より具体的には、これは２つのニューラルマップ間の相関の検出を要求する。２つのニューラルマップとは、組み合わせられたサイズ物体アイデンティティマップと、例えば、立体視から測定された物体距離マップである。物体距離マップは幾つかのシートを収容し、各シートが或る距離を符号化する。

組み合わせられたサイズ物体アイデンティティマップは、物体アイデンティティ及び物体サイズを符号化するマップから、学習スキーム（ＬＳ）によって形成されてよい。提案される学習スキーム（ＬＳ）を使用して、システムは２つのニューラルマップ間の依存性を学習する。それは、見かけのサイズだけから、物体アイデンティティが確立され得る物体の距離を誘導するためである。この学習シナリオの実用的効果は、既知の物体について、（粗い）距離推定値が、単眼カメラセンサだけに基づいて与えられることである。

本発明の更なる実施形態によれば、前述した機能性を統合システムへ組み合わせることが提案される。関連量の個々の推定値を使用し、ニューラルマップ上で定義された拡張Amari力学を採用する前述の融合メカニズムによって、他の関連量の推定値を改善してよい。これを有効にするため、ＣＤＥＳによって符号化された量を収容するニューラルマップは、ＬＳによって産出されたこの量の予測の合計を受け取る。前に説明された拡張Amari力学の協力及び競争特性によって、可能性として矛盾するこれらの量の組み合わせが達成され、曖昧でない判定が生成される。組み合わせられたシステムの適当なデータフロー構造は、図５で視覚化される。

図１０は、測定（この場合では物体アイデンティティについての分類器判定）と、同じ量の予測との、他の測定された量に基づく融合を示す。任意に、ただ１つの量の多くの予測がこのようにして融合され得る。それは、この量の一層ロバストな推定値を生成するためである。

組み合わせられたシステムの入力はセンサデータであり、出力は物体位置、物体アイデンティティ、及び物体距離の改善されたロバストな推定値である。共通データ符号化スキーム（ＣＤＥＳ）の使用に起因して、個々の機能性を直裁な方法でインタフェースすることが可能である。即ち、よりロバストで正しい推定値を取得するため、同じ論理的思考が個々の推定値の融合に適用される。

物体の位置及びアイデンティティ間の相関の例に基づいて、学習された相関をどのように利用するかが図解される。測定された量（ここでは、視覚センサ上の物体位置）に基づいて、最も確からしい物体アイデンティティが、学習された相関情報から計算されてよい。次に、この情報は、推論された物体アイデンティティを使用することによって融合され、Amari力学の競争プロセス（前のページを参照）に影響を与える（即ち、修正又は「調節」する）。これは、分類プログラムで利用できない知識（即ち、位置情報）「自動車は天空には決して存在しない」に基づく分類判定の補正につながることができる。説明された融合プロセスは、わずかに改造して本明細書で説明された全ての機能性に採用されてよい。

本発明は、更に、自動車又はロボットに搭載可能なシステムを備える。このシステムは、様々なセンサ入力間の依存性を学習及び利用してよい。そこでは、通信は、検出された物体位置（様々な座標フレーム）と物体分類プログラムによって同定されるような物体アイデンティティとの間の依存性、カメラ像から推定されるような見かけの物体サイズ、物体分類プログラムによって計算されるような物体アイデンティティ、及びレーダ又は立体視測定から推定されるような物体距離との間の依存性、及び異なる座標系で表現される場所の間の依存性を伴ってよい。

学習された依存性は、正しい変換を遂行又は予想するために使用されてよい。自動車に搭載されたシステムは、運転者支援システムであってよい。

Claims (3)

1. センサから得られるディジタル画像から物体のアイデンティティ、位置および距離のうち少なくとも一つの特性を推定する、コンピュータによって実現される方法であって、
   共通データ符号化スキーム（CDES）で符号化された活性化数値を有するニューロンを備えるニューラルマップにおいて、センサからの入力データから少なくとも物体のアイデンティティに関するデータおよび該物体のもう一つの特性に関するデータを抽出し、前記物体のアイデンティティに関するデータを第１のニューラルマップに割り当て、前記もう一つの特性に関するデータを第２のニューラルマップに割り当てるステップを含み、
   前記第１のニューラルマップは、数値の２次元配列を浮動小数点の２次元配列の集合に符号化する共通データ符号化法（CDES）で前記物体のアイデンティティに関するデータを符号化して収容し、
   新しいソースの提供を受け学習タスクの複雑性を漸進的に増加させながら、前記第１および第２のニューラルマップの間で、ソースニューロンおよび宛先ニューロンを一意に接続する重みを適応させる非監督の学習を行うステップと、
   前記重みの値に基づいて、前記第１および第２のニューラルマップの間でデータを伝達するステップと、
   前記第１および第２のニューラルマップの間の相関を検出し、該相関に基づいて前記第２のニューラルマップから前記物体のアイデンティティを推測するステップと、
   前記第１のニューラルマップに保存された前記物体のアイデンティティに関するデータおよび前記推測による物体のアイデンティティに基づいて前記物体のアイデンティティを判定するステップと、
   を備える方法。
2. 符号化するステップは、集団符号化スキームによって現実化される、請求項１に記載の方法。
3. 前記ニューロンの活性化数値は、Amariダイナミックス（ＡＤ）の拡張によって与えられるダイナミックスをもち、ニューラルマップ内に収容されたシートの間の競争相互作用を許すと共に複数のニューラルマップから入力を受け取ることができる、請求項１又は２に記載の方法。

Images