JP5175218B2 - 予測的運動制御のための小脳モデルを有する頭脳ベース・デバイス - Google Patents

Description

本発明は、実世界環境における予測的運動制御のための擬似神経システムを有する頭脳ベース・デバイスの分野に関する。

（優先権の主張）
本出願は、３５Ｕ．Ｓ．Ｃ １１９（ｅ）の下で、Ｊｅｆｆｒｅｙ Ｌ．ＭｃＫｉｎｓｔｒｙ他による「Ａ Ｃｅｒｅｂｅｌｌａｒ Ｍｏｄｅｌ ｆｏｒ Ｐｒｅｄｉｃｔｉｖｅ Ｍｏｔｏｒ Ｃｏｎｔｒｏｌ Ｔｅｓｔｅｄ ｉｎ ａ Ｂｒａｉｎ−Ｂａｓｅｄ Ｄｅｖｉｃｅ」と題する、２００５年１２月２８日出願の、米国特許仮出願第６０／７５４，２２９号（代理人整理番号第ＮＳＲＦ−０１００９ＵＳ０号）に基づく優先権を主張するものであり、その出願は引用により本明細書に組み入れられる。
（著作権表示）
本特許書類の開示の一部は、著作権保護の対象となる題材を含んでいる。著作権者は、本特許書類又は本特許開示が米国特許商標庁の特許ファイル又は記録において公開されたときに、本特許書類又は本特許開示の何人による複製に対しても異議を申し立てないが、それ以外はいかなるものであれ一切の著作権を留保する。

頭脳ベース・デバイス（ＢＢＤ）は、情報を受信するための検知システムと、デバイスが動き回ることを可能にするエフェクタ(effectors)と、検知システムからの入力に応答してエフェクタの動きを制御し、実世界環境における頭脳ベース・デバイスの行動を導く疑似神経システムと、を有するデバイスである。検知システムは、デバイスが動く実世界環境から画像及び他の情報を受信するセンサを含むことができる。擬似神経システムは、頭脳ベース・デバイスへの検知された情報入力を受信及び処理し、そして実世界環境におけるデバイス（ＢＢＤ）の行動を制御するためにエフェクタに命令を出力する、コンピュータ・ベースのシステムとして実施することができる。

擬似神経システムは、コンピュータ・ベースのシステムにおいて実施されが、典型的には一組の規則通りの実行可能命令に従う又は計算を実行するプログラムされたコンピュータではなく、人間の脳を模倣する。すなわち、脳はコンピュータではなく、その構築物において、計算原理ではなく神経生物学に従う。脳は、特別な特徴又は組織、及び一組の規則通りの命令に従う又はプログラムされたコンピュータのように計算するという観念と整合するとは考えられない機能を有する。脳が受信する信号とコンピュータが受信する信号との比較は、脳に特有の多くの特徴を示す。例えば、実世界は、プログラムされたコンピュータに与えられる明確な一連の信号をストアするデータ記憶媒体と同じようには脳に与えられない。それにもかかわらず、脳は、人間（及び動物）が彼らの環境を検知して実世界環境において動くことを可能にする。

脳の小脳は、正確な適応制御及び運動学習のために不可欠であることが知られている。運動制御に関する神経生理学的、行動的、及び画像形成データの多くと整合する小脳の１つの理論は、小脳が反射神経を予測的コントローラに置き換えるように学習することを提案している。これは、適正な運動制御信号を生成し、適応性の低い反射的応答を回避する。まばたき調整、前庭眼反射、円滑追跡眼球運動、脊髄侵害屈筋反射、握力調節、腕運動、及び衝動性眼球運動を含む多くの適応小脳機能は、この種の運動制御が可能である。現在、この予測機能に関与する機構に関する議論には、遅延線、スペクトル・タイミング、発振器、又は顆粒細胞における動的反復活動についての提案が含まれる。

１つの現在の理論は、基本フィードバック・コントローラ（又は反射）からのフィードバック運動指令が、脳の下オリーブから登上線維を介して小脳に伝えられるエラー信号として用いられることを提案している。さらに、そうした運動学習に関する機構として小脳におけるシナプス適格性追跡もまた提案されている。さらに別の理論は、運動の開始によって引き起こされ、１５０−２００ｍｓでピークに達し、１−２秒の持続時間を有する適格性追跡を提案している。

本発明は異なる機構に基づいている。本発明においては、プルキンエ細胞（ＰＣ）上又は小脳の深小脳核（ＤＣＮ）における細胞上へのシナプスが、閾値を超えるシナプス前の活性の開始から一定の遅延後にのみ可塑性に関して適格になる学習ルールが組み入れられる。これらのシナプス強度の変化は、小脳の下オリーブ（ＩＯ）からの登上線維が運動エラーの信号を送るときに適格シナプスにおいてのみ起る。この遅延適格性追跡学習ルールは、差し迫った運動エラーを予期して回避するように機能する小脳応答を形成する。

従って、本発明は、小脳の擬似神経システムによって導かれる物理的なモバイル頭脳ベース・デバイス（ＢＢＤ）であって、ＢＢＤの実世界環境との相互作用を測定する脊椎神経解剖学及び神経生理学の特徴を組み入れたデバイスである。

ＢＢＤの擬似神経システムは、ＢＢＤが実世界環境において動くことを可能にする予測的運動制御を提供する。擬似神経システムは、脳の小脳領域に類似した擬似神経領域を有し、前小脳核（ＰＮ）、プルキンエ細胞（ＰＣ−Ｔｕｒｎ及びＰＣ−Ｖｅｌｏ）、深小脳核（ＤＣＮ−Ｔｕｒｎ及びＤＣＮ−Ｖｅｌｏ）、及び下オリーブ（ＩＯ−Ｔｕｒｎ及びＩＯ−Ｖｅｌｏ）を含み、ここで「Ｔｕｒｎ」は回転を意味し、「Ｖｅｌｏ」はＢＢＤの速度を意味する。頭脳ベース・デバイスＢＢＤはまた、脳の擬似皮質領域（ＭＴ）上に投射される視覚的入力を供給するカメラと、下オリーブ（ＩＯ）内の神経単位を駆動する赤外（ＩＲ）近接検出器とを有し、この神経単位が次に回転（モータ−Ｔｕｒｎ）及びブレーキ（Ｍｏｔｏｒ−Ｖｅｌｏ）のための擬似運動神経を駆動する。

物理的モバイル頭脳ベース・デバイスＢＢＤは、実世界環境において運動し相互作用する際に、トレーニング段階及びテスト段階を経験する。トレーニング又は学習段階の間、ＢＢＤは所与の経路又はコースに沿って運動し、ＢＢＤがそのコース内の障害物に近づくとき、赤外（ＩＲ）近接検出器によって運動エラーの信号が疑似神経システムに送られ、これがＢＢＤを障害物から反射的に方向転換させ障害物の存在下で減速させる。ブレーキ及び障害物から離れる動きを開始する運動エラー信号はまた、擬似皮質領域（ＭＴ）と小脳神経単位（ＰＮ）（ＰＣ）（ＩＯ）の間のシナプス効率の変化を引き起こす。学習段階後及びテスト段階中、頭脳ベース・デバイスＢＢＤを所与のコースの中央を滑らかに下るように駆動させるには、視覚運動キューのみで十分である。テスト段階の間、潜在的エラーを予測する皮質領域（ＭＴ）の入力は、エラー信号が生成され得るよりも充分前に、頭脳ベース・デバイスＢＢＤが障害物から遠ざかる運動を生じる。

その結果、本発明の遅延適格性追跡ルールは、実世界条件下での運動制御作業における小脳の予測機能を説明する。小脳は、任意の反射神経制御システムを、より適応性の高い予測コントローラ又は「プリフレックス（ｐｒｅｆｌｅｘ）」で置き換えるように学習することができる。

図１Ａは、その環境を探査してそれを体験しながら適応行動を起すことができる物理的に例示されたモバイル・デバイスを含む、本発明の頭脳ベース・デバイス（ＢＢＤ）１０の絵画図である。頭脳ベース・デバイスＢＢＤ１０は、その実世界環境においてＢＢＤ１０を導くための擬似神経システム１２（図２参照）を含む。一実施形態において、擬似神経システム１２は、以下でより十分に説明される内蔵ベオウルフ・コンピュータのクラスタとして具体化される。

ＢＢＤ１０は、図１Ｂに示されるように、実世界環境において急湾曲コース、中間湾曲コース、及び緩湾曲コースを含む幾つかのタイプの経路又はコース上を移動できる。これらの３つのコースは、図１Ａに示されたオレンジ・コーンを用いて設定される。さらに説明されるように、ＢＢＤ１０は、これらの３つのコース上を、それぞれ、トレーニング段階又は相の間、及びテスト段階又は相の間に移動することになる。

図１Ａに示されるように、頭脳ベース・デバイス１０は、一実施形態において、ニュー・ハンプシャー州ベッドフォード所在のＳｅｇｗａｙ社によって製造されたＳｅｇｗａｙ Ｈｕｍａｎ Ｔｒａｎｓｐｏｒｔｅｒの市販のロボット・バージョンである、一般的に１４で示されるセグウェイ・ロボット移動プラットフォーム又はＲＭＰ上に構築される。ＢＢＤ１０は、一般的に１６で示され、ＢＢＤ１０の下位周りに取り付けられた、カラー・カメラ、レーザ距離計、及び短距離ＩＲ検出器列から感覚入力を受信して、図１Ｂのそれぞれのコースを通る際に近くの物体を検出する。ＢＢＤ１０のベース上のアルミニウム・シャーシ１８は、カリフォルニア州サンタクララ所在のインテル社によって製造された６つのコンパクトなＰｅｎｔｉｕｍ ＩＶ ＰＣのベオウルフ・クラスタと、ＢＢＤにおよそ４５分間にわたって電力供給するのに十分な容量のバッテリとを含む。

図２は、種々の神経領域とシナプス結合の配列とを含む擬似神経システム１２の高レベルの図である。各々の領域及び結合パターンに関する特定のパラメータは、表Ｓ１及び表Ｓ２に関連して以下で説明される。

擬似神経システム１２は、小脳２０のものであり、神経経路（ＭＴ→ＰＮ）で示される視覚皮質領域（ＭＴ）２４からの入力を受信する前小脳核（ＰＮ）２２を有する。前小脳核（ＰＮ）２２は、神経経路（ＰＮ→ＰＣ、ＰＮ→ＤＣＮ）で示される小脳領域２６への出力を生じ、この領域は、深小脳核（ＤＣＮ）３２がＢＢＤ１０を回転及び速度制御する（ＰＣ→ＤＣＮ）のを妨げるプルキンエ細胞（ＰＣ）３０及び小脳皮質２８と小脳への登上線維入力（ＩＯ→ＰＣ、ＩＯ→ＤＣＮ）を模倣する下オリーブ（ＩＯ）３４を含む。

より具体的には、図２は、ＢＢＤ１０の擬似局部的及び機能的神経構造１２の概略を示す。図２に示された灰色の楕円は異なる神経領域を示し、黒色の楕円は感覚入力領域を示し、白色の楕円は運動野を示す。図２に示された矢印は、１つの領域から別の領域へのシナプス投射を示す。開放矢じりで終わる黒色矢印は、興奮性結合を示し、円形の終点で終わる黒色矢印は抑制性結合を示し、点線の黒矢じりで終わる灰色矢印は可塑性結合を示す。図１ＡのＢＢＤ１０上に一般的に１６で示されたカメラからの視覚入力は、皮質領域（ＭＴ）２４に投射される。システム１２は、前小脳核（ＰＮ）２２、プルキンエ細胞ＰＣ３０（ＰＣ−Ｔｕｒｎ及びＰＣ−Ｖｅｌｏ）、深小脳核ＤＣＮ３２（ＤＣＮ−Ｔｕｒｎ及びＤＣＮ−Ｖｅｌｏ）、及び下オリーブＩＯ３４（ＩＯ−Ｔｕｒｎ及びＩＯ−Ｖｅｌｏ）からの入力を含み、ここで「Ｔｕｒｎ」はＢＢＤの回転を表し、「Ｖｅｌｏ」はＢＢＤの速度を表す。下オリーブＩＯ３４内の神経単位は、一般的に１６（図１Ａ）で示されるＩＲ近接検出器によって駆動され、それが次に回転３６（モータ−Ｔｕｒｎ）及びブレーキ３８（Ｍｏｔｏｒ−Ｖｅｌｏ）に関する運動神経を駆動する。これらの運動神経はまた、さらに後述するように深小脳核３２（ＤＣＮ）によって駆動される。各々の領域は、興奮性又は抑制性のいずれかとすることができる神経単位を含み、その各々は、神経の局所分布を表し［Ｅｄｅｌｍａｎ、Ｇ．Ｍ．（１９８７）Ｎｅｕｒａｌ Ｄａｒｗｉｎｉｓｍ、Ｔｈｅ Ｔｈｅｏｒｙ ｏｆ Ｎｅｕｒｏｎａｌ Ｇｒｏｕｐ Ｓｅｌｅｃｔｉｏｎ（Ｂａｓｉｃ Ｂｏｏｋｓ，Ｉｎｃ．、Ｎｅｗ Ｙｏｒｋ）参照］、各々の単位の平均発火頻度変数は、およそ４０ミリ秒の時間の間の約１００の現実の神経群の平均活性に対応する。さらなる神経モデルの実施の詳細を以下に説明する。

ＢＢＤ１０は３つの基本的な生得的行動、即ち、前進を続行する、壁又は人のような大きな障害物を回避する、及び図１Ａに示されたコーンとの正面衝突を回避する行動を有する。「続行」行動において、ＢＢＤ１０は、「正面」行動、「回避」行動、又は神経疑似活動１２がＢＢＤ１０を減速させ及び／又は回転させない限り、最大で例えば１．２５メートル毎秒又は約３マイル毎時で前方に直線的に移動する。疑似神経システム１２が介入するとき、運動神経領域は以下でさらに説明されるように車輪コマンドに変換される。運動神経領域は、一般的に１６で示されたＩＲ検出器からの入力又は視覚運動経路によって活性化することができる。「続行」はシミュレーションのためのデフォルト行動である。

ＢＢＤ１０に搭載された一般的に１６で示されるレーザ距離測定器は、図１Ａ、図１Ｂに示されたコースを定めるコーンの高さを上回る高さ２．５フィートの１８０度円弧内における２０メートルまでの障害物を検出することができる。例えばＢＢＤ１０の１メートル以内に物体が検出された場合には、「回避」行動が開始され、レーザ距離測定器１６が１メートルよりも近くに障害物を検出しなくなるまで、ＢＢＤ１０がその場で回転する。「回避」行動が完了した後、ＢＢＤ１０は「続行」行動を開始する。一般に、ＢＢＤ１０が図１Ａに示されたコーンによって定められた所与のコースの一周を完了したとき、典型的には壁に近づくことになり、「回避」がＢＢＤ１０をほぼ１８０度方向転換させ、そこで所与のコースに沿って反対方向に進む。

ＩＲ近接検出器１６が、ＢＢＤ１０の正面６インチ以内にコーン存在の信号を送った場合、「正面」行動が開始され、ＢＢＤ１０はコーンの妨げがなくなるまで後退する。コーンの妨げがなくなった後で、「続行」行動が開始され、ＩＲ検出器１６又は視覚運動システム１６が典型的に神経運動応答を引き起こして、コーンから遠ざかって図１Ａ及び図１Ｂに示された所与のコースを進むことになる。

シナプス可塑性及び遅延適格性追跡学習ルール
シナプス強度は、シナプス前、シナプス後、及び下オリーブ（ＩＯ）活性に依存するシナプス・ルールによる修正を受ける。神経単位活性の変化の詳細及びパラメータの詳細は後述されるが、次式はこれらの詳細に基づくものである。

シナプス変化は、

によって与えられ、ここでｃ_i,jは単位ｊから単位ｉまでの結合強度であり、ｓ_i（ｔ）はシナプス後単位の活性であり、ＩＯ_i（ｔ）は単位ｉに対応する下オリーブ単位の活性であり、ηは一定の学習率であり、ｔｒａｃｅ_eligibility（ｔ）はシナプスｊの適格性追跡である。後述する適格性追跡は、所与の時間にわたる特定のシナプスにおける効力の変化量を決定する。この学習ルールは、ＰＣ及びＤＣＮシナプスにおける増強と低下の両方をサポートする。ηが負（例えばＰＮ→ＰＣシナプスにおいて）のとき、学習ルールは、下オリーブ（ＩＯ）が基準の発火頻度を上回って活性であるときに低下を誘発し、下オリーブ（ＩＯ）が基準を下回るときに増強を誘発する。この学習ルールは、下オリーブ（ＩＯ）からのエラーが存在しないときに学習した応答の消去をサポートする。

本発明のモデルにおいて、シナプス効力の変化は、上に示され、より十分に後述される遅延適格性追跡ルールに基づくものであり、そのルールによって、適格性追跡（ｔｒａｃｅ_eligibility）はシナプスが適格であるときのシナプスの変化量を決定するものであり、

ここで、ｓ（ｔ）はシナプスへのシナプス前入力であり、σ＝０．１５であり、Δは前のシミュレーション・サイクルからの時間のずれである。シナプス前入力が閾値を超えたとき、シナプスは設定遅延後に変更に対して適格となり、その時点で、適格性は指数的に低下する。後述するＢＢＤ１０の学習段階における遅延は、異なる遅延時間の影響を調べるために変化させる。調べた遅延時間は、０、２、４及び８秒である。

視覚及び動作処理
すでに示されたように、視覚情報は、３０フレーム毎秒で画像を捉える一般的に１６で示すカメラによってＢＢＤ１０に供給される。視覚前処理の詳細な説明は後述される。本発明のトレーニング／テストの実施例では、赤−オレンジ色の存在に応答する疑似神経システム１２の神経単位が、視覚入力をシステム１２に供給する（図２の視覚入力）。

視覚ストリーク又はぼかしが動作情報を与える。ＢＢＤ１０内の視覚映像のストリーク及びぼかしは、神経持続性と、視覚神経領域間の相互接続との組合せによって実現される。水平及び垂直方向のエッジ並びに方向選択応答が、ぼかし視覚映像から導出される。

疑似皮質領域ＭＴ内の神経単位の活性化は、配向選択性神経単位と方向選択性神経単位の同時活性化の結果である。例えば、所与の受容野における図２に示された神経単位ＭＴ−Ｄｏｗｎは、表Ｓ２に関連してより十分に後述されるように、垂直配向神経単位と下方移動選択単位が同じ受容野において共同活性であるときに活性となる。

運動出力
ＢＢＤ１０の動作は、速度（メートル／秒）及び回転速度（度／秒）コマンドによって制御される。所与の回転速度において、回転半径は速度の関数となる、即ち、速度がゼロでの回転速度はその場でのＢＢＤ１０の回転を生じ、高速度における同じ回転速度は広範囲の回転を生じる。ＢＢＤ１０の回転速度は、Ｍｏｔｏｒ−Ｔｕｒｎ３６の活性に基づいて設定することができる（図２参照）（例えばＢＢＤ１０の左側の活性は右への回転を生じる）。Ｍｏｔｏｒ−Ｔｕｒｎ３６の活性は、下オリーブを介する（図２のＩＯ−Ｔｕｒｎ→Ｍｏｔｏｒ−Ｔｕｒｎ）ＩＲ入力（ＩＲ−Ｔｕｒｎ）によって、及び、小脳を介する（図２のＤＣＮ−Ｔｕｒｎ→Ｍｏｔｏｒ−Ｔｕｒｎ）視覚入力（Ｖｉｓｕａｌ Ｉｎｐｕｔ）によって影響される。ＢＢＤ１０の速度は、Ｍｏｔｏｒ−Ｖｅｌｏ領域３８の活性に基づいて制御される。運動活性がないとき、速度は最大値１．２５メートル／秒に設定される。次に、Ｍｏｔｏｒ−Ｖｅｌｏ領域は、障害物の信号を送る一般的に１６で示されるＩＲ検出器の数に基づいてＢＢＤ１０を減速させる、即ち、より多くのＩＲ検出器１６が活性化されると、速度はより遅くなる。Ｍｏｔｏｒ−Ｖｅｌｏ３８の活性は、下オリーブを介するＩＲ−Ｖｅｌｏ入力（図２のＩＯ−Ｖｅｌｏ→Ｍｏｔｏｒ−Ｖｅｌｏ）によって、及び、小脳を介する（図２のＤＣＮ−Ｖｅｌｏ→Ｍｏｔｏｒ−Ｖｅｌｏ）視覚入力（Ｖｉｓｕａｌ Ｉｎｐｕｔ）によって影響される。

計算
疑似神経システム１２の神経シミュレーションは、ベオウルフ・クラスタ上で実行されるが、これは前述のようにＢＢＤ１０に搭載され、Ｌｉｎｕｘオペレーティング・システムを実行する６つの２．４ＧＨｚ Ｐｅｎｔｉｕｍ ＩＶコンピュータを含む。疑似神経システム１２の各々のシミュレーションの間、感覚入力が処理され、すべての神経単位の状態が計算され、すべての可塑性結合の結合強度が決定され、運動出力が生成される。各々のシミュレーション・サイクルの実行は、およそ４０ミリ秒の実時間を必要とするが、これは、この特定の実施形態のクラスタの計算能力によって制限される。より短いサイクル時間が好ましいが、４０ミリ秒のサイクル時間は、一般的に１６で示されるカメラの３０Ｈｚフレーム速度に十分に近い。各々のシミュレーション・サイクルの間、疑似神経システム１２のすべての神経活性とＢＢＤの状態は、ＢＢＤ１０上のディスク・ドライブ（図示せず）のハードディスク上に保存することができる。本発明を実施するのに用いることができるベオウルフ・クラスタのようなマルチプロセッサ・コンピュータ・アーキテクチャを有する頭脳ベース・デバイスに関するさらなる詳細については、本発明の譲受人に譲渡され共通の発明者を含み、引用によりここに組み入れられる、２００５年１１月２４日に公開された、米国特許公開第２００５／０２６１８０３Ａ１号を参照することができる。

表Ｓ１
この表Ｓ１は、図２の疑似神経システム１２内の神経単位の特性を定義するパラメータの値を示す。領域Ｒｅｄ、Ｖｅｒ、Ｈｏｒ、ＤｉｒＵｐ、ＤｉｒＤｏｗｎ、ＤｉｒＬｅｆｔ、及びＤｉｒＲｉｇｈｔは入力領域であり、それらの活性は図１Ａの一般的に１６で示されるカメラからの映像に基づく。ＩＯ−Ｔｕｒｎ及びＩＯ−Ｖｅｌｏは入力領域であり、それらの活動は、一般的に１６で示されるＩＲ近接検出器に基づく。表Ｓ１は、各々の領域又はサブ領域内の神経単位の数（サイズ）を示す。各々の領域内の神経単位は、特定の発火閾値（σ−発火）、それよりも上では電圧依存結合が効果をもち得る閾値（σ−ｖｄｅｐ）、及び持続性パラメータ（ω）を有する。

表Ｓ２
この表Ｓ２は、疑似神経システム１２における解剖学的投射及び結合タイプの特性を示す。シナプス前神経単位は、所与の確率（ｐ）及び所与の投射形状（Ａｒｂｏｒ）でシナプス後神経単位に結合する。この樹枝状分岐形状は、高さと幅をもつ長方形の「ブロック［ｈ，ｗ］」、シナプス前及びシナプス後神経単位の任意の対が結合する所与の確率を有する非局所的「ｎｏｎｔｏｐｏ」、又は、シナプス前受容野からシナプス後受容野への1対１投射が存在する「一致」とすることができ、これらの結合は、すべての結合したシナプス前単位が発火閾値を超えて活性である場合にのみ、シナプス後単位に対する影響をもつ。最初の結合強度ｃ_ij（０）は、最小値及び最大値［ｍｉｎ，ｍａｘ］によって与えられる範囲内で一様な分布でランダムに設定される。ｃ_ij（０）の負の値は抑制性結合を示す。結合タイプは、電圧非依存（ＶＩ）又は電圧依存（ＶＤ）とすることができる。学習率ηのゼロでない値は可塑性結合を意味し、ηの正の値はシナプス増強を示し、ηの負の値はシナプス低下を示す。

表Ｓ２ 疑似神経システムにおける解剖学的投射及び結合タイプの特性

神経動力学及びシナプス可塑性
頭脳ベース・デバイス（ＢＢＤ）１０の疑似神経システム１２内の神経単位は、平均発火頻度モデルと、両方ともに神経領域内及び間にあって、電圧非依存性又は電圧依存性のいずれか及び可塑性又は非可塑性のいずれかに設定される神経単位間のシナプス結合とによってシミュレートされる。電圧非依存結合は、シナプス後状態に関係なくシナプス入力を供給する。電圧依存結合は、活性化するのにシナプス後脱分極を必要とし、神経動力学において調節の役割を果たす傾向がある、受容体型（例えばＮＭＤＡ受容体）の寄与を表す。

各々の神経単位の平均発火頻度は、連続的に０（静止）から１（最大発火）までの範囲にわたる。神経単位の状態は、Ｋｒｉｃｈｍａｒ，Ｊ．Ｌ．及びＥｄｅｌｍａｎ，Ｇ．Ｍ．、（２００２）、Ｃｅｒｅｂ Ｃｏｒｔｅｘ、８１８−３０、並びに、Ｓｅｔｈ，Ａ．Ｋ．、ＭｃＫｉｎｓｔｒｙ，Ｊ．Ｌ．、Ｅｄｅｌｍａｎ，Ｇ．Ｍ．及びＫｒｉｃｈｍａｒ，Ｊ．Ｌ．、（２００４）、Ｃｅｒｅｂ Ｃｏｒｔｅｘ、１１８５−９９に記載されるように、その現在状態と電圧非依存及び電圧依存入力からの寄与との関数として更新される。

神経単位ｊから神経単位ｉへの電圧非依存入力は、

(6)
であり、ここでｓ_j（ｔ）は神経単位ｊの活性であり、ｃ_ijは神経単位ｊから神経単位ｉへの結合強度である。神経単位ｉに対する電圧非依存のシナプス後影響、

は、神経単位ｉへのすべての入力を合計することによって計算され、

(7)
ここでＮは、神経単位ｉに投射する異なる解剖学的に定義された結合タイプ（表Ｓ２参照）からとすることができる結合の数である。神経単位ｊから神経単位ｉへの電圧依存入力は、

であり、ここで

は、それより下では電圧依存結合の影響がないシナプス後活性の閾値である（表Ｓ１参照）。

神経単位ｉに対する電圧依存シナプス後の影響、

は、

によって与えられる。

神経単位ｉに対する全てのシナプス後の影響は、

によって与えられる。

新しい活性は、次の活性化関数によって決定され、

ここでωは１つのサイクルから次のサイクルへの神経単位の活性の持続性を決定し、ｇ_iはスケール因子であり、

は、神経単位の比発火閾値である。神経単位に関する比パラメータ値は表Ｓ１に与えられており、シナプス結合は表Ｓ２において指定されている。

遅延適格性追跡学習ルール
シナプス強度は、シナプス前、シナプス後、及び下オリーブ（ＩＯ）活性に依存するシナプス・ルールによる変更を受ける。微細スケールのシナプス結合に関する比パラメータ設定値は、以下の式及び表Ｓ２において与えられる。

ｃ_ijにおけるシナプス変化は、

によって与えられ、ここでｓ_i（ｔ）はシナプス後単位の活性であり、ｔｒａｃｅ_j（ｔ）はシナプスｊの適格性追跡であり、ＩＯ_i（ｔ）は神経単位ｉに対応する下オリーブＩＯ単位の活性であり、ηは一定の学習率である。学習ルールは、平行線維−プルキンエ細胞（ＰＣ）シナプスにおける増強と低下の両方をサポートする。この機構は、下オリーブＩＯが基準の発火頻度を上回って活性であるときに低下を誘発し、下オリーブＩＯが基準の発火頻度を下回るときに増強を誘発する。この学習ルールは、下オリーブＩＯからのエラーが存在しないときに学習した応答の消去をサポートする。

シナプスの可塑性は、前述の本発明の遅延適格性追跡ルールに基づいており、適格性追跡（ｔｒａｃｅ_eligibility）はシナプスが適格であるときのシナプスの変化量を決定するものであり、

ここで、ｓ（ｔ）はシナプスへのシナプス前入力であり、σ＝０．１５であり、Δは前のシミュレーション・サイクルからの時間のずれである。これは、シナプス前入力が閾値を超えたときに、シナプスが設定遅延後の変更に対して適格となり、その時点で、適格性は指数的に低下することを意味する。遅延は、後述するように、異なる遅延時間の影響を調べるために変化させた。調べた遅延時間は、０、２、４及び８秒であった。

遅延適格性追跡学習ルールは、以下のように機能する（４秒の遅延を想定する）。
ＢＢＤ１０の学習段階の前
１．時刻０において、視覚入力（視覚入力及び皮質領域ＭＴ）が、ＰＮ→ＤＣＮ及びＰＮ→ＰＣシナプスを閾値を超えて活性化する。
ａ．これらの閾値を超えたシナプスは、搭載コンピュータ・クラスタの遅延バッファに入れられる。
ｂ．ＤＣＮ活性は、運動応答を引き起こすのに十分には強くない。
２．ＢＢＤ１０が障害物に当たってから４秒後
ａ．４秒間又はそれ以上にわたって遅延バッファに入れられたシナプスが、ここでシナプス変化に対して適格となる。
ｂ．下オリーブＩＯからのエラー信号が発生する。
ｃ．適格ＰＮ→ＤＣＮ及びＰＮ→ＰＣシナプスがＩＯ活性により変化する。
ｄ．ＩＯ→ＤＣＮ結合は、障害物から離れる運動応答を引き起こすのに十分に強い。
学習段階の後及びテスト段階の間
１．時刻０において、視覚入力はＰＮ→ＤＣＮ及びＰＮ→ＰＣシナプスを閾値を超えて活性化する。
ａ．これらの閾値を上回るシナプスは、遅延バッファに入れられる。
ｂ．前のシナプス変化のために、ＤＣＮ活性がここで運動応答を引き起こす。
ｃ．ＢＢＤ１０が、衝突が起こる充分前に障害物から方向転換する。
２．ＢＢＤ１０が何の障害物にも当たらなかった４秒後
ａ．ＩＯからのエラー信号は発生しない。
ｂ．さらなるシナプス変化は起こらない。

感覚入力
視覚及び動作処理
一実施形態において、一般的に１６で示される、３０フレーム毎秒で６４０×４８０ピクセル画像を捉えるＳｏｎｙ ＩＥＥＥ１３９４ＣＣＤカメラによって、視覚情報がＢＢＤ１０に供給される。未加工の感覚ピクセル・データは、輝度とカラー・チャネル（ＹＵＶ色空間）に分離される。輝度情報が、赤、緑、青、黄、ピンク及び紫に対する一組のカラー検出器に送られる。色に基づく物体認識を促進するために、ＵＶ色空間上の各々の色に関するコンピュータ・クラスタのルックアップ・テーブルを用いることによって色が認識される。カラー・テーブル内の値は、その特定の色に属する特定のＵＶ座標の確率とみなすことができる。本発明のトレーニング及びテスト段階においては、赤色検出器のみが用いられ、これは図１Ａ、図１Ｂに示された運動作業コースを定めるコーンの色に調整される。赤色検出器は神経シミュレーションに入れられる（表Ｓ１及び表Ｓ２における赤）。

前述のように、視覚ストリーク又はぼかしは、動作情報を与えることができる。動作ストリークは、神経持続性と、赤及びストリーク神経領域間の相互結合との組合せによって達成される（表Ｓ１及び表Ｓ２参照）。水平及び垂直方向のエッジは、フィルタ、例えば８×８ガボール・フィルタを有するストリーク神経領域を水平及び垂直配向で回旋させることによって決定される。回旋の結果は、神経群Ｈｏｒ及びＶｅｒに直接入力される。上、下、左及び右に対する方向選択応答は、以前及び現在のストリーク神経活性の相互相関によって決定される。相互相関の結果は、図２に示された疑似神経システム１２の神経領域ＤｉｒＵＰ、ＤｉｒＤｏｗｎ、ＤｉｒＬｅｆｔ及びＤｉｒＲｉｇｈｔに直接入力される。

ここでｄ_ij（ｘ，ｙ）は、方向選択神経単位（ｘ，ｙ）の活性であり、ｉは左に対して−１に設定され、右に対して＋１に設定され、ｊは下に対して−１に設定され、上に対して＋１に設定された。Ｓｔｒｅａｋ（ｔ，ｘ，ｙ）は、時刻ｔにおけるストリーク神経単位（ｘ，ｙ）であり、ｓはスピード又はピクセル・オフセットである。

疑似皮質領域ＭＴ２４内の神経単位の活性は、方向選択神経単位と配向選択神経単位との同時活性化の結果である。例えば、所与の受容野におけるＭＴ−Ｄｏｗｎ神経単位（図２参照）は、垂直配向神経単位（即ちＶ−Ｖ）と下方移動選択単位（即ちＤｏｗｎ）が同じ受容野において共活性であるときに活性である（表Ｓ２参照）。こうした組合せは、明確に動作をエンコードする。

運動エラー信号
図７Ａ−図７Ｂは、一般的に１６で示されるＩＲ近接検出器から下オリーブＩＯエラー信号及びＢＢＤ１０の運動システムへのマッピングを示す。一般的に１６で示されるＩＲ近接検出器又はセンサ・アレイは、ＢＢＤ１０の前を横切る１１個のセンサの列として配置される。図７Ａに示されるように、マッピングはＩＲセンサから回転コマンドまでである。ＩＲ信号は、回転エラー（ＩＯ−Ｔｕｒｎ）に関する下オリーブＩＯ信号に直接マッピングされ、これが回転コマンド（Ｍｏｔｏｒ−Ｔｕｒｎ）に関する運動野上にマッピングされる。ＢＢＤ１０の中央に向かうＩＲ信号は、正面衝突に近いという信号を送って、障害物からの急激な方向転換を生じ、一方、ＢＢＤ１０上の側部に向うＩＲ信号は、障害物からのより緩やかな方向転換を生じる。図７Ａに示されていないのは、深小脳核ＤＣＮから運動野への投射（ＤＣＮ→Ｍｏｔｏｒ−Ｔｕｒｎ）である（これらは図２に示されている）。

図７Ｂにおいて、マッピングは、ＩＲ近接検出器又はセンサ１６から速度信号までである。ＢＢＤ１０の速度は、閾値を越えたＩＲ検出器１６の数及び大きさの関数によって制御される、即ち、ＢＢＤ１０は、より多くのＩＲ検出器１６が近くの障害物の信号を送るとき、より遅く動くように命令される。Σは、全てのＩＲ値の和を表す。速度機能は、速度エラー（ＩＯ−Ｖｅｌｏ）に関する下オリーブＩＯにおける活性の設定を生じ、これが速度制御に関する運動野（Ｍｏｔｏｒ−Ｖｅｌｏ）にマッピングされる。図７Ｂに示されていないのは、深小脳核ＤＣＮから運動野への投射（ＤＣＮ→Ｍｏｔｏｒ−Ｖｅｌｏ）である（これらは図２に示されている）。

現在の視覚運動トレーニング及びテスト段階においては、運動エラーの信号は、ＢＢＤ１０が障害物の１フィート以内にあるとき、一般的に１６で示される赤外（ＩＲ）近接検出器によって送られる。ＩＲ検出器１６は０．０から１．０までの規格化信号を与えるが、ここで０．０はＩＲ範囲内に物体がないことを示し、１．０はＩＲ検出器１６の１インチ以内に物体があることを示す。ＩＲ検出器の閾値は０．５に設定されるが、これはおよそ１２インチに対応する。ＩＲ信号は０．５から１．０までほぼ直線的である。

下オリーブＩＯ領域は、運動エラー情報を疑似小脳２６に伝送する。一般的に１６で示されるＩＲ検出器の値は、回転エラー（図７ＡのＩＯ−Ｔｕｒｎ）及び速度エラー（図７ＢのＩＯ−Ｖｅｌｏ参照）に関する下オリーブＩＯ活性に変換されて、ＢＢＤ１０に障害物から方向転換させ、障害物の存在下で減速させる。ＩＯ−Ｔｕｒｎ領域は、対応するＩＲ近接検出器１６の値に基づいて設定される（図７Ａ参照）。ＩＯ−Ｖｅｌｏ領域は、閾値を超えた活性ＩＲ検出器１６の数に基づいて設定され（図７Ｂ参照）、

ここでＩＲ_maxは、全てのＩＲ検出器１６のうちの最大値であり、ｉは１から１１までの範囲の指数であり、ＩＲ_numは、閾値を超えたＩＲ検出器の数である（図７参照）。

モータ出力
ＢＢＤ１０の動作は、速度（メートル／秒）及び回転速度（度／秒）コマンドによって制御される。所与の回転速度において、回転半径は速度の関数である、即ち、速度ゼロにおける回転速度はＢＢＤ１０のその場での回転を生じ、高速度における同じ回転速度は幅広の回転を生じる。

図１Ａに示されるＢＢＤ１０の車輪への運動出力は、神経運動野の活性から導びかれる（表Ｓ１及び表Ｓ２のＭｏｔｏｒ−Ｔｕｒｎ及びＭｏｔｏｒ−Ｖｅｌｏ参照）。ＢＢＤ１０の回転速度は、Ｍｏｔｏｒ−Ｔｕｒｎ活性に基づいて設定される（図７Ａ参照）。Ｍｏｔｏｒ−Ｔｕｒｎ活性の中心軌跡が計算され、ＢＢＤ１０の回転を制御するのに用いられる。デバイスの中心のわずかに左に対応する活性（例えば図７ＡのＭｏｔ_t5）は、最高の右方回転速度（１．３度／秒）を生じ、デバイスの横方向左側に対応する活性（例えば図７ＡのＭｏｔ_t1）は、最低の右方回転速度（０．２６度／秒）を生じる。左方回転は同じ方法で計算される。Ｍｏｔｏ−Ｔｕｒｎ活性は、下オリーブを介するＩＲ入力（表Ｓ２のＩＯ−Ｔｕｒｎ→Ｍｏｔｏｒ−Ｔｕｒｎ参照）によって、及び小脳を介する視覚入力（表Ｓ２のＤＣＮ−Ｔｕｒｎ→Ｍｏｔｏｒ−Ｔｕｒｎ参照）によって影響される。

ＢＢＤ１０の速度は、Ｍｏｔｏｒ−Ｖｅｌｏ領域の活性に基づいて制御される（図７Ｂ参照）。その領域の活性Ｍｏｔｏｒ−Ｖｅｌｏは、ＢＢＤ１０の速度の減速を引き起こす。モータ活性がないとき、速度は最大値１．２５メートル／秒に設定される。Ｍｏｔｏｒ−Ｖｅｌｏ領域は、障害物の信号を送るＩＲ検出器（一般的に１６で示される）の数に基づいてＢＢＤ１０を減速させる、即ち、活性化されたＩＲ検出器が多いほど、速度は遅くなる。Ｍｏｔｏｒ−Ｖｅｌｏ活性は、下オリーブを介するＩＲ入力（表Ｓ２のＩＯ−Ｖｅｌｏ→Ｍｏｔｏｒ−Ｖｅｌｏ参照）によって、及び小脳を介する視覚入力（表Ｓ２のＤＣＮ−Ｖｅｌｏ→Ｍｏｔｏｒ−Ｖｅｌｏ参照）によって影響される。

図８Ａ−図８Ｃ及び図８Ｄ−図８Ｆは、ＢＢＤ１０に関する速度及び回転速度の分布を示す。左の列は、図１Ｂに示された緩、中間及び急回転コースについての速度運動コマンドのヒストグラムを示す。右の列は、図１Ｂに示された緩、中間及び急回転コースについての回転コマンドのヒストグラムを示す。頻度は、所与の速度（左の列）及び回転速度（右の列）におけるシミュレーション・サイクルの数を表す。

図９Ａ及び図９Ｂは、図１Ｂの１つのコースから別のコースへのＢＢＤ１０による順応を示す。プロットは、各々の条件における５つの被験体に関する平均運動エラーを示し、エラー・バーは標準偏差を示す。図９Ａは、緩グループ（ｇｒａｄｕａｌ）からの被験体を、図１Ｂの急コース上でトレーニングされて緩コースに順応した被験体（ｓｈａｒｐ２ｇｒａｄ）と比較して示す。ｓｈａｒｐ２ｇｒａｄグループは、最初の６ラップにおいて緩グループよりも著しく低い運動エラーを有する（ｐ＜０．００５片側ｔ検定）。図９Ｂは、急グループ（ｓｈａｒｐ）からの被験体を、図１Ｂの緩コース上でトレーニングされて急コースに順応した被験体（ｇｒａｄ２ｓｈａｒｐ）と比較して示す。ｇｒａｄ２ｓｈａｒｐグループは、最初の６ラップにおいて急グループよりも著しく低い運動エラーを有する（ｐ＜０．００５片側ｔ検定）。

図１０Ａ及び図１０Ｂは、前小脳核（ＰＮ）からプルキンエ細胞（ＰＣ）及び深小脳核（ＤＣＮ）への荷重を示す。各々のピクセルは、ＰＮの細胞からＰＣ又はＤＣＮの細胞への荷重の値を示す。この実施形態においては、３０×４０のＰＮ神経単位（表Ｓ１参照）、並びにＰＣ−Ｔｕｒｎ及びＤＣＮ−Ｔｕｒｎにおける１１の細胞が存在するので、各々の行に１１のマトリクス、及び各々のＰＣ又はＤＣＮ神経単位に対する１つの３０×４０マッピングが存在する。グレー・レベルは強度を示し、最大は白であり、最小は黒である。全ての荷重は０．５に初期化される（中間グレー）。従って、より暗いピクセルは低下を受けた荷重を示し、より明るいピクセルは増強を受けた荷重を示す。図１０Ａにおいては、ＰＮからＰＣ−Ｔｕｒｎ及びＤＣＮ−Ｔｕｒｎへの荷重が回転制御に関与する。この荷重は、図１Ｂの中間コースにおけるトレーニング後の１つのＢＢＤ１０被験体に関するものである。最小荷重値は０．００であり、最大荷重値は０．７８である。図１０Ｂにおいては、ＰＮからＰＣ−Ｖｅｌｏ及びＤＣＮ−Ｖｅｌｏへの荷重は、速度制御に関与する。この荷重は、図１Ｂの中間コースにおけるトレーニング後の１つのＢＢＤ１０被験体に関するものである。最小荷重値は０．００であり、最大荷重値は０．７０である。

図１１Ａ及び図１１Ｂは、図１Ｂに示された緩コース上のトレーニング前及び後の単一の通行の間の、選択された神経領域からの応答を示す。これらの図面は、疑似小脳がどのように機能するか、及び、神経活性の変化が改善された性能とどのように相関するかを示す。図１１Ａは、代表的な「被験体」についての第１トレーニング通行を示す。活性は、ＢＢＤ１０と図１Ａに示されたコーンとの衝突又は異常接近によって活性化される反射動作中の応答を示す。図１１Ａ（ａ）において、オレンジで示された通路境界に対する緑で示されたＢＢＤ１０の位置が、各々のシミュレーション・サイクルについて示される。図（ｂ）−（ｉ）は、ある時間にわたる種々の神経領域内の各々の神経単位の、グレー・レベルで示された動的活性を示す。白は最大活性を示し、黒は活性がないことを示す。（ｂ）−（ｅ）は、回転を制御する小脳回路の活性を示す。（ｂ）回転に関連する下オリーブ活性は、図１ＡのＢＢＤ１０の前部の種々の方向におけるコーンの並びを示す、一般的に１６で示されるＩＲ検出器によって駆動される。詳細なマッピングは図７Ａに与えられる。（ｃ）回転に関連するプルキンエ細胞（ＰＣ−Ｔｕｒｎ）活性は、ＤＣＮ−Ｔｕｒｎへの局所的抑制性結合により回転に影響を及ぼす。（ｄ）回転に関連する深小脳核（ＤＣＮ−Ｔｕｒｎ）活性は、Ｍｏｔｏｒ−Ｔｕｒｎ領域への局所的興奮性投射を介して回転を制御する。（ｅ）回転に関連する運動野活性（Ｍｏｔｏｒ−Ｔｕｒｎ）。神経単位１−５は、ＢＢＤ１０の左車輪速度を増加させて右へ回転させ、一方、神経単位７−１１は、右車輪速度を増加させて左へ回転させる。詳細なマッピングは図７Ａに与えられる。（ｆ）−（ｉ）は、速度を制御する小脳回路の活性を示す。（ｆ）ＩＲ入力からＩＯ−Ｖｅｌｏ活性化への詳細なマッピングは、図７Ｂに与えられる。（ｇ）速度に関連するプルキンエ細胞（ＰＣ−Ｔｕｒｎ）活性は、ＤＣＮ−Ｖｅｌｏへの局所抑制性結合により速度に影響を及ぼす。（ｈ）速度に関連する深小脳核（ＤＣＮ−Ｖｅｌｏ）活性は、Ｍｏｔｏｒ Ｖｅｌｏ領域への局所刺激性投射を介して速度を制御する。（ｉ）速度コマンド運動野活性（Ｍｏｔｏｒ Ｖｅｌｏ）。ブレーキ信号は、より多くの神経を活性化して強い減速を生じるより強い全ＩＲ活性による集団応答である。

図１１Ｂは、図１１Ａに示された同じコース上でのトレーニングの終了時における、選択された神経領域からの動的神経応答を示す。図１１Ｂ（ａ）−（ｉ）は図１１Ａにおけると同様である。注目すべき幾つかの違いがある。第１に、トレーニング後、ＢＢＤ１０は経路の中央の近くを移動し（図１１Ａ（ａ）と図１１Ｂ（ａ）を比較されたい）、下オリーブ内のエラー関連の活性は少なくなる（図１１Ａ（ｂ）対図１１Ｂ（ｂ）及び図１１Ａ（ｆ）対図１１Ｂ（ｆ））。第２に、図１１Ａ（ｄ）及び図１１Ａ（ｈ）とは異なり、図１１Ｂ（ｄ）及び図１１Ｂ（ｈ）は、エラー関連のＩＯ活性が存在しないときに先行して発生するＤＣＮ領域からの運動出力を示す。最後に、学習後、特定のＰＣ神経単位は、活性ではなく（図１１Ａ（ｃ）対図１１Ｂ（ｃ）及び図１１Ａ（ｇ）対図１１Ｂ（ｇ））、回転（図１１Ａ（ｄ）対図１１Ｂ（ｄ））及びブレーキ（図１１Ａ（ｈ）対図１１Ｂ（ｈ））に関する対応するＤＣＮ神経単位を脱抑制し、結果として経路の中央を進む滑らかな移動を生じる。

結果のまとめ
運動学習は、図１Ａ及び図１Ｂに示されるように、一組のオレンジの交通コーンによって定められた種々の「Ｓ」字湾曲コースに対して評価される。この作業に対するプラットフォームは、入力として、全て一般的に１６で示される、カメラ、レーザ距離計、及び赤外近接検出器を有するように変更されたＳｅｇｗａｙ Ｒｏｂｏｔｉｃ Ｍｏｂｉｌｉｔｙ Ｐｌａｔｆｏｒｍ（ＲＭＰ）である。ＢＢＤ１０の疑似神経システム１２は、表Ｓ１に示されるように、２８の神経領域と、２７，６８８の神経単位と、およそ１６０万のシナプス結合とを含む。内蔵ベオウルフ・コンピュータ・クラスタを用いると、各々のシミュレーション・サイクルにおいてモデル内のすべての神経単位および可塑性結合を更新するのに約４０ｍｓの実時間がかかる。

ＢＢＤ１０の性能は、急回転セット（「急」）、中間回転セット（「中間」）、及び緩回転セット（「緩」）の３つの異なるコース（図１Ｂ）上でテストされる。ＢＢＤ１０は、各々のコースを終点に到達するまで移動し、次に回転してコースを反対方向に移動する。各々の移動を本明細書ではラップと呼ぶ。２０ラップを含んだＢＢＤ１０のトレーニングに続いて４ラップのテストが行われ、テスト中は、ＩＲ駆動反射は不活性にされ、視覚キューのみがＢＢＤ１０に利用可能となる。

下オリーブ（ＩＯ）は、小脳に運動エラー情報を伝送すると考えられる。現在の視覚運動作業においては、運動エラーの信号は、ＢＢＤ１０が障害物の１フィート以内にあるときに赤外（ＩＲ）近接検出器１６によって送られる。ＩＲ検出器の応答は、回転エラー（図２のＩＯ−Ｔｕｒｎ）及び速度エラー（図２のＩＯ−Ｖｅｌｏ）に関する下オリーブＩＯ活性に変換されて、ＢＢＤ１０を障害物から反射的に方向転換させ、障害物の存在下で減速させる。学習後は、湾曲コースの中央を進むＢＢＤ１０の滑らかな移動を推進するのに視覚運動キューのみで十分となる（図２のＭＴ→ＤＣＮ→Ｍｏｔｏｒ）。

学習は、障害物に対するラップ当りの平均ＩＲ応答を反映する運動エラーの大きさによって計量され、ここでＩＲ値は０（即ちＩＲの範囲内に物体が存在しない）から１（即ちＩＲ検出器１６の１インチ以内に物体が存在する）までの範囲にわたる。トレーニング及びテストは５つの異なる「被験体」を用いて繰り返される。各々の被験体は同じ物理的ＢＢＤ１０であるが、各々は独自の疑似神経システムを有する。この被験体間の変動性は、個々の神経単位間の結合の確率分布とそれらの単位間の初期結合強度とにおけるランダムな初期化の結果である（表Ｓ２参照）。しかしながら、異なる被験体の間で、神経領域間の結合性の全体的なパターンは類似したままである。各々のシミュレーション・サイクル、運動エラー、ＢＢＤ１０の回転速度及び速度、並びに、すべての神経単位の状態を分析のために記録することができる。

図１Ａに示されたオレンジ・コーンによって指定された経路をナビゲートする機能に対する追跡遅延（前述の）の影響を、遅延間隔を変化させることによってテストすることができる。０、２、４及び８秒の遅延間隔を、一定速度（最高速度の６０％又は０．７５ｍ／ｓ）で中間コース（図１Ｂ）についてテストする。これらのテスト中、速度を制御する神経経路はないものとした。対照として、ＤＣＮ→Ｍｏｔｏｒ結合が損傷され行動がＩＲ反射のみによって駆動される「無学習」グループを用いた。

遅延適格性追跡学習ルールは、この作業においては２及び４秒の遅延で最も効果的となる（図３Ａ）。およそ５ラップ後に、２及び４秒の遅延を有するルールをもったＢＢＤ１０の被験体は、無様な移動及びコーン衝突から、経路の中央を滑らかに進む移動に移行した。トレーニング後、ＩＯからの結合を損傷させて、疑似神経システムを視覚キューのみによってテストする（図３Ｂ）。図３Ｂに見られるように、運動エラーは、適度な遅延（２又は４秒）により、長い遅延（８秒）、無遅延、又は無学習によるよりも著しく低くなる。

種々の曲がりを有する急、中間及び緩の３つのコースにわたる良好な動作は、適時適切な大きさのブレーキと回転の組合せを必要とする。遅延適格性追跡学習ルールに組み込まれる４秒の遅延は、全ての３つのコース上の良好なナビゲーションのために十分である（図４参照）。被験体は回転の前及び回転中に減速することを学習し、それらは適時に適切な方向に回転することを学習する。ほぼ９０度の曲がりを含む急コース上の被験体は、他のコース上よりもわずかに劣る動作を有する。それにもかかわらず、テスト相においては、学習する小脳をもつ被験体は、学習なしの被験体よりも全ての３つのコース上で著しく良好に動作する（図４Ｂ−図４Ｄ）。

被験体は、それらの行動を各々のコースの細部に順応させる（図８参照）。例えば、被験体は、急コース上よりも緩コース上で速くなる。急コース上の成功は、より低い速度と左又は右へのより頻繁な回転を必要とする。緩コース上の被験体は、典型的には直線路上を最高速度で進み、湾曲路上は減速すると同時にわずかに回転する。１つのコース上の学習は他のコースに一般化される。例えば、急コース上でトレーニングされた被験体は、緩コース上で再トレーニングされ（図９Ａ参照）、緩コース上でトレーニングされた被験体は、急コース上で再トレーニングされた（図９Ｂ参照）。両方の場合において、トレーニングされた被験体は、早期のトレーニング・ラップ（例えばラップ１−６）において未経験の被験体よりも著しく良好な動作を示した（ｐ＜０．００５片側ｔ検定）。しかしながら、緩コースから急コースへの順応は、最高動作に到達するのに付加的なトレーニングを必要とする可能性がある。

ＢＢＤ１０を用いる人工神経モデリング手法は、上で引用した公開特許出願において説明されたのと同様の実世界における行動作業の動作中のすべてのレベルにおいて、疑似神経システム１２のすべてのコンポーネントの状態及び相互作用の同時記録を可能にする。キューがＢＢＤの運動コマンドを誘発することを理解するために、ＢＢＤのトレーニング中及びテスト中における神経単位からの応答及びシナプス荷重変化を分析することができる。運動出力神経単位から視覚動作に関する疑似皮質領域に戻る活性を追跡することは特に興味深い。

疑似神経システム１２は、運動キューに基づいて適切な運動応答を開始する。バックトレース手続きと呼ばれる公知の方法は、特定の時刻における特定の参照神経単位を選択することによって機能経路を特定し、この参照単位において観測された活性を引き起こした全ての神経単位の以前の活性を再帰的に調査する。Ｋｒｉｃｈｍａｒ，Ｊ．Ｌ．、Ｎｉｔｚ，Ｄ．Ａ．、Ｇａｌｌｙ，Ｊ．Ａ．＆Ｅｄｅｌｍａｎ、Ｇ．Ｍ．（２００５）、Ｐｒｏｃ Ｎａｔｌ Ａｃａｄ Ｓｃｉ ＵＳＡ １０２、２１１１−６を参照されたい。

例えば、皮質領域ＭＴ内の動作選択神経単位によって指定される減速、左回転及び右回転を引き起こす運動野（Ｍｏｔｏｒ−Ｔｕｒｎ及びＭｏｔｏｒ−Ｖｅｌｏ）における参照神経単位から始めて、４つの４０ｍｓ時間ステップをさかのぼる。これらのバックトレースは、学習が行われた後、運動エラーが少なくなるラップであるラップ１１−２０において実行された。Ｍｏｔｏｒ−Ｔｕｒｎ又はＭｏｔｏｒ−Ｖｅｌｏにおける運動の参照神経単位から始まって、バックトレースは初めに、参照神経単位に物理的に結合し、以前の時間ステップの間アクティブであった他の神経単位のリストを割り出す。次に、この手続きは、この神経単位の新しいリストにより繰り返すことができる。このプロセスは、運動参照事象につながる皮質ＭＴ神経単位が識別されるまで繰り返される。この方法を用いて、３７７の左方回転及び２８０の右方回転を含むバックトレース・ネットワークが生成される。これらのバックトレースは、知覚から運動動作までのネットワークを通した神経単位の直接因果連鎖を表す（即ち図２のＭＴ→ＰＮ→ＤＣＮ→Ｍｏｔｏｒ）。

図５は、トレーニング後に良好な動作を生じたＭＴ神経単位の複合体を示す。運動動作に関して選択されたＭＴ神経単位は、方向調整及び位置の情報の組合せに応答する。例えば、ＭＴ−Ｒｉｇｈｔの左上受容野における活性は右への回転を引き起こし、ＭＴ−Ｄｏｗｎの左下受容野もまた右への回転を引き起こす。

経験は神経動力学におけるシフトを生じる。最初に、ＩＲ検出器入力が運動神経単位を駆動するＩＯ活性を引き起こす。学習後、視覚入力がＤＣＮ活性を引き起こし、これが次にＩＯからの何らかのエラー信号の前に運動神経単位を駆動する（図１１参照）。これらの変化は、ＰＣシナプスにおける低下がＤＣＮ神経単位の脱抑制を引き起こして運動活性を駆動するＤＣＮ活性を生じる、シナプス効力の変化によってもたらされる。より小さな程度において、ＤＣＮシナプスにおける増強はまた、視覚キューに対するＤＣＮ応答を増加させる（図１０参照）。

本発明の遅延適格性追跡学習ルールに基づく経験依存の可塑性変化によるシナプス荷重の変化もまた調べることができる。ＰＣシナプスにおける低下は、主に速度制御（図１０Ｂ参照）及び回転（図１０Ａ参照）に関与する。図１Ａに示されたコーンの近接さを示す運動キューは、視野の一方の側であろうと他方の側であろうと、ブレーキ行動を引き起こす。さらに、異なるコース（急、中間、緩）に応じたシナプス荷重の変化を比較するとき、結合の数及び強度は、急コース（図８参照）上でのＢＢＤの全体的に低い速度に相関して、急コースの場合には、緩コース（図６）と比較してより大きな程度に変化する。回転の制御に関与する荷重変化（図１０参照）は、図５に示されたＭＴ応答と調和するパターンを示す。提案されたＩＯからの反射エラー信号及び遅延適格性追跡学習ルールと連結した小脳の増強及び低下は全体として、小脳における公知のシナプス学習ルールによる荷重を調節するのに十分である。

本発明の好ましい実施形態の上記の説明は、例証及び説明の目的で与えられている。網羅的であること、又は本発明を開示された通りの形態に限定することは意図されていない。当業者には多くの修正及び変化が明らかとなるであろう。実施形態は、本発明の原理及びその実際の用途を最もよく説明し、それにより当業者が本発明、種々の実施形態、及び企図された特定の使用に適した種々の修正を理解することができるように選択され説明された。本発明の範囲は、添付の特許請求の範囲及びそれらの同等物によって規定されることが意図されている。

オレンジ・コーンによって定められる経路又はコース内で移動可能な物理的モバイル頭脳ベース・デバイスの絵画図である。 図１Ａの頭脳ベース・デバイスが移動する異なるコースのレイアウトを示す。 図１Ａの頭脳ベース・デバイスの擬似神経システムの局部的及び機能的神経構造の概略図である。 図１Ｂの中間湾曲コース上にあるときの、図１Ａの頭脳ベース・デバイスのトレーニング又は学習相のグラフである。 図１Ｂの中間湾曲コース上にあるときの、頭脳ベース・デバイスのテスト相のグラフである。 図１Ｂの、それぞれ緩湾曲、中間湾曲及び急湾曲のコース上にあるときの、図１Ａの頭脳ベース・デバイスの学習相をグラフで示す。 緩湾曲コース上のテスト相における、学習相を経由した頭脳ベース・デバイスと、学習相を経由していない頭脳ベース・デバイスとの比較をグラフで示す。 中間湾曲コース上のテスト相における、学習相を経由した頭脳ベース・デバイスと、学習相を経由していない頭脳ベース・デバイスとの比較をグラフで示す。 急湾曲コース上のテスト相における、学習相を経由した頭脳ベース・デバイスと、学習相を経由していない頭脳ベース・デバイスとの比較をグラフで示す。 図１Ｂの急湾曲コース、中間湾曲コース及び緩湾曲コースのそれぞれについて、図１Ａの頭脳ベース・デバイスによってなされた左回転に対する、図２の神経構造の領域ＭＴにおける神経単位による異なる応答を示す。 図１Ｂの急湾曲コース、中間湾曲コース及び緩湾曲コースのそれぞれについて、図１Ａの頭脳ベース・デバイスによってなされた右回転に対する、図２の神経構造の領域ＭＴにおける神経単位による異なる応答を示す。 緩やかな湾曲コース上での図１Ａの頭脳ベース・デバイスのトレーニング相の後の、図２の神経構造の速度制御（ＰＣ−Ｖｅｌｏ）に関する、前小脳核（ＰＮ）からプルキンエ細胞（ＰＣ）へのシナプス荷重のマトリクスを示す。 中間湾曲コース上での図１Ａの頭脳ベース・デバイスのトレーニング相の後の、図２の神経構造の速度制御（ＰＣ−Ｖｅｌｏ）に関する、前小脳核（ＰＮ）からプルキンエ細胞（ＰＣ）へのシナプス荷重のマトリクスを示す。 急湾曲コース上での図１Ａの頭脳ベース・デバイスのトレーニング相の後の、図２の神経構造の速度制御（ＰＣ−Ｖｅｌｏ）に関する、前小脳核（ＰＮ）からプルキンエ細胞（ＰＣ）へのシナプス荷重のマトリクスを示す。 図２の神経構造内に示された回転コマンド（モータ−Ｔｕｒｎ）に関する運動野上にマッピングされる回転エラー（ＩＯ−Ｔｕｒｎ）に関する下オリーブ（ＩＯ）への、図１Ａの頭脳ベース・デバイスの赤外（ＩＲ）近接検出器からの回転マッピング（ＩＰ−Ｔｕｒｎ）を示す。 図２の神経構造内に示された速度コマンド（Ｍｏｔｏｒ−Ｖｅｌｏ）に関する運動野上にマッピングされる速度（ＩＯ−Ｖｅｌｏ）に関する下オリーブ（ＩＯ）への、図１Ａの頭脳ベース・デバイスの赤外（ＩＲ）近接検出器からの和Σを介する速度マッピング（ＩＲ−Ｖｅｌｏ）を示す。 図１Ｂの緩湾曲コースに対する速度運動コマンドの分布のヒストグラムである。 図１Ｂの中間湾曲コースに対する速度運動コマンドの分布のヒストグラムである。 図１Ｂの急湾曲コースに対する速度運動コマンドの分布のヒストグラムである。 図１Ｂの緩湾曲コースに対する回転コマンドの分布のヒストグラムである。 図１Ｂの中間湾曲コースに対する回転コマンドの分布のヒストグラムである。 図１Ｂの急湾曲コースに対する回転コマンドの分布のヒストグラムである。 頭脳ベース・デバイスの急湾曲コースから緩湾曲コースへの順応を示す。 頭脳ベース・デバイスの緩湾曲コースから急湾曲コースへの順応を示す。 図１Ａの頭脳ベース・デバイスの回転制御に関与する、前小脳核（ＰＮ）からプルキンエ細胞（ＰＣ）及び深小脳核（ＤＣＮ）への荷重を示す。 図１Ａの頭脳ベース・デバイスの速度制御に関与する、前小脳核（ＰＮ）からプルキンエ細胞（ＰＣ）及び深小脳核（ＤＣＮ）への荷重を示す。 （ａ）−（ｉ）は、図１Ａの頭脳ベース・デバイスが図１Ｂの緩湾曲コースを初めに通行する際の、図１Ａに示されたコーンの衝突又は異常接近によって活性化される、選択された神経領域からの応答を示す。 （ａ）−（ｉ）は、トレーニングの終了時に図１１Ａ（ａ）に示されたのと同じコース上での選択された神経領域からの応答を示す。

Claims (12)

1. 頭脳ベース・デバイスであって、
   実世界環境における頭脳ベース・デバイスの移動を可能にする機構と、
   前記機構を制御して前記頭脳ベース・デバイスを前記実世界環境において移動させるため、前記実世界環境と相互作用する疑似神経システムとを備え、
   前記疑似神経システムは、シナプスを有する小脳のモデルを含み、前記シナプスの接続強度は、前記モデルが前記機構の運動制御を予測することが可能となる閾値を超えた特定のシナプスの活性化から所与の時間間隔の後でのみ修正され、さらに、
   実世界学習モードの間、
   ａ）時刻ｔ ₀ において、前記頭脳ベース・デバイスへの視覚入力は、前記小脳モデルの特定のシナプスをある閾値よりも上に活性化させ、前記特定のシナプスは遅延バッファにストアされるが、前記小脳モデルの活性は前記機構を制御する運動応答を引き起こすほどは強くなく、
   ｂ）時刻ｔ ₀ の後の時刻ｔ ₁ までは、前記バッファにストアされた前記特定のシナプスはシナプス変化がされることが回避され、
   ｃ）時刻ｔ ₁ において、前記バッファにストアされた前記特定のシナプスはシナプス変化がされることが許可され、前記頭脳ベース・デバイスの前記移動経路内の障害物に応答してエラー信号が生成されるとき、このエラー信号に応答して前記特定のシナプスのシナプス可塑性変化が起こり、そして、シナプス結合が前記機構の運動制御を引き起こすのに十分に強くなって、前記頭脳ベース・デバイスを前記障害物から離れるように動かすことを生じさせる、ことを特徴とする頭脳ベース・デバイス。
2. 前記頭脳ベース・デバイスは、該デバイスの移動経路内の障害物を予測するために、実世界学習モード及び実世界学習後モードを有する、請求項１に記載の頭脳ベース・デバイス。
3. 前記学習後モードの間、
   ａ）時刻ｔ₀において、前記頭脳ベース・デバイスへの視覚入力が特定のシナプスをある閾値よりも上に活性化させ、前記特定のシナプスは遅延バッファにストアされ、前記小脳の活性が運動制御応答を引き起こし、そして、前記実世界学習モード中に起こるシナプス変化に起因して、前記頭脳ベース・デバイスが衝突しないようにその経路内の障害物を避けるようにし、
   ｂ）時刻ｔ₀の後の一定時間の間、エラー信号は生成されず、かつ、付加的なシナプス変化は起こらない、請求項１又は２に記載の頭脳ベース・デバイス。
4. 前記小脳の前記モデルは、前小脳核（ＰＮ）と、プルキンエ細胞（ＰＣ）を有する小脳皮質と、深小脳核（ＤＣＮ）と、下オリーブ（ＩＯ）とを含み、
   前記前小脳核は前記小脳皮質に出力し、前記プルキンエ細胞（ＰＣ）は前記頭脳ベース・デバイスの回転及び速度制御に関する前記深小脳核を抑制し、前記下オリーブ（ＩＯ）は前記小脳皮質への登上線維入力を模倣する、請求項３に記載の頭脳ベース・デバイス。
5. 前記疑似神経システムは、前記プルキンエ細胞（ＰＣ）への入力を供給する視覚皮質領域（ＭＴ）をさらに含む、請求項４に記載の頭脳ベース・デバイス。
6. 前記機構は、前記視覚皮質領域（ＭＴ）への視覚入力を供給するカメラを含む、請求項５に記載の頭脳ベース・デバイス。
7. 前記機構は、前記下オリーブ（ＩＯ）への回転及び速度入力を供給する検出器を含む、請求項６に記載の頭脳ベース・デバイス。
8. 前記機構は、モータ及び該モータによって駆動される車輪を含み、
   前記モータは、前記深小脳核（ＤＣＮ）から及び前記下オリーブ（ＩＯ）からの入力を受信して前記頭脳ベース・デバイスの回転及び速度を制御する、請求項７に記載の頭脳ベース・デバイス。
9. 前記所与の時間間隔は２−４秒の範囲内の一定の遅延であることを特徴とする、請求項８に記載の頭脳ベース・デバイス。
10. 実世界環境におけるモバイル頭脳ベース・デバイスの移動を制御する方法であって、
    前記モバイル頭脳ベース・デバイスは小脳をモデル化した疑似神経システムを含み、
    前記モバイル頭脳ベース・デバイスの学習段階の間、
    (i)前小脳核（ＰＮ）からプルキンエ細胞（ＰＣ）までの、及び前小脳核（ＰＮ）から深小脳核（ＤＣＮ）までのシナプスをある閾値よりも上に活性化させる視覚入力を供給し、
    (ii)前記閾値を超えたそれらのシナプスをストアし、
    (iii)前記閾値を超えるシナプスの存在から所定時間経過後に、前記モバイル頭脳ベース・デバイスが障害物に当たった場合にエラー信号を生成し、
    (iv)下オリーブ（ＩＯ）からＰＮ→ＰＣ及びＰＮ→ＤＣＮ経路の前記シナプスにエラー信号を供給するステップを含み、
    少なくとも前記所定の時間にわたってストアされたそれらのシナプスは、前記エラー信号によるシナプス変化を受け、
    前記経路ＩＯ→ＤＣＮ内の前記シナプス結合は、前記モバイル頭脳ベース・デバイスを前記障害物から遠ざかるように動かす応答を引き起こすのに十分に強い、ことを特徴とする方法。
11. テスト段階の間、
    (i)前記経路ＰＮ→ＰＣ及びＰＮ→ＤＣＮ内のシナプスをある閾値よりも上に活性化させる視覚入力を供給し、
    (ii)前記閾値を超えたシナプスをストアするステップをさらに含み、この場合、前記学習段階の間の前記シナプス変化の結果として、深小脳核（ＤＣＮ）の活性が前記頭脳ベース・デバイスに前記障害物を避けさせる応答を引き起こし、
    (iii)前記閾値を超えるシナプスの存在から所定時間経過後に前記下オリーブ（ＩＯ）からのエラー信号は生成されず、さらなるシナプス変化は起こらない、ことを特徴とする請求項１０に記載の方法。
12. 前記所定の時間は予め定められて２−４秒の範囲内にあることを特徴とする、請求項１１に記載の方法。

Images