JP6662773B2 - 神経行動学的アニメーションのためのシステム - Google Patents

Description

本発明は、アニメーション化が可能な仮想オブジェクトまたはデジタルエンティティをシミュレートするシステムおよび方法に関する。本発明は、生物学に基づくモデルを、あるいは行動学的モデル、特に神経行動学的（ｎｅｕｒｏｂｅｈａｖｉｏｕｒａｌ）モデル、を使用するアニメーションのための方法およびシステムに対する特定の用途を有する。

アニメーション技術およびデジタル技術が進歩するにつれて、人間のユーザとコンピュータまたはデジタルエンティティとの間のインターフェースまたはインタラクションが大幅に発展してきた。情報を知的に処理し、インタラクトし、人間の様に自身を提示することができる、人間様の機械またはコンピュータシステムが望ましい。これは、一部には、人間のユーザは人間様のシステムおよび／またはロボットとより良好にインタラクトするためである。次に、より人間らしいシステムは、より現実的な動作、反応およびアニメーションを有する可能性があり、従って、不気味の谷効果を含めた知覚的な技術障壁を低減させる。

このタイプのアニメーションは、いくつかの重大な技術的問題を提起する。第一に、人間様または動物様の機能がモデル化される必要があり、これ自体が極めて難題である。次に、人間様の機能を取り入れ、それを用いて、ユーザまたは見る人が信じられるような視覚的応答またはグラフィック的応答を生じさせるという難題が存在する。困難な応答の一例が顔の表情である。システムが、ユーザとインタラクトする（すなわち、インタラクティブである）システムである場合、今度は、視覚的入力データおよび／または音声入力データの処理という、さらなる難題が存在する。

これらの難題は、技術的問題を提起する。システムが柔軟であり（必要な用途に応じて変更される必要がある可能性がある）、且つ、プログラマー／開発者によって使用可能であるが（システムは、比較的、直感的なものであるか、少なくともプログラマーが一般的に理解できるものであるべきである）、同時に、システムの効率的なコンパイルおよび実行も可能であるような方法で、人間様モデルがグラフィックス、アニメーションおよびセンサと統合される必要がある。

既存のシステムでは、これらの問題に適切に対処できない。一部の公知のシステムを以下で説明する。

アニメーション型プログラム
制御システムおよびシグナル処理の分野は、Ｓｉｍｕｌｉｎｋ（商標）およびＶｉｓＳｉｍ（商標）などの視覚的プログラミング言語を生み出してきた。これらの視覚的システムの使用は他の分野にまで広がっているが、これは、システムを作成してプログラミングコードを自動生成させるのに有効な方法をこれらのシステムが提供するためである。典型的な例では、入力と出力を所望に応じてリンクさせるために一連のブロックユニット（例えば電気的コンポーネントあるいは電気的コンポーネントのグループを表すブロックユニット）を結合させることによりＳｉｍｕｌｉｎｋシステムを構築できる。このシステムは、次に、ブロック構造およびシステム属性を評価すること、モデルを平坦化構造に再構築すること、およびブロックの稼働を順序付けることによってコンパイルされる。この意味において、モデルの理解可能な表示を作成するためにビジュアルデザインが使用されている。しかし、モデルは、順序付けられた一元的な様式で稼働している。また、同様の視覚型プログラムがコーディングまたは回路の配置をより単純にすることも公知である。

また、アニメーションおよび３Ｄ描画プログラムも公知であり、例えば、Ａｕｔｏｄｅｓｋ Ｍａｙａ（商標）は、複雑な３Ｄグラフィックスを表現するためにノードグラフアーキテクチャ（ｎｏｄｅ ｇｒａｐｈ ａｒｃｈｉｔｅｃｔｕｒｅ）を使用する。Ａｕｔｏｄｅｓｋ Ｍａｙａは、複数の異なるレベルにわたってアニメーションを作成および構築することを可能にする。次に、アニメーションに命令を与えて環境とインタラクトさせることができる。一部のプログラムはジッターを使用して、アニメーションと、Ｍａｘ（商標）視覚的プログラミングを含む機能的態様との間をインターフェースする。これらの場合において、グラフィックスエンジンは、一部の他のプログラムまたは手段（ジッター用の音など）から実質的に分離されているが、これらによって制御される。他の場合においては、アニメーションシミュレーションの複雑性は、限定された可能な動作のセットを使用することにより克服される。例えば、Ｈａｖｏｋ Ａｎｉｍａｔｉｏｎ Ｓｔｕｄｉｏ（商標）（ＨＡＳ）は、有限状態機械（ＦＳＭ）を使用することにより効率的なキャラクターアニメーションを提供する。ｔｈｅ ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｏｕｔｈｅｒｎ Ｃａｌｉｆｏｒｎｉａ’ｓ（ＵＳＣｓ） ｉｎｓｔｉｔｕｔｅ ｆｏｒ ｃｒｅａｔｉｖｅ ｔｅｃｈｎｏｌｏｇｉｅｓ（ＩＣＴｓ）のＶｉｒｔｕａｌ Ｈｕｍａｎ ｔｏｏｌｋｉｔであるＣｅｒｅｂｅｌｌａを用いることで、付随するダイアログに基づいて、アニメーション化された物理的挙動の自動生成が可能である。しかし、Ｃｅｒｅｂｅｌｌａは、適切なアニメーションを作成するためにキャラクターの精神状態についての詳細情報の入力を必要とする。

神経モデルシステム
ＳＮＮＳおよびＥｍｅｒｇｅｎｔなどのプログラムを含む、ニューラルネットワークに基づくモデルは、様々なニューラルネットワーク環境を提供する。種々のプログラムにおいて、モデルは、生物学的タイプのニューロンを提供するか、人工のニューラルネットワークを構築する可能性がある。有効なニューラルネットワークは、単純なモデルをシミュレートするためにさえ、数百または数千のニューロンを含む可能性がある。大規模なニューラルネットワークの使用における複雑性は、人工知能（ＡＩ）に基づく装置を構築する試みにつながった。ＭＩＴ Ｌｅｏｎａｒｄｏによって開発されたものなど、ソーシャルロボットまたはパーソナルロボットは、人間様の特性を備えているように見える。しかし、それらは、厳密で柔軟性のない様式でプログラムされなければならず、通常は、可能な動作の固有的な実装を必要とし、特定のハードウェアに依存するか、あるいは柔軟性がない。

人工知能ロボット
ニューロロボット装置および／または脳に基づく装置は、所望のインタラクションを生じさせるために脳に基づく機能をコピーすることによって人間様のシステムを作成しようとする。これらのモデルは通常、非常に大規模であり、低レベルのニューロンから完全な脳のシステムを再現し、システムと生物様のインターフェースシステムとをリンクさせる。脳に基づく装置は、神経系が生じさせる挙動を模倣するために構築されたロボットである。これらは通常、人間様の動作およびセンサの列を有するようになっているが、人間とのインタラクションを通じてインタラクティブな体験を提供することはない。脳に基づく装置は、特定のロボットまたは用途向けに設計され、通常は、一定範囲の種々の稼働のための広範なサポートを欠く。

要するに、公知のシステムは、以下のうちの１つ以上を適切に実施する能力を有さない：
・種々のレベルのシミュレーションディティールを有する複数のモデルに対応すること。
・高レベルおよび低レベルのシミュレーションを実施すること。
・シミュレーションの一部としてアニメーションおよびグラフィックスを統合および順位付けすること。
・シミュレートされたシステムを共同して含む可能性のある複数のモデルの視覚的出力またはアニメーション化された出力を提供すること。
・モデルのコンポーネントを調整、排除または複製するために必要な柔軟性を有する環境を提供すること。
・モデル製作者または開発者が容易に理解できる環境を提供すること。
・生物学的神経系に基づいたアニメーションシステムを提供すること。
・学習能力を提供すること。

発明の目的
本発明の目的は、上記の問題のうちの１つ以上を克服できるか、少なくとも改善できる可能性のある、あるいは、少なくとも有用な代替手段を提供することになる、仮想オブジェクトをシミュレートするための、コンピュータで実施されるシステムまたは方法を提供することである。

本発明のさらなる目的は、神経行動学的モデルに基づいて、アニメーション化された現実または仮想のオブジェクトまたはデジタルエンティティを提供するための、コンピュータで実施されるシステムまたは方法を提供することである。

本発明のさらなる目的は、神経行動学的モデルに基づいてデジタルエンティティを描写するための、コンピュータで実施されるシステムまたは方法を提供することである。

本発明のさらなる目的は、複雑性、ディティール、鮮やかさ、または刺激に対する反応性が増大したアバターを提供すること、ならびに、インタラクティブであり、且つ、インタラクションの特徴の調整を可能にする、アバターを制御するためのシステムを提供することである。

本発明のさらなる目的は、以下の説明から明らかとなるであろう。

一態様において、本発明は、機械がインタラクティブなアニメーションを提供するように現実世界の入力刺激を機械内の仮想の神経行動学的モデルあるいはモデルのコンポーネントに柔軟に統合するという技術的問題に対処する。

別の態様において、本発明は、異なる尺度の個々の神経モデルまたは神経行動学的モデルを統合するために機械を使用するという技術的問題に対処する。

別の態様において、本発明は、プログラマーが神経行動学的モデル全体における変更、あるいはアニメーションまたはアニメーションのインタラクティブな態様における変更を容易に識別および実施するために機械を使用できるようにモデルのコンポーネント間の関係を変化させるか変更することを可能にするという技術的問題に対処する。

第１の態様において、本発明は概して、仮想オブジェクトまたはデジタルエンティティをアニメーション化するための、コンピュータで実施されるシステムを提供することができ、システムは、計算要素およびグラフィック要素を有する複数のモジュールを含み、
モジュールは、必要な構造で配置され、
各モジュールは、少なくとも１つの変数を有し、少なくとも１つのコネクタと関連付けられており、
コネクタは構造全体にわたってモジュール間で変数をリンクさせ、モジュールは共同して神経行動学的モデルを提供する。

一実施形態において、モジュールは、階層構造などの構造で配置される。一実施形態において、階層は、ツリー構造を含む。

一実施形態において、構造は、アニメーション化されるオブジェクトの生物学的構造の生物学的特性に由来する。

一実施形態において、構造は、進化性の神経構造に由来する。

階層は、ツリー構造であってよく、アニメーション化されるオブジェクトの特性に依存してよい。例えば、階層構造は、アニメーション化されるオブジェクトに存在する生物学的特性または構造、あるいはアニメーション化されるオブジェクトが必要とする生物学的特性または構造に由来してよい。従って、オブジェクトが人間の顔である場合、構造は、角膜に関する計算機能およびグラフィック機能を含むモジュールが目に関するモジュールに従属する（目に関するモジュールよりも階層的に下位である）階層を含んでよい。

階層構造は、追加的または代替的に、シミュレートされるオブジェクトの進化性の特性または構造、例えば進化性の脳または神経構造、に関連してよい。

ツリー構造を使用することで、シミュレートされるオブジェクトの構成内でのモジュールの機能の識別が容易になる。

コネクタを使用することで、顕著な柔軟性がもたらされ、複数のモジュールにまたがって変数をリンクさせることが可能となり、複雑な神経行動学的モデルを形成するモジュール間のリンクが生成される。また、コネクタは、システムがどのようにリンクされるかを明確に示すため、モデルの機能の反復を減少させる場合に補助し、モデリングシステムに、およびシステムの稼働に、より優れた効率性をもたらす。

一実施形態において、システムは、聴覚的またはグラフィック的または視覚的な入力または刺激を含む少なくとも１つのモジュールと、聴覚的またはグラフィック的または視覚的な出力を有する少なくとも１つのモジュールと、を含む。

一実施形態において、システムの一部は、脳を表現する。

一実施形態において、各モジュールのグラフィック要素は、見える状態と隠された状態との間で切り替えられてよい。

一実施形態において、モジュールは、可能なグラフィック要素を複数有してよい。

一実施形態において、１つ以上のモジュールのグラフィック要素は、計算要素の表現を含む。

各モジュールまたはモジュールのいずれかのためのグラフィック出力を生成するための単純な手段が存在するように、グラフィック要素が、ＧＰＵ用、シェーダー用、およびその他のグラフィックツール用のモジュール内サポートを提供してよい。例えば、新規のモジュールを作成する必要なく、モジュールのニューロン活動を色の出力、聴覚的出力または視覚的出力に結合できる。

一実施形態において、モジュールは１つ以上のニューロンを表現する。

一実施形態において、モジュールは、生物学的モデルを表現してよい。

一実施形態において、モジュールのうちの少なくとも１つが高レベルのシステムを表現してよく、モジュールのうちの少なくとも１つが低レベルのシステムを表現してよい。

一実施形態において、モジュール由来の変数が、コネクタによって複数のモジュールのうちのいずれかにリンクされてよい。

一実施形態において、モジュールは、モジュールの稼動の一部を実施する、必要な構造を通じてそれに関連する追加のモジュールを有してよい。

一実施形態において、モジュールのうちの少なくとも１つは、変数の重みによってモジュールの入力と出力をリンクさせる関連付けモジュールである。

一実施形態において、関連付けモジュールは、固定された重みを有する。

一実施形態において、モジュールのグラフィック要素は、オンオフ切り替えされてよい。

一実施形態において、モジュールは、複数のグラフィック要素を有してよく、各要素が個別のグラフィック出力を有する。

一実施形態において、必要な構造は、モジュール間の関係を確立する。

一実施形態において、複数のモジュールは、変換要素を有してよい。

一実施形態において、変換要素は、必要な構造によってリンクされたモジュールに基づいてモジュールのグラフィック出力を適合させる。

一実施形態において、複数のモジュールのうちの少なくとも１つは、グラフィック入力を有する。

一実施形態において、システムは、少なくとも１つのグラフィック出力を有する。

一実施形態において、複数のモジュールのうちの１つは、リンクされた変数のグラフィック出力を生成する。

一実施形態において、複数のモジュールのうちの１つは、外部刺激／外部刺激（複数）からの入力を有する。

一実施形態において、システムは、外部刺激／外部刺激（複数）から学習することが可能である。

一実施形態において、システムは、外部に刺激を提供する。

一実施形態において、システムは、ユーザまたは環境に対してインタラクティブである。

一実施形態において、モジュールのうちの１つ以上は、学習要素または記憶要素を有する。

一実施形態において、学習要素は、関連付け要素によって実施される。

一実施形態において、関連付け要素は、シナプス重みモジュールである。

一実施形態において、モジュールの稼動は、モジュールに結合された調節値によって調節される。

一実施形態において、調節値は、神経伝達物質／神経調節物質に関連する。

一実施形態において、モデルがタイムステップ式である場合、モジュールはそれぞれ、動作を実行する。

一実施形態において、オブジェクトは仮想オブジェクトであってよい。

一実施形態において、コネクタは、標準化されたネットワークフォーマットを使用して通信してよい。

一実施形態において、コネクタは、時変データを通信してよい。

一実施形態において、コネクタは、タイミング属性および／または遅延属性を導入してよい。

一実施形態において、タイミング要素および／または遅延要素は、結合または構造の特性に依存してよい。

別の態様において、本発明は概して、オブジェクトまたはデジタルエンティティをアニメーション化するための、コンピュータで実施されるシステムを提供することができ、システムは、計算要素およびグラフィック要素を有する複数のモジュールを含み、
各計算要素は、モジュールタイプおよび少なくとも１つの変数を有し、少なくとも１つのコネクタと関連付けられており、
コネクタはモジュール間で変数をリンクさせ、リンクされたモジュールは共同して、アニメーション化される仮想オブジェクトのグラフィック的かつ計算的なモデルを表現する。

一実施形態において、システムは、聴覚的または視覚的入力刺激を受信するための入力を含む。

一実施形態において、本発明は、検出要素を含んでよい。

別の態様において、本発明は概して、オブジェクトをアニメーション化するための、コンピュータで実施されるシステムを提供することができ、システムは、複数のモジュールを含み、
各モジュールは、インターフェースタイプ、アニメーションタイプおよびニューロンタイプから選択されるタイプを有し、
各モジュールは、変数を有し、コネクタと関連付けられており、
コネクタはモジュール間で変数をリンクさせ、リンクされたモジュールは共同して、アニメーション化されるオブジェクトのグラフィック的かつ計算的なモデルを表現する。

一実施形態において、モジュールはそれぞれ、複数の定義済みモジュールから選択されてよい。

一実施形態において、システムは、インターフェースタイプの入力モジュールと、アニメーションタイプモジュールである出力モジュールと、を含んでよい。

一実施形態において、システムは、１つまたは複数の学習モジュールを含んでよい。

一実施形態において、入力および／または出力は、グラフィック情報または計算情報を含んでよい。

一実施形態において、モジュールは、生物学的構造を模倣するように配置される。

一実施形態において、モデルは、神経行動学的モデルである。

さらに別の態様において、アニメーションをプログラミングする方法が提供され、上記方法は、
必要なモジュール構造を生成するステップであって、各モジュールがアニメーションの一部と関連付けられ、各モジュールが計算要素、グラフィック要素、変換要素、ならびに入力および／または出力のセットを含むことができ、計算要素およびグラフィック要素がアニメーションの一部と関連付けられる、ステップと、
複数のモジュール間の複数の結合を生成するステップであって、各モジュールの入力と出力との間で結合が生じる、ステップと、
を含み、モジュールの階層および複数の結合が、アニメーション化されるシステムを定義し、モデルが、アニメーション化されるシステムを制御する。

一実施形態において、必要な構造は階層である。

一実施形態において、入力および／または出力は、モジュールの変数である。

一実施形態において、階層および／または結合は、神経行動学的システムを再現してよい。

一実施形態において、階層および／または結合は、神経回路を再現してよい。

一実施形態において、方法は、アニメーションを変化させるために要素間の結合を変化させるステップをさらに含んでよい。

一実施形態において、方法におけるモジュールのうちの１つ以上は、学習モジュールであってよい。

一実施形態において、方法は、学習モジュールを入力および／または出力のセットに基づいて適合させるステップをさらに含んでよい。

一実施形態において、学習モジュールの可塑性は変更されてよい。

一実施形態において、方法は、複数の定義済みのモジュールまたはモジュールタイプからモジュールのそれぞれを選択するステップを含む。

一実施形態において、方法は、所望の稼動をもたらすために定義済みモジュールを調整するステップを含む。

一実施形態において、必要なモジュール構造のうちの１つ以上は、学習モジュールである。

一実施形態において、方法は、学習モジュールを入力データに基づいて適合させ、その後、学習モジュールの稼動を固定するステップを含む。

別の態様において、本発明は概して、オブジェクトまたはデジタルエンティティをアニメーション化する、コンピュータで実施される方法を提供することができ、方法は、
共同して神経行動学的モデルをシミュレートする複数のモジュールを提供するステップであって、複数のモジュールがそれぞれグラフィック要素を有する、ステップと、
オブジェクトまたはエンティティの解剖学的特徴の変換の結果、その解剖学的特徴の１つ以上の副部分の対応する変換が生じるようにモジュールを処理するステップと、
を含む。

別の態様において、本発明は概して、オブジェクトまたはデジタルエンティティをアニメーション化する、コンピュータで実施される方法を提供することができ、方法は、
共同して神経行動学的モデルを提供する複数のモジュールを提供するステップであって、複数のモジュールがそれぞれグラフィック要素を有する、ステップと、
タイムステップ毎にモジュール毎のグラフィック情報を提供するためにタイムステップ方式でモジュールを処理するステップと、
リアルタイムの制約を評価するステップと、
リアルタイムの制約が解消される場合にグラフィック情報をレンダリングするステップと、
を含む。

一実施形態において、グラフィック情報のレンダリングは、複数のタイムステップが処理された後に生じてよい。

別の態様において、本発明は概して、オブジェクトまたはデジタルエンティティをアニメーション化するための、コンピュータで実施されるシステムを提供することができ、システムは、計算要素、グラフィック要素および１つ以上の変数を有することが可能な複数のモジュールを含み、
複数のモジュールのうちの少なくとも１つは、グラフィック出力機能を生成し、
複数のモジュールのうちの少なくとも１つは、グラフィック出力機能の外観を変化させるように適合され、
複数のモジュールのうちの少なくとも１つは、入力変数と出力変数とをリンクさせるために重みを含む関連付けモジュールである。

一実施形態において、複数のモジュールのうちの少なくとも１つは、アニメーション化された仮想オブジェクトまたはデジタルエンティティの将来的動作を変更するように適合された学習モジュールである。

一実施形態において、関連付けモジュールは学習モジュールである。

一実施形態において、学習モジュールの可塑性は、学習速度を制御するために調整可能である。

一実施形態において、複数のモジュールのうちの少なくとも１つは、学習が停止している学習モジュールである。

一実施形態において、関連付けモジュールは、神経行動学的モデルを形成する１つ以上のモジュールからの入力と、グラフィック出力を形成する１つ以上のモジュールへの出力と、を有する。

一実施形態において、関連付けモジュールの重みは固定される。

一実施形態において、関連付け重みは、外部データに基づいて固定される。

一実施形態において、関連付けモジュールの重みは、グラフィック出力を表現する。

一実施形態において、複数のモジュールのうちの複数のそれぞれは、代替のグラフィック出力を表現する関連付けモジュールである。

一実施形態において、代替のグラフィック出力のそれぞれは、別々に表示されてよいか、あるいは、融合された組み合わせで表示されてよい。

一実施形態において、グラフィック出力は、顔を表現してよい。

一実施形態において、代替のグラフィック出力は、一定範囲の顔の表情を表現してよい。一実施形態において、グラフィック出力は、複数のグラフィック出力コンポーネントのうちの１つ以上に対する位置シグナルである。

一実施形態において、グラフィック出力コンポーネントは、筋肉を表現する。

さらなる態様において、本発明は概して、他の態様において説明されるように１以上のキャラクターを有するコンピュータゲームとして説明されてよい。

さらなる態様において、本発明は概して、他の態様において説明されるように仮想オブジェクトまたはデジタルエンティティを表示するインタラクティブディスプレイとして説明されてよい。

一実施形態において、インタラクティブディスプレイは、広告用ディスプレイであってよい。

別の態様において、本発明は概して、インタラクティブな挙動を生成するための、コンピュータで実施されるシステムを提供してよく、システムは、計算要素およびグラフィック要素を有する複数のモジュールを含み、
モジュールは、必要な構造で配置され、
各モジュールは、少なくとも１つの変数を有し、少なくとも１つのコネクタと関連付けられており、
コネクタは構造全体にわたってモジュール間で変数をリンクさせ、モジュールは共同して行動学的モデルまたは神経行動学的モデルを提供する。

別の態様において、本発明は概して、インタラクティブな挙動を生成するための、コンピュータで実施されるシステムを提供してよく、システムは、計算要素およびグラフィック要素を有する複数のモジュールを含み、
複数のモジュールのうちの少なくとも１つが外部刺激を受信し、
複数のモジュールのうちの少なくとも１つが外部出力を提供し、
複数のモジュールのうちの少なくとも１つが外部刺激と外部出力との間の関連付けを生成し、
外部出力が外部刺激の変化に応答するように、関連付けが将来的なシステム挙動に影響する。

一実施形態において、関連付けは、システムに学習行動をもたらす。

一実施形態において、モジュールのうちの少なくとも１つは、第１の内部刺激と第２の内部刺激または外部出力との間に関連付けを生成する。
一実施形態において、複数のモジュールのうちの少なくとも１つは、複数のモジュールのうちの１つの機能を調節するために調節手段を有する。

別の態様において、本発明は概して、仮想オブジェクトまたはデジタルエンティティをアニメーション化する、コンピュータで実施される方法を提供することができ、方法は、
複数のモジュールテンプレートから複数のモジュールをインスタンス化するステップと、
複数のモジュールについて、機能、入力および出力を定義するステップと、
複数のモジュールの入力と出力との間の結合を定義するステップと、
を含み、複数のモジュールおよび結合は、行動学的モデルまたは神経行動学的モデルを形成する。

一実施形態において、複数のモジュールのうちの少なくとも１つに対する入力および／または出力のうちの少なくとも１つは、外部刺激または外部出力である。

一実施形態において、複数のモジュールまたは結合のうちの任意の１つ以上は、可視化出力を有してよい。

別の態様において、本発明は概して、アニメーション化された仮想オブジェクトまたはデジタルエンティティを生成する、コンピュータで実施されるシステムを提供することができ、システムは、
計算要素およびグラフィック要素を有することが可能な複数のモジュールテンプレートと、
１つ以上の選択されたモジュールの機能および変数を指定する第１の記述手段であって、選択されたモジュールがそれぞれ、複数のモジュールテンプレートのうちの１つに基づいている、第１の記述手段と、
１つ以上の選択されたモジュールの変数間の複数の結合を指定する第２の記述手段と、
を含み、１つ以上の選択されたモジュールは、行動学的モデルまたは神経行動学的モデルを生成するために結合される。

一実施形態において、モジュールテンプレートのうちの少なくとも１つは、ニューロンモデルである。

一実施形態において、モジュールテンプレートのうちの少なくとも１つは、遅延モデルである。

一実施形態において、モジュールテンプレートのうちの少なくとも１つは、関連付けモデルである。

一実施形態において、システムは、モジュール間の関係を指定する第３の記述手段をさらに含む。

一実施形態において、関係は階層的である。

一実施形態において、構造または階層は、生物学的なシステムまたは構造を表現してよく、あるいは、表現しなくてよい。

一実施形態において、各モジュールは、タイムステップが可能である。

さらなる態様において、本発明は概して、時変データ用のフォーマットを用いて通信するために結合された機能性の定義されたモジュールのネットワークを使用した、コンピュータで生成される表示、効果またはアバターの制御を提供してよく、結合は、モジュールまたは結合を再配置することによってネットワークの引き起こす応答を調整できるようにネットワーク内のモジュールの配置に応じてタイミング属性および／または遅延属性を時変データに導入する。

さらなる態様において、本発明は概して、デジタルエンティティのための刺激を定義するデータに応答してデジタルエンティティを制御するように動作可能なコンピュータシステムとして説明されてよく、システムは、コードの機能モジュールのネットワークを含み、ネットワークは、刺激を特徴付けるデータを受信するように動作可能であり、且つ、デジタルエンティティのための応答を定義するデータを生成するように動作可能であり、ネットワークは、
機能モジュール毎の１つ以上の変数であって、ネットワーク用に標準化された時系列式のデータフォーマット用に構成されており、且つ、モジュールの送信変数と受信変数との間で時変データを伝送する少なくとも１つのコネクタに関連付けられている、変数と、
モジュールの位置を１つ以上の他のモジュールに対して定義することを可能にするための、モジュール毎に定義される位置参照データと、
送信変数と受信変数との間で伝送される時変データのタイミングを調整するように動作可能なタイムアジャスターであって、受信変数を受信するモジュールに対する送信変数のモジュールの位置に時変データが依存する、タイムアジャスターと、
複数の機能モジュールのそれぞれについて定義される１つ以上の機能的稼動であって、機能モジュール用に定義された変数で受信される時変シグナルで伝送される時変データに対して動作可能である、１つ以上の機能的動作と、
を定義するコードを含み、
それにより、２つの異なる機能モジュールから伝送されたデータを受信する２つの受信変数で受信される時変データに対する稼動は、機能モジュールの調整された相対位置によって調整可能である効果を有し、
それにより、アバターの応答が調整可能である。

送信変数と受信変数を相互に結合させるように動作可能であり、送信変数と受信変数のモジュールの位置の差異に応じて時間遅延を導入するように動作可能である伝送路のセットをタイムアジャスターが含んでよい。

ネットワークは、２つ以上の変数を組み合わせることを可能にするように動作可能なトランスフォーマーを含んでよく、それにより２つの送信変数を単一の受信コネクタに結合できる。

標準化された時系列式フォーマットを用いて結合されたネットワーク内の機能モジュールにおいて使用される時系列式フォーマットではないデータに対してコードが稼動できるように、時系列式フォーマットのデータを所与のフォーマットにパースするように動作可能なラッパーを機能モジュールが含んでよい。

機能的稼動は、アバターの応答の調整を可能にするために調整可能なパラメータを有してよい。

機能的稼動は、ネットワークを通じて伝播するネットワークパラメータに応じて調整可能なパラメータを有してよい。伝播は、ネットワーク内の定義された位置において開始し、その位置から伝播してよく、それにより、パラメータが、所与のモジュールの位置ならびに伝播されるネットワークパラメータの伝播の程度に応じて機能的稼動を調整できる。ネットワークパラメータは調節値であってよい。

ネットワークは、位置参照データを決定するためにデータまたは入力を受信するように動作可能であってよい。

本明細書において使用される場合、データは、符号化情報を包含するように幅広く使用され、データタイプおよびイベントタイプのインスタンスを包含してよく、ストリームデータを包含してよい。

ネットワークは、刺激に対するアバター用の応答を調整するように時変データの遅延または時間進行を定義することを可能にするために機能モジュールの相対位置とは独立した時間調整手段を含んでよい。

機能的稼動は、２つ以上の機能モジュールの送信変数由来の時変データの特徴の関連付けを定義するように動作可能であってよい。刺激に対するアバター用の応答は、ネットワーク内の機能モジュールの相対位置の調整によって、および／または、１つ以上の機能モジュールの機能的稼動に対する調整に対して、調整可能であってよい。

システムによって制御されるような刺激に対するアバターの応答は、モジュールの機能性、モジュールの結合およびネットワーク内におけるモジュールの相対位置によって構成され得る。

時間調整手段は、時系列式フォーマットでデータに導入される遅延を含んでよい。

ネットワークは、トランスフォーマーとモジュールとを結合させるコネクタのセットを定義するコードを含んでよく、コネクタはそれぞれ、時変シグナルに対して遅延するように動作可能なタイムアジャスターを含む。

ネットワークは、単一の受信変数への結合を可能にするために２つ以上の送信変数由来の時変データを組み合わせるように動作可能なトランスフォーマーのセットを定義するコードを含んでよい。

ネットワークの稼動は、モジュールの機能性およびネットワーク内におけるモジュールの相対位置の両方に依存してよい。

一部の実施形態において、トランスフォーマーは、機能モジュールに見られるような、いかなる時間遅延も導入しない。

一実施形態において、モジュールは、操作者によって選択および／または配置される。

一実施形態において、システムは、位置参照データに対する調整を受信するように動作可能な構成インターフェースを含んでよい。

構成インターフェースは、選択されたモジュールの結合がネットワークを構成することを可能にするように動作可能であってよく、それにより、システムの制御および／またはアバターの応答が構成されてよい。構成は、機能モジュールの相対位置およびモジュールの結合の表現を表示するように動作可能であってよい。構成は、ネットワークの表現を表示するように動作可能であってよい。構成は、アバターを表示するように動作可能であってよい。ユーザが、稼動しているネットワークを観察し、および／または、モジュールの位置および／またはモジュールの選択を調整できるように構成が選択されてよい。

一部の実施形態において、刺激を特徴付けるデータは、カメラから受信される。一部の実施形態において、システムは、単一のアバターを、あるいは複数のアバターを個々に、または集合的に、制御するように動作可能であってよい。他の実施形態では、システムがゲームなどのアプリケーションのコード内に提供されてよく、刺激を特徴付けるデータがゲーム内で受信されてよい。

１つ以上のシステムが、アバターによって表現される複数のキャラクターを生成するために使用されてよく、ここで、アバターの特徴的応答を多様化するために類似のネットワークが異なる様式で構成されている。これは、種々の特徴的応答を有するアバターまたはデジタルエンティティのセットを提供するために使用されてよい。パラメータ設定の変更によって種々の構成が達成されてよい。例えば、モデル内の神経伝達物質、神経調節物質またはその他のシグナルに対する感度または応答のレベルによって（例えば、閾値変数を変更することによって）、種々の個性が特徴付けられてよい。また、システムのトポロジーまたはレイアウトを適合させることによっても種々の構成が達成され得、神経行動学的モデルにおいて種々のタイプの構造が生成される。モジュール間の結合、モジュールまたは構造の機能、あるいはモジュール間の関係を調整することによってトポロジーまたはレイアウトが変更されてよい。

本発明の実施形態は、多様な機能コードを同一ネットワーク内に含めることができるように標準化された時系列式フォーマットを使用するコネクタを介して相互に結合された機能モジュール内に一定範囲の種々のタイプのコードを含めることを可能にする。

本発明の別の態様は、顔のグラフィックスをレンダリングするシステムであって、
顔のアニメーション筋肉のセットの作動の程度を定義する筋肉の作動／位置データを受信し、グラフィックス画像データを生成する、グラフィックスをレンダリングするレイヤと、
アニメーション神経の所与のセットのための神経の活性化の程度を定義する神経作動データを受信する筋肉の作動／統合レイヤであって、筋肉の作動レイヤのために定義される活性化筋肉のセットのための筋肉作動データを生成する筋肉の作動／統合レイヤと、
表情を定義する表情データを受信する神経活性化レイヤであって、活性化されるべきアニメーション神経の組み合わせを定義し、且つ、神経毎に活性化の程度を定義する神経活性化データを生成する神経活性化レイヤと、
を含むシステムを提供する。

各レイヤは、神経、筋肉および皮膚／脂肪等の特性を定義するデータを含んでよい。筋肉のレイヤ／グラフィックスをレンダリングするレイヤは、刺激データを受信し、フィードバックデータを生成する。

別の態様において、本発明は概して、外部刺激に応答してデジタルエンティティを制御するように動作可能なコンピュータシステムを提供してよく、システムは、コードの機能モジュールのネットワークを含み、ネットワークは、刺激を特徴付けるデータを受信するように動作可能であり、且つ、デジタルエンティティ用の応答を定義するデータを生成するように動作可能であり、ネットワークは、
機能モジュール毎の１つ以上の変数と、
モジュールの位置を１つ以上の他のモジュールに対して定義することを可能にする構造と、
１つ以上のコネクタであって、モジュールの変数間でデータを伝送する少なくとも１つのコネクタに１つ以上の変数が関連付けられている、１つ以上のコネクタと、
を含み、
コネクタは、種々のモジュールを結合させて、それにより、外部刺激に応答してデジタルエンティティの挙動を変更または調整するように、選択的に調整可能である。

別の態様において、本発明は概して、前述の実施形態のうちのいずれか１つのシステムを実施するようにプログラムされた、あるいは、実施するように動作可能な、コンピュータを提供してよい。

別の態様において、本発明は概して、計算装置によって使用されると前述の実施形態のうちのいずれか１つのシステムを計算装置に実施させる、コンピュータが使用可能な命令を保存する１つ以上のコンピュータ可読媒体を提供してよい。

別の態様において、本発明は概して、外部刺激に応答してデジタルエンティティを制御する方法を提供してよく、方法は、
刺激を特徴付けるデータを受信することと、
共同して神経行動学的モデルを表現する複数の相互に結合されたモジュールにおいてデータを処理し、外部刺激に対するデジタルエンティティの応答を定義する出力を提供することと、
出力に応答して、１つ以上のモジュール間の結合を変更するか、１つ以上のモジュールにおいて変数を変更することと、
を含む。

さらなる態様において、本発明は概して、デジタルエンティティを制御する方法を実行するように動作可能な計算装置を提供してよい。

さらなる態様において、本発明は概して、計算装置によって使用されるとデジタルエンティティを制御する方法を計算装置に実施させる、コンピュータが使用可能な命令を保存する１つ以上のコンピュータ可読媒体を提供してよい。

上述の実施形態のいずれも、上述の態様のいずれかに関連してよい。

さらなる態様によれば、本発明は、添付の図面を参照して本明細書で実質的に説明されるような方法およびシステムを提供する。

その新規の態様の全てにおいて考慮されるべき本発明のさらなる態様は、その可能な実施形態の例として提供される以下の説明から明らかとなるであろう。

本明細書全体において、先行技術についてのいかなる議論も、このような先行技術が広く知られているか、または当分野における一般常識の一部を成すということを認めるものとして決して見なされるべきではない。

脳のモデルが表示されている本発明の一実施形態を示す。 システムを実施するためのコンピュータシステムの概略図を示す。 生きているかのようなビジュアライゼーションが表示されている本発明の実施形態を示す。 複数のモジュールがリンクされている本発明の実施形態を示す。 複数のモジュールがフォルダ構造で配置されている本発明の実施形態を示す。 複数の種々のモデルがリンクされている本発明の実施形態を示す。 グラフィックシステムおよび計算システムへのリンクを有する目の瞬きモジュールの実施形態を示す。 計算部分、グラフィック部分および変換部分を有するモジュールの実施形態の概略図を示す。 複雑なグラフィック出力を含むシステムの実施形態の概略図を示す。 皮質を取り巻くシステムの実施形態の概略図を示す。 刺激を定義するデータに応答してアバターを制御するためのシステムを示す。 図１０に類似するが、例示的な情動反応モジュールのネットワークに追加された状態であるシステムを示す。 モジュールの機能的稼動の態様を定義するパラメータが調整される図１１のシステムを示す。 ネットワークが、顔および音声のマルチモーダル認識のために追加的な音声認識モジュールを有する、図１２のシステムに類似のシステムを示す。 ネットワークが、顔および音声のマルチモーダル認識のために追加的な音声認識モジュールを有する、図１２のシステムに類似のシステムを示す。 種々の神経系および計算要素をどのように組み合わせることができるかを示す神経行動学的システムのモデルを示す。

１つ以上の実施形態の説明
本明細書において説明される発明は、コンピュータを用いて実施される。図１ｂを参照すると、コンピュータは、情報を入力するための入力手段２０１と、プロセッサ手段２０２と、出力手段２０３と、を有する。情報を処理するためのプロセッサ手段は、情報の保存または検索のために記憶手段２０４と通信してよい。入力または刺激は、例えば、１つ以上のカメラ、電磁変換器、オーディオ変換器、キーボードまたはその他の公知のシステムからの入力を含む現実世界の刺激から生じてよい。他の刺激としては、グラフィカルユーザインターフェース、ハードウェアコンソール、ストリームデータ、ならびに、クラウドコンピュータ、コンピュータのインデックス、ワールドワイドウェブまたは様々なセンサからのデータが包含される。出力手段は、シグナルをディスプレイユニットまたは別の機械（例えば、ロボット）に送信する。記憶手段は、プロセッサ上で実行可能なコードを保存するのに好適なコンピュータ可読媒体であってよい。あるいは、モデルまたはその一部は、回路であってよい。本発明の実施形態には、以下のゲーム、コンソール、自動販売機と広告、モバイル機器およびクラウド計算装置のうちのいずれか１つ以上の形態での用途を有するモデルが包含される。

本発明の一実施形態において、グラフィック出力を提供する生物学的モデルによって生物学的挙動がシミュレートされる。グラフィック出力は、任意の形態の視覚的出力または提示される出力を指してよい。例えば、挙動および社会的学習を生じさせる脳のプロセスが、ユーザとインタラクトできる、生きているかのような顔のモデルをアニメーション化するために使用される。本発明の別の実施形態において、モデルは、インタラクティブなアニメーションに適用されてよい。アニメーションは、インタラクティブな挙動および学習に関与する基本的な神経系のマルチスケール計算モデルを組み込んでよい。計算ユニットまたは計算モジュールはそれぞれ、一定範囲のモデルを任意の尺度（例えば、単一のニューロンからネットワークまで）で実装できる自己完結型のブラックボックスとして機能してよい。従って、モジュールは、モデルを形成するネットワークまたは構造を生成するためにリンク可能である。

神経行動学的モデルは、基礎的な神経経路または神経回路を使用して挙動を生成する。生成された神経回路の複雑性の範囲は、比較的単純なフィードバックループまたはニューラルネットから生物学的システムの複雑な表現にまで及ぶ可能性がある。従って、仮想オブジェクトまたはデジタルエンティティには、乳児の顔などの人間または動物の大規模モデル、ならびに、仮想環境あるいはコンピュータによって生成または実装される環境において表現されるか使用可能である任意の他のモデルの両方が包含される。一部の場合において、オブジェクトまたはエンティティは完全なものではないことがあり、それらが、エンティティの一部（例えば、手または顔など身体の一部）に限られることがある（特に、完全なモデルが必要とされない場合）。人またはオブジェクトのアバターまたはその他の表現は、デジタルエンティティまたは仮想オブジェクトの定義に包含される。一部の実施形態において、デジタルエンティティまたは仮想オブジェクトの特性または挙動は、神経行動学的モデルを介して可変であってよい。システムは、エンティティまたはオブジェクトの現実的な動きまたは変化を可能にするためにデジタルエンティティまたは仮想オブジェクトをアニメーション化する。

アニメーションは、挙動を合成または再現し、高度な３Ｄコンピュータグラフィックスモデルによってこの挙動を提示してよい。広い意味において、モデルは、外部刺激に適応できる行動学的システムを提供してよく、ここで、外部刺激は、モデルの内部刺激とは別の刺激を指す。例えば、一実施形態は、スクリーンインターフェースを介して人とインタラクトしてよいか、ロボットとして実施されてよい。この機能性は、神経タイプのシステムによって、あるいは神経タイプのシステムと神経系の機能的代替物とを混合したものによって、達成されてよい。システムの一実施形態は、アニメーションで介在することを必要とせずに、学習した方法を用いてアニメーションが外部刺激から実施されるため、自己アニメーション化型（ｓｅｌｆ−ａｎｉｍａｔｅｄ）と呼称されることがある。

本発明の一実施形態において、モデルの計算要素を有するモデルのグラフィック／アニメーション要素は、必要な構造で、好ましくは階層構造で、リンクされる。構造は、コードのセクションを含むか、グループ化することを可能にし、これは、セクションをコンポーネントのグループとして複製または移動できることを意味する。構造は、ツリー様要素を含む従属的構造を含んでよい。代替的な配置において、階層構造は、必要な構造を生成するために別の形態で実装されてよい。一実施形態において、複数の階層が使用されてよい。必要な構造の重要な特徴は、それがモジュール間のさらなるリンクをもたらすということであり、上記リンクは、関係性あるいは物理的または疑似物理的配置に焦点を置いたものである。このように、必要な構造は、モデル内のモジュールそれぞれについて骨格構造またはリレーショナル構造を提供する。好ましい実施形態において、必要な構造は、構造を容易に表示して理解させるために階層的に配置される。これにより、モデルの描写の改善が可能となり、且つ、グラフィック要素および計算要素を含むモジュールが明確かつ構築可能な様式で関連しているためにモデル製作者がより効率的にモデルを構築することが可能となる。

本発明の一実施形態は、階層構造の一連のモジュールによって定義されるモデルを含んでよい。これは、物理的要素をその複合性部分またはコンポーネント部分に分解できる方式と類似であってよい。モジュールはそれぞれ、０個、１個または複数の従属モジュールを有してよい。複数のモジュールは、ツリー様構造を形成してよい。この構造は、グラフィック構造のために使用されるか、グラフィック構造に関連しているが、計算要素も含む。計算要素は、別々ではあるが同様に必要な構造／階層的な構造で定義されてよい。要素は、コードのセクション、サブモジュールまたは部分、あるいは機能を実行するためのコードへのリンクを指してよい。別々のコード要素を有することで、各モジュールにおける種々の機能性の制御の分離が可能となる。好ましくは、モジュールは、計算要素およびグラフィック要素の両方（あるいはいずれか１つ）を含んでよい。好ましい実施形態において、モジュールはそれぞれ、各要素を含むことが可能であり、その要素が起動されることしか必要としない。このように、階層ならびにモジュール間の関係を見るとモデルの構造を明確に観察することができ、それらの計算要素およびグラフィック要素は明確である。従って、モデルは、神経行動学的または精神行動学的（ｐｓｙｃｈｏｂｅｈａｖｉｏｕｒａｌ）アニメーションを生成する、改善された方法を提供する可能性がある。一部の実施形態において、さらなる機能を提供するために、あるいはモジュール構造を分離するために、より多くの要素が存在してよい。内部刺激または外部刺激からの入力を可能にするために、１つの、複数の、あるいは全てのモジュールに検出要素が含まれてよい。

グラフィック要素は通常、ジオメトリ、シェーダーおよびテクスチャの情報またはコードを含む。グラフィック要素のこれらの特徴は、外部のモジュールによって結合または変更され得る。
シェーダーおよびテクスチャは、計算のために汎用ＧＰＵ（ＧＰＧＰＵ）センスにおいて使用され得る。グラフィック要素の典型的な実施は、仮想の顔用であってよい。顔のジオメトリ、テクスチャおよびシェーダーは、「顔」と称されるディレクトリに保持されてよい。また、顔ディレクトリは、顔に関連付けられた計算要素を含んでもよい。このように、グラフィック要素および計算要素は、必要な構造内の単一のモジュール内に含まれるが、管理および更新またはリンクを可能にするために分離されてもいる。特に、例えばニューラルネットの稼働または顔の動きを示すために、種々のグラフィック要素が稼働してよい。例えば、計算要素が、顔面神経核モジュールからシェーダー変形モジュールまたはアニメーション変形モジュールへと筋肉活性化変数を供給してよく、シェーダー変形モジュールまたはアニメーション変形モジュールは、
・顔のジオメトリの頂点を変形させてよく、
・（例えば、血流に起因する表情に基づいて皮膚の外観を変更するために）読み込まれているテクスチャデータのマッピングを変更してよく、
・外部で計算された歪み情報をシェーダーに結合させることに基づいてシェーディング計算を変更してよい。

必要な構造は、複数のモジュール間の結合によって補完される。これらの結合またはリンクは、計算システムとアニメーション要件との間の複雑なダイナミクスおよび相互関係を制御するのを補助する。グラフィックモジュールおよび計算モジュールの両方を含むモデル内の任意のモジュールまたは要素の入力と出力（変数）との間を結合がリンクしてよい。モデルのグラフィック的態様と計算的態様との間の通信および柔軟性によって、設計者／プログラマーまたはユーザが非常に複雑なモデルを効率的に生成することができる。別々の、あるいは僅かにリンクした、モデルのグラフィックセクションおよび計算セクションにおいて特徴または動作を再現する必要はない。本発明の一実施形態において、階層の分岐が実質的に自己完結型となってよいように、入力および出力が優先的に、高レベルモジュールに結合されるか、高レベルモジュールを経由してルーティングされてよい。従って、内部のモジュールが複雑となってしまうのを避けるために、結合の大部分が高レベルモジュールに対して形成されてよい。結合およびその他のモデルの特徴は、システム内のシグナルを調節するための手段を提供する。シグナルの調節によって、挙動がトレーニング訓練可能となり、訓練が効率的となる。これは、訓練が、モデルのディティールから独立しているためである。例えば、神経伝達物質は、複数のモデルに対する結合として実装され得、モデルまたはモデルの挙動を適合させるためにその値が変更され得る。

結合は、モジュールのグラフィック要素と計算要素との間に形成されてよく、これらの結合は、複雑な生物学的モデルに基づいた複雑な人間様のシミュレーションを生成するための手段を提供する。結合は、第１の変数と第２の変数との間の関連付けを提供してよい（ここで、変数は、モジュールの入力および／または出力である）。神経モデルの生成を可能にするがグラフィックスまたはアニメーションが制限されており、これらの間のインターフェース／インターフェース（複数）を制限する先行技術のシステムが、これによって改善される。グラフィック要素と計算要素とを組み合わせることによって、フィードバックループならびにアニメーションと基礎となるモデルとの間の関係を制御および／または描写できる。また、これによって、より効率的にモデルを更新することが可能となる。これは、固有の関係が、リアルタイムで、ならびに更新または最適化の間を含め、可視であってよいためである。

本発明の一実施形態において、モジュールはそれぞれ、他のモジュールと結合されて、ネットワークまたは必要な構造を形成する。この実施形態において、変数を結合させる（伝送路と呼称されることがある）結合であって、相互に結合されたモジュール間のネットワーク内での距離に依存する、あるいは上記距離を表す、遅延を導入する可能性がある結合によって、（線がモジュールに結合するモジュール上の点として示される）変数が結合される。一部の実施形態において、結合は、結合されたモジュールに関連付けられた位置参照データを用いて、あるいは上記位置参照データに応じて、遅延を決定する。他の実施形態では、遅延がモジュール内で導入されるか、別の遅延モジュール内において導入される。一部の実施形態において、遅延の代わりに時間進行が使用されるか、あるいは遅延が存在しなくてよい。結合は、モジュール間の時間シグナルの形態で時系列式データを伝送してよい。モジュールは、他のシグナルと共に上記のシグナルに対して稼働し、例えばスクリーンまたはその他のデジタル表示装置上でユーザに対して表示されるアバターまたはデジタルエンティティを制御するために使用される応答を生成する。受信された時系列式シグナルの相対的タイミングおよび稼働の両方が、モジュールの出力に影響する。従って、デジタルエンティティ、アバターまたは仮想オブジェクトの応答あるいは上記応答の特徴は、モジュールの選択、モジュールの機能的稼働の選択、ネットワーク内でのモジュールの配置および／またはそれらの相対位置、ならびにモジュール間の結合の選択、のうちの任意の１つ以上によって影響される可能性がある。

本明細書において使用される場合、コネクタまたは伝送路なる用語は、２つ以上の変数を結合するのに好適な任意の通信線であってよく、オブジェクト向けのインターフェースを含んでよい。タイミング属性および／または遅延属性は、モジュール間の結合によって影響されてよい。例えば、各タイムステップにおいて変数が送信変数から受信変数に移行する実施形態では、送信変数と受信変数との間に介在モジュールが存在すれば、データの通信が遅延するであろう。他の実施形態では、結合それ自体がタイミングコンポーネントまたは遅延コンポーネントを有してよい。好ましくは、全てのモジュールが変数間で通信できるように、標準化されたネットワークまたは通信フォーマットが使用される。これには、ラッパーが必要とされるか、あるいは、標準化されたネットワークフォーマットをモジュール内部のコードがどのように作成するかを定義するモジュールの初期化が必要とされる可能性がある。代替的な実施形態では、モジュールの位置、ならびにモジュールの視覚的距離またはその他の位置参照データが、タイミングに影響してよい。

脳および顔の特徴の例示的モデルが図１に示される。モデルは、生物学的要素、計算要素およびグラフィック要素を含んでよい。好ましくは、計算要素およびグラフィック要素は概して、または実質的に、生物学的システムに基づいてよい。一実施形態において、生物学的モデリングアーキテクチャにより、一連の低レベルモジュールが、結合されるか、後に結合されて高レベルコンポーネントを形成するグループに組み込まれることが可能となる。これは、単純な基本モジュールがリンクされて組み合わされ、複雑な全体的特徴を生じさせる進化性の階層化構造または進化性の神経構造に従うか、由来してよい。基本モジュールはモジュールのコア機能を提供してよく、高レベルモジュールが、このより基本的なシステムに結合された追加的機能を提供する。従って、生物学的モデリングアーキテクチャは、生物学に基づいたアニメーションシステムを構築するために使用される。上記システムの利点は、複数の別々の低レベルモジュールを構築することによって複雑なアニメーション化されたシステムを構築でき、低レベルモジュール間の結合がモデルに人間様の機能または動物様の能力をもたらすということである。

図１ａは、一部の周囲の特徴を含む脳の表現を示すモデルの全体像を示す。モデルは、科学的モデルに基づいたシステムおよびニューラルネットワークシステムを含む神経系および神経解剖学的構造のサブモデルを含んでよい。特に、公知のタイプの生物学的ニューラルネットワークが使用されてよい。この構造は、挙動を生じさせる計算モデルによって生成される内部プロセスの可視化を可能にする。また、構造は、ユーザとシステムとの間のインタラクションを描写可能または理解可能な形態で提供する。モデルまたはモジュールは、理論モデル、データによって稼働される経験モデル、これらの組み合わせ、あるいは単純化されたモデルによって稼働されてよい。一部の実施形態において、モデルのインタラクティブな性質は、所望の挙動を構築するために、あるいは挙動パターンまたは生物学的効果をテストするためにアバターまたはアニメーションの挙動を変更することを可能にする。

アバター、デジタルエンティティまたはアニメーション（図１ａのものなど）の生成には、神経系の構築、可視化およびアニメーション化のためのモデリング方法論が必要である。神経モデル用の新規のモデル環境および方法が開示されており、これは脳言語（ｂｒａｉｎ ｌａｎｇｕａｇｅ）（ＢＬ）と呼称されてよい。ＢＬは、生物学に基づいたニューラルネットワークモデルからアニメーションおよびリアルタイムのビジュアライゼーションをユーザが生成することを可能にし、モデルの効果をインタラクティブな背景で見ることを可能にする。例えば、図１は、モデルの脳および目２１、これのセクション２２、および変数、入力または出力２３，２４，２５の画像を示す。このような視覚環境は、モデルの生成に好適であるだけでなく、モデルの開発およびモデルの可視化に理想的でもある。ネットワークの調整を可能にするために、あるいはユーザが設定入力を受信することを可能にするために、可視化にユーザインターフェースを使用できる。必要に応じてカメラ、マイクロホンまたは任意の他のセンサを用いて、モデルは入力を受け取り、視覚的に、聴覚的に、あるいはグラフィックで、出力を提供する。異なる形態の入力は、データをモデルに組み込むために適切なラッパーを有する異なる入力モジュールを必要とする可能性がある。

ＢＬモデリング環境は、ユーザとモデルとの間の双方向通信を提供する。実施形態において、モデルは、視覚的および／または聴覚的通信を通じてユーザとインターフェースしてよい。これは、モデルが音声を生成し、方向または位置を変更し、同じことを行うユーザに対して反応してよいこと、ならびに、好ましくはこれらの動作が現実的かつ人間様であるべきであるということを意味する。１つの例では、ユーザがモデルの方向を見ていない場合にモデルが泣いてよい。あるいは、モデルが、その環境内の音声または動作をモニタリングし、これらに対して反応してよい。さらなる実施形態において、環境内の音声または動作は、経時的にモデルの稼働に影響してよい。モデリング環境が、複雑なシステムのための相互結合に富んだ構造を提供するため、アニメーションと（センサを通じた）環境と神経モデルとの間のインタラクションが可能である。これは、モデルをテスト、改善および最適化するための手段を提供する。

図２は、幼児の顔および上半身の３Ｄ表示であるアニメーション出力を示す。出力表示は、モデルの結果を表示するとともにモデルに影響してよい。例えば、システムは、ビデオ入力および音声入力をリアルタイムで解析し、行動学的モデルを使用して介護者または同等者の挙動に対して反応できる。同様に、アニメーションが見ている方向ならびに任意の外部の音声または動作によってモデルが影響されてよい。外部の顔は、生体力学的な情報またはモデリングを用いて表現されてよい。アニメーションにおいて、これは通常、筋肉の形状に基づいている。代替的な実施形態において、出力は、ロボット、漫画の人物（ｃａｒｔｏｏｎ ｆｉｇｕｒｅ）またはその他の手段の一部としてであってよい。これらは、直接的には人間の特徴または人間様の特徴に似ていない可能性があるが、人間様の動作または応答を共有する可能性がある。動物様の特徴または人間様の特徴に基づく実施形態では、モデルの生物学的基礎が、より現実的なモデルを生成する現実的なモデリングの制限を可能にするか、必要とする可能性がある。アニメーション化された出力３１だけでなく、いくつかの変数、入力または出力３２もまた、モデルの理解を向上させるために示されてよい。

システムは、デジタルエンティティの描写およびアニメーション化の両方が可能であってよい。描写により、モデルの部分の構造および配置によってデジタルエンティティを表示することが可能となる。これにより、ユーザが効率的にモデルを構築できるようになる。これは、別々の神経モデルおよびアニメーションモデルを生成してから遡及的に連結することを必要とする代わりに、設計とアニメーションが密接に連結されているためである。モデルの描写は、ランタイムデータ、および／または、システムが何であるかおよびシステムの部分がどのように結合されているかということの描写を含んでよい。デジタルエンティティのアニメーションは、この描写に密接に連結されているが、システムがどのように実行されるか、およびシステムの各部がどのようにタイムステップで稼働するかということに関連する計算情報およびグラフィック情報を加える。モデルの緊密な連結は、各モジュールがモデル全体のセグメントを形成するようにグラフィック要素、計算要素および／または変換要素を含み、且つ、これらを直接的にリンクするモジュールによって生成される特徴である。これにより、コンポーネントレベルのモジュールを、密着してまとまりのある統一体に構築すること、あるいは結合されたモジュールの構造を形成するために組み合わせることが可能となる。

一実施形態において、モジュールは、顔のアニメーションのために筋肉レベルコンポーネントを含んでよい。これは、神経行動学的モデルによって稼働してよく、筋肉に関連するグラフィック要素と、筋肉の稼働に関連する計算要素と、を有してよい。筋肉コンポーネントは、好ましい位置あるいはとるべき動作を提示するモデルから入力を受信してよい。ニューラルネットワークパターンジェネレータは、類似の筋肉コンポーネントの集合体から入力または予想される出力を受信し、これらを組み合わせて、より大きな筋肉または筋肉領域のためのまとまりのある出力効果を形成してよい。グラフィック出力の制御が低レベルであるため、非常に複雑な顔の表情が形成され得る。これは、モデルが単に、一連の可能な表情を組み合わせること、あるいは顔全体にデータポイントのメッシュを対応させることを試みているのではなく、その代わりに、動物または人間の解剖学的または生物学的システムに基づいて顔の表情を構築することを試みているためである。後で説明される他の実施形態は、出力または表情および有限要素弾性（ｆｉｎｉｔｅ ｅｌｅｍｅｎｔ ｅｌａｓｔｉｃｉｔｙ）の組み合わせによって、まとまりのある顔の表情を提供してよい。

また、モデルのグラフィック要素および計算要素に対する低レベルの制御は、一定範囲のレベルのディティールでモデルの態様を調べる能力も提供する。例えば、特定の筋肉の動きが重要である場合、モデルは、モデルの残りの計算または稼働を維持しつつ、これを示すことに限定され得る。同様に、モデルは、出力グラフィックアニメーションおよびモデルの計算に関する出力（この計算のグラフィック出力を含む）の両方を表示できる。例えば、瞬きの割合に対するドーパミンの効果を調べるために、人間の乳児のモデルが使用されてよい。主要なグラフィック出力は、乳児の顔または頭部およびその顔の動きであってよい。しかし、図２に示されるものと同様の比較を行うために、乳児におけるドーパミンレベルのプロットも可視化されてよい。２つ目の例では、ユーザとインタラクトして特定の挙動の報酬学習に対するドーパミンの効果をモデル化するために人間の乳児のモデルが使用され得る。例えば、乳児が特定の表情を作り、ユーザが肯定的に応答し、次にドーパミンの学習効果が可塑性手段を調節すると、この表情が反復されやすくなる。ユーザは、乳児の顔の挙動の変化を見ることができ、また、線条体ニューラルネットワークのシナプスの重みの変化も可視化できる。

一実施形態において、シミュレートされた神経回路の可視化は、任意の所与の時間において神経解剖学的背景で、あるいはより概略的な表示で、行動における挙動を生じさせる神経回路をユーザが見ることを可能にし得る。モデルの特徴は、顔の筋肉の活性化に寄与する神経回路の活性を調べるために、皮膚の下をグラフィック的に見ることである。ＢＬで利用可能な閲覧様式の範囲は、ユーザが神経解剖学的背景でモデルの様々な部分を任意に閲覧することを可能にするとともに、より抽象的なモデルに、およびライブモデルパラメータの変更に、より適している可能性のある、より伝統的な「数値に注目した（ｎｕｍｅｒｉｃａｌｌｙ ｆｏｃｕｓｅｄ）」表示を提供する。

モデル内の適切なモジュールのドーパミン変数あるいはドーパミン変数由来の結合にグラフィック要素または可視化要素を追加することによって可視化が達成され得る。次に、ドーパミン／報酬システムに対する薬剤の効果を調べることをユーザが望む可能性がある。これは、薬剤由来のコネクタを神経行動学的モデルのモジュールに追加することを伴ってよい。これが神経系の一部の稼働にどのように影響するかを調べることをユーザが望む可能性がある。やはり、これも、システムのその部分に関連付けられたグラフィック要素または可視化要素を生成または活性化することによって達成され得、これは、顔のコンポーネントから個々のニューロンモジュールに至るまで、複数のレベルで活性化されてよい。これが可能なのは、必要な構造を有するモジュールであって、計算またはデータに基づく処理およびグラフィック処理の両方を個別に、あるいは分離可能に、精査、描写および適合できるように計算要素およびグラフィック要素を有するモジュール、の組み合わせからシミュレーションが構築されるためである。モジュールに基づいた手法はまた、必要な構造にさらなるモジュールを導入することにより、計算要素または表示要素のいずれかにおいて、さらなるディティールを追加することを可能にする。このように、グラフおよび概略図によって、あるいは、基礎となる神経解剖学にマッピングされた活性を調べることによって、例えば顔の挙動を生成するモデルの状態が可視化され得る。

アニメーション／グラフィックス
図２は、人間様の顔を有するアニメーションを示す。現実的な顔および顔の表情の生成およびアニメーションは、モデルの使用によって達成されてよい。顔のアニメーションの生成モデルとしては、神経制御システムが好ましい。これは、それが表情の構築ブロック（ｂｕｉｌｄｉｎｇ ｂｌｏｃｋ）から顔の動きを構築するためである。これは、デジタルエンティティまたは仮想オブジェクトにおいて、より一貫性のある全体的な表情を生成するのを補助する可能性がある。顔の動きの神経制御は、顔面神経核に至るまで、解剖学的および機能的に異なる自主的システムおよび感情的システムを含む複数の並列システムの使用を必要とする。神経系への結合に基づいて顔のアニメーションまたは表情を制御できることにより、現実的なアニメーションを作成して、それをより人間らしくするためにそのアニメーションを設定および最適化する手段が提供される。モデルの顔のアニメーションは、顔面運動システムのアーキテクチャに基づいた神経解剖学的モデルを使用してよい。これは、モデルに関連付けられた他のモジュールから入力を受け取ってよい（ただし、公知の科学的モデルに基づいていることが好ましいであろう）。システムの実施形態において、顔あるいはその他のグラフィック対象は、現実的な顔のグラフィック要件に焦点を置くために、構造の分離した部分または分離した構造を形成してよい。次に、この顔の構造は、制御のために神経行動学的モデルに結合またはリンクされるであろう。

本発明の一実施形態において、グラフィックデータのみを含む、あるいはグラフィックデータを主に含む、一連のモジュールによって顔などの複雑なグラフィック出力が形成されてよい。このように、顔は、顔（またはその他のグラフィック画像）のディティールの変更を可能にするために計算的態様からさらに独立していてよい。顔は、モジュールのセットとして配置されてよく、第１のモジュールが顔を表現し、必要な構造内の複数のモジュールが次にサブの特徴を表現する。第１の例において、モジュールは、顔の表面のみを表現してよく、または、第２の例において、モジュールは、顔ならびに顔の背後の筋肉または組織要素を表現してよい。顔の特徴は、上述のように取得されてよく、ここで、一連の顔の表情が計算、記録および描写される。一実施形態において、顔の表情をモデルに融合して複合表情を生成してよい。融合された顔の表情を使用することの利点は、これによって、表情が完全なものであること、ならびに必要な筋肉の全てを使用することが確実となるということである。例えば、組織化された笑みのパターンの筋肉が共同して稼動するのではなく、個々の筋肉が指示を受けているような笑みの非対称的性質によって、人の強制された笑みを本物の笑みと区別できる可能性がある。

ここで図８を参照すると、本発明の実施形態は、複数のモジュールを介して制御される顔における顔の表情を示す。顔は、顔の表面を表現する複数の筋肉形状８１または顔の特徴によって表現される。これらの筋肉形状の動作およびグラフィック表現は、一連の表情モジュール８４，８５，８６によって提供される。表情モジュールは、筋肉形状８１用の定義済みの重みを有してよく、そのため、トリガされると、それらは、顔に重み、強度または入力を提供して適切な表情を生成する。定義済みの重みは、以前のデータキャプチャから取得されてよい。例えば、表情モジュールは、渋面８４、笑み８５および怒った表情８６に関連してよい。表情ジェネレータ８７，８８，８９として使用される１つ以上のパターンジェネレータによって顔の表情が制御されてよい。表情ジェネレータ８７〜８９は、複数の表情モジュールを融合および整形する手段を提供する。例えば、怒った表情の顔と渋面の顔とを融合することによって達成され得る怒った渋面を親が必要とする可能性がある。他の例では、表情が、より異なっており、例えば、笑みと驚きとを組み合わせて、全体として嬉しい驚きの表情を生成する。表情ジェネレータは、それらの入力変数に基づいた、訓練済み応答曲線（ｐｒｅ−ｔｒａｉｎｅｄ ｒｅｓｐｏｎｓｅ ｃｕｒｖｅｓ）を含んでよい。

表情ジェネレータは、神経行動学的モデルにリンクされてよく、特に、情動を対象とするモジュールにリンクされてよい。例えば、それらは、懲罰９０または報酬９１用のモジュールに結合されてよい。表情ジェネレータは、システムの明瞭な情動のうちの任意の１つ以上の入力を受け取り、出力用に、顔の表情の適切な融合を構成してよい。必要な構造を提供してシステムの組織化をサポートするために、全体構造要素９５の下にシステムが含まれてよい。好ましい実施形態において、システムは、顔の表情システムに関連付けられた１つ以上の学習要素を含む。例えば、特定の表情を作ることについて長時間報酬を受けているモデルが、報酬を受けた表情に対してより強い重みを有して、その結果、より頻繁にその表情を示すように表現ジェネレータの重みを学習要素が変更してよい。また、モデルは、条件付けによる学習もおこなうことができる。例えば、条件付け後に、刺激の誘導する感覚活性を挙動の情動的なトリガに関連付ける連想モジュールは、刺激のみに曝されても挙動をトリガするであろう。これは、「古典的条件付け」または「パブロフの条件付け」に類似である。

モジュールとして形成された生物学的に妥当なリカレントニューラルネットワークモデルを用いてモデル化された、脳幹または皮質パターンジェネレータの使用により、グラフィック出力またはアニメーションが構成されてよく、アニメーションの重みとして出力される前に顔面神経核において分解される活性を生成してよい。示されるようなモデルのグラフィック出力（ならびに特定の顔のモデル）は、シミュレートされた運動ニューロンから生じた筋肉の活性化によって稼動されるように設計されている。運動ニューロンは分離したモジュールに含まれてよいか、モジュールのグラフィック部分の一部を形成してよい。顔の表情の幾何学的多様性は、個々の筋肉の活性化ならびに有意に非線形的な組み合わされた活性化の効果をモデリングすることにより生成される。グラフィックアニメーションは、スキャン、幾何学的モデリングおよび生体力学的シミュレーションを含む手順を用いてよい。

顔の表情の多様性は、個々の筋肉の活性化の包括的生体力学的シミュレーションを用いて生成されてよい。これにより、グラフィック出力が個々の特徴の配列のそれぞれの組み合わせではあるが単一のまとまりのある柔軟な統一体を形成するという利点がもたらされる。また、不明瞭な部分を閲覧できるように、あるいは、特定の特徴に集中できるように、特定のセクションのオンオフをシステムが可能にしてもよい。システムに含まれるモデルが人間の脳を、またはその一部を、シミュレートしている場合、計算モデルの特定のセクションをオフにすることで、システムが脳損傷を受けたかのようにシステムをふるまわせることができる。これは、人工的病変と称されてよい。

また、システムは、人間様の特性を共有する様式化されたキャラクターまたは漫画の構築を可能にするために顔の表情を芸術的にモデル化することを可能にしてもよい。物理に基づいたモデルの使用の利点は、モデルの将来のロボットへの実装（例えば、ヒト型ロボットにおける実装）に対する互換性である。顔の表情は、顔の生体力学の限定されたセットに基づいてよいが、好ましい実施形態では、構造は、顔の解剖学的構造に厳密に一致させられる。デジタルエンティティは、アバターならびに、照明、漫画のキャラクター、色彩もしくは閲覧者に公知のその他の出力または表示を含む表示またはオーディオビジュアル出力を含んでよい。

システムは、深層脂肪層および表層脂肪層、深層筋肉および表層筋肉、筋膜および／または結合組織のモデルを含んでよい。顔の変形または顔の動きの効果は、シミュレートされた筋肉の活性化を介して安静位から顔を変形させるために使用される大規模変形有限要素弾性の使用により獲得されてよい。単独で、および一般的に同時に活性化された筋肉との組み合わせで、各筋肉の動作がシミュレートされて、区分的線形の表情の多様性あるいは顔の動きのパターンを生成してよい。一実施形態において、現実的な変形および皮膚の動きを有するリアルタイムの顔のアニメーションを生成するために、この計算済みの顔のジオメトリがモデルに組み合わされる。しかし、計算済みのジオメトリまたはプロセスジオメトリをオンザフライで生成するために他の方法を開発してよい。本発明の一実施形態において、グラフィック出力は、ロボットの顔あるいは類似の物理的表現を稼働させるために使用されてよい。顔の物理的表現と共に、緊張または伸長または圧力などのグラフィック出力についてのさらなるディティールをグラフィック出力が表示できる可能性がある。

学習要素
モデルはまた、学習要素および／またはエピソード記憶要素も許容する。これらの要素は、データの値または重みのセットを保存するモジュールの形態で実装されてよい。重みは、ニューラルネットワークに関連してよい。一実施形態において、重みの少なくとも一部は、シナプス様重みである。重みは、変化するか、モデルの環境または入力の変化に適合してよい。例えば、それらは、ドーパミンレベルに反応し得、ここで、より高いレベルは、より可塑的な状態を示す可能性がある。このように、モデルのニューラルネットワークは自動的に順応し、結果は時間とともに変化する可能性がある。乳児とインタラクトする当事者またはユーザが、正または負の強化フィードバックの供給があると乳児が自身の応答を変化させると予期するため、社会的学習のダイナミクスは、現実的なインタラクションを開発する上で鍵となる。学習モジュールは、モジュールの計算部分の一部を形成してよく、また、必要に応じて、上述のようにグラフィックの形態で表示されてもよい。

学習モジュールは、連合した学習要素または関連付けエンジンまたは関連付けモジュールであってよい。例えば、以前のイベントに反応することによってモデルが学習するようにモデルを訓練できる。ユーザとの反応が成功結果を示すようであると、正の強化サイクルが生じてよく、成功結果は、システム中の重みまたは経路の強化を促進する。２つの変数、モジュールあるいは入力および出力の間の関連は、それらの間に形成する関係を示し、ここで、最初の変化が、直接的または間接的に、後の変化を変化させる。一部の場合において、同一のモジュール／変数または刺激に対して、あるいはこれらから、複数の関連が形成される可能性がある。これは、次に同じイベントが起こる際に、それが同様に優先されるということを意味する。第２の例は、一部の刺激に対する負の応答に基づいて重みが変更される負の例を使用してよい。インタラクションの期間にわたって、これは、関連付けエンジン内に重みの優先的セットを構築することを可能にし、モデルの反応が変化および適合することを可能にする。一部の実施形態において、刺激と重みとの間の関連は、間接的であってよいか、フィルタリングされてよいか、システム中の経路または他の学習モジュールによって影響されてよい。一部の場合において、特に生物学的システムに焦点を置いた場合、変化の完全な効果が仮想オブジェクトの挙動のみにおいて観察可能である学習プロセスは、好適には間接的であってよい。すなわち、効果を生じさせるために特定の重みがどのように変化したのかを確認するのは容易ではない。

一部の実施形態において、学習モジュールは、内部の活性、あるいは内部のソースまたは刺激に依存してよい。これにより、システムが、外部刺激にのみ依存するのではなく、内部世界を生成することが可能となる。例えば、内部の恒常性不均衡（例えば疲労）は、外部からの入力に関連することなく、あるいは外部からの入力に関連付けられることなく、挙動に影響を与え得る。あるいは、挙動は、内部で生成された履歴／記憶に影響されてよく、そのため、間接的な内部応答となる。さらなる実施形態において、気象システムに類似するニューラルネットワークは、その活動を常に展開させていてよい。これは、ニューラルネットワークの一部が、非線形的に自身の過去の状態に依存してカオス的挙動を示すためである。一実施形態において、外部刺激から隔離された状態でも一定の行動的動作を生成する中枢パターンジェネレータとして設計されたニューラルネットワークをシステムが含む。例えば、バブリング（ｂａｂｂｌｉｎｇ）が、リズミカルに稼働する中枢パターンジェネレータ（ＣＰＧ）によって生成されてよく、これは、学習モジュールの基礎を提供してよい。他の実施形態では、学習ネットワークが内部刺激間に関連付けを形成してよく、フィードバックループは、間接的な外部出力のみを有するか、モジュール間のインタラクション同士の間の変化に主に焦点が置かれている。

ＣＰＧがデジタルアニメーションに使用されており、（周期的または律動的である可能性のある）活動の時系列を生成する方法を提供することは公知ではない。この活動は、システムのコア機能となり得、生物学的に妥当であり、ニューラルネットワークあるいはモジュールの計算要素がパターンを生成することを可能にする。例えば、泣くことまたは笑うことまたは呼吸することのような挙動は、中枢パターンジェネレータによって稼働される。中枢パターンジェネレータは、フィッティングアルゴリズムを用いてアニメーションをリカレントニューラルネットワーク（ＲＮＮ）にフィッティングすることによって構築またはコード化されてよい。（例えば、活性化シグナルによって）ＲＮＮが活性化すると、パターンが生成されてよい。生成されたパターンはアニメーションに変動性を導入し、その結果、（アニメーションは潜在的カオスシステムによって生成されるか、潜在的カオスシステムを一部として有するため）アニメーションは正確には繰り返されないが、類似した繰り返しを有する。例えば、これは、類似した入力に基づく応答に変動性をもたらしてよく、我々は何かしらの生物学的挙動にそれを関連付ける。

一部の実施形態において、モジュールの関連付けを固定することが望ましい可能性がある。例えば、特定の様式で動作するようにモデルを訓練してよく、これは変更される必要がない可能性がある。あるいは、システムの変化または適合する能力は、時間または神経行動学的要素とともに変化してよい。この場合において、関連付けエンジンまたはモジュールは、固定モジュールまたはパターンモジュールと称されることがある。パターンモジュールは、顔の表情を含む事前に構築された外観を含むグラフィック要素のために使用されてよい。関連付けモジュールまたは学習モジュールに対して可能な変化の量を制御できる可塑性変数が存在する可能性がある。これは、任意のタイムステップについての可能な重みの変化を限定することによって機能してよい。モジュールの可塑性は、変化速度を調整することを可能にし、記憶の保持と新規の記憶の獲得とを入れ替えるように最適化されてよい。一部の場合では、単一のモジュール内の重みが、変化する可塑性を有してよい。可塑性は、フィードバック、ならびに神経伝達物質由来のシグナルなどの外部の調節シグナルに影響されてよい。

例えば、関連付けモジュールは、ポン（ｐｏｎｇ）などの単純なゲームをプレーすることをモジュールに教えるために使用されてよい。モデルは、ポンのスクリーンの視覚的入力である刺激を有してよく、その目を動かすことによってパドルの位置を出力してよい。ドーパミンなどの神経伝達物質の増加によって、強化手段が提供されてよい。運動バブリング（ｍｏｔｏｒ ｂａｂｂｌｉｎｇ）によってモデルがパドルで上手くボールをヒットすると、モデルはより多くのドーパミンを受け取り、神経行動学的システムが、これをボール／パドルの追跡と関連付け、これに関連する関連付けモジュールを強化する。

例示的モデル
ここで図６を参照すると、目の瞬きの実施によって、モデルの柔軟性が示されている。図５で説明および示される顔６１、目６２および角膜６３といった顔の構造の一部としてこの機能が組み込まれ得る。瞬きがサッケード中に起こりがちになるように、眼球運動系によって目の瞬きが調整される。一実施形態において、システムは、適切なニューラルネットワークを有するモジュールによってモデル化されてよい。アニメーション化されたモデルにおいて、目の瞬きシステムはまた、眼瞼および目の周りの筋肉にリンクされたグラフィック要素を有する必要がある。これらの結合は、目のシステムの構造化され、組み合わされた性質および追加される計算データのおかげで単純に作られている。しかし、目はまた、脳の他の領域と複雑に関係する。例えば、目の瞬きの割合は、ドーパミン作用によって影響されてよい。モデルの構造は、この完全に異なった複雑なシステムが目のシステムを変化させることなく目の瞬きシステムに入力を提供することを可能にする。神経系に対して、ある形態のフィードバックがあるのであれば、これはまた、単純に結合され得るであろう。２つのシステムを相互に結合させる能力は、モデルの階層構造ならびに核モジュールの個別の性質に依存してよい。

さらなる例において、我々は、環境の変化が生じると何が起こるかを考慮する可能性がある。例えば、視野に変化が生じると、これはカメラによって検出される。輝度の変化を検出して上丘の活性にマッピングするシミュレートされた網膜にカメラの出力がマッピングされる。上丘は、競合する入力を解消し、眼球運動系（複数の神経核を含む）に命令して、アニメーションシステムに送信される衝動性眼球運動を生成する。予期せぬ刺激は、ｔｅｃｔｏｎｉｇｒａｌ経路を介してドーパミンの放出を引き起こす。基底核に影響する新規のドーパミンまたは報酬的ドーパミンが放出されると、目が刺激に対して陥凹形成（ｆｏｖｅａｔｅ）し、現在の運動活性および将来の応答をヘブ可塑性によって変更する。扁桃体は現在の情動の状態を刺激に関連付け、計算済みの生体力学的にシミュレートされた変形を活性化することによってアニメーションを生成する、視床下部におけるホルモンの放出ならびに顔の筋肉を稼動させる脳幹の運動回路の活性化をトリガしてよい。サブシステムの応答および可塑性は、感情の状態にも影響する種々の神経調節物質およびホルモンのレベルに影響される。モデルの挙動は、その履歴ならびに外部のイベントに影響されるため、アニメーションは、パラメータの生理的制約によって自己調整される複雑な非線形システムダイナミクスから生じる。これは、視覚的環境変化に基づいた反応の特定のセットならびに神経系の生物学的理解を描写する。しかし、複雑性は、描写されるモデルを通じて現れるだけではないことがあり、モデルは、必要に応じてセクションまたは特徴を組み込むか排除するために変更されてよいということが理解されるべきである。

アプリケーション
説明されたシステムおよび方法の可能な使用例を提供するために、ゲーム環境および広告環境を伴うアプリケーションを簡単に説明する。しかし、本発明は、これらの実施形態に限定されるものではない。ゲーム環境において、ユーザは、他のゲーム内キャラクターとインタラクトするアニメーション化されたキャラクターまたは仮想オブジェクトをコントロールできる。多くのゲームにおいて、これらのキャラクターの動作は、非常に単純であるか、ゾンビのようである。本発明の実施形態を用いて、これらのゲーム内キャラクターを実装でき、これは、多くのゲーム内キャラクターのコンピュータ的またはロボット的性質または特性を克服する助けとなる。コンピュータ的性質には、インタラクションが不変であること、あるいはインタラクションが変化しないことが含まれ得る。

神経行動学的モデルに基づいたキャラクターは、幅広いスキルを有することができるか、スキルを欠くものの非常に現実的なインタラクションを表現することができる。さらに、ゲーム開発者は、アプリケーションに応じて幅広い種々のキャラクタータイプを提供するために、単純な方法でキャラクターを調整できるか、キャラクターに学習させることができる。例えば、オキシトシンまたはドーパミンなどの神経伝達物質またはその他の変数（神経調節）に対する感受性が強いまたは弱いように、あるいはそのキャラクターの所望の使用に応じて反応時間をより遅くするように、キャラクターをモデル化できる。モデルの相互に結合したグラフ部分は、これらの変化を明確かつ説得力のあるものにする。例えば、インタラクションのおかげで、怒っているキャラクターは、怒っているように見えることがあり、この怒った顔の表情は、かなり現実的であり、および／または、ユーザとキャラクターとの間のインタラクションに基づいてスムーズに変化していることがある。これは、それが複雑な世界を生成する異なるインタラクション能力を有する複数のキャラクターを生成することを可能にするため、さらなる利点をもたらす可能性がある。

学習態様またはモジュールを有するキャラクターは、キャラクターとユーザとの間のインタラクションの記憶を可能にし、キャラクターが再会した場合に、神経行動学的モデルが現実的なものとなるであろう。例えば、ユーザが親切にするキャラクターは、これを記憶して次のインタラクションにおいて肯定的にインタラクトする学習モジュールを有してよい。このように、ユーザとキャラクターとの間のインタラクションは、グラフィック的に現実的であり、かつ、一連のインタラクションにわたって現実的または興味深い様式で発達するであろう。

さらなる例において、システムまたは方法は、広告用の手段、表示スクリーンまたはウェブページに適用されるか、これらと関連付けられてよい。この例において、モデルは、アイデアまたは製品を提示するためにユーザとインタラクトしていてよい。モデルは、ユーザの顔の視覚的入力である刺激を有し、ユーザが見ることのできるアニメーション化された視覚的出力を提供してよい。ユーザのインタラクションは、一方的なものではなく、インタラクティブであり、ここで、情報のある要素に対するユーザの異なる応答によって、モデルがその応答を処理して、次に何を提示すべきか、またはこの情報をどのように提示すべきかについて選択を行うことになる可能性がある。同時に、モデルのグラフィック要素または視覚的要素は、ユーザとの関係を向上させるために、現実的であり且つ感情に訴える顔の表情を提示する。モデルは、グラフィック要素と処理要素を組み合わせるため、少なくとも部分的に不気味の谷効果を克服する強力な関係を構築できる。また、モデルの神経行動学的情報が、広告の有効性を判断するために使用されてもよい。ここでも、所望のサービスを提供するために、モデルの処理またはグラフィックスを適合させることができる。例えば、任意のコンピュータに対する偏見を克服するために人間様の特性を有するが、レストランに関連付けられたキャラクターに類似するグラフィック出力によって表現されてもよい、注文を取るモデルをドライブスルーのレストランが有してよい。

さらなる例では、システムは、人間とインタラクトする環境において使用されてよい。空港のチェックインは、人員集約的であることが多く、乗客を大量に処理する必要がある。しかし、乗客にアバターまたはデジタルエンティティを用いて成功した例は限られている。これは、アバターのインタラクティビティの欠如に部分的に起因する。しかし、神経行動学に基づいたアバターは、乗客の応答に基づいて挙動を変化させ、より優れたサービスを提供できる可能性がある。これは、乗客を視覚的にモニタリングするか、乗客から提供された回答を調べることによって、達成されてよい。挙動を感知すること、および、挙動を変化させることが可能であり、ならびに種々の状況あるいは乗客とインタラクトするポイントに対して展開可能または適合可能であるシステムを、描写されたモデルが提供する。

システムの稼動
システムは汎用コンピュータ上で稼動してよい。システムのアーキテクチャは、複数のレベルまたはデータ構造を含んでよい。一実施形態において、モデルのアーキテクチャには複数のレベルが存在する。このレベルは、
・各モジュールのタイプおよび機能を定義するプログラミング、
・複数のモジュールを組み合わせて並び替える構造、および
・モジュール間のリンクおよび通信を提供する構造、
を含んでよい。
種々のレベルのディティールでモジュールを含む階層にモデルを分けることで、モデル内のモジュール間の幅広い相互の結合が可能となる。これは、モジュール間は明確に分離されているが、全体の構造が、それらを結合させる手段を提供するためである。例えば、結合が目に形成される場合、目は顔または鼻から分離していてよく、残りのモデルに影響を与えることなく新規の結合を目に形成することが可能となる。モデルの組織構造はまた、目を容易に見つけ出しこと、およびリンクを生成することを可能にする。一部の実施形態において、結合は、モデル内の変数のうちの実質的にいずれかの間に形成されてよい。これによって、グラフィックスを神経モデルとインターフェースさせること、ならびに複雑なアニメーション化されたシステムを形成することが可能となる。一部の実施形態において、説明された構造は、デザインのレベルおよびスキルを分離および区別するため、単純な様式で複雑なアニメーションを生成する能力を提供する。

これにより、第１のユーザがモジュールを生成し、第２のユーザがモデルを適切に構築およびグループ化し、第３のユーザがモジュール間に結合およびデータフローを形成することが可能となる。結合は、モジュール間、あるいはモジュールまたはシステムの変数間の相互関係を記述する方法と見なされてよい。一部の例において、１人のユーザがタスクのそれぞれを実行してよいが、システムに影響を与えることなく、あるいはシステムの大規模な再構築または再編成を必要とすることなく、１つのセクションを更新できるように、分離した様式でタスクのそれぞれを実行してよい。このように、モデルは、モジュールまたはモジュールテンプレートのライブラリまたはコレクションから構築されてよい。これにより、モデリングをコーディング／プレパレーション部分と（モジュール／モジュールテンプレートの）アセンブリおよび（コネクタの）リンク化部分とに分けることが可能となる。アセンブリ部分は、プログラミング部分の理解またはスキルセットを必ずしも必要とせず、モデルの構造に詳しい者によって簡単に実施され得る。モジュールテンプレートは、明確に定義された機能性を有さないモジュールの幅広い描写であってよい。これらは、（例えば公知の科学的モデル由来の）機能性またはグラフィックスの追加によって洗練化され、モジュールを形成してよい。ライブラリは、提案された構築方法に応じて、モジュールおよびモジュールテンプレートを混合したものを含んでよい。ライブラリは、行動学的構造または神経行動学的構造を生成できるモジュールのセットを含んでよい。

一実施形態において、操作者またはユーザは、モデルまたはネットワーク内に含めるモジュールを選択し、モジュール間の結合を選択し、モジュールに関連付けられたパラメータならびに必要な構造内におけるモジュールの相対位置を調整する。操作者は次に、スクリーンに表示されるデジタルエンティティまたはアバターを観察し、モデルによって制御されるアバターの応答の特性に影響を与える、モジュールの選択、位置、パラメータならびにモジュールの結合、の組み合わせを調整する。例えば、アバターの特性は、必要な構造のトポロジーまたはレイアウトを変化させることによって、影響または構成され得る。モジュールセクションが複製されているか、構造部分（例えばツリー分岐）が排除されている、新規のモジュールを追加できる。モジュール間の結合の変化またはシステムの変化も特性に影響するであろう（例えば、モジュール間で神経伝達物質がもはや伝達されない場合、あるいは伝達が効果的でない場合）。必要な構成の量は、アバターまたは仮想オブジェクトの挙動間の差別化のレベル、あるいは差別化の重要性に依存するであろう。

一実施形態において、付加的情報処理能力は、システムに対する調整可能なパラメータである種々のシグナルの正確なタイミングに基づいている。従って、モデルの結果は、モデル中において情報がどのように結合されているかに依存していてよい。一実施形態において、モジュールの相対位置がパラメータであってよい。これは、モジュールの動きが位置参照データの調整を引き起こすことを可能にする。一実施形態において、純粋に時間的な参照フレーム（ｐｕｒｅｌｙ ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）が、位置参照フレーム（ｐｏｓｉｔｉｏｎａｌ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）の代わりに使用される。

モジュールは最初に、あるいは使用前に、モデルに認識されるように適合されるべきである。次に、複数のモジュールの構造または階層を生成できる。構造上のポイントまたはノードはそれぞれ、他のノードにリンクされてよく、ライブラリからモジュールへのリンクまたはポインターを含んでよい。ノードはモジュールと共に生じてよく、モジュールと称されてよい。モジュールの計算要素またはコードは、ノードのモジュール内に直接含まれてよい。必要な構造または依存関係ツリーが構築された後に、構造上のノード間に結合を形成できる。これらの結合は、ツリーの分岐上のウェブと見なされてよい。結合は、実質的に限定されない方法で（モジュールおよび結合を使用して）ポイントをリンクすることによって基礎的な依存関係を複雑な発展するシステムに変形することを可能にする。構造の再コンパイルを必要とすることなく、結合を形成できる。このように、モデルは、リアルタイムかつ高速応答で更新、テストまたは最適化されてよい。依存関係ツリーは、システムを描写する手段と称されてもよく、モジュール間の関係は、プログラミング言語によって作成されてよい。

モデルの特徴は、異なるレベルのディティールでモジュールがシステムを表現する可能性があるということである。例えば、モデルの階層構造およびデザインに基づいて、単純な基礎的システムが、モデルの基礎的機能を提供するために実施されてよい。対象となる特徴に関連付けられた構造の一部または分岐を、多くの関連するニューロンまたは計算の複雑性を備える高レベルのディティール（低レベルのシステム）にまで、高度に発達させることができるが、残りのモデルは、比較的低レベルのディティール（高レベルのシステム）で稼働する。必要とされる、あるいは使用されるディティールのレベルは、状況あるいは利用可能な処理能力に応じて適合されてよい。これは特に、必要なディティールの量を予測するのが困難なモデルに関係がある可能性がある。以前のモデルでは、モデルの構築の前にディティールのレベルを調整または選択する必要があったが、本システムの柔軟性は、ディティールのレベルの継続的な操作を可能にする可能性がある。

ここで図５を参照すると、例示的モデル１の一部の概略図が示されている。概略図は、リンク、構造ならびに、モデルのグラフィック的、計算的および生物学的性質の間のインタラクションを示す。図の下部から始めると、視覚モジュール５０が示されている。視覚モジュールは、カメラまたはその他の光学センサあるいは代用的装置を使用して実装されてよい。モジュールは、幅５１および高さ５２を有するピクセル配列５３と、（ＲＧＢとグレイスケールを区別するための）構成番号５４と、を含む出力を生成する。これらの出力は、モジュールの他の部分に結合されてよい。例えば、それらは、顔検出モジュール５５に対する入力となってよい。顔検出モジュール５５は、画像から顔の構造を検出して顔５６、顔の座標位置５７，５８、サイズ５９および画像のマスク６０を描写する出力を生成するようにプログラムされるか、さもなければ適合されてよい。同様に、視覚モジュール５０からの出力は、示されるような動作検出器５６に、あるいは必要に応じて一定範囲のその他のモジュールに、結合され得る。

説明されるシステムの特徴は、視覚モジュール５０などのモジュールがその内部に任意の所与の構造を有してよいということである。例えば、カメラモジュールがまず、試験目的のブラックボックスとして実装されてよく、公知または一定の入力を提供する。必要な場合には、適切な撮像システムまたはカメラをモジュール内に挿入することができる。このプロセスは、モジュールを形成するためにラッパーまたは識別構造が、入力装置（またはモデル）の周囲に組織され、コード化され、あるいは記述されることを必要とする。ラッパーまたはモジュールの定義者は、どのようにモジュールとインタラクトするかをモデルに命じる。ラッパーの適用は、モジュールの入力および出力ならびにタイムステップ動作を指定する必要がある可能性がある。モジュールの準備後に、モデルへのモジュールの導入は、モデルの階層のセクションにモジュールをリンクすること、および、（ラッパーによって定義されるように）入力および／または出力を他のモジュールにリンクすることを必要とする。ラッパーまたはモデルの定義は、モデルが別個のままではあるが関連可能および結合可能であるように、システムまたはモデルに異なるシステムまたはモデルタイプを含む新規のモジュールを導入または定義する。モジュールの特徴は、それが配置されるモデルによっては制限されない。モデルは、種々のキネティクスまたは動作またはニューロンを有する複数の種々のモジュールを組み込んで、それらを単純な方式で組み合わせることができる。利用可能なモジュールは、複数の事前に作成されたモジュールがモデルに複数回組み込まれてよいライブラリまたは選択リストを形成してよい。

モジュールのタイプは、特定のモジュールインスタンスを参照してよいが、好ましくは、モジュールの中枢または全体の機能を参照している。例えば、モジュールのタイプは、グラフィック的なものであってよく、ここで、それは、入力変数を表示する、あるいは入力変数の命令を使用してグラフィックを表示する、という主な又は唯一の機能を有する。同様に、アニメーションモジュールは、グラフィック要素を表示するが、グラフィック要素の動きも可能にする。モジュールのタイプは、計算的なものであってよく、ここで、それは、入力を出力に処理するという主な又は唯一の機能を有する。計算モデルなどの種々のタイプまたはサブタイプのモジュールが存在してよい。例えば、モジュールは、図５の「勝者が全取りモジュール」などの比較的単純な計算、あるいは、神経行動学的モデルまたはバイオミミクリーモデルなどのより複雑なモデルを提供してよい。これらは、それぞれ、単純な計算モジュールおよび科学的計算モジュールと称されることがあるが、あるいは、他の用語が、モジュールのサブタイプを区別するために使用されてよい。例えば、ニューロンタイプのモジュールは、入力と出力との間に１つ以上のニューロンを含むであろう。インターフェースモジュールは、外部ソースから入力を受信するか、外部ソースに出力を提供してよい。例えば、カメラモジュールが、入力インターフェースとして設計されるであろう。モジュールは、機能が限定されているか、機能を有さないが、他のモジュール用に構造または組織を生成するコンテナモジュールまたは構造モジュールであってよい。学習モジュールは、変化する挙動をもたらすために、記憶要素または保存要素を有してよい。また、モジュールのタイプは、モジュールのディティールのレベル（例えば、高レベルまたは低レベルのモジュール）を参照してもよい。

視覚モジュール５０、顔の検出５５および動作検出器５６は、視覚系モジュール５７の下に階層的に組織されてよい。視覚系モジュール５７は、コンテナであってよいか、動作コードまたは動作命令を含むか含有してもよい。また、視覚系は、処理モジュールにリンクしてもよい。図５は、サリエンスマップ５８として機能するニューラルネットワークモジュールを示す。サリエンスマップモジュール５８は、顔および動作の検出器から入力を受信し、視覚画像の重要な特徴に関連する一連の出力を生成してよい。これは、一般的な公知の手段によって達成されてよい。一部の実施形態において、生物学的システムに基づくモデルのために、生物学的タイプのニューラルネットワークが使用されてよい。次に、サリエンスマップ５８の出力は、例えば、最も強い特徴を分離する「勝者が全取り」モジュールによって処理されてよい。図５に示されるように、モデルの構造は、視覚系の全ての構築ブロックを組織的に、まとめて含むか保持し、配置し、または関連させることを可能にしている。しかし、システムはまた、モジュール間の結合を、これらのモジュールが同一の構造であるか、無関係の構造であるか、異なるコンテナモジュールであるかによらず、可能にする。

頭部モジュール５８に含まれる視覚系モジュール５７が図５に示される。頭部モジュールは、凝視システムモジュール５９、脳モジュール６０および顔モジュール６１も含む。可能なモジュールの選択は、示されるこれらに限定されない。モジュールはそれぞれ、頭部のモデルを構築するのに必要なシステムの一部を含んでよい。例えば、凝視システムモジュール５９は頭部モジュール内にあり、目がどの方向を見ているかについての指示を提供する。これは、少なくとも、視覚系５７からの入力、顔システム６１および顔システム６１への出力を必要とする可能性がある。しかし、さらなる結合を、脳またはモジュール６０に、あるいは、目６２または瞳（図示しない）などの別のモジュールに、形成してよい。モジュール間の結合（コンテナレベルでの結合、あるいはサブモジュールへの直接的な結合）は、モデルの稼働に大きな柔軟性をもたらす。ある意味では、任意の特徴が、その入力および／または出力がコネクタによって任意の他の入力または出力に結合されてよい１つ以上のモジュールとして表現される。モジュラーシステムの使用は、モデルのコンポーネントのレイアウトまたは構成を可能にし、モデルの可視化形態をもたらすとともに、モデルおよびその神経回路の構成および／または再構成を可能にする。

本発明の一実施形態において、グラフィック要素は、モデルに必須である。これは、脳についての複雑な生物学的モデルならびに現実的な動きのために必要とされるアニメーションを別々に維持することに関連する問題を克服する。図５に示される実施形態では、顔モジュール６１は、モデル化された顔のためのグラフィックスおよびアニメーションを含む。顔モジュールならびに目６２および角膜６３などの子モジュールが、上述の処理モジュールおよび計算モジュールと並んでモジュールの構造および階層内に含まれる。さらなる実施形態において、モジュール間のさらなる関係が存在してよい。例えば、カメラが目の方向を見るように目モジュール６２と視覚モジュール５０との間に結合が形成されてよい。各システムが多くの相互結合を伴って固有的に複雑であるため、グラフィック要素と計算要素との組み合わせは複雑である。しかし、各システムについて、同一の構造あるいは厳密に対応した構造を使用することで、単純性ならびに理解可能なシステムがもたらされる。これは、部分的には、種々のシステム間の冗長性の回避ならびに結果として生じるモデルのユーザに対する明確性に起因する。

グラフィック要素、センサ要素および処理／計算要素の階層的関係、ならびにこれらの間の階層的関係は、複雑なシステムが構築および理解され得る構造をもたらす。複雑な構造を慎重に計画して最適化することを必要とせずに、モデルを構築して、区分的に改善できる。例えば、モデル製作者／ユーザは、顔およびそのコンポーネントの構造を定義することから開始している可能性がある。顔６１、目６２および角膜６３を構築した後に、モジュールの階層内に適切なグラフィックスを含めることができる。次に、おそらくは生物学的モデルに基づいて、目に指示するために視覚モジュール５０から単純なフィードバックループがプログラムされ得る。説明された階層構造のおかげで、目の動きは頭部の動きに依存し、一貫性のある現実的な動きにつながる。各モジュールに含まれる変形命令を使用して、効果が階層を通過させられてよい。また、目の動きは、興味深い環境の特徴を識別する視覚的入力にリンクされてもよい。この入力は、リンクまたは結合を通じて、方向についての入力を目に提供する。目のシステムは、これらの入力の組み合わせを受け取り、グラフィック入力および計算入力に一致するように動作する。モジュールおよび結合をさらに追加することによって、新規の特徴を既存のモデルに包含させることができる。これにより、モジュールの骨格を生成すること、ならびにグラフィックモデルの複雑性を適切に、およびモデルを最初から再構築することを必要とせずに、さらに追加することが可能となる。

一実施形態において、モデルは、入力（例えば、聴覚的／視覚的な外部入力）から出力への情報のフローを考慮することによって理解される可能性がある。必要な構造は、モデルを通じる情報の第１のフローをもたらす。特に、必要な構造は、他のモジュールに依存しているモジュールに情報が共有されるようにモジュールのレイアウトまたは構成を提供する。この構成は、依存関係が明確であり且つ構造の部分の複製および反復が望ましいシステムまたは物理的構造を理解するのに適切である情報のフローをもたらす。第２の情報のフローは、モジュールの変数間の結合によってもたらされる。この情報のフローは、必要な構造に依存していないモジュール間のリンクを定義するために、好ましくは必要な構造上のウェブ様構造で、構築される。

例えば、これらの結合は、モデル全体にわたって複数のモジュールに対して幅広い効果を有する神経伝達物質／神経調節物質あるいは類似物に特に適切である。結合またはリンクはまた、結合の変更あるいは新規の結合をテストすることを可能にする。これらは、少なくとも部分的に、必要な構造から独立しているため、結合に対する相当な変動が可能である一方で、必要な構造は、モデルが全体として一貫性を有したままであることを確実にする。必要な構造および結合の相対的な複雑性を変化させることができる。例えば、複雑なモデルにおいて、必要な構造を、その間にリンクを形成させる結合を有する実質的なフレームワークとして使用することが望ましい可能性がある。しかし、柔軟性を大きくするために、単純な必要な構造を、より多くの結合とともに使用することができ、次に、構造の周囲に情報を伝送させることができる。

必要な構造は、２つのモジュール間の明確な関係または依存関係を示す可能性がある。例えば、必要な構造は、一連のモジュール（例えば、頭部、顔、目、角膜および瞳）の物理的関係を表してよい。限定された必要な構造を有するモデルにおいて、この情報は結合によって伝送されてよいが、これによって、モデルの部分を視覚的に表現すること、ならびにユーザがモジュールの構成を変更することが、より困難かつより非効率になる。結合は、より多くのデータをモジュール間で伝送する必要があり、結合は、重要または必要な関係が排除されないことを確実にするように慎重に構築される必要がある。次に、結合は、モジュール自体の間に依存関係を確立することなく、モジュール間で変数をリンクする。

一部の実施形態において、必要な構造は、システムの稼動の重要な部分を形成してよい。好ましくは、稼動はタイムステップ式である。タイムステップは、アニメーションまたは出力が流動的に見えるのに十分な速さの速度で起こるべきである。１秒当たり４０フレームのフレームレートが、流動的であると知覚される可能性があり、２５ｍｓ毎に新規のフレームを必要とする。計算時間が１．５〜２．５ｍｓであるとすると、これは、再描画が必要となる前に約１０回の計算的タイムステップを可能にする。ただし、グラフィック出力は必要に応じて、より高頻度または低頻度で再描画されてよく、計算時間は、システムパラメータおよびモデルの複雑性に応じて変化してよい。一実施形態において、主な稼動は、各モジュールがタイムステップを取ることを伴ってよい。このタイムステップにおいて、モジュールの計算要素は、更新されてよい。通常、グラフィック要素は、タイムステップのいかなる変化も有さない。次に、コネクタはそれぞれ、新規の変数で更新され、これらを、結合されたモジュールに対するこれらの変数に伝送する。次に、好ましくは必要な構造の上部から底部へとはたらくことにより、変形命令に従って、モデルを再描画できる。上述の通り、再描画の前にタイムステップおよびコネクタの更新を複数回繰り返すことができる。同様に、一部のモジュールは、それらがモデルの残りの部分程には頻繁に更新しないように、ブレークまたはホールドを有してよい。

第１のライブラリまたはコレクション、あるいはニューロンモジュール、関連付けモジュール等など、非常に幅広いテンプレートモジュールまたはモジュールタイプを含むリストを有することによってモデルが実装されてよい。このライブラリは、第２のライブラリあるいはモジュールテンプレート内部の特定の方法またはモデルを実施または記述するモジュールのセットを構築するために使用されてよい。（モジュールは、好ましくは、１つのモデルにおいて複数回使用可能であるため）のそれぞれの間のリンクの記述、あるいは、の各インスタンス化の記述、モジュールは次に、好ましくはＢＬで、記述される。この記述は、モジュールがどのように結合され、どのモジュールがグラフィック出力を有するかを説明する。さらなる記述またはコードが、さらなる構造あるいはモジュール間のリンクをもたらすために使用されてよい。好ましい実施形態において、記述のうちの少なくとも１つは、ファイル構造に基づいており、ここで、モジュールがファイル構造で配置されて、配置、必要な構造または階層を確立してよい。このようなシステムは、モデルの変更に高度な柔軟性をもたらし、１つのモデルを生成することの複雑性と一定範囲のモジュールを適切に組み合わせることの複雑性とを分離する。

皮質の神経行動学的モデル
ここで図９を参照すると、皮質２０ならびに関連するモジュールへの結合および関連するモジュール間の結合の選択の概略図が示されている。これは、皮質−視床−基底核−ループと称されることがある。皮質モジュールは、インカミングモジュール（ｉｎｃｏｍｉｎｇ ｍｏｄｕｌｅ）の活性を統合するニューロンモジュール（複数可）２３および／またはシナプス重みモジュール２４あるいは、経時的に効果を可塑性にするか変化させることができる関連付けモジュールを有してよい。皮質２０への入力は、感覚マップ２１に由来する。感覚マップは、カメラ１７などの外部刺激から受信したデータを処理するために使用されてよい。感覚マップ２１は、皮質に入力されてよい、刺激のピクセルからニューロンへの変換として機能する。

皮質は、視床２２などの他のモジュールと共にフィードバック結合３３を有してよい。感覚の知覚を皮質に統合する手段を提供するためにフィードバックループを使用できる。正のフィードバックループは、視覚的なイベントまたは刺激を動作と関連付けることを補助する可能性がある。皮質はまた、基底核に結合される。基底核２９は、ニューロンモジュールおよびシナプス重みモジュールを含む関連モジュールまたはサブモジュールを複数有してよく、皮質に、あるいは視床を介して皮質に、フィードバックを提供してよい。基底核に対しては単一の結合３１，３２のみが示されているが、複数の結合が形成されてよく、さらなる結合は、示されているモジュールまたは示されていないモジュールにリンクしてよい。基底核２９それ自体が、あるいは経路に結合されたモジュールが、皮質と視床との間のフィードバックを調節してよい。すなわち、神経機能を有する中間モジュールが、構造の複雑性または適応性を増大させてよい。ドーパミンまたはオキシトシンなどの神経伝達物質／神経調節物質２５は、構造の稼動に影響を与えるために使用されてよい。これは、モジュールの別の部分、あるいは外部刺激からの結合として実装されてよい。好ましい実施形態において、ドーパミンなどの神経伝達物質は報酬値２６からリンクし、ここで、高い報酬値が正であり、より多くのドーパミンを放出させるであろう。

また、皮質は出力手段にリンクされてもよく、示される図において、これは、脳幹モジュール２７を介して結合された筋肉の活性化２８に対する運動出力手段である。事前設定の、あるいは融合可能な事前設定の筋肉の活性化２８を有するパターンジェネレータまたはリカレントニューラルネットワークモジュールを脳幹が含んでよい。また、出力手段は、モデル内のモジュールのうちのいずれかの稼動を表示するために使用されてもよい。これらは、アニメーションまたは筋肉の活性化の表示とは分離しており、モデルの変数、シナプスの重みまたはその他の特徴における変化を表示することを可能にする。本明細書において説明されるように、これは、機能的グラフィックコンポーネントを有する各モジュールによって達成されてよく、グラフィックコンポーネントは、必要に応じて可視と不可視との間で切り替えられる。あるいは、グラフィックモジュールは、これらの出力に関連付けられた表示または計算を改善するために使用されてよい。例えば、変数のうちの任意の１つ以上の変化する性質をモニタリングするために、スクロールプロット３０が基底核２９にリンクされてよい。別のモジュールが使用されるため、プロットされる変数に関する、より多くの計算が、あるいはそのプロットの表示が、可能である可能性がある。示さないが、別のグラフィック出力において、シナプスの重みの稼働または変化がモデル化されてよく、モジュール間あるいはモジュール内部のニューロン間の伝送を可視化できる。

目の動きのモデル
図１０は、スクリーンに表示されたアバターの目の動きを制御するシステムであって、アバターに対する刺激をカメラで受信するシステムを示す。カメラは、顔検出ユニットと通信するコンピュータ視覚ライブラリと通信する。ネットワークは以下のモジュールを有する：ＳＣ：上丘；Ｔｒ：トリガーニューロン；ＥＢＮ：興奮性バーストニューロン；ＬＬＢＮ：ロングリード（Ｌｏｎｇ Ｌｅａｄ）バーストニューロン；ＯＰＮ：オムニポーズニューロン；ＭＮ：眼球運動ニューロン；物理；物理学に基づいた動的抑制。モジュールは、それらの間の結合に基づいて生物学的タイプのシステムを形成するためにインタラクトする。

図１１は、顔の存在（ＦＦＡ）ならびにモデルのコルチコトロピン放出因子（ＣＲＨ）、Ｂ−エンドルフィン（ＢＥ）およびオキシトシン薬（Ｏｘｙｔｏｃｉｎ ＰＨＹＳＩＣ）（ＯＸＹ）のレベルに反応する例示的な情動反応モジュールを有する拡張されたシステムまたはモデルを示す。ＯＸＹパラメータは、ＣＲＨなど、モジュールのパフォーマンスまたは稼働を変化させるか、これらに影響を与えることが可能な神経伝達物質である。例えば、より高いＯＸＹ値は、より大きなＣＲＨの阻害を可能にし、ＣＲＨの阻害は、ストレスを低下させ、および、ＰＬを活性化する苦痛挙動回路の活性化をトリガする可能性を低下させる。さらなるモジュールは、顔認識（顔認識モジュール）；ＣＲＨ（コルチコトロピン放出ホルモン）；ＢＥ（ベータエンドルフィン）；ＯＸＹ（オキシトシン）；ＦＦＡ（紡錘状の顔領域）；ＺＭ（大頬骨筋）；およびＰＬ（広頚筋）である。

パラメータ（例えば、オキシトシンなどの神経伝達物質のレベル）の調整が図１２に示される。パラメータは、モジュールの機能的動作の態様を定義してよい。この場合において、デジタルエンティティまたはアバターの応答および／またはデジタルエンティティの特徴的な応答は、機能モジュールに関連付けられたパラメータの調整によって調整される。このように、特徴は、各モジュールにおける一連の変更を必要とするのではなく、全体的という意味で変更されてよい。例えば、一部の実施形態において、モジュールから放射状に、あるいはネットワークが定義される空間内の点として、あるいはネットワークを直線的に横断して、あるいは結合に沿って、あるいは必要な構造を通じて、調整が伝播してよい。図１２のネットワークの場合においては、ＯＸＹパラメータは５０％まで低下する。これが生物学的なオキシトシン系を反映する場合、システムのダイナミクスが変更され、システムは、ストレスの影響をより受けやすくなり、広頚筋を活性化する苦痛回路の活性化の遅延が低減される。

図１３は、顔および音声のマルチモーダル認識のためのマイクロホンおよび音声認識モジュールによって提供される追加的な外部からの入力または刺激を含む。顔および音声の認識が同時である場合、マルチモーダル認識器Ｒが興奮する。両方のシグナルがＲに到達する時間は、必要とされる構造または結合あるいは種々の処理経路に依存してよい。この例では、モジュールまたは結合における５０ｍｓの時間遅延が、適切なシグナリングの時間を保証する。代替的な実施形態では、遅延は、シグナルが同時に、あるいは適切なタイムステップで、モジュールに到達することを確実にするために使用される。図１４は、音声および顔の認識シグナルの到達の相対的タイミングに影響を与える、音声認識結合における遅延を調整する。この例において、図１３のネットワークと比較すると、付加的な遅延が追加されている。

目の運動モデルの発達
図１５は、視覚的／聴覚的入力を受け取って出力アニメーションを生成するモデルの概略図を示す。図１５の実施形態は、高レベルのモデルの洗練化と、必要に応じて、または必要な場合に、さらに機能性を増大させる能力と、を伴う生物学に基づいた複雑なアーキテクチャを構築できることを示す。モジュール群が形成される必要な構造の一部が示されており、これらのモジュール群は、一部の実施形態においてはモジュールになってよい。完全なモデルにおいては、必要な構造は、より大規模であってよく、各モジュール群を階層またはその他の構造に適合させる。モデルの構造は、モジュールの構築後にモジュール間の相互結合を組み込むことを可能にし、モデルが発達するにつれて、さらなる複雑性をもたらす。この例は顔認識システムを説明するが、モデルはこれに限定されず、顔認識システムは、完全なモデルの一部に過ぎないことがある。

コンピュータ視覚モジュール、眼球運動モジュール、物理モジュール、顔アニメーションレンダーモジュールおよびスクリーンモジュールのみを含む初期システムを最初に考察する。モデルの追加的部分は、この基礎から構築されてよい。例えばカメラからのコンピュータ視覚入力が、顔を検出するために使用されるコンピュータ視覚ライブラリに供給される。コンピュータ視覚入力はまた、「ブラックボックス」の機能性あるいは厳密な計算要素を生物学に基づいたシステムにどのように統合できるかを示す。顔の検出、あるいは入力フィールド（この場合には視覚）の同様な限定または集中は、モデルに対する入力データの複雑性を低減する。これは、目の加速を引き起こす運動ニューロンに活性を生じさせるサッケード（速い目の動き）を引き起こす上丘（ＳＣ）モジュールに送信される標的を生成する。

物理システムは、慣性の制約により動きを減衰させ、実際の目の動きが、補正のためにＳＣにフィードバックされる。物理モジュールは、例えば応答の速度を制限することによって、不自然な動きの可能性を低減すること、ならびに物理的制約を適用することを補助する。顔のジオメトリを適宜回転させて、それをスクリーン上にレンダリングする顔アニメーションシステムに計算された目の動きが供給される。中心窩領域または視線を生み出すために、目の動きをコンピュータ視覚系にフィードバックできる。これは、入力をモデルの出力に関連させることを可能にし、モデル内にフィードバックループまたは依存関係を生じさせる。

また、より複雑なモデルは、表情の検出および表情に富む反応を含んでもよい。例えば、視覚野、辺縁系および脳幹ＰＧがモデルに追加されてよい。紡錘状の顔領域は、種々の情動挙動（例えば、広頸筋を介した恐怖、大頬骨筋を介した笑み）をトリガする、顔の表情の認識のための畳み込みニューラルネットワーク（ＣＮＮ）であってよい。中枢パターンジェネレータ（ＣＰＧ）は、情動に応答して必要とされる動作の基礎として使用されてよい。顔面神経核は顔の筋肉の活動を分解して、ジオメトリを変形させる顔アニメーションシステムにアニメーションの重みを送信し、これが顔レンダラーに供給され、その後スクリーンに供給される。

また、神経伝達物質／神経調節物質は、それらの扁桃体（ＡＭＧ）との関係を通じてシステムに組み込まれてもよい。扁桃体は、（例えば、視床下部を介した）自律神経および内分泌システムに対する結合（この場合、これらは生物学的投影に関連する可能性がある）を有する。オキシトシン（ＯＸＹ）、コルチコトロピン放出ホルモン（ＣＲＨ）およびベータエンドルフィン（ＢＥ）のレベルは相互調節作用を有し、この例では、脳幹の顔面回路のトリガを調節するために使用される。脳幹ＣＰＧは、経時的に顔の筋肉を制御するパターンを生成する。ドーパミンを産生する腹側被蓋野（ＶＴＡ）は、ＳＣおよびＡＭＧからの解剖学的結合を有し、相互に結合する別々の神経系の例を提供する。モジュールの構成とは別個にモジュールを結合できることにより、単純な様式でのモデルへの追加ならびにモデルの変更が可能となる。

さらなる入力がシステムに含められてよい（例えば、オーディオ処理システム）。これはスピーチを検出してよい。新規のモジュールの組み込みはまた、他のモジュールブロックに新規のモジュールを必要とする可能性がある（聴覚的入力および視覚的入力を融合するか、組み合わせるためにマルチモーダル統合コンポーネントを含むための皮質の拡張など）。しかし、新規のモジュールの追加は、以前の結合の変更を必ずしも必要とせず、モデルの拡張を単純化する。モデルへのさらなる追加は、眼球運動系と顔面神経核との間での目の瞬きの同調によって達成されてよい。（眼輪筋（ＯＯｃ）の眼瞼部が関与する）目の瞬きは、サッケードにより同調させられる。

ＯＯｃ筋肉を制御するために瞬きニューロンモジュールが追加され、眼球運動系との結合を介してタイミングが同調させられる。第２のステップは、瞬きニューロンからドーパミン系への結合を導入してよい。自発性の目の瞬きの割合（ＥＢＲ）は、ドーパミン作動性機能の臨床マーカーであることが示されている。調節的なドーパミン作動性結合が、ＶＴＡから瞬きニューロンへと形成される。点線の結合は、別々のシステム間に新規の結合を追加することによってドーパミンが瞬きの割合をどのように調節できるかを示す。これは瞬きの割合を調節するが、それでもサッケードの活動と同調しており、モデルを用いて異なる神経のサブシステム同士を結合させることの柔軟性が示される。モジュールは、例えば、一連のモジュール群または関連付けられたモジュールを含む必要な構造を形成するが、これらのグループ内に、あるいはこれらのグループの外部に、結合によってリンクを形成できる。これらの結合は、高レベルの効果の組み込み、あるいは、異なるモジュール群にまたがった効果の同調を可能にする。

さらなる構造
再度、図５を参照すると、その他のモジュール内に含まれることが多いモジュールを有する階層構造を有するシステムが示されている。システムの一実施形態では、頂上のモジュールから基部のモジュールへとツリーを下へと参照することにより、個々のモジュールが参照されてよい。例えば、ＦＦＡシェーダーは、頭部／脳／ＦＦＡ／シェーダーとして参照され得る。あるいは、階層においてより高位のモジュールに入力および出力を結合させることが一部の実施形態においては好ましいことがある。例えば、顔５６などの一般的に使用される出力は、顔の参照をより容易にするために、利用可能な出力として視覚系モジュールに割り当てられてよい。

ここで、図７を参照すると、モジュール１００の描写が示される。モジュール１００は、計算１０３に関連するデータ要素１０１と、グラフィックス１０４に関連するデータ要素１０２と、モジュールの変形に関連する要素１０７と、を含む。モジュールの任意の従属的部分がモジュール１００に含まれてよいが、好ましくは、モジュールが含まれる階層的ツリー構造として含まれる。ツリー構造は、そこから複数のモジュールが分岐する中枢ポイントまたは中枢モジュールを有し、モジュールの下位層はそれぞれ、さらなる子モジュールを有することができる。一部の場合において、ツリー構造は、主要な分岐の外部に追加的なモジュールを有してよい。モジュール１００の入力１０９および出力１０８は、要素あるいはモジュールの依存関係のうちの任意の１つ以上に関与する変数であってよい。グラフィック要素またはデータ１０２、これは、モジュールの動作に関連付けられた一連のモード１０５と、画像内に適切なレベルの光を生成する一連のシェーダー１０６と、を含む。あるいは、モジュールが、計算の一部を可視化するグラフィック出力を提供してよい。計算要素は、命令、あるいはライブラリ構造または類似物に含まれる計算ブロックに対するポインター、を含んでよい。ある場合には、計算要素が制限されてよく、モジュールは、階層の依存関係構造を改善するために定数またはコンテナモジュールとして機能する。他の実施形態では、計算要素は、大規模かつ複雑なニューラルネットワークあるいは単一のニューロンを含んでよい。

変換要素は、モジュールのグラフィックスがアニメーションの一部としてどのように変化できるか、あるいは従属的構造に対する変化がグラフィック要素にどのように影響するか、を調節するデータを提供してよい。これは、モデルをトラバースするために階層構造が使用される場合に、特に重要である。各モジュールは、階層における上位のモジュールの変化にどのように反応するかについての命令を提供する変形部分を有してよい。例えば、顔が向きを変える場合、顔の特徴ならびに脳に含まれる特徴も回転すべきである。顔の回転は目の回転に影響することとなり、これは瞳の適切な回転に影響する可能性がある。階層構造は、これらの変化を一貫性のあるものにするための手段を提供する。そのため、要素を描写する場合、現実的なアニメーションを生成するために、要素の変化を周囲の要素と適切に組み合わせることができる。変形の説明は、モデルの階層構造に基づいているが、同様の結果を有する異なった様式で変形手段をリンクする代替的な構造的方法が使用されてよいことが理解されるべきである。

アーキテクチャ
システム構造は、第１および第２のモデルサブ構造（データ構造）を含んでよく、ここで、第１のサブ構造（レベル）は、複数の計算モジュールの配置によって定義され、第２のサブ構造（レベル）は、モジュールの変数をリンクさせるコネクタによって定義される。第１のサブ構造は、有向且つグラフィカルであるシーングラフであってよい。これは、モジュールの慎重な配置を可能にする可能性がある。第２のサブ構造は、結合がエッジを形成し且つモジュールが頂点またはノードを形成する有向のグラフであってよい。データが制御コードから分離されているために、これら２つのレベルのサブ構造はモデルの稼動の有効性を増大させる。従って、モデリング処理は、完全にリンクしたシステムの構築または処理フローの設計ではなく、第２のサブ構造を使用して第１のサブ構造から複数のモジュールをリンクさせる方法（これは、モジュールの変数の使用によるものであってよい）となる。また、構造は、モデルが稼動している間に変数または定数を更新することも可能にする。これは、関係または結合がデータから分離していると、モデルが再コンパイルされる必要がないためである。

第１のサブ構造は、複数のモジュールとして、あるいは複数のモジュールが組織化されている構造として実装されてよい。第２のサブ構造は、モジュールを組み合わせるための命令のセットとして実装されてよい。一部の実施形態において、命令のセットは、複数の別々のファイルに配置されてよい。別々のファイルはそれぞれ、モデルの結合の一部またはサブセクションを定義してよい。特定の実施形態において、命令は、モジュールと同じ構造内に、しかしモジュールからは分離して、配置されてよい。

第１のサブ構造（モジュール）
第１のレベルは、複数のモジュールの組織化された構造を含んでよい。一部の実施形態において、これは、複数のモジュールが実質的に階層的に組織化されているツリー型構造であってよい。複数のモジュールは、ディレクトリ様のフォルダ構造で配置されてよい。これは、コンテナモジュールが存在する場合に、特に有用である。図３は、コンテナモジュール「顔」を含むいくつかのモジュールをコンテナモジュール「シーン」が保持する、可能な構造を示す。モジュール「顔」は、２つのさらなるモジュール「目」および「口」を保持する。これは、「シーン」が最上位フォルダであり、「顔」および「頭部」が第１のレベルのサブフォルダであり、「目」および「口」がサブフォルダであり、以下同じ様に続く、ファイル様構造に保存され得る。このように、モデル構造は、明確であり、容易に閲覧可能である。モジュール要素は、必要なフォルダのレベルおよび全て含まれているフォルダをコピーすることによってコピーまたは複製されてよい。これは、例えば目がそれぞれ独立している必要がある場合に、有用である可能性がある。同じモデル構造が複製されるが、目がそれぞれ、異なる制御シグナルを有することができるか、小規模な変更がなされ得る。

第２のサブ構造（コネクタ）
サブ構造は、モジュールに関連する一連の命令を含む。命令は、モデル全体またはアニメーション全体に関連する単一のファイルに含まれてよい。好ましい実施形態では、第２のサブ構造は、一連の別個のリンクされたファイルを含む。一実施形態において、命令ファイルは、モジュールと同じ構造内に含まれる。それらは、必要な構造においてそれらに従属する全てのモデルより１つ（以上）上の階層レベルに含まれる。例えば、「目」モジュールをリンクさせる命令は、好ましくは、「顔」モジュールを含むフォルダ内にあってよい。しかし、命令はまた、「シーン」モジュールを含むフォルダ内に、あるいは「顔」モジュールより上の任意のレベルに、配置され得る。

命令を、それらが参照するモジュールのすぐ上のレベルに配置することは有利である。その理由は、これが効率的なモデリング技術をもたらすためである。特に、あるモジュールに、あるいはその命令に、変化を与える必要がある場合、正しい存在位置を簡単に見出すことができる。次に、モジュールおよび関連する命令の併置は、モジュール全体を適切な命令と共に迅速に複製することを可能にする。これは、モジュールを異なるモデルに移動させるか、モデル内でモジュールを内部的にコピーするために有用である可能性がある。一実施形態において、第１のサブ構造の各ステージに別個の命令が存在し、そのため、
・「方向」用の命令は、「目」フォルダ内にあり、
・「目」用の命令は、「顔」フォルダ内にあり、
・「顔」用の命令は、「シーン」フォルダ内にある。

稼動
モデルが稼動する際、モデルは、そのモジュール、コネクタ、ジオメトリ等を生成するために構成ファイルを含む第１および第２のサブ構造（好ましくは上述のようなディレクトリツリーに配置されている）をコンパイルする。必要な構造は、構造内で変更されてよいが複数のモジュールならびにそれらの間のリンクを構築できるディレクトリツリーの形態であってよい。各タイムステップにおいて、構造がトラバースおよび更新される必要がある。これは、上述のようなモデルの特定の設計に応じてボトムアップの手法あるいはトップダウンの手法のいずれかで進行してよいが、好ましくは、頭部を最上位とする階層構造においてはトップダウンである。各モジュールは、提供中の入力に基づいて評価される。これは、全てのコンテナモジュールおよびそれらの子モジュールを含む。コンテナモジュールなど、モジュールがコードを有さないのであれば、変化は起こらないであろう。しかし、コードまたは計算データが存在する場合、これらが実行されることとなり、および、これらは通常、システムの任意の他の部分とは独立している。タイムステップの結果は次に、出力フィールドに伝送される。構造を通じた第２のパスにおいて、出力は次に、結合をまたいで複製されてよい。これは、次のタイムステップのためにモジュールの入力のそれぞれを更新する。一部の例では、結合上で行われる処理（例えば、ホールド）あるいはステージの一方または両方において更新されてよい閾値が存在してよい。実質的な変化が現れるか、設定された時間が過ぎると、モデルは、連続性を保証するために、実質的に全ての要素を含めて、完全に再構築できる。

図４に示されるような特定の例では、同等の名称を有するファイルまたはフォルダ（いかなるファイル拡張子も含まない）は、同一のオブジェクトに属するデータを含むものとする。例えば、ジオメトリデータ（．ｏｂｊ、．ｆｒａｇ、．ｖｅｒｔ、．ｇｅｏｍ、．ｍｔｌ、．ｔｅｘ、．ｔｒａｎｓ、または画像ファイル）は、それが属するオブジェクトと同等の名称を有する必要があり、同等の名称のフォルダの内部に配置されるべきである。オブジェクト定義ファイル、あるいは命令ファイル（．ｂｌｍ、．ｂｌｃ）は、このフォルダと同じ親ディレクトリに配置されてよい。図４に示すように、ジオメトリ、シェーダーを有するがテクスチャは有さない単純なモジュールを指定できる。従って、コードが稼動している場合、コードは読み取られ、アイテムを共通の名前で結合し、これらは、さらなるディティールをモデルにもたらす。

モジュール
新規のモジュールが必要な場合、これを、モデリングシステムとは別個に作成できる。モジュールは、実施形態ならびに特定のモデルに応じて異なってよいが、以下を含んでよい：
・アニメーション
・既知のタイムステップを提供する
・アニメーションファイルを含む
・フォルダモジュール
・コンテナモジュールとしても知られている
・他のモジュールを保持する
・ニューロンモジュール
・例えば、リーキー・インテグレート・アンド・ファイア・モジュール（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅ ａｎｄ ｆｉｒｅ ｍｏｄｕｌｅ）
・複数のリーキー・インテグレート・ニューロン
・シナプス重みモジュール
・ニューロンモジュールと組み合わされて自己完結型の人工ニューラルネットワークを形成する可能性がある
・視覚インターフェースモジュール
・出力を示すためのスクロール表示モジュール
・インターフェースモジュール
・視覚モジュール
・外部世界（例えばカメラまたはマイクロホン）とのインタラクションを制御する可能性がある
・定数値
・タイムステップに依存しない
・ブラックボックス
・タスクを実行するか、後で更新される、代用的モジュール
・何も無し
・空のモジュールは無視してよい。
さらなるモジュールまたはモジュールのタイプが、必要に応じて作成されてよい。

モデリング環境においてモジュールが使用され得る前に、まずモジュールが作成される必要がある。これは、モデルの入力および出力ならびにそれらの間の関係を定義することを伴う。その後、モジュールの定義が配置される。

例えば、ニューロンの周知のモデル（リーキー・インテグレート・アンド・ファイア・ニューロン）を考察すると、これは、
によって数学的に描写される。これは便宜的に
と書き換えられる。

モジュールの定義は、変数を列挙し、使用された場合のモジュールの動作を記述する。変数は、モジュール間の結合またはリンクの形成を可能にするため、重要である。変数は、リンクまたは結合を形成するためにモジュールのパラメータにアクセスできる方法である。一部の変数は複数の値を参照してよいが、一部は１つの値のみを参照してよい。一部の変数は、出力変数として指定される。これらの変数は、モジュールの計算処理の出力であり、それらが外部から変更されることのないように定義され、事実上「読み取り専用」の変数である。他の変数は、入力変数として指定される。これらの変数は、モジュールのその出力の計算に影響するが、それ自身はモジュールによって変更されない。それらは、外部から変更可能であるか、単純に読み込むことができる「読み取り−書き込み」変数である。変数が入力および出力の両方に指定されることがある。これは、それが外部から変更されてよいが、その値はまた、モジュールの計算の結果として変更されてよいということを意味する。

コンテナモジュールを除く全てのモジュールタイプは、そのタイプおよびそのパラメータを設定するためのファイルを必要とする可能性がある。このファイルの１行目は通常、それが作成しているモジュールのタイプを特定する。続きの行は、１行目で指定されたタイプに関連する設定を含む。特定のモデルまたはアニメーションでは、モジュールファイル（例えば．ｂｌｍ）は、リーキー・インテグレート・アンド・ファイア・ニューロンなどの定義されたモジュールのうちの１つに基づいてオブジェクトを生成してよい。必要な入力および出力を定義することによって、モジュールがモデルに挿入される。コードセクションＡにモジュール用の例示的コードを示す。フォーマットを無視すると、この例示的モジュールは最初にモジュールタイプを命名し、次に、デフォルト値が続いて記載される入力がそれぞれ列挙される。モジュールを挿入する際に入力が示されていない場合、デフォルト値が使用されてよい。このように、ニューロンモデルは、一度だけ作成される必要があり、その後は、適切な．ｂｌｍファイルを作成することにより複数のポイントでアニメーションまたはモデルに挿入されてよい。
コードセクションＡ

変数および結合
変数およびコネクタは、第１のサブ構造の複数のモジュール間にリンクをもたらす。変数は、モジュールのパラメータがコネクタによってアクセスされるための手段を提供する。一部の変数は、複数の値を参照してよいが、一部は、１つの値のみを参照してよい。変数は、必要に応じて内部または外部で利用可能および編集可能なように定義されてよい。モジュールは、いくつかの変数を有してよく、これらは入力または出力のいずれか（時には両方）であってよい。出力変数は、それらを所有するモジュールの計算処理によって決定され、コネクタによって読み込まれてよいが、変更はされない。入力変数は、モジュールの計算に対する入力パラメータであり、コネクタによって読み込みおよび書き込みの両方がなされてよい。変数（あるいはそれについての任意のモジュールまたはコネクタ）を参照すると、その構文は、階層的なディレクトリに基づいたデータ構造を反映している。

モジュールを構築する定義のプロセスの一部として変数が生成されてよい。命令によって変数をまとめてリンクし、モデルまたはアニメーションを生成できる。命令は、１つまたは複数の変数をリンクし、そのため、タイムステップにおいて変数は、モジュール間を受け渡しされてよい。一部の実施形態において、変数はまた、モジュール間を受け渡しされている際にホールド、一時停止またはその他の処理を有してもよいか、他の方法でタイミングが調整されてよい。一部の実施形態において、変数は、サブ変数要素を有してよい。これは、変数のグループあるいはグループの要素を参照するための手段を提供する。例えば、テクスチャデータという名称のファイルは、以下の３つのサブ変数を有してよい：
・ｔｅｘｔｕｒｅ．ｄａｔａ−テクスチャの色彩データ列の参照
・ｔｅｘｔｕｒｅ．ｗｉｄｔｈ−テクスチャの幅（テクセル）の参照
・ｔｅｘｔｕｒｅ．ｈｅｉｇｈｔ−テクスチャの高さ（テクセル）の参照

モジュールを参照するために、参照がなされるディレクトリで開始するモジュールへのディレクトリパスが使用されてよい。例えば、モジュール「ｔｅｓｔ＿ｍｏｄｕｌｅ」がコネクタと同じディレクトリに配置されている場合、モジュールは単に「ｔｅｓｔ＿ｍｏｄｕｌｅ」と呼称される。しかし、ｔｅｓｔ＿ｍｏｄｕｌｅが、「ｐａｒｅｎｔ＿ｍｏｄｕｌｅ」と呼称されるモジュールの子であり、コネクタがｐａｒｅｎｔ＿ｍｏｄｕｌｅと同じディレクトリにある場合、その場合には「ｐａｒｅｎｔ＿ｍｏｄｕｌｅ／ｔｅｓｔ＿ｍｏｄｕｌｅ」が使用される。変数は、それらの親モジュールの子と見なされてよく、同じ階層的構文を用いて参照される。ｔｅｓｔ＿ｍｏｄｕｌｅが「出力」と呼称される変数を有する場合、この変数は「ｔｅｓｔ＿ｍｏｄｕｌｅ／ｏｕｔｐｕｔ」と呼称される。上述のディレクトリパスについて同じ規則が適用されてよい。ｐａｒｅｎｔ＿ｍｏｄｕｌｅディレクトリにおける場合に変数出力を参照するために（前の段落を参照のこと）、パス「ｐａｒｅｎｔ＿ｍｏｄｕｌｅ／ｔｅｓｔ＿ｍｏｄｕｌｅ／ｏｕｔｐｕｔ」を使用する必要がある。このような実施形態において、それらに関連するモジュールの近くのファイルに含まれる命令が単純な名称を提供することが観察される可能性がある。

コネクタ
第２のサブ構造は、モジュールをまとめてリンクまたは結合させる。コネクタは、モジュールの変数を互いにリンクさせる。コネクタを定義するファイルは、好ましくは１行目に、作成すべきコネクタのタイプを示す識別子を含んでよい。コネクタのファイルはまた、タイプに固有の情報を含む。ただし、一般的には、入力変数が１つまたは複数の他の変数に伝送されるという少なくとも１行が存在するであろう。

可能なコネクタのタイプには、限定されるものではないが、以下が含まれる：
・アイデンティティコネクタ
・厳密な同等性
・単純かつ一般的
・線形変換コネクタ
・伝送時に変数を変換
・閾値に基づいた関係
・変数の組み合わせ
・変数の比較
・減衰和コネクタ（Ｄａｍｐｅｄ ｓｕｍ ｃｏｎｎｅｃｔｏｒ）
・線形変換コネクタとリーキー・インテグレート・アンド・ファイア（ＬＩＦ）などのニューロンとのシステム。入力の線形結合を出力変数に結合するが、これらの入力の合計を、まずＬＩＦニューロンを通過させることによって「減衰」する。

上記の説明においては、公知の均等物を有する本発明の特定のコンポーネントまたは完全体に参照がなされており、従って、このような均等物は、本明細書に個々に記載されたかのように組み込まれる。

文脈上、そうではないことが明確に必要とされない限り、発明の詳細な説明および特許請求の範囲の全体にわたって、語句「含む」、「含んでいる」等は、排他的または徹底的という意味とは反対の、包括的な意味として、すなわち「含むが限定されない」という意味として解釈されるべきである。

本発明は、一例として、ならびに、それらの可能な実施形態を参照して、説明されているが、添付の特許請求の範囲で定義される本発明の範囲または精神から逸脱することなく、それらに変更または改良がなされてよいことが理解されるべきである。

Claims (23)

1. 仮想キャラクターまたはデジタルエンティティをアニメーション化するための、コンピュータで実施されるシステムであって、前記システムは、連結された計算要素およびグラフィック要素を有する複数のモジュールを含み、各モジュールは前記仮想キャラクターまたはデジタルエンティティの部分の挙動を表現し、前記計算要素は前記挙動をシミュレートし、前記グラフィック要素はシミュレートされた前記挙動を可視化し、
   前記モジュールは所定の構造で配置されており、
   各モジュールは、前記モジュールのプロセスの特性を表現する少なくとも１つの変数を有し、
   前記所定の構造は、前記複数のモジュールが、あるモジュールからの変数が少なくとも１つのコネクタによって１以上のモジュールにリンクされ、前記コネクタが前記構造全体にわたってモジュール間で変数をリンクさせる構造であり、
   複数のニューロンを表現する前記複数のモジュールおよび神経を表現する前記コネクタは、共同して神経行動学的モデルを提供し、該神経行動学的モデルを用いて前記仮想キャラクターまたはデジタルエンティティをアニメーション化する、
   システム。
2. 前記モジュールが、階層構造で配置されている、請求項１に記載のシステム。
3. 前記階層構造が、ツリー構造を含む、請求項２に記載のシステム。
4. 前記構造が、前記仮想キャラクターまたはデジタルエンティティの生物学的特性または生物学的構造に由来する、請求項１〜３のいずれか１項に記載のシステム。
5. 前記構造が、進化性の神経構造に由来する、請求項１〜４のいずれか１項に記載のシステム。
6. 少なくとも１つの前記モジュールが、聴覚的入力またはグラフィック的入力または視覚的入力を含み、前記少なくとも１つのモジュールが、聴覚的またはグラフィック的または視覚的出力を含む、請求項１〜５のいずれか１項に記載のシステム。
7. 前記少なくとも１つのモジュールのグラフィック要素が、計算要素の表現を含む、請求項６に記載のシステム。
8. 前記モジュールが、１つ以上のニューロンを表現する、請求項１〜７のいずれか１項に記載のシステム。
9. 前記モジュールからの変数が、前記コネクタによって複数の前記モジュールのうちのいずれかにリンクされてよい、請求項１〜８のいずれか１項に記載のシステム。
10. 前記モジュールのうちの少なくとも１つが、変数の重みによって前記モジュールの入力と出力とをリンクさせる関連付けモジュールである、請求項１〜９のいずれか１項に記載のシステム。
11. 前記モジュールが、顔の表情、および視覚から成るグループから選択された１以上の通信システムを表現する、請求項１〜１０のいずれか一項に記載のシステム。
12. 前記モジュールが、皮質、視床、および基底核から成るグループから選択された１以上のニューロンのコレクションを表現する、請求項１〜１１のいずれか一項に記載のシステム。
13. 仮想キャラクターまたはデジタルエンティティのインタラクティブな挙動を生成するための、コンピュータで実施されるシステムであって、前記システムは、連結された計算要素およびグラフィック要素を有する複数のモジュールを含み、各モジュールは前記仮想キャラクターまたはデジタルエンティティの部分の挙動を表現し、前記計算要素は前記挙動をシミュレートし、前記グラフィック要素はシミュレートされた前記挙動を可視化し、
    前記複数のモジュールのうちの少なくとも１つは、外部刺激を受信し、
    前記複数のモジュールのうちの少なくとも１つは、外部出力を提供し、
    前記複数のモジュールのうちの少なくとも１つは、前記外部刺激と前記外部出力との間の関連付けを生成し、
    前記外部出力が前記外部刺激の変化に応答するように、前記関連付けが前記仮想キャラクターまたはデジタルエンティティの将来のシステムの挙動に影響を与える、
    システム。
14. 前記関連付けが、前記システムに学習行動をもたらす、請求項１３に記載のシステム。
15. 前記モジュールのうちの少なくとも１つが、第１の内部刺激と第２の内部刺激または前記外部出力との間に関連付けを生成する、請求項１３または１４に記載のシステム。
16. 外部刺激に応答して仮想キャラクターまたはデジタルエンティティを制御するように動作可能なコンピュータシステムであって、前記システムは、コードの機能モジュールのネットワークを含み、前記モジュールは連結された計算要素およびグラフィック要素を有し、各モジュールは前記仮想キャラクターまたはデジタルエンティティの部分の挙動を表現し、前記計算要素は前記挙動をシミュレートし、前記グラフィック要素はシミュレートされた前記挙動を可視化し、前記ネットワークは、前記刺激を特徴付けるデータを受信するように動作可能であり、且つ、前記仮想キャラクターまたはデジタルエンティティ用の応答を定義するデータを生成するように動作可能であり、前記ネットワークは、
    機能モジュール毎の、前記モジュールのプロセスの特性を表現する１つ以上の変数と、
    前記モジュールの位置をトポロジーにおいて１つ以上の他のモジュールに対して定義することを可能にする構造と、
    １つ以上のコネクタと、を含み、前記１つ以上の変数が、モジュールの変数間でデータを伝送する少なくとも１つのコネクタと関連付けられており、前記モジュールは、ニューロンのコレクションおよび通信システムを表現し、前記コネクタは、神経を表現し、共同して神経行動学的モデルを提供し、
    前記コネクタは、異なるモジュールに結合するために変更可能であり、それにより、前記外部刺激に応答して前記仮想キャラクターまたはデジタルエンティティの挙動を変更または調整する、
    システム。
17. 請求項１〜１６のいずれか１項に記載のシステムを実施するようにプログラムされているか動作可能であるコンピュータ。
18. 計算装置によって使用されると、請求項１〜１６のいずれか１項に記載のシステムを前記計算装置に実施させる、コンピュータが使用可能な命令を保存している１つ以上のコンピュータ可読媒体。
19. 外部刺激に応答して仮想キャラクターまたはデジタルエンティティを制御する方法であって、
    前記刺激を特徴付けるデータを受信することと、
    共同して神経行動学的モデルを表現する複数の相互に結合されたモジュールにおいて前記データを処理し、前記外部刺激に対する前記仮想キャラクターまたはデジタルエンティティの応答を定義する出力を提供することであって、前記モジュールは、連結された計算要素およびグラフィック要素を有し、各モジュールは前記仮想キャラクターまたはデジタルエンティティの部分の挙動を表現し、前記計算要素は前記挙動をシミュレートし、前記グラフィック要素はシミュレートされた前記挙動を可視化し、前記モジュールは、ニューロンのコネクションおよび通信システムを表現し、前記相互結合は神経を表現し、
    前記出力に応答して、１つ以上のモジュール間の結合を変更するか、１つ以上のモジュールにおいて変数を変更することと、
    を含む、方法。
20. 請求項１９に記載の方法を実施するように動作可能な計算装置。
21. 計算装置によって使用されると、請求項１９に記載の方法を前記計算装置に実施させる、コンピュータが使用可能な命令を保存している１つ以上のコンピュータ可読媒体。
22. 計算装置によって使用されると、請求項１〜１６のいずれか一項に記載のシステムを前記計算装置に実施させる、コンピュータが使用可能な命令を含むコンピュータプログラム。
23. 計算装置によって使用されると、請求項１９に記載の方法を前記計算装置に実施させる、コンピュータが使用可能な命令を含むコンピュータプログラム。