JP3936749B2 - 対話型玩具 - Google Patents

対話型玩具 Download PDF

Info

Publication number
JP3936749B2
JP3936749B2 JP55270799A JP55270799A JP3936749B2 JP 3936749 B2 JP3936749 B2 JP 3936749B2 JP 55270799 A JP55270799 A JP 55270799A JP 55270799 A JP55270799 A JP 55270799A JP 3936749 B2 JP3936749 B2 JP 3936749B2
Authority
JP
Japan
Prior art keywords
toy
user
interactive
student
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP55270799A
Other languages
English (en)
Other versions
JP2002505614A (ja
Inventor
ガバイ,オズ
ガバイ,ヤコブ
サンドラーマン,ニムロッド
Original Assignee
クリエイター・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/081,255 external-priority patent/US6160986A/en
Application filed by クリエイター・リミテッド filed Critical クリエイター・リミテッド
Publication of JP2002505614A publication Critical patent/JP2002505614A/ja
Application granted granted Critical
Publication of JP3936749B2 publication Critical patent/JP3936749B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H13/00Toy figures with self-moving parts, with or without movement of the toy as a whole
    • A63H13/005Toy figures with self-moving parts, with or without movement of the toy as a whole with self-moving head or facial features
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/28Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/36Details; Accessories
    • A63H3/38Dolls' eyes
    • A63H3/40Dolls' eyes movable

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Toys (AREA)

Description

発明の分野
本発明は、一般にコンピュータ・システムに関し、特に、対話型構成体の開発に、そのような開発を示唆する技術に、また言語表現による対話型(verbally interactive)玩具(トイ)に関する。
発明の背景
種々のタイプの言語表現による対話型玩具は、当該技術において既知である。一般的に言って、このような玩具は、2つのカテゴリー、即ち、コンピュータ・ゲーム及びスタンド・アロンの玩具に分類できる。典型的には電子回路を内蔵するスタンド・アロンの玩具は、通常、比較的低レベルの言語能力(スピーチ)の認識と非常に制限された語彙とを提供し、これはしばしば子供にとって退屈で、遊戯中に欲求不満を引き起こす。
コンピュータ・ゲームは、実質的な計算能力の成果を享受し、したがって高いレベルの言語能力(スピーチ)の認識とユーザの満足を提供できる。これらのゲームは、言語表現によらない次元において仮想的であることによって特徴づけられ、したがって子供達との絆に欠けている。
以下の特許は、言語表現による対話型玩具における従来技術を示すものと考えられる。
Haugerudに対する米国特許第4,712,184号は、コンピュータ制御の教育的な玩具を開示しており、その構成は、ユーザ・コンピュータの専門用語及びプログラミングと、ロボット技術とを教示している。Haugerudは、ワイヤ結線による玩具のコンピュータ制御を説明しており、そこでは、コンピュータのユーザが、簡単なプログラム書いてロボットの動きを制御している。
Roseに対する米国特許第4,840,602号は、外部信号に応答するおしゃべり人形を開示しており、この人形は、メモリ内にデジタル・データで記憶された語彙を有しており、このメモリは、人形内のスピーチ・シンセサイザがスピーチをシミュレートできるようにアクセス可能である。
Langに対する米国特許第5,021,878号は、リアル・タイム制御を有するアニメーション・キャラクタ・システムを開示している。
Langに対する米国特許第5,142,803号は、リアル・タイム制御を有するアニメーション・キャラクタ・システムを開示している。
Aldava他に対する米国特許第5,191,615号は、相関オーディオ運動娯楽システム(Interrelation audio kinetic entertainment system)を開示しており、このシステムにおいて、可動で且つ可聴の玩具と、テレビジョン・スクリーンから分離された他のアニメ化装置が、テレビジョン番組に関連して番組視聴者と対話するために、番組に同期化されたオーディオ及び制御データと共に提供されている。
Collierに対する米国特許第5,195,920号は、車両に搭乗の現実的な音響効果を発生する、無線制御の玩具車両を開示している。遠隔コンピュータとの通信により、オペレータは新しい音響効果を変更し且つ付加することができる。
Hikawaに対する米国特許第5,270,480号は、MIDI信号に応答して動作する玩具を開示しており、楽器演奏玩具は、シミュレートされた楽器演奏の動きを実行する。
Langに対する米国特許第5,289,273号は、アニメ化されたキャラクタを遠隔制御するためのシステムを開示している。このシステムは、オーディオ、ビデオ及び他の制御信号をアニメ化されたキャラクタに転送するために無線信号を使用して、スピーチ、ヒアリングの映像及び動きをリアル・タイムで提供している。
米国特許第5,388,493号は、アコーディオン奏者のための垂直デュアル・キーボードMIDIワイヤレス・コントローラ用ハウジングのためのシステムを開示している。
Neuhierlに対するドイツ特許DE 3009−040は、遠隔制御から制御されるモデル車両に音響を伝送する機能を付加するための装置を開示している。この音響は、マイクロフォンまたはテープ・レコーダの手段によって発生され、無線通信の手段によって制御されるモデル車両に送信される。モデル車両は、受信された音響を出力するスピーカを備えている。
本明細書に記載された全ての刊行物の開示、及びここに引用された刊行物の開示は、ここで参照して考慮される。
発明の概要
本発明は、前述のような従来技術の欠点を解消する言語表現による対話型玩具及びそれに対する方法を提供することを目的としている。
本発明の好適な実施例に従って、対話型玩具(トイ)装置が提供され、この対話型玩具(トイ)装置は、空想的な物理的外見を有するトイと、該トイに設けられたスピーカと、ユーザ入力レシーバ(受信機)と、少なくとも1ユーザに関する情報を記憶するユーザ情報記憶ユニットと、ユーザ入力レシーバを介して受信された現在のユーザ入力とスピーカを介してユーザにオーディオ内容を与えるためにに記憶された情報とに応答して動作する内容コントローラとを含む。
更に、本発明の好適な実施例によれば、ユーザ入力レシーバは、オーディオ・レシーバを含む。
更に、本発明の好適な実施例によれば、現在のユーザ入力は、オーディオ・レシーバを介して受信される音声入力を含む。
更に、本発明の好適な実施例によれば、ユーザ入力レシーバは、触覚的(tactile)な入力レシーバを含む。
更に、本発明の好適な実施例によれば、記憶ユニットは、少なくとも1ユーザに関する個人情報を記憶し、また内容コントローラは、オーディオ内容を個有化するように動作する。
更に、本発明の好適な実施例によれば、記憶ユニットは、少なくとも1ユーザの対話型トイ装置との相互作用(対話、interaction)に関する情報を記憶し、また内容コントローラは、少なくとも1ユーザの対話型トイ装置との過去の相互作用に関する記憶された情報にしたがって、オーディオ内容を制御するように動作する。
更に、本発明の好適な実施例によれば、記憶ユニットはまた、少なくとも1ユーザの対話型トイ装置との相互作用に関する情報を記憶し、また内容コントローラもまた、少なくとも1ユーザの対話型トイ装置との過去の相互作用に関する情報にしたがって、オーディオ内容を制御するように動作する。
更に、本発明の好適な実施例によれば、記憶ユニットは、ユーザ入力レシーバを介して、ユーザによる言語表現的(音声的、verbally)に入力される情報を記憶する。
更に、本発明の好適な実施例によれば、記憶ユニットは、ユーザ入力レシーバを介して、ユーザによる言語表現的に入力される情報を記憶する。
更に、本発明の好適な実施例によれば、対話型トイ装置はまた、スピーカを介してユーザのプレーすべき少なくとも1つの内容タイトルのオーディオ内容を記憶する内容記憶ユニットを含み、この少なくとも1つの内容タイトルは、対話型であり、且つ対話型ブランチ(分岐)を含む。
更に、本発明の好適な実施例によれば、少なくとも1つの内容タイトルは、少なくとも1つの、2つの代替内容タイトル・セクションを含み、且つ、ユーザ入力、環境条件、過去の相互作用、ユーザに関連の個人情報、遠隔コンピュータ、時間関連条件の何れかに応答して、代替ユーザ・セクション間のブランチを規定するスクリプトを含む。
更に、本発明の好適な実施例によれば、対話型トイ装置はまた、スピーカを介してユーザのプレーすべき少なくとも1つの内容タイトルのオーディオ内容を記憶する内容記憶ユニットを含み、この少なくとも1つの内容タイトルは、対話型であり、且つ対話型ブランチを含む。
更に、本発明の好適な実施例によれば、少なくとも1つの内容(コンテンツ)タイトルは、少なくとも2つの代替セクションを含む複数の並列セクションの内容エレメントと、個有化される方法で代替セクション間のブランチを規定するスクリプトとを含む。
更に、本発明の好適な実施例によれば、ユーザ情報記憶ユニットは、トイの中に少なくとも部分的に配置される。
更に、本発明の好適な実施例によれば、ユーザ情報記憶ユニットは、トイの外側に少なくとも部分的に配置される。
更に、本発明の好適な実施例によれば、内容記憶ユニットは、トイの外側に少なくとも部分的に配置される。
更に、本発明の好適な実施例によれば、ユーザ入力レシーバは、トイに設けられたマイクロフォンと、マイクロフォンからのスピーチ入力を受け取るスピーチ認識ユニットとを含む。
更に、本発明の好適な実施例によれば、ユーザ情報記憶ユニットは、ユニーク(一意的)なコードでそれぞれ識別可能な複数のユーザに関連する個人情報を記憶するように動作し、また内容コントローラは、ユーザのコードを提供するために何れかのユーザを促すように動作する。
更に、本発明の好適な実施例によれば、ユーザ参加のパフォーマンスに関する情報を記憶するように動作する。
更に、本発明の好適な実施例に従って、変化する顔表現(表情)を有するトイ装置もまた提供され、このトイは、複数の多数位置決め可能な顔特徴(造作、features)を含む多数特徴顔装置と、少なくとも2つの対応の顔表現を示す複数の顔特徴の少なくとも3つの位置組み合わせを発生するように動作する顔表現制御ユニットとを含む。
更に、本発明の好適な実施例によれば、顔表現制御ユニットは、顔特徴を異なる速度で位置間の揺れを生じさせ、それによって異なる感情の幻影を発生するように動作する。
更に、本発明の好適な実施例によれば、トイ装置はまた、スピーカ装置と、オーディオ発言を記憶するオーディオ・メモリと、スピーカ装置によってオーディオ発言の出力を制御するように動作するオーディオ出力ユニットとを含み、顔表現制御ユニットは、発言の出力に同期して位置の組み合わせを発生するように動作する。
本発明の好適な実施例に従って、対話型の言語表現によるゲームをプレーするためのトイ装置もまた提供され、この装置は、トイと、このトイに設けられたスピーカ装置と、このトイに設けられたマイクロフォンと、マイクロフォンからのスピーチ入力を受け取るスピーチ認識ユニットと、スピーカ装置を介してプレーされるべき多数の言語表現によるゲーム・セグメントを記憶するオーディオ記憶ユニットと、言語表現によるゲーム・セグメント間の対話のブランチを規定するスクリプト記憶とを含む。
更に、本発明の好適な実施例によれば、言語表現によるゲーム・セグメントは、言語表現ゲームに対する口語入力を発生するためにユーザを促す少なくとも1つのセグメントを含む。
更に、本発明の好適な実施例によれば、少なくとも1つのセグメントは、2つまたはそれ以上の言語表現ストリングと、1つの言語表現ストリングを再生するためのユーザに対するプロンプトとを含む。
更に、本発明の好適な実施例によれば、少なくとも1つのセグメントは、謎かけを含む。
更に、本発明の好適な実施例によれば、少なくとも1つの言語表現セグメントは、教育的内容を有する。
更に、本発明の好適な実施例によれば、少なくとも1つの言語表現セグメントは、ゲームにおけるユーザのパフォーマンスの質に関するユーザへのフィードバックを含む。
更に、本発明の好適な実施例によれば、対話型トイ装置は更に、複数の多数位置決め可能な顔特徴を含むトイに組み込まれる多数特徴顔装置と、少なくとも2つの対応の顔表現を示す複数の顔特徴の少なくとも3つの位置組み合わせを発生するように動作する顔表現制御ユニットとを含む。
更に、本発明の好適な実施例によれば、顔表現制御ユニットは、顔特徴を異なる速度で位置間の揺れを生じさせ、それによって異なる感情の幻影を発生するように動作する。
更に、本発明の好適な実施例によれば、対話型トイ装置はまた、オーディオ発言を記憶するオーディオ・メモリと、スピーカ装置によってオーディオ発言の出力を制御するように動作するオーディオ出力ユニットとを含み、顔表現制御ユニットは、発言の出力に同期して位置の組み合わせを発生するように動作する。
本発明の好適な実施例によれば、対話型トイ装置は更に、トイに設けられたマイクロフォンと、マイクロフォンからのスピーチ入力を受け取るスピーチ認識ユニットと、スピーカ装置を介してプレーされるべき言語表現ゲームの多数の言語表現によるゲーム・セグメントを記憶するオーディオ記憶ユニットと、言語表現によるゲーム・セグメント間の対話のブランチを規定するスクリプト記憶とを含む。
更に、本発明の好適な実施例によれば、言語表現によるゲーム・セグメントは、言語表現ゲームに対する口語入力を発生するためにユーザを促す少なくとも1つのセグメントを含む。
更に、本発明の好適な実施例によれば、少なくとも1つのセグメントは、2つまたはそれ以上の言語表現ストリングと、1つの言語表現ストリングを再生するためのユーザに対するプロンプトとを含む。
更に、本発明の好適な実施例によれば、少なくとも1つのセグメントは、謎かけを含む。
更に、本発明の好適な実施例によれば、少なくとも1つの言語表現セグメントは、教育的内容を有する。
更に、本発明の好適な実施例によれば、実施例は更に、トイに設けられたマイクロフォンと、マイクロフォンからのスピーチ入力を受け取るスピーチ認識ユニットと、スピーカ装置を介してプレーされるべき言語表現ゲームの多数の言語表現によるゲーム・セグメントを記憶するオーディオ記憶ユニットと、言語表現によるゲーム・セグメント間の対話のブランチを規定するスクリプト記憶とを含む。
更に、本発明の好適な実施例によれば、言語表現によるゲーム・セグメントは、言語表現ゲームに対する口語入力を発生するためにユーザを促す少なくとも1つのセグメントを含む。
更に、本発明の好適な実施例によれば、少なくとも1つのセグメントは、2つまたはそれ以上の言語表現ストリングと、1つの言語表現ストリングを再生するためのユーザに対するプロンプトとを含む。更にまたは代替的に、少なくとも1つのセグメントは、謎かけを含む。
更に、本発明の好適な実施例によれば、少なくとも1つの言語表現セグメントは、教育的内容を有する。
更に、本発明の好適な実施例によれば、少なくとも1つの言語表現セグメントは、ゲームにおけるユーザのパフォーマンスの質に関するユーザへのフィードバックを含む。
本発明の好適な実施例に従って、トイの対話の方法もまた提供され、この方法は、架空の身体的外見を有するトイを提供し、該トイに設けられたスピーカを提供し、ユーザ入力レシーバを提供し、少なくとも1ユーザに関する情報をユーザ情報記憶ユニットに記憶し、ユーザ入力レシーバを介して受信された現在のユーザ入力と記憶ユニットに記憶された情報とに応答して動作する内容コントローラによって、スピーカを介してユーザにオーディオ内容を与えるステップを含む。
更に、本発明の好適な実施例によれば、記憶するステップは、少なくとも1ユーザに関する個人情報を記憶すること、内容コントローラを介して、オーディオ内容を個性化することを含む。
更に、本発明の好適な実施例によれば、記憶するステップは、少なくとも1ユーザの対話型トイ装置との相互作用に関する情報を記憶すること、内容コントローラを介して、少なくとも1ユーザと対話型トイ装置との過去の相互作用に関する記憶された情報に従ってオーディオ内容を制御することを含む。
更に、本発明の好適な実施例によれば、本方法は更に、スピーカを介してユーザのプレーすべき少なくとも1つの内容タイトルのオーディオ内容を内容記憶ユニットに記憶することを含み、この少なくとも1つの内容タイトルは、対話型であり、且つ対話型ブランチを含む。
更に、本発明の好適な実施例によれば、本方法は更に、ユニークなコードでそれぞれ識別可能な複数のユーザに関連する個人情報を記憶すること、また内容コントローラを介して、ユーザのコードを提供するために何れかのユーザを促すことを含む。
更に、本発明の好適な実施例によれば、本方法は、ユーザ参加のパフォーマンスに関する情報を記憶することを含む。
更に、本発明の好適な実施例によれば、本方法は、複数の多数位置決め可能な顔特徴を含む多数特徴顔装置を提供すること、少なくとも2つの対応の顔表現を示す複数の顔特徴の少なくとも3つの位置組み合わせを発生することを含む。
更に、本発明の好適な実施例によれば、本方法は、顔特徴を異なる速度で位置間の揺れを生じさせ、それによって異なる感情の幻影を発生することを含む。
更に、本発明の好適な実施例によれば、本方法は、オーディオ発言を記憶すること、スピーカ装置によってオーディオ発言を提供すること、発言の出力に同期して顔位置の組み合わせを発生することを含む。
本発明の好適な実施例によれば、対話型のオブジェクトを用いて、学校の子供たちのような学生に、プログラミングを教えるためのシステムも提供し、このシステムは、コンピュータ化された学生インタフェースと、コンピュータ化された教師インタフェースとを含み、コンピュータ化された学生インタフェースは、学生が対話型のオブジェクトの特性を規定することによって対話型のオブジェクトに生命を吹き込むことを可能にし、またコンピュータ化された学生インタフェースは、学生の入力に応答して、対話型のオブジェクトと人間との間の相互作用を少なくとも部分的に規定するように動作し、コンピュータ化された教師インタフェースは、対話型のオブジェクトの特性を規定する場合に、教師が学生の進捗をモニターすることを可能にする。
更に、本発明の好適な実施例によれば、コンピュータ化された教師インタフェースは、教師がコンピュータ化された学生インタフェースを構成するのを可能にする。
更に、本発明の好適な実施例に従って提供されるのは、学生に対話型のオブジェクトの技術的な処理とプログラミングを教えるための教育システムであり、このシステムは、コンピュータ化された学生インタフェースと、コンピュータ化された教師インタフェースとを含み、コンピュータ化された学生インタフェースは、学生が対話型のオブジェクトの特性を規定することによって対話型のオブジェクトに生命を吹き込むことを可能にし、またこのコンピュータ化されたユーザ・インタフェースは、学生の入力に応答して、対話型のオブジェクトと人間との間の相互作用を少なくとも部分的に規定するように動作し、コンピュータ化された教師インタフェースは、教師がコンピュータ化された学生インタフェースを構成するのを可能にする。
更に、本発明の好適な実施例に従って提供されるのは、感情的な知覚を持つコンピュータ化された生命体(クリーチャー)を生育するためのコンピュータ・システムであり、このシステムは、コンピュータ化されたユーザ・インタフェースと、生命体制御ユニットとを含み、コンピュータ化されたユーザ・インタフェースは、感情的な知覚を持つコンピュータ化された生命体と、自然人によって与えられる刺激から派生する、自然人の感情を示す少なくとも1つのパラメータに対する、感情的な知覚を持つコンピュータ化された生命体の少なくとも1つの反応を含む自然人と、の間の相互作用を規定することによって、ユーザが感情的な知覚を持つコンピュータ化された生命体の生育を可能にし、生命体制御ユニットは、ユーザによって規定された特性と相互作用にしたがって、感情的な知覚を持つ生命体を制御するように動作する。
更に、本発明の好適な実施例によれば、自然人の感情を示すパラメータは、自然人のスピーチの言語内容の他に、その特性も含む。
更に、本発明の好適な実施例に従って提供されるのは、感情的な知覚を持つコンピュータ化された生命体(クリーチャー)を生育するための方法であり、この方法は、感情的な知覚を持つコンピュータ化された生命体と、自然人によって与えられる刺激から派生する、自然人の感情を示す少なくとも1つのパラメータに対する、感情的な知覚を持つコンピュータ化された生命体の少なくとも1つの反応を含む自然人と、の間の相互作用を規定すること、およびユーザによって規定された特性と相互作用にしたがって、感情的な知覚を持つ生命体を制御することを含む。
更に、本発明の好適な実施例に従って提供されるのは、学校の子供たちにプログラミングを教えるための方法であり、本方法は、学生がビジュアル・プログラミングを実行するのを可能にする、コンピュータ化されたビジュアル・プログラミング準拠の学生インタフェースを提供し、教師がコンピュータ化された学生インタフェースを構成(コンフィギュレーション)するのを可能にするコンピュータ化された教師インタフェースを提供することを含む。
また、コンピュータ化された感情的な知覚を持つコンピュータ化された生命体が提供され、この生命体は、自然人の感情を示す少なくとも1つの自然人の感情パラメータに対する少なくとも1つの反応を含む自然人との対応する複数の相互作用を実行するように動作する複数の相互作用モードと、自然人によって与えられる刺激から少なくとも1つの自然人の感情パラメータを派生し、且つこのパラメータを複数の相互作用モードの少なくとも1つに供給するように動作する感情知覚ユニットと、任意的に、複数の相互作用の少なくとも1つの関与するように動作する、自然または仮想の、例えばスクリーン上のボディーと、を含む。
【図面の簡単な説明】
本発明は、図面と関連した以下の詳細な記載から理解されかつ認識されるであろう。
図1Aは、本発明の好適な実施形態に従って構成されかつ動作する対話型トイ(玩具)システムの少なくとも一部を形成するトイの単純化した絵画図である。
図1Bは、図1のトイの背面図である。
図2は、図1A及び図1Bのトイの部分切取り絵画図である。
図3は、図1A、図1B及び図2のトイの構成要素の単純化した分解図である。
図4A、図4B、図4C、図4D及び図4Eは、図1Aから図3のトイの顔の表情における変化を示す図である。
図5は、本発明の好適な実施形態の対話型トイ装置の単純化したブロック図である。
図6は、図5の装置の一部を形成するベース・ステーション(基地局)の機能的ブロック図である。
図7は、図5の装置の一部を形成するトイに埋め込まれた回路の機能的ブロック図である。
図8Aから図8Gは一緒で、図5のベース通信ユニット62の概略図を構成する。
図8Hから図8Nは一緒で、代替実施形態に従った、図5のベース通信ユニット62の概略図を構成する。
図9Aから図9Gは一緒で、図5のトイ制御デバイス24の概略図を構成する。
図9Hから図9Mは一緒で、代替実施形態に従った、図5のトイ制御デバイス24の概略図を構成する。
図10から図15は一緒で、図1から図9Gの対話型トイ・システムの動作の好適な方法の単純化したフローチャートを図示する。
図16A及び図16Bは一緒で、図10の「プレー」サブモジュールにより実行されるスクリプトのオープニング・アクションの1つの有り得る実行の単純化したオペレーショナル・フローチャートを形成する。
図17Aから図17Eは一緒で、図10の「プレー」サブモジュールにより実行されるストーリー・スクリプトの1つを有り得る実行の単純化したオペレーショナル・フローチャートを形成する。
図18Aから図18Gは一緒で、図10の「プレー」サブモジュールにより実行されるゲーム・スクリプトの1つを有り得る実行の単純化したオペレーショナル・フローチャートを形成する。
図19Aから図19Cは一緒で、図10の「プレー」サブモジュールにより実行される歌スクリプトの1つを有り得る実行の単純化したオペレーショナル・フローチャートを形成する。
図20Aから図20Cは一緒で、図10の「プレー」サブモジュールにより実行される図17Aから図17Eの「バニー・ショート」ストーリー・スクリプトの1つを有り得る実行の単純化したオペレーショナルフローチャートを形成する。
図21Aから図21Fは一緒で、図10の「プレー」サブモジュールにより実行される図17Aから図17Eの「バニー・ロング」ストーリー・スクリプトの1つを有り得る実行の単純化したオペレーショナル・フローチャートを形成する。
図22は、図17D、図18C、図19B及び図19Cにおいて言及されている「テーマ・セクション」の単純化したオペレーショナル・フローチャートである。
図23Aは、本発明の好適な実施形態に従った物理的トイ・リビング創造物の発達と動作の絵画図である。
図23Bは、本発明の好適な実施形態に従った仮想的リビング創造物の発達と動作の絵画図である。
図23Cは、データ、プログラム、音声ファイル、及びコンピュータ化されたリビング創造物に生気を吹き込むのに有用な他のコンテンツをサービスする遠隔コンテント・サーバが設けられている図23Aから図23Bのシステムの変化を示す当該システムの単純化した半絵画的半ブロック的図である。
図24Aは、コンピュータ化されたリビング創造物をプログラミングする学童の絵画図である。
図24Bは、コンピュータ化されたリビング創造物とのヒューマンでかつ少なくとも言葉での対話であって、図24Aを参照して前述したように学生によりプログラムされた対話の絵画図である。
図24Cは、内蔵ビデオ・カメラ、及び液晶ディスプレー(LCD)のようなビデオ・ディスプレーを設置された創造物の絵画図である。
図25は、システム管理者の好適な機能性の単純化したソフトウエア設計ブロック図である。
図26は、図23Aから図23Cのシステムのような対話型のコンピュータ化された構成体の発達を教育するためのシステムの中の教師ワークステーションの好適な機能性の単純化したソフトウエア・ブロック図である。
図27は、図23Aから図23Cのシステムのような対話型のコンピュータ化された構成体の発達を教育するためのシステムの中の学生ワークステーション10の好適な機能性の単純化したソフトウエア・ブロック図である。
図28から図31は、ビジュアル・プログラミング・ブロック840のためのヒューマン・インタフェースの一部であるスクリーン・ディスプレーの例である。
図32は、プロジェクトの状態マシン図の例図を含むスクリーン・ディスプレーを示す。
図33は、先に発生されたモジュールをテストすることができる環境を学生が作るのを可能にするスクリーン・ディスプレーを示す。
図34から図37は、図23A、図23B及び図23Cのうちのいずれかの教師ワークステーション312により提示されるディスプレー・スクリーンの例を示す。
図38は、学生が典型的に図23A、図23B及び図23Cのうちのいずれかの学生ワークステーションを用いるプロセスの単純化したフローチャートを図示する。
図39は、学生ワークステーション310の中の挿入メニューの中のイベントを選択することにより発生されたディスプレー・スクリーンの例を示す。
図40は、学生ワークステーション310の中の挿入メニューの中のファンクションを選択することにより発生されたディスプレー・スクリーンの例を示す。
図41は、図38のステップ910及び920の実行中に学生により実行されるプロセスの単純化したフローチャートを図示する。
図42は、感情的対話フローチャート設計プロセスの単純化したフローチャートを示す。
図43から図102は、本発明の好適な実施形態に従って構成されかつ動作するコンピュータ化されたプログラミング教育システムの好適な実施形態を図示する。
図103は、感情分析データベースのテーブルを図示する。
図104は、感情分析状態チャートを示す。
図105は、典型的なファンクション呼出し及びコールバック通知を図示する。
図106は、メディアBIOSモジュールに適した典型的な入力データ処理を図示する。
図107は、UCP実行モジュールに適した典型的な入力データ処理を図示する。
図108は、ユーザ・アプリケーション及びAPIモジュールに適した典型的なデータ処理を図示する。
図109は、典型的なUCP実行モジュール及びメディアBIOS出力データ処理を図示する。
図110は、プロトコル実行モジュール及びメディアBIOSモジュールのための出力データ処理を図示する。
図111は、典型的なフィギュア・コンフィギュレーションを図示する。
図112から図115は、典型的なインストール−検査を図示する(BT1/4,2/4,3/4,4/4のそれぞれ)。
この明細書において示されかつ説明されている本発明の1つの好適な実施形態の理解及び認識を助ける次のアペンディクスが添付されている。
アペンディクスAは、本発明の対話型トイ・システムの好適なソフトウエア実行のコンピュータ・リスティングである。
アペンディクスBは、図8Aから図8Gの装置用の好適なパーツ・リストである。
アペンディクスCは、図9Aから図9Gの装置用の好適なパーツ・リストである。
好ましい実施の形態の詳細な説明
ここで、この発明の好ましい実施の形態に従って構成され動作する対話型トイ(玩具)システムの少なくとも一部分を形成する、一般的に10で指示されるトイの簡単な図的な例示である図1Aを参照する。トイ10は任意の数の物理的形態で実現され、ここに説明する対話型トイ・システムの機能を維持することができるが、例示の目的でのみ、典型的にはトイ10は空想的な物理的外観を有し、腕14、脚16、瞼17、目18、鼻19及び口20のような複数の付属物を有する胴体部分12を備えるものとして、図1Aに示されている。腕14及び脚16は、動くように構成されない点で受動的な「付属物」であるが、瞼17、目18及び口20は、図3〜図4Eを参照して以下に一層詳細に説明するように、動くように構成される点で「能動的な」付属物である。
図1Bは図1のトイの背面図であり、典型的には開口領域22を有するものとしてトイ10を更に示している。開口領域22の後ろには、以下で一層詳細に説明するように、スピーカが取り付けられている。
図2は図1A及び図1Bに示すトイの部分切り取り図であり、典型的には胴体部分12内に配置されたトイ制御装置24と、腕14及び足16に設けられて蝕知(tactile)可能ユーザ入力を受け取るスイッチ26のような複数のユーザ入力受信部と、オーディオ・ユーザ入力を受信するマイクロホン28とを示している。理解されるように、ここで説明される種々のユーザ入力受信部は、必要に応じて、蝕知可能ユーザ入力又は言葉による入力のようなオーディオ・ユーザ入力によってアクセスすることができるのであれば、鼻19の後ろ等のトイ10内の任意の場所に置くことができる。
理解されるように、特に図示してはいないが、加速度計、方位センサ、近接センサ、温度センサ、ビデオ入力装置等の多くの公知のセンサ及び入力装置は、この発明の対話型トイ・システムに関してここで説明される如き対話型環境に組み込むために入力その他の刺激を受け取るようトイ10に組み込まれ得る。
更に、図1A、図1B及び図2に示すトイ10の要素の簡単化した分解図である図3を参照する。図1の胴体部分12の顔の部分30が、鼻19及び口20と共に、瞼17及び目18を受け取る2つの開口32を有するものとして示されている。典型的には、顔の部分30は、保護箱36上に取り付けられた保護カバー34の頂部に位置する。瞼17、目18及び口20はそれぞれ、典型的には、各付属物に動きを与える運動要素38と共に働く。運動要素38は典型的にはギヤ板40によって駆動され、ギヤ板40はギヤシャフト42及びモータ44によって制御される。回路24は、モータ44及びギヤシャフト42を制御することによって対応の運動要素38を介して特定の付属物に所望の運動を行わせ、光学的位置決め装置46によって決定される、ギヤ板40の現在の回転方向に対する所望の回転方向に依存して、ギヤ板40の向きを決めて動かす。好ましくは、ギヤ板40は、その特定の回転方向に依存して、選択的に運動要素38の一つと一度に協動する。また、スピーカ58がオーディオ出力を提供するために設けられる。典型的には、電力は典型的にはDC電源である電源48によって与えられる。
図4A、図4B、図4C、図4D及び図4Eは図1A〜3のトイ10の図であって、その顔の表情の変化を示している。図4Aは矢印50によって示される方向へ動く目18を示しており、図4Bは矢印52によって示される方向へ動く目18を示している。図4Cは半分閉じた位置に動いた瞼17を示し、図4Dは完全に閉じた瞼17を示している。図4Eは矢印54及び56によって示される方向に動く口20の唇を示している。理解されるように、口20の唇の一方又は両方が動いてもよい。
ここで、この発明の好ましい実施の形態に従って構成され動作する対話型トイ装置の簡単化されたブロック図である図5を参照する。典型的には、インテル・コーポレーションからのペンティアム・マイクロプロセッサに基づくパーソナル・コンピュータのようなコンピュータ60が、RS−232シリアル通信ポートを介して、典型的には無線ユニットであるベース通信ユニット62と通信するように設けられる。理解されるように、コンピュータ60とベース通信ユニット62との間の通信は、並列ポート、サウンドカードのMIDI及びオーディオ・ポート、USBポート、又は任意の公知の通信ポートを介して行われる。ベース通信ユニット62は、典型的には、AC電源によって給電される電力源64によって電力供給される。好ましくは、ベース通信ユニット62は、アンテナ68が装備されたトイ制御装置24(図2)と通信するためのアンテナ66を備える。典型的には、トイ制御装置24はモータ40(図3)、スイッチ26(図2)、トイ10の運動を検知するための1つ以上の運動センサ70、マイクロホン28(図2)及びスピーカ58(図3)を制御する。これらの要素24、44、26、28、58、70は電源48(図3)によって電力供給される。
典型的には、コンピュータ60は、ユーザに関係する情報を記憶するためのハードディスクその他の公知の(好ましくは不揮発性の)記憶媒体のようなユーザ情報記憶部を提供する。ユーザに関係する情報は、代わりに「秘密名称」と呼ばれる独自ユーザコードであるユーザ名を含んでおり、秘密名称は、典型的には、ユーザによって予め規定され且つ選択された、ユーザの年齢等の、ユーザに対して作られた又は空想的な名前であってよい。
また、コンピュータ60は、トイ10と対話するユーザを識別し、以下に一層詳細に説明するように、例えばスピーカ58を介して等、トイ10を介してコンテンツの選択と出力を制御する点で、ここで「コンテンツ・コントローラ」と称されるものとして動作する。コンテンツ・コントローラはユーザに関係する情報を使用して、ユーザの秘密名称によってユーザを参照することにより、又は、ユーザの性にとって適切なやり方で話すことによる等の方法で、ユーザに分配されるオーディオ・コンテンツを個人化(擬人化、personalize)する。また、コンピュータ60は、典型的には、コンテンツ・タイトルを記憶するためのコンテンツ記憶部を提供する。コンテンツ・タイトルのそれぞれは、トイ10に関連して上で説明したユーザ入力受信部を介して受け取られたユーザ入力に応答して、環境入力に応答して、又はランダムに用いられる1つ以上のコンテンツ要素を含む。例えば、コンテンツ・タイトルは冗談、なぞなぞ又は対話型の物語であってよい。対話型の物語は逐次出力のためのスクリプトに一般的には配列された、オーディオ要素のような多くのコンテンツ要素を含む。典型的には、対話型の物語は若干のセクションのコンテンツ要素のシーケンスへ分割され、多くのセクションは、物語における各ポイントでの代替の対話型ブランチ(branch)を表すよう、並列に配列されている。コンテンツ・コントローラは、トイ10への現在のユーザ入力、以前のブランチ選択、又は、過去の対話、好み、性、環境上の或いは一時的な条件等のその他のユーザ情報によってブランチを選択する。
コンピュータ60は、BBS又はインターネットへの固定又はダイヤルアップ接続による等の種々の公知の手段によって、遠隔コンピュータ等の1つ以上の他のコンピュータと通信する。コンピュータ60は遠隔サーバーから、リアルタイムで、バックグランドで又はバッチ処理で、種々の形式のコンテンツ情報、例えば、完全に新しいコンテンツ・タイトル、スクリプトや音声ファイル等の現存のタイトルに対する追加のセクション又はコンテンツ要素、天候情報や宣伝等の一般情報、及び教育材料をダウンロードし得る。遠隔コンピュータからダウンロードされた情報は年齢、ユーザの場所、購買習慣、教育レベル、現在のユーザ信用等によって特定のユーザに対して予めカスタマイズされ得る。
また、コンテンツ・コントローラはユーザ入力受信部を介してユーザから受け取った情報、例えば言葉その他のオーディオ・ユーザ入力を記録し記憶する。好ましくは、コンピュータ60は、典型的にはハードウェア及び/又はソフトウェアで実現される音声認識能力、例えば、ベルギーのLernout&Hauspie Speech Productsから市販されているウインドウズ95バージョン3.0用自動音声認識ソフトウェア開発キットを備える。音声認識を使ってコンテンツ・コントローラはユーザからの音声入力を分析し、物語のブランチを選択するために対話型の物語との関係等でユーザ選択を決定する。また、音声認識を使ってコンテンツ・コントローラは、ユーザによって話されてマイクロホン28で受信された秘密名称又はコードによって、ユーザを識別する。
また、コンテンツ・コントローラは顔の表情の制御を行う。顔の機構(図5)は、顔の造作(facial features)を種々の位置の間で異なる速度で変動させることにより、複雑で動的な表情を提供する。好ましくは、それぞれの顔の造作は取り得る少なくとも2つの位置を有する。種々の異なる感情を生じるよう種々の表情の組合わせを提供するため、2つ以上の造作を種々の位置へ、一般的には同時に且つ異なる速度で動かすことができる。好ましくは、コンテンツ・コントローラは、唇の同期や自然な目の動き等の自然な付随的表情を提供するために、ユーザとの対話又はコンテンツ出力と同時に顔の造作の組合わせを制御する。
好ましくは、コンテンツ・コントローラはユーザに提供されたコンテンツに関係する情報のログ、及び、各ユーザに対して話されたり歌われた冗談や歌のような各ユーザとトイ10との間の対話、質問、なぞなぞ又は対話型の物語のようなプロンプト(促し)に対するユーザ応答及び選択、並びにその他のユーザ入力に関する情報のログを取る。コンテンツは各ユーザの過去の対話に関係する情報を用いてコンテンツを選択し又は出力し、さもなければ、ユーザが以前にプレイしていなかったゲームを当該ユーザとプレイし、対話の複雑さのレベルに影響を与える等、適切なようにトイ10を制御する。
理解されるように、コンピュータ60は、ベース通信ユニット62とアンテナ66、68を介することなく、例えば無線手段又は光学的無線通信方法によって、トイ制御装置24と直接に通信することができるよう、トイ10内に又はトイ10と共に物理的に組み立てられ得る。代わりに、コンピュータ60はトイ制御装置24と電子的に一体化されてもよい。
図6は、図5のベース通信ユニット62の機能ブロック図である。典型的には、ベース通信ユニット62は、メモリ74を有するマイクロコントローラ・ユニット72を備える。マイクロコントローラ・ユニット72は、RS−232ポートを介して又は図5を参照して上で説明したようにコンピュータ60と接続されたアダプタ76を介して、図5のコンピュータ60と通信する。マイクロコントローラ・ユニット72はトイ10のトイ制御装置24(図2)と送受信機78(典型的には無線送受信機)及びアンテナ66を介して通信する。
図7は、図5のトイ制御装置24の機能ブロック図である。トイ制御装置24は、典型的には、送受信機84(典型的には無線送受信機)及びアンテナ68を介して図5のベース・ユニット72と通信するマイクロコントローラ・ユニット82を備える。電力は、電源48(図5)によって給電される電力供給源86によって供給される。マイクロコントローラ・ユニット82は、好ましくは、トイ・インターフェース・モジュール88からの入力の制御及び/又は受信を行う。トイ・インターフェース・モジュール88は、上で説明したように、スピーカ、マイクロホン、センサ及びモータからの入力の制御及び/又は受信を行う。送受信機84は、マイクロホン入力及びスピーカ出力の直接の通信のため、更に又は代替的に、インターフェース・モジュールと通信する。
ここで、全体で図5の基本通信ユニット62の概略図をなす図8A〜図8Gを参照する。付表Bは図8A〜図8Gの装置の好ましい部品のリストである。
図8H〜図8Nは全体で、代替の実施の形態による、図5のベース通信ユニット62の概略図をなす。
ここで、全体で図5のトイ制御装置24の概略図をなす図9A〜図9Gを参照する。付表Cは図9A〜9Gの装置の好ましい部品のリストである。
図9H〜図9Mは全体で、代替の実施の形態による、図5のトイ制御装置24の概略図をなす。
ここで、全体が図1〜図9Gの対話型トイ・システムの動作の好ましい方法の簡単化されたフローチャート図である図10〜図15を参照する。理解されるように、図10〜図15の方法は部分的にはコンピュータ・ハードウェアで、部分的にはソフトウェアで実現され、又は、全体的にカスタム・ハードウェアで実現される。好ましくは、図10〜図15の方法はコンピュータ60(図5)によって実行されるソフトウェア命令として実現される。理解されるように、図10〜図15の方法及び以下に説明する他の方法は、特定の順序で実行される必要は必ずしもなく、実際、実現の理由から、方法の特定の実現は他の特定の実現とは異なる順序で実行され得る。
図10は、ソフトウェアのメイン・モジュール及びその高レベルのコンポーネントを記述している。典型的には、動作はベース通信ユニット62に対する通信ポートを開き、ベース通信ユニット62を介してのコンピュータ60とトイ制御装置24との間の通信を開始することによって始まる。また、メイン・モジュールは音声認識エンジンを始動させて、典型的にはコンピュータ60のディスプレイを介して、種々のサブモジュールを選択するためのプログラムのメイン・メニューを表示する。典型的には、メイン・モジュールは以下のサブモジュールを備える。
1)「あなたに関して」は、ユーザの本当の名前、秘密名称、年齢、誕生日、髪及び目の色、性、典型的な就寝時間及び起床時間のようなパラメータを入力することにより、ユーザがその好みによってシステムを構成することができるようにするサブモジュールである。
2)「一緒に歌おう」は、ユーザが一緒に歌う歌等の特定のコンテンツを提供する別のサブモジュールである。
3)「遊び方」は、システムの使い方及びトイ10との遊び方をユーザに教える指導型サブモジュールである。
4)「プレイ」は、トイ10に対して対話型コンテンツを提供し、ユーザと対話するようトイ10を導くサブモジュールである。
5)「トイ・チェックアップ」は、トイの電池電力が小さくてベース・ステーションに充分な電力供給がなされない等のシステムの動作に関する技術的問題を解決するようユーザを助けるサブモジュールである。
6)「出る」は、ユーザが対話型トイ・システム・ソフトウェアの動作を停止させてコンピュータ・メモリからクリアすることができるようにするサブモジュールである。
図11は、図10の「通信を開く」ステップの一層詳細な好ましい実行を示している。典型的な動作は、種々の記憶ユニットのファイル・システムへのアクセスをセットアップする等、典型的なシステム・パラメータを初期化することで開始される。動作は、表示要素をロードし、データベースを開き、トイ及び通信ドライバを初期化し、音声認識ソフトウェア・エンジンを初期化し、一人のユーザがトイと対話しているときに別のユーザが他の目的、例えばワード・プロセッシングのためにコンピュータ・スクリーン及びキーボードを使用している等、種々の現在動作している活動のために個別のスレッドを作成することによって続行される。
図12は、図10の「あなたに関して」のサブモジュールの一層詳細な好ましい実行を示している。典型的な動作は、コンピュータ・スクリーン上のメイン・メニューの「あなたに関して」のオプションをユーザが選択したときに始まる。次いで、ユーザは現存のユーザであるか、新規ユーザであるかを指示するよう促される。次いで、ユーザはユーザ識別を与え、登録のステップを続ける。図12に示されるステップの全部又は幾つかはトイからの言葉によるガイダンスで実行される。
図13は、図12の登録のステップの一層詳細な好ましい実行を示している。典型的な動作は、登録データベースをロードし、秘密名称を選択し、次いで、コンピュータ・スクリーン上に表示されたパラメータを選択して更新することによって開始される。出るのオプションが選択されると、ユーザは図10で説明したメイン・メニューへ戻る。
図14は、図10の「一緒に歌おう」のサブモジュールの一層詳細な好ましい実行を示している。典型的な動作は、映画をコンピュータ・スクリーン上に表示し、同時に、ベース通信ユニットの通信範囲内の全部のトイ10に、映画に関連する歌のようなオーディオ・コンテンツをスピーカを介して提供させることで開始される。ユーザは例えばキーボード入力によって次の歌へ進むことを選択し、又は、このモジュールから出てメイン・メニューへ戻ることができる。
図15は、図10の「遊び方」及び「プレイ」のサブモジュールの一層詳細な好ましい実行を示している。典型的な動作は、以下に詳細に説明するように、所望のスクリプトの初期化、即ち、コンピュータ・スクリーン上のステータス・ウインドウを最小化し、スレッドを閉じ、メイン・メニューへ戻ることによって開始される。コンピュータはトイの動作に責任を持つスレッドの動作を継続させ、コンピュータ・スクリーン上に通信媒体のステータスとスクリプトとを同時に表示させ続ける。
ここで、図10の9「プレイ」のサブモジュールによって実行されるスクリプトの開く動作の一つの可能な実行の簡単化された動作フローチャートを全体で形成する図16A及び図16Bを参照する。図16A及び図16Bの実行は、アクション識別子及びアクションの以下のテーブルと関連して理解され得る:
OPENING(オープニング)
以下では、コロンの左側が音声(オーディオ)であり、右側がテキストである。
Op002:私の足をにぎってみてくれ。
op015m:ハイ!、おはよう。ワァオー、いい朝だね。私はストーリーテラー!。君の内緒の名前を教えてくれないか?。
op020m:ハイ!、こんにちは。ワァオー、いい日だね。私はストーリーテラー!。君の内緒の名前を教えてくれないか?。
Op025m:ハイ!、こんばんは。ワァオー、いい夜だね。私はストーリーテラー!。君の内緒の名前を教えてくれないか?。
op036m:オーケー。今から君をレインボーと呼ぶよ。さて、ハーイ、レインボー、すごいねえ!。
オーケー、レインボー。君がボスだ。これから何をするかを選んでくれ。「ストーリー(物語)」か「ゲーム」か「ソング(歌)」と言ってくれ。
op040m:エース、宇宙人かい!。
オーケー、エース。君がボスだ。これから何をするかを選んでくれ。「物語」か「ゲーム」か「歌」と言ってくれ。
Op045m:レインボー、すごいねえ!。
オーケー、レインボー。君がボスだ。これから何をするかを選んでくれ。「物語」か「ゲーム」か「歌」と言ってくれ。
Op050m:バブル・ガム、へぇー、ばかみたい!。
オーケー、バブル・ガム、君がボスだ。これから何をするかを選んでくれ。「物語」か「ゲーム」か「歌」と言ってくれ。
op060:恥ずかしがるなよ。君が決めたらすぐに始めるから。大きな声で「物語」か「ゲーム」か「歌」と言ってくれ。
図16Aおよび16Bの方法の典型的な動作は、上記のテーブルにおいてop002で示された音声ファイルを再生することにより開始される。これは、典型的に、玩具に、特定の時間長の音声ファイルの受信を開始するよう命令することによって行われる。次に、音声ファイルは、コンピュータの記憶ユニットから読み出され、無線ベース・ステーションを介して、玩具制御デバイスへ通信される。玩具制御デバイスは、受信した無線入力を玩具のスピーカに接続して出力させる。音声ファイルop002は、ユーザに、玩具の鼻又は足に配置したマイクロスイッチを押下することを要求する。
ユーザがマイクロスイッチを押下すると、音声ファイルop015m、op020m、またはop025mの何れかを再生することにより、筋書(スクリプト)が継続する。これらの音声ファイルのそれぞれは、その時の時間に基づいてユーザに対して歓迎の意を示し、次に、ユーザ自身をシステムに対して明らかにするために、ユーザに、彼又は彼女の秘密の名前を発音するよう要求する。次に、スクリプトは、ユーザの音声応答を3秒間記録する。この記録は、コンピュータにより行われるものであり、玩具にコマンドを送信して、玩具のマイクロフォンを玩具の無線送信機に接続させ、且つ受信した音声入力を3秒間送信させることにより行われる。無線通信は、無線ベース・ステーションにより受信され、コンピュータへ通信され、ファイルとしてコンピュータの記憶ユニットに記憶される。次に、アプリケーション・ソフトウエアは、記録されたファイルに対して音声認識を行う。音声認識プロセスの結果は、スクリプト・プログラムに返送される。スクリプトはユーザの応答に従って継続され、識別された秘密の名前に、又はうまく認識が行われなかった場合には他のメッセージに対応する、個人化した歓迎メッセージを再生する。この歓迎メッセージはまた、ユーザに、ストーリー(物語)、ゲーム、又はソング(歌)のような幾つかのオプションの中から選択を行うことを要求する。選択結果は、ユーザの音声応答を記録して音声認識を行うことによって、受け取られる。ストーリー、ゲーム、及び歌の簡略化した好適な実施態様の詳細な説明は、それぞれ、図17A〜17E、図18A〜18G、図19A〜19Cに示されている。
図17A〜17Eは、まとまると、図10の「プレイ(Play)」サブモードにより実行されるストーリー・スクリプトの1つの可能な実施態様の簡略化した動作フローチャートを形成する。図17A〜17Eの実施態様は、以下の、動作識別子および動作のテーブルと関連して理解することができる。
STORY MENU(ストーリー・メニュー)
オーディオ:テキスト
stm105:ヘイ、エース、君は私と同じくらいストーリー(物語)が好きなようだね。私は3匹の物好きなウサちゃん(ウサギ)のおもしろい物語を知っているよ。
stm110:ヘイ、レインボー、君は私と同じくらい物語が好きなようだね。私は3匹の物好きなウサギのおもしろい物語を知っているよ。
Stm115:ヘイ、バブル・ガム、君は私と同じくらい物語が好きなようだね。私は3匹の物好きなウサギのおもしろい物語を知っているよ。
stm125m:物語。それはいい!。私は物語が大好きだよ!。一緒に話をしよう。じゃあ「ゴルディロックスと3匹の熊」の話から始めよう。
Stm130m:むかしむかし、女の子が森で道に迷いました。おなかが空き、疲れてしまった女の子は、小さくてかわいい家を見つけました。ドアが開いていたので、女の子は中へ入りました。
stm135m:台所のテーブルの上には、ポリッジが入った3つのボウルがありました。女の子は1つのボウルの所に近寄って、スプーン一杯のポリッジを食べました。
Stm140m:さあ、君が教えてくれ。ポリッジの味はどうだった?。熱すぎたか、冷たすぎたか、ちょうどよかったか?。「熱すぎ」か「冷たすぎ」か「ちょうど」と言ってくれ。
stm150:(ブツブツ言う)熱すぎだって!。それはお父さん熊のボウルだったんだ。ポリッジは熱すぎだったんだ。
Stm155:(ブツブツ言う)冷たすぎだって!。それはお母さん熊のボウルだったんだ。ポリッジは冷たすぎだったんだ。
Stm160:うーん、ちょうどだって!。それは赤ちゃん熊のボウルだったんだ。ポリッジはちょうどよかったんだ!。だからゴルディロックスは全部食べちゃった。
stm170:君に物語を聞かせるのは本当に楽しいよ!。他の物語も聴きたいかい?。「はい」か「いいえ」と言ってくれ。
stm180:他の物語が聞きたいんだったら、「はい」と言ってくれ。他のことをしたいなら「いいえ」と言ってくれ。
stm195:君に、3匹の物好きな小さいウサギの物語をしてあげよう。
stm205m:あらあら、ウサギ達はちょっとやっかいな事になっているみたいだ!。これからウサギの物語の続きを聞きたいかい?。「はい」か「いいえ」と言ってくれ。
stm206m:ウサギの物語を覚えているかな?。ウサギ達がおいしいものを食べていると、何かが近付いて来る音が聞こえてきた。どうなったか聞きたいかい?。「はい」か「いいえ」と言ってくれ。
stm215m:ウサギの物語の続きを聞きたければ「はい」と言ってくれ。他のことをしたいなら「いいえ」と言ってくれ。
stm225:「いいえ」だって?。オーケー、じゃあここまでにしよう。いつでも君が遊びたいときに、この物好きなウサギの本で遊べることを覚えといてくれ。さて、こんどは何をしたいのかな?。
stm230:ゲームをしたいのかな、それとも歌を聞きたいのかな?。「ゲーム」か「歌」と言ってくれ。
stm245:さあ、ゲームをするか、歌を歌おうよ。君が決めるんだ。「ゲーム」か「歌」と言ってくれ。
図18A〜18Gは、共になって、図10の「プレイ」サブモードにより実行されるゲーム・スクリプトの1つの可能な実施態様の簡略化された動作フローチャートを形成する。図18A〜18Gの実施態様は、以下の、動作識別子および動作のテーブルに関連して理解される。
GAME MENU(ゲーム・メニュー)
オーディオ:テキスト
gm805:ヘイ!エース、またゲームをするんだね。いいぞ。じゃあまたジャンブル・ストーリーをしようよ。
gm810:ヘイ!レインボー、またゲームをするんだね。いいぞ。じゃあまたジャンブル・ストーリーをしようよ。
Gm815:ヘイ!バブル・ガム、またゲームをするんだね。いいぞ。じゃあまたジャンブル・ストーリーをしようよ。
Gm820m:ゲームだって!。それはいい。私はゲームが大好きなんだ。特に物語からできたゲームが好きなんだ。
Gm840:このゲームはジャンブル・ストーリーっていうんだ。この物語は全部ごちゃ混ぜになっているから、君が直すのを手伝ってくれ。
Gm845m:君が私の鼻か手か足をつかんだ時に私が言った文を聞いてくれ。そして、正しい順番でもう一度つかんでくれ。そうすると正しい物語ができあがる。
gm847m:さあ、私の鼻を押してくれ。
gm855m:(くしゃみをする)ああ、ごめんなさい。(鼻をすする)これで大丈夫。もう私の鼻を押していいよ。
Gm860:女が入口のところへ来て、私は王女だと言いました。
gm865m:オーケー、次に私の足をつかんでくれ。
gm875m:大丈夫、君を蹴りはしないから。足をつかんでくれ。
Gm890:その後すぐに、二人は結婚してずっと幸せに暮らしました。
gm895:もう一回、今度は私の手をつかんでくれ。
gm905m:できれば、優しくにぎる握手みたいにしてくれ。
Gm910:むかしむかし、王子は結婚の相手とする王女を探していました。
gm915:握ったときに聞いた文を思い出してみてくれ。そうしたら、正しい物語を作るために、正しい順番で、私の手を握り、足を握り、鼻を押してくれ。
gm921:女が入口のところへ来て、私は王女だと言いました。
gm922:その後すぐに、二人は結婚してずっと幸せに暮らしました。
gm923:むかしむかし、王子は結婚の相手とする王女を探していました。
gm924:ジャンブル・ストーリーをやりたいなら、正しい順番で私の鼻を押し、手をつかみ、足をつかんでくれ。
Gm925:正しい順番は、手、鼻、足の順だよ。試してみてくれ。
gm926m:やったね!。最高だよ!。君はすごいジャンブル・ストーリーのプレーヤーだよ!。
gm930m:これが物語の正しい順番だよ。もう、この物語はジャンブルされた(ごちゃまぜの)物語じゃないよ。本当は、これは「王女とエンドウ豆」の物語なんだ。もし君が聞きたいなら、この物語を最初から最後まで聞かせてあげるよ。「はい」か「いいえ」かを言ってくれ。
gm932:君はジャンブル・ストーリーをすごく上手にやったね。これから別のゲームをしたいかい?。「はい」か「いいえ」と言ってくれ。
gm933:また別の時にこのゲームをできるよ。ここで別のゲームをしたいかい?。「はい」か「いいえ」と言ってくれ。
gm940:オーケー、ゲームはもういいよね。まだ色々なことができるよ。物語を話そうか、それとも歌を歌おうか?。「物語」または「歌」と言ってくれ。
gm945:何をするかを君が言ってくれ。さあ。「物語」または「歌」と言ってくれ。
gm965m:これも私の好きなゲームだよ。このゲームは推測ゲームというんだ。
gm970:オーケー、さあ始めよう。いま私は、ねばねばする物(スティッキーな物)を思い浮かべている。それが棒付きキャンディーかピーナッツ・バターかを当ててみてくれ。「棒付きキャンディー」か「ピーナッツ・バター」と言ってくれ。
gm972:私が「棒付きキャンディー」か「ピーナッツ・バター」のどちらのねばねばする物を思い浮かべているかを当ててみてくれ。
gm975:そのとおり!。私は棒付きキャンディーを思い浮かべていたんだよ。棒付きキャンディーはねばねばしていて(スティッキーで)、棒(スティック)も付いているからね。
Gm980:そのとおり!。私はピーナッツ・バターを思い浮かべていたんだよ。君の口の中で上の方にくっつくピーナッツ・バターをね。
gm984:ファンタスティッキーだね。次のをやってみよう。ウサギと熊はどちらが高くジャンプするかな?。「ウサギ」か「熊」と言ってくれ。
gm982:さて、ウサギと熊のどちらが高くジャンプするかな。
gm985m:ウサギ、その通り。ウサギは喜んでジャンプするよ(ボインボインという跳ぶ音を続けて出す)。ただし、おもちゃのウサギ以外はね。
Gm990:熊のジャンプを見てみたいけど、私の上に降りられたくはないからね。
gm1005:ゲームを上手にできたよね。これから別のことをしようか。物語か歌はどうかな?。君が「物語」か「歌」かを言ってくれ。
gm997:何をするかを選んでくれ。「物語」か「歌」と言ってくれ。
図19A〜19Cは、共になって、図10の「プレイ」サブモードにより実行されるソング・スクリプトの1つの可能な実施態様の簡略化された動作フローチャートを形成する。図19A〜19Cの実施態様は、以下の、動作識別子および動作のテーブルに関連して理解される。
SONG MENU(ソング・メニュー)
オーディオ:テキスト
Sng305:歌にする気分かい、宇宙人のエース?。いいねえ!。じゃあまたポリッジの歌をやろう。さあ、私と一緒に歌おう。
Sng310:歌にする気分かい、すごいレインボー?。いいねえ!。じゃあまたポリッジの歌をやろう。さあ、私と一緒に歌おう。
Sng315:歌にする気分かい、ばかみたいなバブル・ガム?。いいねえ!。じゃあまたポリッジの歌をやろう。さあ、私と一緒に歌おう。
Sng320:歌だよ、歌だよ、私達は歌を歌いたい気分なんだ。
Sng_prog:「エンドウ豆のポリッジ」の短いやつ。
Sng370:この歌の続きを私に歌ってほしいかい?。「はい」か「いいえ」と言ってくれ。
Sng390:この歌はゴルディロックスの物語を思い出させるよ。覚えているかい?。ゴルディロックスはちょうどいいポリッジが好きだったよね!。
Sng395:いま別のいい歌を思い出したよ。別の歌を聞いてもいいし、ゲームをしてもいいし、物語を話してもいいよ。「歌」か「ゲーム」か「物語」と言ってくれ。
Sng410+SNG_HAND:わかった。これからすごくいい歌をやろう。さあ・・・をやるよ。[短い「HEAD AND SHOULDERS(頭と肩)」を歌う]
Sng415:すごい歌だよ!。これはいい体操になるね!。これからゲームをしたいかい、それとも物語を聞きたいかい?。「ゲーム」か「物語」と言ってくれ。
Sng425:私は、おもしろいゲームをするか、かっこいい物語を話したい気分だよ。何をするかを君が選んでくれ。「ゲーム」か「物語」と言ってくれ。
図20A〜20Cは、共になって、図10の「プレイ」サブモードにより実行される、図17A〜17Eの「バニー・ショート(Bunny Short、短いウサギ)」物語スクリプトの1つの可能な実施態様の簡略化された動作フローチャートを形成する。図20A〜20Cの実施態様は、以下の、動作識別子および動作のテーブルに関連して理解される。
BUNNY SHORT(バニー・ショート)
オーディオ:テキスト
rb3005m:音楽
rb005m:(ため息をつく)「いやだわ」、おなかを空かせた女は食器棚を見て言いました(食器棚を開くキーッという音がする)。食器棚にはほとんど何もありませんでした。でも、ジャーの中には何かが・・・。ジャーの中に何があるかを君が決めてくれ。「蜂蜜」か「ピーナッツ・バター」か「マシュマロ・フラッフ」か?
rb015:ジャーの中に何があるかを君が決めてくれ。「蜂蜜」か「ピーナッツ・バター」か「マシュマロ・フラッフ」と言ってくれ。
rb026:蜂蜜が入っていたんだ。
rb301:蜂蜜だって!!。蜂が作った甘くて美味しくてねばねばしていて熊が大好きな蜂蜜だね。
rb302:ピーナッツ・バターだって!!。べとべとしてて、ねばねばしてて、君の口の中で上の方にくっつくピーナッツ・バターだね。
rb303:マシュマロ・フラッフかい。べたついて、白くて、ねばねばしてて、裏返しになっていて、ピーナッツ・バターをつけるとすごく美味しいマシュマロだね!。
rb3050m:女は食器棚の上の方にあるジャーを取るのに、高く手を延ばしました。(女が手を延ばしてジャーに届く音。)でも、その女はあまり気をつけていなかったので、ジャーをうまく掴みませんでした。それでジャーが床に落ちて壊れました。(ガラスが砕けて壊れる音。)
rb3055:そして、ねばねばした蜂蜜が床一面にばらまかれ始めました。
rb3060:そして、ねばねばしたピーナッツ・バターが床一面にばらまかれ始めました。
rb3065:そして、ねばねばしたマシュマロ・フラッフが床一面にばらまかれ始めました。
rb090m:さあ、汚れが広がる前に掃除しなくちゃ。モップはどこかな?。[ドアが開いて閉じる音。]そうだったわ。あのモップは隣のユアーズイズマイン(君のものは僕のもの)さんに貸したんだったわ。あの人は貸したものを全く返さないの。
rb3075:その女はお出掛けの靴をはいて、家から飛び出て行きました。そうしたら、長くとがった耳とピンクの鼻のついた頭と綿のようなしっぽが、窓の下枠の方からひょこっと現れました。(何かが覗いている動作を示す音響効果。)
rb110:君はそれが何だと思う?。象?、ネズミ?、それともウサギ?。君が「キリン」か「象」か「ウサギ」かを私に教えてくれ。
rb120:いいや。象は長い鼻をもっているけど、耳は長くないよ。
rb125:いいや。キリンは長い首をもているけど、耳は長くないよ。
rb130:あれはウサギだよ!。君がいままで見た中で一番かわいいウサギだよ!。このウサギの名前はバニーワン(BunnuOne)ていうんだ。
(匂いを嗅ぐ)ここで何かおいしそうな匂いがするぞ。
rb195:ウサギは興奮すると跳びはねるんだ。バニーワンは跳びはね始めたよ。
rb200:君はウサギのように跳べるかい?。私が「ボイン」と言ったときにウサギみたいに跳んでくれ。そして私が「ボイン」と言うたびにもう一度跳んでくれ。
3−boings(ボインを3回):
rb220m:バニーワンが跳びはねて離れていくと、バニーツーという別のウサギが現れました。バニーツーはバニーワンよりもの好きで、すぐに窓の下枠を越えてのぞき見をしました。バニーツーは「おい、バニーワン」と言いました。
rb230:中へ入って全部食べちゃおうよ。
バニーワンは「それはどうかと思うなあ」と言いました。「やっかいな事に巻き込まれるかもしれないよ。」
231m:音楽
Rb235:バニーワンがさう言うとすぐに、長い耳を2つもつ三番目のやつが窓の下枠を越えて覗いていました。君はあいつが誰だと思う?
Rb245:そのとおり!。何で知ってるんだい!。おもしろいねえ。これから一緒に物語を話そうよ。
rb3155:あいつの名前はバニースリーだ!。
rb3160:バニースリーはバニーワンとバニーツーを見て、そして蜂蜜の中へ跳びはねて入って行き、なめ始めました。
rb3165:バニースリーはバニーワンとバニーツーを見て、そしてピーナッツ・バターの中へ跳びはねて入って行き、なめ始めました。
rb3170:バニースリーはバニーワンとバニーツーを見て、そしてマシュマロ・フラッフの中へ跳びはねて入って行き、なめ始めました。
rb3175:バニーワンとバニーツーはバニースリーがなめているのを見て、バニースリーと同じように跳びはねて入って行きました。
rb2751:しかし、3匹のウサギが蜂蜜を食べていると、足音が聞こえてきました。
rb2752:しかし、3匹のウサギがピーナッツ・バターを食べていると、足音が聞こえてきました。
rb2753:しかし、3匹のウサギがマシュマロ・フラッフを食べていると、足音が聞こえてきました。
rb280m:音楽
図21A〜21Fは、共になって、図10の「プレイ」サブモードにより実行される、図17A〜17Eの「バニー・ロング(Bunny Long、長いウサちゃん)」物語スクリプトの1つの可能な実施態様の簡略化された動作フローチャートを形成する。図21A〜21Fの実施態様は、以下の、動作識別子および動作のテーブルに関連して理解される。
BUNNY LONG(バニー・ロング)
オーディオ:テキスト
rb280m:(サスペンス的な音楽)
rb285:みんなの中で一番用心深いバニーワンは「おいみんな、行くぞ」と囁きました。
バニーツーとバニースリーは「よし、ここから出よう」と言いました。しかし、ウサギたちが逃げようとしたときに、ウサギたちをうろたえさせる事が起きていました。ウサギたちは、くっついてしまっていたのです。
rb2901:たまった蜂蜜にくっついてしまいました。
rb2902:しみのような塊になったピーナッツ・バターにくっついてしまいました。
rb2903:べたついた雲のようなねばねばしたマシュマロ・フラッフにくっついてしまいました。
Rb295:バニーツーは「どうずればいいの」と尋ねました。
rb2961:(ひそひそと)バブル・ガム、大丈夫だよ。この3匹のウサギはいつもうまく逃げるんだ。
rb2962:(ひそひそと)エース、大丈夫だよ。この3匹のウサギはいつもうまく逃げるんだ。
rb2963:(ひそひそと)レインボー、大丈夫だよ。この3匹のウサギはいつもうまく逃げるんだ。
rb297m:
rb300:おなかを空かせた女がユアーズイズマインさんの家からモップを持って帰る途中で、おなかを空かせた男に会いました。ドアが開いて、おなかを空かせた男が入ってきました。
rb3051:晩ごはんにパンと蜂蜜しかないって言いたいのかい。
rb3052:晩ごはんにパンとピーナッツ・バターしかないって言いたいのかい。
rb3053:晩ごはんにパンとマシュマロ・フラッフしかないって言いたいのかい。
Rb315:それだけじゃウサギにだって十分じゃないよ。
男は、ドアから中へ入ったときに3匹のウサギが床にくっついているのを見て、そう言いました。
rb316m:
Rb320:あなた、私をからかっているんでしょうけど、おなかが空いているときに冗談はやめてちょうだい。晩ごはんにウサギかあ。私の好物なのに。
Rb330:バニーワンは「おい、行くぞ」と囁きました。
バニーツーとバニースリーは「ああ、ここから出なきゃ」と囁きました。ウサギたちは動こうとしましたが、脚がしっかりとくっついていました。
Rb335:おなかを空かせた女が入ってきました。女は、おなかを空かせた男がそれまで何を言っているのか分かりませんでしたが、ウサギたちをみて、こう言いました。
(くすくす笑って)ねえ、さっきのは冗談よ。晩ごはんはおいしいウサギよ。ウサギをつかまえといて。私は火を焚く木を持ってくるから。
rb345:おなかを空かせた男は「ウサギをつかまえなくてもいいよ。」と言いました。「ウサギはそこにくっついたままだよ。私は庭からジャガイモを取ってくるよ。火がおこる頃には戻ってきて、ウサギをポットに入れるのを手伝うよ。」そして男は急いで出て行きました。
rb346m:(遠のく足音、ドアの閉まる音)
Rb350m:バニースリーが「どうずればいいんだろう」と言いました。もうバニースリーは最初の頃のように勇敢ではありません。
バニーワンは「跳び出してみよう」と言いました。
ウサギたちは、跳び出そう(歪んだボイン)、跳び出そう(ボイン)としましたが、動けませんでした。
Rb355m:おなかを空かせた女と男が火をおこすための木を持って入ってきました。二人は楽しそうに口笛を吹いていました。たくさんの晩ごはんを食べられるのですから。二人は火をおこしはじめ、ポットに水を入れました。火が熱くなると口笛を吹き始めました(バックグラウンドで口笛)。この間中、ウサギたちは像のように固まっていました。
Rb360:君は像みたいにじっとしていられるかな?。ウサギたちみたいに像のようになる練習をしたいなら、まず私の手を掴んで、そして止まったままで立ってみてくれ。像のまねをするのを止めるときには、もう一度私の手を掴んでくれ。
rb370:よーし。君は今から像だ。君が私の手を掴むまで待ってるからね。
rb375:君が像になる前に私の手を掴んでくれ。
rb382:長い間像になっていたもんだ。
rb385:おなかを空かせた女は、「もう少し木を持って来て火をつよくして熱くすると料理ができるわ」と夫に言いました。そして二人は木を集めるために外に出て行きました。
rb386:(音響効果)
Rb390:バニーツーは「今のを聞いたかい」と強い調子で囁きました。「どう・・・、どうすればいいんだ?」
バニーワンは「もう一回跳んでみよう」と言いました。
Rb395m:レインボー、知ってるかい。君はウサギたちを助けられるんだ。君が[ボイン]を聞いたときに、できるだけ高く跳んでくれ。
Rb400m:エース、知ってるかい。君はウサギたちを助けられるんだ。君が[ボイン]を聞いたときに、できるだけ高く跳んでくれ。
Rb405m:バブル・ガム、知ってるかい。君はウサギたちを助けられるんだ。君が[ボイン]を聞いたときに、できるだけ高く跳んでくれ。
Rb410m:[ボインという音]ウサギが跳びはねました。[ボイン]またウサギが跳びはねました。[ボイン]そしてまたウサギが跳びはねました。
rb4151m:あと一回の[ボイン]でウサギ達はたまった蜂蜜から抜け出せるよ。
rb4152m:あと一回の[ボイン]でウサギ達は塊になったピーナッツ・バターから抜け出せるよ。
rb4153m:あと一回の[ボイン]でウサギ達はべたついた雲のようなマシュマロ・フラッフから抜け出せるよ。
rb4201:なぜだか分かるかな?。火が熱くなっていくと蜂蜜が薄く拡がるから、ウサギでもくっついた足を外せるようになるんだ。
rb2402:なぜだか分かるかな?。火が熱くなっていくとピーナッツ・バターが薄く拡がるから、ウサギでもくっついた足をは外せるようになるんだ。
Rb4203:なぜだか分かるかな?。火が熱くなっていくとマシュマロ・フラッフが薄く拡がるから、ウサギでもくっついた足を外せるようになるんだ。
Rb425m:あと一回の[ボイン]でウサギ達は窓の下枠に乗っかって、それから庭に出て、急いで逃げていくよ。
rb426m:(音楽)
rb435m:ちょうどその時、おなかを空かせた男と女が、木とジャガイモを持って、好きな歌を歌いながらドアから入ってきました(バックグラウンドでピーズ・ポリッジ・ホット)。
Rb440:二人が入って来たちょうどその時、二人の晩ごはんのブー・フー・フー・ウサギが跳び出して庭に逃げるのを見ました。
rb445m:ウサギは跳びはねながら楽しそうに歌っていました(バックグラウンドでハニー・オン・ザ・テーブル)。
図22は、図17D、18C、19B、及び19Cにおいて言及した「テーマ・セクション」の簡略化した動作フローチャートである。テーマ・セクションは、アプリケーション全体についての一般的イントロダクション及び教授法をユーザに提供する。
アペンディクスA(Appendix A)は、前述のインタラクティブ玩具システムの好適なソフトウエアの実施例のコンピュータ・プログラムリストである。本発明のインタラクティブ(対話型)玩具システムのソフトウエアを実装(インプリメント)するための好適な方法は以下の通りである。
1)ウインドウズ(WINDOWS)95オペレーティング・システムを実行(ラン)可能なコンピュータを用意する。
2)アペンディクスAの以下のようにラベル付けされたセクションのソース・コードを、ステップ1)において用意されたコンピュータで実行可能な対応するファイルにコンパイルする。
* インストレーション・ソース・コード
* アプリケーション・ソース・コード
* 音声認識用ActiveXソース・コード
* CREAPI.DLL
* CRPRO.DLL
* BASEIO.DLL
* 玩具コンフィギュレーション・ソース・コード
3)ウインドウズ95 バージョン3.0用「自動音声認識ソフトウエア開発キット」をベルギーのLernout & Hauspie Speech Products(Sint-Krispisnstraat 7, 8900 Leper)からインストールする。
4)アペンディクスAの以下のようにラベル付けされたセクションのソース・コードを、実行可能な対応ファイルにコンパイルし、図5のベース通信ユニット62及び図5の玩具制御デバイス24のそれぞれにインストールする。
* ベース・ステーション・ソース・コード
* 玩具制御デバイス・ソース・コード
5)インストレーション・ソース・コードに対応する実行可能ファイルをランさせる。
6)玩具コンフィギュレーション・ソース・コードに対応する実行可能ファイルをランさせる。
7)アプリケーション・ソース・コードに対応する実行可能ファイルをランさせる。
ここに示し記載するインタラクティブ玩具システムは、1日の内の時刻のみならず、カレンダー情報、例えば休日や季節、あるいは子供の誕生日、をも考慮に入れて動作可能であることは理解される。例えば、玩具は、子供の誕生日に特別のメッセージを出力することが可能であるし、夜には「疲れた」顔の表情を発生することができる。
好ましくは、ここに示し記載する玩具装置の少なくとも幾つかの処理機能性は、汎用目的又は家庭用のコンピュータ、例えばPCによって与えられる。そのコンピュータは、玩具装置と、あらゆる適切な態様で、典型的には無線(ラジオ)通信等のワイヤレス通信によって通信を行う。好ましくは、玩具が一旦セットアップされると、玩具の処理機能を収納するPCプログラムはバックグラウンド・モードでランし、他のユーザ、例えば大人が自分の目的のために家庭用コンピュータを使用すると同時に、子供が玩具でプレイすることを可能にする。
コンピュータ化(処理)玩具を制作するのに有効な好適な技術及び装置は、同時継続PCT出願番号PCT/IL96/00157及び同時継続イスラエル特許出願番号121,574並びに同時継続イスラエル特許出願番号121,642に記載されており、これらの開示内容はここに援用される。
この特許文書の開示内容の一部は、著作権保護の対象となる素材を含んでいる。著作権者は、特許文書又は特許開示内容が特許商標局の特許ファイルや記録において生じるような、何人かによるファクシミリ再生には異議を唱えないが、それ以外は全ての著作権を保有するものである。
本明細書及び請求の範囲において、「コンピュータ化されたクリーチャ」(computerized creature)又は「コンピュータ化されたリビング・クリーチャ」(computerized living creature)という用語は、コンピュータ・スクリーン上に存在する仮想的な生き物又は実際の物理的な身体を有する物理的な玩具である生き物の何れでもよいコンピュータ制御された生き物を表す。このクリーチャ(生き物)は、動物又は人間のいずれか、あるいは他の、即ち物体(オブジェクト)であってもよい。
クリーチャに「生命を吹き込む(breathing life)」とは、典型的にはクリーチャと自然の人間との少なくとも1つの相互作用(対話、interaction)を定義することによって、クリーチャに生命に似たふるまい(行動)を与えることを意味し、その相互作用は、好ましくは、自然の人間によって示される感情を、クリーチャの方で感知することを含んでいる。
「自然の」人間とは、仮想的人間、玩具である人間、人間の人形等ではなく、伝統的言葉の意味における、実際に生きている、神が創造した人間のことである。
ここで、図23A及び23Bを参照すると、本発明の好適実施例にしたがってコンピュータ化リビング(living)クリーチャの開発及び操作が図解されている。図23Aは物理的クリーチャを示し、図23Bは仮想的クリーチャを示している。
図23A及び23Bに示されるように、インタラクティブ・コンピュータ化構成体の開発を教える設備が提供され、その設備は、典型的には複数の生徒側ワークステーション310と1つの教師側ワークステーション312とを含み、これらはバス314によって相互接続され、教授設備サーバ316は、教師側ワークステーション312及び生徒側ワークステーション310に適切なコンテンツを供給する。好ましくは、クリーチャライフ・サーバ318(ここでは、「クリーチャサポート・サーバ」又は「クリーチャライフ・サポート・サーバ」ともいう)が設けられ、以下に詳述するように、生徒がプログラムした生命に類似した機能をクリーチャ324に与える。代替的方法として、サーバ316と318は1つのサーバに組み込むことも可能である。更に代替的方法として、多数のクリーチャサポート・サーバ318を設けることができ、各々は1つ又はそれ以上のコンピュータ化された生きたクリーチャをサポートする。更に代替的方法(図示せず)として、単一の中央コンピュータが設けられ、生徒側ワークステーションと教師側ワークステーションを中央コンピュータによってサポートされる端末から構成することも可能である。
図23Aに示すように、クリーチャ・ライフ・サポート・サーバ18は、好ましくはコンピュータ・ラジオ・インタフェース320に結合され、該インタフェースは、好ましくはコンピュータ化リビングクリーチャ324の内部の適切なコントローラ322とワイヤレス通信を行い、これによってコンピュータ化リビングクリーチャ324のアクション及び反応が制御され、記憶されるとともに取り入れられる経験が好適に保持されると共に分析される。
コンピュータ化リビングクリーチャ324には、好ましくはクリーチャライフ・サーバ318によって、複数の異なった擬人化された感覚、例えば聴覚、視覚、触感、温度、姿勢を与えられ、好適には複合的な生徒がプログラムした感覚、例えば感情が与えるられることが理解される。これらの感覚は、好ましくは適切なオーディオ・センサ、視覚センサ、触覚センサ、及び位置センサによって与えられる。更に、本発明の好適実施例によれば、コンピュータ化リビング・クリーチャ324に、複数の表現の擬人化モード、例えばスピーチ(話すこと)、動き、及び表情や、満足感、怒り、悲しみ、驚き等の表現の複合形態が与えられる。これらの表現構成要素は、適切な機械的及び電気機械的ドライバの使用によって達成され、クリーチャライフ・サーバ318を介する生徒プログラムに従って発生される。
ここで、図23Bを参照すると、仮想的なコンピュータ化リビング・クリーチャ334は、コンピュータ338のディスプレイ336上で創作可能なことが分かる。コンピュータ338は、バス314に直接的に、或いはネットワーク、例えばインターネットを介して接続することができる。仮想的なコンピュータ化リビングクリーチャ334には、好ましくは複数の異なった擬人化された感覚、例えば聴覚、視覚、触感、姿勢を与えられ、好適には複合的な感覚、例えば感情が与えるられる。これらの感覚は、好ましくはコンピュータ338、マイクロフォン340、カメラ342、及び触覚パッド又は他の触覚入力デバイス344と関連づけることによって与えられる。
また、スピーカ346がコンピュータ338と関連づけられることが好ましい。サーバ348は、典型的には図23Aの教授設備サーバ316とクリーチャ・ライフ・サーバ318の両方の機能性を実行する。
更に、本発明の好適実施例によれば、仮想的なコンピュータ化リビング・クリーチャ334には、複数の表現の擬人化モード、例えば話すこと、動き、及び表情や、満足感、怒り、悲しみ、驚き等の表現の複合表現が与えられる。これらは、適切な慣用のコンピュータ技術によって達成される。
コンピュータ化リビングクリーチャが、適切なプログラミングと、前述した擬人化感覚に基づいて人間と相互に作用する能力と、コンピュータ化リビング・クリーチャ側及びそれと相互作用する人間側の両方での表情モードとによって与えられることが本発明の好ましい特徴である。
図23Cは、図23A〜23Bのシステムの変形であるシステムを簡略化した半ば絵画化し、半ばブロック的に示す。図において、データ、プログラム、ボイス・ファイル及びクリーチャ324に生命を吹き込むのに有用なコンテンツを供給するリモート・コンテンツ・サーバ342が設けられる。
図24Aは、クリーチャ324(図示せず)を、好ましくはシミュレーション・ディスプレイ350を使用してプログラミングする生徒を絵画的に示している。プログラミングは、生徒によって、生徒用ワークステーション310と対話式に行われる。対話は、口頭で・あるいはキーボードやマウス等の他の適切な入力デバイスを介して行うことが可能である。
指令「プレイ・レコード(play record)」に続いてスピーチ、そして「ストップ(stop)」と続けると、生徒用ワークステーションが、「プレイ・レコード」の後の生徒によって発せされた「ストップ」までの、「ストップ」は含まないスピーチの内容を記録し、その内容をボイス・ファイルに記憶させることを意味し、またクリーチャライフ・サーバ318が、クリーチャ324に指令してボイス・ファイルに記憶されたスピーチの内容を発するようにさせることを意味する。
「if−then−endif」、「音声認識」、「言語タイプ」、「and」、及び「or」は、図31に示すように、全て制御ワード又は指令、あるいはプログラミング命令である。
図24Bは、コンピュータ化リビング・クリーチャと少なくとも口頭対話する人間を絵画的に示してており、対話は図24Aを参照して記載した生徒によってプログラムされている。
図24Cは、内蔵のビデオ・カメラ342及び液晶ディスプレイ(LCD)等のビデオ・ディスプレイ582を備えたクリーチャ324を絵画的に示している。ビデオ・カメラはクリーチャに視覚入力を与えるとともに、クリーチャ及びワイヤレス通信を介してコンピュータに視覚入力を与える。ディスプレイは、コンピュータがユーザにより詳細な情報を与えることを可能にする。図面において、ディスプレイは、より詳細な、そして目や眉を含むよりフレキシブルな表現を与えるために使用される。カラー・ディスプレイは、コンピュータが目の色をユーザまたh対象物に採用することを可能にする。
エンジニア及びプログラマを訓練してインタラクティブな構成体を生み出すために教育設備が設けられることは、本発明の特別な特徴である。教師は、生徒のクラスのために全体のプロジェクト、例えば警察官の行動のプログラミングを規定することができる。彼は、特別のイベントに分解することが可能な一定の一般的状況設定を決めることが可能である。各イベントは一続きのやりとり(interaction suite)をプログラムするために生徒に割り当てられる。
例えば、警察官の行動がモジュール、例えば被害者の親族とのやりとり、同僚とのやりとり、上司とのやりとり、訴状の提出を求めている告訴人とのやりとり、容疑者とのやりとり、共犯者とのやりとり、証人とのやりとりに分解される。それらのそれぞれのやりとりは、関係する犯罪が殺人、殺人ではない暴力的犯罪、悪徳犯罪、あるいは財物に対する犯罪なのかどうかによって、決定されるサブモジュールを有することが可能である。各モジュール又はサブモジュールは異なる子供に割り当てることができる。
同様に、プロジェクトは、学童の行動のプログラミングを含むことが可能である。言い換えれば、感情的な知覚のあるクリーチャが学童ということになる。このプロジェクトは、先生に対する行動(振る舞い)、モジュールに対する行動、及び他の子供に対する行動のようなモジュールに分解することできる。また、他の子供に対する行動は、秘密クラブの形成、一緒の勉強、ゴッシプ、助けの求め等のサブモジュールに分解することができる。
特別のサブモジュールをプログラムするために、生徒は、典型的には以下の操作の少なくとも幾つかを実行することが予測される。
a. サブモジュールへのエントリをトリガする初期イベントを選択する。例えば、単語「クラブ」を聞くことは「秘密クラブの形成」サブモジュールへのエントリとなりうる。これらの初期イベントは、モジュールのステート・マシンの一部を形成することができ、好適には生徒が一緒に、あるいは教師によってメインプログラムに組み込むことができ、このメインプログラムは各種イベントの発生時に各種モジュールをコールする。
b. 学童(生徒)とその学童に近づいてくる人間との間に行われるであろう会話に適するトピックを列挙する。例えば、クラブを結成するためには、クラブは典型的には名前、メンバーのリスト、パスワード、フラッグ(旗)、ルール等が必要になる。
c. これらのトピック間の関係を決定する。例えば、パスワードは、メンバー・リストが確定したとき、メンバー・リスト上の全メンバーに知らせる必要がある。
d. 学童からの各発言が人間からの応答(容易に類別化することができる)を引き出すことを意図するように設計された、学童と人間との間の発展した会話を定式化する。例えば、学童は、自由回答式の質問ではなく、選択範囲が限定された質問だけを尋ねることを望むようにすることができる。例えば、学童が「旗は何色がいいですか。白色、黒色、あるいは赤色ですか」と質問し、システムは3つの単語のうちの1つを認識すればすむようにする。
e. 学童と人間との関係において、どのように感情を検出するかを決定し、異なる感情の役割を決定する。例えば、学童が人間との関係においてメンバー・リストを限定する場合、学童は人間が感情的になることに気付くようにすることができる。従って、学童はメンバーリストを終わらせることを勧めるように決定し、及び/又は共感を表すことができる。代替的方法として、或いは追加的に、学童の各発言は、人間の3つ又は4つの異なる感情状態のそれぞれに対して少し異なるテキストを有するようにすることができる
他のプロジェクトには、教師、親、ペット、セールスパーソン、有名人等の行動をプログラミングすることを含む。プロジェクトの範囲は無制約であることは理解される。
感情的に知覚可能な生き物をプログラミングする複雑性は愉快な状況をもたらすことが予測され、それによって感情的に知覚可能な生き物が欠陥のある態様で行動することは理解される。このことは、生徒のエラーをユーモアのある結果に結びつけることによって生徒のエラー又は生徒の失敗の状況に付随するテンションを和らげることによって、学習状況を強化することが期待できる。感情的に知覚可能な生き物をプログラミングする困難性は、ここに示し記載するシステムの実現の障害にはならない、その理由はシステムの目的は、典型的には、教育的なものであり、感情的に知覚可能な生き物の正しく完全な機能作用は人為的なものであり、本システムの目的ではないからである。
更に、ハイレベルで感情的に知覚可能な生き物をプログラミングすることは非常に困難ではあるが、非常に単純化された感情の感性であっても、機械によって演じられるときは、人間と機械とのやりとりには大きな影響がある。従って、感情的知覚のプログラミングは、初歩的レベルにおいても、価値のある作業であり、その結果として、生徒に実践を通してプログラミングの能力を高める動機付けを与えることが可能である。
図25は、システム・アドミストレータの好適な機能性の簡略化したソフトウエア図である。好適には、教師用ワークステーション312はシステム・アドミストレータ・ワークステーションの2倍となる。
図26は、図23A〜23Cのシステムのようなインタラクティブ・コンピュータ化構成体の開発を教育するシステムにおける、教師用ワークステーション312の好適な機能性の簡略化したソフトウエア図である。
生徒アドミストレーション機能性(図25のユニット715)には、典型的には生徒登録、生徒特性の統計的分析、生徒レポート発生等の従来の機能性を含まれている。
生徒のグループ又は教師によって、統合(ユニット740)を達成することができる。好適には、教師用ワークステーションは教師に各種モジュールが結合されるべき順序を規定する統合計画を与える。
実行時間アドミニストレーション機能性(ユニット750)は、複数のクリーチャライフ・サーバ318の管理について言及している。例えば、教師は、3つのクリーチャライフ・サーバと300人の生徒によって開発されそれぞれが幾つかのプロジェクト・モジュールを含む30のプロジェクトによって制御される、15のクリーチャを自由することができる。実行時間アドミニストレーション機能性は、特定の日及び時間に特定のクリーチャのサブセットが特定のクリーチャライフ・サーバによって、特定のプロジェクトを用いて制御されることを決定することを教師に可能にする。プロジェクトが代替的モジュールを含む場合、教師は更にどれを使用するかを決定する
図27は、図23A〜23Cのシステムのようなインタラクティブ・コンピュータ化構成体の開発を教育するシステムにおける、生徒用ワークステーション310の好適な機能性の簡略化したソフトウエア図である。図27における分析及び設計ブロック815は、典型的には、生徒がプロジェクト・モジュールの分析をドキュメント化することを可能にするワード処理(プロセッサ)機能性、フローチャート作成機能性及びデータベース概要設計機能性を含んでいる。
図27のビジュアル(視覚的)プログラミング・ブロック840は、学生がソフトウエア・オブジェクトを定義し、パラメータで示し、これらのオブジェクトを互いに関連づけることを可能にする。
ソフトウエアオブジェクトは、好ましくは、以下のものを含む。
サブモジュールと、時間事象、言葉の事象、データベース事象、センサー事象及びこれらの組み合わせの如き事象と、運動機能、スピーチ(プレイバック)機能の如き機能と、状態機械(ステート・マシン)の状態、並行して実行されるタスクと、である。
例えば、ビジュアル・プログラミングの典型的なセッションは、以下のステップを含む。
a.学生が、ビュー(view)を、次に、ステート・マシンを選択し、彼のクラスが割り当てられたプロジェクトの中の彼のモジュールを定義する現在のステート・マシンを見る。それに応答して、システムは、学生に、現在のステート・マシンを表示する
b.学生が、インサート(挿入)を選択し、次いでステート(状態)を選択して、新しい状態をステート・マシンに追加する。
c.学生が、インサートと接続とを選択し、新しい状態をステート・マシンの既存の状態に追加する。
d.学生が、事象と選択された接続用の機能とを定義する。この機能は、Functionのオプションの下方にリストになっている既存の機能の中から選択されるか、又は、発生される。このときには、プログラム・ブロックのオプションが使用され、更に、ベーシックの如き第3世代のプログラム言語が使用され、又は機能内のステート・マシンが開かれる。
選択は、ツール・ボックスからのアイコンのドラッグ・アンド・ドロップや、または、メニュ・バーから選択して更にメニュ・バーのアイテムに関連したメニュから選択を行うなど、適当なインターフェース機構により実現される。
ビジュアル・プログラム・ブロック840は、それぞれがそこまでは学生によりプログラムされるようなモジュールの異なる表示を含む複数のビュー(視野)の1つを学生が選択することを可能にする。このビューは、例えば、以下のものを含む。
a.学生に割り当てられたモジュール内のサブモジュール。
b.モジュール内の事象(イベント)のリスト。事象には、典型的に時間事象、センサー事象、言葉(音声)の事象、例えばデータベースの特定のカウンタがゼロに達するデータベース、およびこれらの組み合わせが含まれる。事象は、修飾され、ソース・ステートと目的ステートとの間の既存の接続に関連付されたスクラッチ(走り書き)から発生され得る。
c.モジュールにおける状態と、それらの間の接続とを図解するステート・マシン。
d.各々のタスクが機能及び/またはモジュールのシーケンスを含み、パラレルに実行される種々のタスクのシーケンスを許容するために関連がタスク間で定義される、タスクのリスト。
e.モジュール内の機能のリスト。機能は、典型的に、例えば、会話、スピーチ認識および記録である言葉機能、モータ機能および照明機能の如きアクチュクエータ機能、データベースに記録されたデータの実行する計算法の如きデータベースを含む。
機能は、スクラッチから発生され、修正され、又は、ソース状態と目的状態との間の既存の接続と関連付けられる。
各々のビュー(視野)において、学生は、ビューに描写されたモジュールの任意の様相を修飾し、又は、それに付加し得る。例えば、ステート・マシンの個々の接続に関連した事象を修飾するために、学生は、典型的に、事象リストにアクセスし、事象の定義を変更することができる。代わりに、学生は、ステート・マシンにアクセスし、個々の接続と関連付けする異なる事象を選択し得る。
図28〜31は、スクリーン表示の例であり、これはビジュアル・プログラミング・ブロック840のヒューマン・インターフェースの一部である。図28に示す様に、学生は、以下のタイプのアクテイビテイの1つを実行するオプションを与えられる。
即ち、伝統的なファイル動作、伝統的な編集動作、ビューイング動作、挿入動作、シミュレーション動作および伝統的なウインドウおよびヘルプ動作である。
図28に示されているビュー・メニューを使用して、学生は、プロジェクト・マップ表現、モジュール・チャート表現、タスクのリスト等、自分が開発したモジュールの様々な表現を見ることを選択できる。
図28において、学生は、ビュー・メニュにおいて、接続(Connection)を選択した。それに応答して、学生には、典型的には、スクリーンに自分のモジュールにおける既存のステート・マシン接続のリストが示される。学生は、次に、他の接続を選択する。図示する様に、学生は、結合t6を選択する。応答において、学生は、t6のパラメータのスクリーン表示を見る。これは、接続のソース、目的状態、接続に関連した事象および機能を含んでいる。
典型的に、各機能は、実行、記録、表現セット等の1つ又は複数の機能プリミティブ(primitives)の組合せである。
現在の定義された機能プリミティブおよびそれらのパラメータのリストは、典型的に、ビュー・メニューにおける機能プリミティブの学生の選択に対する応答を、学生に表示する。
図29において、ビュー・メニューからのステート・マシンの学生の選択に応答して発生されたモジュールのステート・マシン・ビューを示す。図示されるように、相互作用(インタラクション)が状態の形式で示され、クリーチャがある状態から別の状態に移動する。状態から状態への移行は、状態の間に現れる機能の事象の発生に基づく条件的なものであり、その後には、状態の間に現れる機能の発生が続く。
例えば、状態2と状態6との間の移行は、機能7および事象7に関連している。これは、クリーチャが状態2にあるときに事象7を検出すると、機能7を実行し、状態7に移動することを意味する。
事象7は、例えば、自然人が幸せであるということでありうる。これは、大きな声、高いピッチ、文書の最後で上昇するイントネーション、音声認識装置により検出された「幸せ(happy)」、など、幾つかのプリミティブの組み合わせである複雑な事象である。機能7は、例えば、「君は今日は上機嫌だね、そうだろ」というメッセージの放出である。
状態6は、例えば、自然人が「上機嫌」であるということのクリーチャの知覚を自然人が確認する又は拒絶するのをクリーチャが待っているという感情診断の確認待機状態である。
状態2は、例えば、感情の変化が検出されたが新たな感情はまだ特徴付けされていない感情変化状態である。
Uの文字は、1つの状態から他の状態への無条件(unconditional)な移行を示す。
図30では、学生は、ステート・マシン内で状態間の接続に関連づけられることが意図された新たな機能を挿入することにより、モジュールを修正している。学生が挿入していることが示されている機能は2秒間の記録機能である。
ビュー・オプション(図28)下の機能オプションは既存の機能のシーケンスである機能を定義するのに用いられる。
図32のスクリーン表示は、プロジェクトのステート・マシン・ビューの例の図解を含む。図示の如く、状態間の各接続は、事象および機能で特徴づけられる。事象の発生により、機能が実行され、プロセスが現在の状態から次の状態に流れる。例えば、事象E1が、システムが状態1にある時に事象E1が生じると、システムはF1を実行し、状態6に進む。
図32において、状態は卵形で、事象は菱形で、機能は矩形で表される。事象と機能とを接続目的で挿入するために、学生は、図32の表示から所望の接続を選択し、次いでビジュアル・プログラミングのメイン・メニュー・バーにおいて、挿入(Insert)を選択し、続いて機能(Function)と事象(Event)とを選択する。
図33のスクリーン表示により、学生は、先に発生されたモジュールがテストされる環境を作ることができる。そのためには、学生は、典型的に以下のことを行う。
a.学生は、モジュールを動かす(ローンチ・セットアップ)ソフトウエアのシミュレーションを発生する。
b.学生は、モジュールへの入力およびモジュールからの出力を処理する環境のシミュレーションを発生する。換言すると、ステップbにおいて発生された環境シミュレーションは、シミュレーション的にモジュールに対する入力を与え、環境をモジュールに帰還動作させるモジュールによる出力を受け入れ、その出力にシミュレーション的に作用する。
c.学生は、モジュールのパフォーマンスを監視するセットアップを定義する。典型的に、学生は、ある検出された事象がスクリーン上に表示され、ある検出された事象がログ・ファイルにログされることを定義する。
d.学生はシミュレーションを実行し、同時に、スクリーンを監視する。
e.学生はログ・ファイルの内容を見る。
図34−37は、図23A,23Bおよび23Cの教師ワークステション312により表された表示スクリーンの例である。
特に、図34は、図26の学生管理装置715内で発生した表示スクリーンの例である。図示の如く、表示スクリーンは、教師が学生識別事項を入力および修正することを可能にし、各学生に割り当てられたプロジェクト及びモジュールと、好ましくは、プロジェクト及びモジュールの状態とを見ることを可能にする。表示スクリーンはまた、教師が学生にマーク(成績)を割り当てることを可能にする。また、マークの割り当ては、実行監視の一部分である(ユニット760)。
プロジェクトとモジュールに対する学生の割り当ては、典型的に図35を参照して以下に詳細するようにプロジェクト・モジュール割り当てユニット730内で実行される。
図35は、図26のプロジェクト・モジュール割り当て装置730内で発生された表示スクリーンの例である。図示の如く、教師は、典型的に、困難性の程度、モジュールの数等の如き各プロジェクトの特徴を典型的に表示するプロジェクトのメニューの間からプロジェクトを選択する。図13では、教師は、「警察官」プロジェクトを選択した。示されているように、このプロジェクトの中にはいくつかのモジュールが存在する。
教師は、プロジェクトを実行するために、クラスを選択する。図35において、教師はクラス3Aを選択し、それに応答して、スクリーン表示が教師にクラス3Aの学生のリストを表示した。
スクリーン表示は、また教師に警察官プロジェクトのモジュールのリストを表示し、教師は、学生メニュー中の中の選択した学生をクリックすることにより1人又は数人の学生を各モジュールに割り当てる。
図36は、図26の統合監督(integration supervising)装置740内で発生された表示スクリーンの例を示す。図示の如く、教師は、完了プロジェクトを形成するためにモジュールが統合される少なくとも1つの順序を決定する。システムは、互いに統合されるべきモジュール間の接続のグラフィカルな表現を描く。これらの接続のそれぞれは、日付および状態指示(統合/非統合)を用いてマークされる。
図37は、図26の割り当て実行時間装置(assign run-time unit)755内で発生された表示スクリーンの例を示す。この割り当て時間時間装置は、発生されたクリーチャが仮想的なクリーチャよりむしろ物理的なクリーチャである場合に、特に重要である。その場合には、物理的なクリーチャは、多数の学生により共有される希少な資源(scarce resource)である。図示の如く、教師は、物理的なクリーチャの入手可能なプールの中から、赤い警察官の如き物理的クリーチャを選択する。選択された物理的クリーチャは、警察官プロジェクトの作業時に教師が決定した時間において教師の学生により決定された機能を実行する。2つの異なるモジュールが同時に且つ同じクリーチャに割り当てられる場合には、例えば、赤い警察官が彼の「被害者の親戚」(victim's relative)モジュールと彼の「被疑者」(suspect)モジュールにおいて動作するように命令される場合には、教師は、オーバーライド(overriding)が最小となるように、優先システムを定義する。
図38は、図23の学生ワークステーション310を学生が使用するプロセスの簡略化したフローチャートである。
図38のステップ910および920を実行する間に学生により実行されたプロセスの好適なフローチャートは、図41を参照して後述する。
図示のごとく、最初には、教師またはプロジェックト設計者が、状態、即ち感情のカテゴリー(幸福、悲しみ、怒り)を定義する。
学生は、人間から録音/受信された音声入力のコンテンツおよび/または特性に関する各感情のカテゴリーを定義する。学生は、感情をカテゴリーに分割するように事象を定義する。音声入力の特性には、声の振幅、声のピッチ、会話速度及び言葉遣いの程度が含まれる。
学生は、感情の種々のカテゴリーを確認する明白な質問を定義する。学生は、それぞれの質問を状態として、それぞれの質問を機能として、質問のそれぞれの結果を事象として定義する。
学生及び/又ば教師は、人間の感情のカテゴリーに従って人間との相互作用の修正を決定する。
図39は、学生のワークステーション10の挿入メニューの事象の選択により発生した表示スクリーンの例である。図示のごとく、選択されている事象は、種々のスイッチの閉路(closure)を含む。特に、この事象は、クリーチャ324の右手の中のスイッチの閉路、または、クリーチャの右足の中のスイッチの閉路を含む。
図40は、学生のワークステーションの挿入メニューの機能を選択することにより発生した表示スクリーンの例である。図示のごとく、選択されている機能は、目線の移動(eye-motion)を含む。特に、この機能は、瞳の左方向への移動を含む。
ここに関連する本願の参照実施例及び技術は図42−68を参照して述べられる。
LOLAの参照されるアーキテクチャは図42−68のチャートに記載されている。
LOLAシステムは複数のメイン・プロセスを含む分散型のアプリケーションである。アドレス及びデータ・スペースの境界は、1つのコンピュータ又はネットワーク上の複数の異なるコンピュータ上に常駐することができるこれらのプロセスを分離している。これらのプロセスは、互いに透過的(transparently)に通信するために、CORBA/DCOM/RMIの様な標準ミドルウエア(MW)を使用する。
メインプロセスは以下の通りである。
タスク・ディスパッチャ(Task Dispatcher):
このコンポーネントは、リビング・オブジェクトと通信するすべてのラジオ・ベース・ステーションで動く(run)。このコンポーネントにおけるメイン・サブコンピュータは、図42−68に記載されている。
プロキシ・オブジェクト(Proxy Object):
リスポンスビリテイ(Responsibility):システム内の全てのリビング・オブジェクト(living object)は、それを表す対応するオブジェクトを持つ。リビング・オブジェクト上で行われる全ての動作発動(operation invocations)は、そのプロキシ・オブジェクト上で最初に引き出され、リビング・オブジェクトにより発生された全ての事象は、そのプロキシ・オブジェクト内で最初に受信される。更に、プロキシ・オブジェクトは、各リビング・オブジェクトの状態を記憶し、追跡する責任を負う。プロキシ・オブジェクトは、プロセス間の通信を許すために遠隔オブジェクトである。
プロキシにより使用されたサービス(コラボレータ、collaborators):
*プロキシは動作を引き出し、リビング・オブジェクトから事象を受信するために、与えられたジャバ・ビーン(Java Bean)を使用している。
*要求された動作が正当かを確かめるためのセキュリティ・マネージャ
*メッセージをログし事象を発生するためのログ及び事象サービス
他の構成要素に与えられるサービス:
*ディスパツチャにより生じたタスクはローカル(局所的)にプロキシと相互作用する。
*遠隔デバギングまたは実行を許すために、IDEはプロキシと相互作用する。
*マネージメント・コンソールは、診断と動作の監視を引き出すためにプロキシと遠隔的に相互作用する。
ディスパツチャ・エンジン
リスポンスビリテイ(責任):タスク・マネージャから実行用の登録されたタスクを得て、分離したスレッドにおいて各タスクを実行する。タスクは、セキュリティ・ポリシーを強制するためにサンド・ボックス内で実行する。
ディスパツチャにより使用されたサービス
*登録されたタスクを受信するためのタスク・マネージャ
*リビング・オブジェクトの動作を引き出すために、生じたタスクがプロキシ・オブジェクトを使用する。
*時間事象を受信するためのタイマー
*メッセージをログし事象を発生するためのログおよび事象サービス
他の構成要素に供給されたサービス
*遠隔デバギング又は実行を調整するために、IDEはディスパツチャと相互作用することができる。
*診断と動作監視を引き出すためにマネージメント・コンソールは遠隔的にディスパツチャと相互作用する。
タイマー:
リスポンスビリテイ:登録されたリスナに対する時間を発生。
タイマーにより使用されたサービス:
*タイマーはLOLAシステムにより供給されたいかなるサービスを使用しない。タイマーはOSサービスのみを使用する。
他の構成要素に供給されたサービス:
*時間事象を受信するためにタイマー内にディスパツチャを登録。
LOLAサーバ:
このコンポーネントは、システム内の全ての他の構成要素に対して要求されたサービスを供給する。この構成要素のメイン・サブコンポーネントは、図42−68に記載されている。
ログ・サーバ:
リスポンスビリテイ:ログ・サーバは、システム内の他の構成要素のメッセイジをログする責任があり、幾つかの基準に従ってこれらのメッセイジの検索に責任がある。ログ・メッセージは、事象が単にログである、すなわち、事象は情報だけをログするのと異なり、むしろ、そのログ・メッセージから何らかの作用がトリガされることを期待する。
ログ・サーバにより使用されるサービス
*不揮発性記憶装置にログを維持するための不揮発性記憶装置のサービス
他の構成要素に供給されたサービス:
*タスクの実行中に、ディスパッチャおよびプロキシは、ある事象をログする。
*特別のタスクの実行を追跡するためのマネージメント・コンソールおよび学生IDE
*タスク実行についての統計を受信するための教師コンソール。
監視エンジン
リスポンスビリテイ:監視エンジンは、システム中の他の構成要素からの事象の受信に責任を負い、それを受信したとき事象・条件・作用論理に従って、それに作用する。このコンポーネントは事象のローカルな扱いを許すために更に全てのラジオベースステーションに常駐することができるが、監視エンジンは、そのような論理をシステム・ワイドな基準で供給する。
監視エンジンにより使用されたサービス:
*ポリシーと受信された事象とを不揮発性記憶装置に維持するための不揮発性記憶装置サービス
他の構成要素に供給されたサービス
*タスクの実行中、またはその健全性のためにシステムをプールする時に、ディスパツチャおよびプロキシが、事象を発生する。
*事象を受信し、そのとき、それに適切に作用するためのマネージメント・コンソール
セキュリテイ・マネージャー
リスポンスビリテイ:セキュリテイ・マネージャーは、貯蔵所(repository)に、誰がどの作用を行う権限を有しているのか従って、システム内の全てのユーザ、グループ、役割を維持する。
セキュリテイーマネージャーにより使用されたサービス:
*ユーザ、グループ、不揮発性記憶装置にユーザ、グループ及び役割を維持するための不揮発性記憶装置サービス
他の構成要素に供給されたサービス
*そこに引き出された遠隔動作を確認するためのプロキシ
*特殊なタスクの登録が許されたことを確認するためのタスクマネージャー
タスク・マネジャ:
レスポンシビリティ:タスク・マネジャは、システム内のすべてのタスクをリポジトリ(容器)中に保持し、それに応じて、適切な無線(ラジオ)基地局に対して、実行すべきタスクを提供する。
タスク・マネジャによって使用されるサービス:
・不揮発性記憶装置にタスクを記憶するための不揮発性記憶サービス
・タスクの記憶を確認にするためのセキュリティ・マネジャ
他のコンポーネントに提供されるサービス:
・記憶されたタスクを受け取るためのラジオ基地局
マネジメント・コンソール
このコンポーネントは、システムの動作をモニタし制御し、システムを適切にコンフィギュレーションするアドミニストレータ・コンソールである。更に、該コンポーネントは、生徒ワークを評価すること、又は該生徒が特定のタスクを実行できるように許可を与えること等のタスクを実行するために、システムに先生が質問することができるコンソールとなる。
このコンポーネントの主な複数のサブコンポーネントが、図42−68に示されている。これらコンポーネントのオンライン・ビューもまた、これらの図に示されている。
レスポンシビリティ:このコンソールは、オンライン・モニタリングを行いかつシステムの制御を行う。これらのビューは、各ラジオ基地局で実行されているタスク、及び各リビング・オブジェクトの状態及びステータスと同様である。アビリティは、特定のリビング・オブジェクトのチャネルを変更すること等のオペレーションを呼び出すことである。アビリティは、システム中で生成されるすべてのイベントを可視化することである。
オンライン・ビューによって使用されるサービスは、通常、以下のものを含んでいる。
・これらサービスにおけるオペレーションを呼び出してイベントを受け取るためのプロキシ(代理)・オブジェクト
・オンラインでタスクの実行をモニタし制御するためのディスパッチャ
・システム・ワイド・ベースでイベントを受け取るためのモニタ・エンジン
他のコンポーネントに提供されるサービス:
・オンライン・ビューは、GUIクライアントのみである。
コンフィギュレーション・ビューが図に示されている。
レスポンシビリティ:システムの動作中に該システムをコンフィギュレーションするコンソール。ユーザ、グループ、及びロール(役割)の定義等のコンフィギュレーションが、このコンソールで行われる。
コンフィギュレーション・ビューによって使用されるサービス:
・呼び出されたオペレーションを承認するためのセキュリティ・マネジャ
他のコンポーネントに提供されるサービス:
・コンフィギュレーション・ビューは、GUIクライアントのみである。
オフライン・ビュー:
レスポンシビリティ:システムで実行されるコンフィギュレーションは、アップグレード、リビング・オブジェクトの追加、その他の通常の実行動作中には行われない。
コンフィギュレーション・ビューによって使用されるサービス
他のコンポーネントに提供されるサービス:
・コンフィギュレーション・ビューは、GUIクライアントのみである。
ティーチャ(教師)コンソール
レスポンシビリティ:生徒のワークを評価するために先生によって使用されるコンソールである。先生には、生徒ワークの人気度(ポピュラリティ)及びタスク実行に関する他の統計等の情報が提供される。さらに、先生は、生徒によって書かれたすべてのタスクのソースを見ることができる。
コンフィギュレーション・ビューによって使用されるサービス
・先生のタスクのソースを見るためのタスク・マネジャ
・タスク実行に関する統計を得るためのログ・サーバ
他のコンポーネントに提供されるサービス
・オフライン・ビューは、GUIクライアントのみである。
統合化デプロイメント環境(IDE)
このコンポーネントは、各スチューデント・プログラミング・ステーションでランする。アーキテクチャ・サポートは以下の3つの可能性がある:
・生徒のホームに存在し、インターネットに接続されていないスタンドアローンPC
・生徒のホームに存在し、インターネットを介してLOLAシステムに接続されているPC。ファイアウォールを、生徒ホームのPCとLOLAシステムとの間に設けることができる。
・内部インターネットに存在し、スタンダード・ミドルウエアを介して他のLOLAコンポーネントに接続されているPC
IDEコア:
レスポンシビリティ:統合化デプロイメント環境は、タスク・ディスパッチャによって実行されるタスクを書き込むために、生徒によって使用される。
IDEコアによって使用されるサービス:
・IDEコアはリビング・オブジェクト・シミュレータを用いて、タスクを実行するために記憶する前に、該タスクをテストする。
・IDEコアは、実際のリビング・オブジェクト上でタスクを実行するためにプロキシ・オブジェクトを用いることができる。この機能は、IDEコアがミドルウエアを介してプロキシ・オブジェクトと通信することができる場合のみ、例えば、PCが同一のインターネット上にある場合、または、ファイアウオールがミドルウエア・ポートのパケットを制限せずに受容可能なバンド幅を有しているときに、ホームから離れている場合にのみ、用いることができる。
他のコンポーネントに提供されるサービス:
・IDEコアは、サービスのクライアントのみである。
プロキシ・シミュレータ:
レスポンシビリティ:タスクをローカルにデバッグしたり実行したりするための、リビングオブジェクトの代理をシミュレートする
コンフィギュレーション・ビューによって使用されるサービス

他のコンポーネントに提供されるサービス
・IDEコアは、ローカルのタスクの実行及びデバッグのためにこのシミュレータを使用する。
タスク格納:
レスポンシビリティ:ブラウザ・ベースのコンポーネントが、無線(ラジオ)ベースPC上で実行するタスクを追加又は削除するアビリティを生徒に提供する。
コンフィギュレーション・ビューによって使用されるサービス
・タスク格納サーバ
他のコンポーネントに提供されるサービス
・デプロイメント(展開)
このコンポーネントは、システム内のすべての他のコンポーネントのデプロイメントに責任を持つ。特に、すべてのプロキシ・オブジェクト及びこれらに対応するシミュレータのデプロイメントに責任をもち、必要に応じて、これらのオブジェクトの生成も行う。これらオブジェクトの生成は、任意選択であり、この生成に関して基本的に3つの変形例がある。
・すべてのオブジェクトが同一タイプである。すなわち、すべてのオブジェクトは、代表するリビング・オブジェクトに関係なく、同一のインターフェースを有している。特定のリビング・オブジェクトに関連するオペレーションは、”send_cmd”のようなインターフェースを介して実行される。このアプローチの長所は、システムのデプロイメント、メンテナンス、及びコンフィギュレーションを単純化することである。欠点はコマンド・セットであり、これは、ユーザには有用性が低いが重要であり、タスクがシミュレータ上又はコンパイル・タイムに以前に検出される場合ではなく、タスクがリビング・オブジェクト上で実行されたときにのみ、コマンドの不正使用が検出されることである。
・すべてのオブジェクトはAPIレベルの同一タイプであるが、各オブジェクトは自身のタイプを知っている。システム内のすべてのタイプはリポジトリに存在する。したがって、デプロイメント及びメンテナンスの面からみて、この手法はよりシンプルであり、コマンド・セットのAPIが依然として有用ではなく、しかしながら、シミュレータ上でタスクが実行されるときにエラーを検出することができる。
・タイプの異なるオブジェクトはアクセスのために異なるAPIを有している。したがって、システムのデプロイメント及びメンテナンスは、単純化の程度が低い。これは、コードが、リビング・オブジェクトのタイプに応じて生成構築され、リポジトリに格納されたものではないからである。しかしながら、コマンド・セットはユーザにとってより有用であり、タスクがコンパイルされると直ぐに、エラーを検出することができる。したがって、このアプローチは、好適である。しかしながら、このアプローチを実現するためには、より大きな展開努力を必要とし、よって、二次的繰り返しの場合にのみ、実現することができる。
タスク及びセキュリティ・マネジャのデータ・モデル
図42−68は、タスク及びセキュリティ・マネジャのデータ・モデルを記述する図である。
・User(ユーザ):
・Name.(ネーム)
・Password(パスワード):一方向関数を用いて暗号化されている
・Group/s:ユーザが所属する1又は複数のグループ
・Group(グループ):
・Name.(ネーム)
・Users:このグループに属するゼロ又はそれ以上のユーザ
・Roles:このグループに関連するゼロ又はそれ以上のロール
・Role(ロール):
・Name.(ネーム)
・Permissions(パーミッション):以下の基準に従う
・Living object types.(リビング・オブジェクト・タイプ)
・Living objects.(リビング・オブジェクト)
・Computers.(コンピュータ)
・Times(タイム):UNIXクロンタブ(crontab)のような機能
・Task(タスク):
・Name.(ネーム)
・Location.(ロケーション)
・Users:このタスクを書いた1又は複数のユーザ
・execution time(実行時間):このタスクが何処で何時実行されるかを表している。ユーザのグループに関連するロールに一致している必要がある。
・Living object(リビング・オブジェクト):
・Name(ネーム)
・Type(タイプ)
・Host(ホスト)
・Tasks(タスク):このリビング・オブジェクトを動作するゼロ又はそれ以上のタスク
・Living object type(リビング・オブジェクト・タイプ):
・Name.(ネーム)
コンポーネントの説明
セキュリティ・マネジャ
セキュリティ・マネジャは、他のコンポーネントに対して、以下の2つの主要サービスを排出する。
・ConfigAuthorization(コンフィギュレーション・オーソライゼーション):ユーザ、グループ及びロールのリポジトリを生成するために責任を持つ。その排出されたオペレーションはリモート・オペレーションである。アドミニストレータは、ユーザ、グループ及びロールの定義を更新することを決定した場合は常に、これらオペレーションの要求(invocation)をトリガする。アドミニストレータは、上記したオペレーションを使用するクライアントとして動作するGUIベース・コンソールを介して、これらの更新を作成する。
・ConfirmAuthorization(コンファーム・オーソライゼーション):特定のオペレーションが合法的であるかどうかを、リポジトリ内のデータを用いてチェックする。
このサービスのクライアントは、以下のとおりである。
・タスク・マネジャ −ユーザがタスクを格納する場合には常に、確認を要求する。
・プロキシ・オブジェクト −ユーザがリモート・オペレーションを呼び出した場合には常に、確認を要求する。
タスク・マネジャ
タスク・マネジャは、システム内の全てのタスクをリポジトリ中に保持し、それに応じて、実行すべきタスクを適宜の無線基地局に供給する。
図42−68は、実行されるタスクをユーザが格納するシナリオを示す図である。ユーザがまず自身のパスワードを入力し、セキュリティ・マネジャがユーザの認証をチェックする。ユーザは、承認されると、許可された全てのオペレーションのメニュを受け取る。すなわち、ユーザは以下のオペレーションを有するメニュを受け取る。
・Add task(タスクの追加)
・Remove task(タスクの削除)
・Update task(タスクの更新)
・List all registered task(全ての格納タスクをリストアップ)
ユーザが実行するタスクを記憶しようとする場合、ユーザは“Add task”オペレーションを選択する。タスク・マネジャは、タスク内容及びインフォメーションを受け取り、セキュリティ・マネジャに対して、このユーザが特定のタスク・インフォメーションを備えるタスクを記憶することが許可されているかどうかを質問する。許可されている場合、タスク・マネジャは、該タスクを記憶し、ユーザに対して、該タスクの記憶が首尾良く完了したことを通知する。
タスク・スケジューラ:
タスク・スケジューラは、記憶された全てのタスクのスケジューリングを行う。タスクの実行時間が到来すると、タスク・スケジューラは、タスクをユーザにダウンロードすべきであることを、適宜のディスパッチャに対して通知する。
スケジューラが動作を開始すると、格納されたタスクの全てのリストを繰り返し、スケジュール・インフォメーション・オブジェクト毎に、このタスクの次の開始時点及び終了時点を含んでいる単一オブジェクトを構築する。
タスク・スケジューラは、全ての記憶されたタスクのインデックスのリストを、それぞれの実行時間に関連して格納する。該スケジューラは、タスクの実行時間が到来する度にイベントを受け取るよう、タイマ中に記憶されている。このようなイベントを受け取ると、適宜のディスパッチャに対して、該タスクをダウンロードして実行するように、通知する。
タスク・ディスパッチャ
タスク・ディスパッチャは、タスクの開始時間が到来する度に、スケジューラから記憶されたタスクを受け取る。そして、該タスクを分離スレッドで実行する。各タスクは、セキュリティが確実となるようにするために、サンドボックス(sandbox)内でランする。次に説明する状態図により、タスク・ディスパッチャを説明する。
図42−68は、このシステムのタスク・ディスパッチャ、タスク・スケジューラ、及び他のコンポーネントの間のデータ・フローを示している。タスク・スケジューラは、タイマから、時間イベントを受け取り、タスク・マネジャからタスク・リスト変更イベントとを受け取ることができる。時間イベントは、タスクの開始時間が到来するときに生成される。このイベントにより、タスクをスケジューラからディスパッチャにダウンロードすることがトリガされる。タスク・リスト変更イベントは、スケジューリングされたタスクのリストを実際に変更し、したがってタイマの記憶を変更する。
マネジメント・コンソールは、実行されているタスクをブラウジングして手動で変更することができる。
好適なLOLAシステムの実施例に関する一般的な考察について、以下に説明する。
LOLA(リビング・オブジェクト・ラボラトリ)は、ユーザがリビング・オブジェクトと称せられる物理的図形のアニメーションを構築して経験できるようにするためのコンピュータのレベルのものである。アニメーションは、リビング・オブジェクトが、人間の声でかつ人間のようなインテリジェントな方法で、ユーザと対話することができる能力を提供する。
リビング・オブジェクト・ラボラトリは、「ナチュラル・インテリジェンス(NI)」を物理的オブジェクトすなわちリビング・オブジェクトの図形に与えることができように、ユーザが、分析し、設計し、プログラムするよう、ユーザに教示する。時間をかけてユーザが構築したNIは累積され、リビング・オブジェクトがユーザと対話する能力を増強する。複数のリビング・オブジェクトの図形が学校中に分配され、その学校の全ての子供に対して遊技的な教育オブジェクトとして使用される。
ナチュラル・インテリジェンス
ナチュラル・インテリジェンスは、コンピュータで形成されたオブジェクトが人間のように振る舞うことができる能力である。人間は、極めて若くても、環境の変化に適用できる。この技術は、人間相互間の対話に極めて大きな自由度を与えている。
コンピュータ・ベースのシステムは、制限された対話プロトコルを有している。コンピュータ制御マシンの振る舞いは、極めて予言的であり、コミュニケータ(ユーザ又は他のコンピュータ化マシン)がプロトコルのルールに忠実に従っている限りは、正確に動作する。プロトコルから逸脱すると、対話のセッションを即時に生じてしまう。
コンピュータ及びコンピュータ化マシンのプログラミングは、「問題解決」に向けられている。このようなプログラムは、十分に認識できるターゲットに到着すると、終了する(または、ポース状態となって、新しい入力すなわちイベントを待機する。)人間の対話は、共有する理解を増大するためのものである。対話の最終ゴールが問題を解決することであっても、対話の各ステップでの「継続的なゴール」は、知識を収集して知識集合プールに関連情報を追加することである。このような収集及び追加は、最終ゴールに到達するまで行われる。種々の状況において、最終ゴールは対話が開始される前には既知ではなく、後に、対話の結果として認識できるだけである。
マシンへのナチュラル・インテリジェンスを植樹することにより、以下のループをマシンにより実行可能となる。
1.状況を把握する。
2.人間(ユーザ)に応答する。
3.累積又は追加された状況の理解を示す情報を配信する。
4.何の情報が欠落しているかを識別する。
5.追加の情報を提案する。
6.追加の情報を要求する。
7.人間の応答を受け取ってそれを分析する。
LOLAのゴール
LOLAの実施態様は、教育的な目標で高校が第1のターゲットである。これは、このプロジェクトの高レベルのゴールである。
・生徒に対して、「ナチュラル・インテリジェンス(NI)」が物理オブジェクト中となるように、分析し、設計し、かつプログラムするよ、教育する。
・システムをフレンドリで容易に使用することが、高い技術レベルの首題(サブジェクト)を学習する上で、生徒にとって魅力的である。
・タスクの割り当て及びレベル付けにおいて、先生をサポートする。
・生徒及びスタッフに情報を想定して提供するコンテンツ・ベースのオブジェクトとしてサービスを提供する。
サービス及びそれらの使用形態分析
このシステムの主たるアクタは、生徒、先生、アドミニストレータ、及びユーザである。このドキュメントは、システムのアクタの重要な使用形態を特定する。使用形態は、サービスのターゲットであるアクタ、すなわち、生徒、先生、アドミニストレータ及びユーザにグループ化される。1人の人間が1又は複数のアクタを演じることができる。特に、生徒、先生及びアドミニストレータはそれぞれ、システムのユーザとなることもできる。同一の人間が先生とアドミニストレータとの両方を演じることができる。
システムの主要なコンポーネントは、以下のとおりである。
・プログラミング・ステーション:各ステーションはIDE(統合化展開環境)を含み、該IDEは、リビング・オブジェクトにNIをプログラムする能力を提供する。生徒ホームのコンピュータは、該コンピュータにクリエータ(生成)IDEがインストールされているいる場合には、プログラミング・ステーションとしても機能する。
・無線(ラジオ)基地局:各ステーションは、1又は複数のリビング・オブジェクトと(RF通信手段により)通信を行い、これらのオブジェクトにコマンドを送信する。
・LOLAサーバ:LOLAシステムのホスト・サーバとなるステーションであり、例えば、タスク・サーバ、セキュリティ・サーバである。
・先生/アドミニストレータ・コンソール:ラボラトリ内のステーションであり、先生及びアドミニストレータそれぞれによって使用される。
・リビング・オブジェクト:リビング・オブジェクは、コントロール・デバイスを有するおもちゃ(トイ)である。コントロール・デバイスは、マイクロコントローラ、無線トランシーバ、及びI/Oポートを含んでいる。I/Oポートは、リビング・オブジェクト内に含まれる種々の周辺コンポーネントと接続されており、該周辺コンポーネントとして、スピーカ、マイクロフォン、センサ、アクチュエータ、モータ、ランプ、ビデオ・カメラ等を上げることができる。周辺コンポーネントは、リビング・オブジェクトが、人間と同様な形態で、人間と対話できるようにする。周辺コンポーネントは、マイクロコントローラの制御によって動作する。マイクロコントローラは、無線ベースのPCから、内蔵されたトランシーバを介して、リアルタイムでプログラム指令を受け取る。
より二次的な2つのアクタは、内部データベースを構築するためのデータを提供するが、該アクタについては後に説明する。情報サーバは、生徒のタスクから生成された質問をサポートする内部データベースを構築するためのデータを提供し、コンテンツ・プロバイダは、コンテンツ・データベースに保持されるコンテンツを提供する。これらのコンテンツは、定義されたように、スケジューリングされて実行される。
サービスについて説明し、かつ関連する使用形態について分析する。
生徒サービス
このサービスの主たるサービスは、リビング・オブジェクトの振る舞いを構築するために、生徒に対して提供されるものであり、図に示されている。
名前(ネーム)
作成者(クリエータ)IDEインストレーション
アクター(Actors)
もし彼女のホームPC上でインストールされるならば生徒であり、もし学校でPC上にインストールされるならば管理者である。また、教師が、彼女の生徒のタスクを閲覧するために彼女のホームPC上にIDEをインストールすることもできる。
ゴール
作成者IDEが、正しくインストールされることである。
コンテキスト(文脈)におけるフォース(状況の制約)
1)以前のインストレーションがあり得る。このような場合、このインストレーションは以前のインストレーションのアップグレードであろう。
2)インストールシールド型インストレーション
3)生徒は、典型的には、ウィンドウズ95/98ベースのPC上で作業を行うが、またマッキントッシュ、ウインドウズ3.11/DOS、LinuxまたはNCのような他の環境上で作業することもありうる(このような場合、インストレーションはサーバにおいて生じることになる)。
トリガー(Trigger)
アクターはCDまたはダウンロードされたファイルからインストレーションのプロセスを開始する。
要約(Summary)
これは第1にケース取出しを使用し、後に作成者IDEのインストレーションを使用する。
1)アクターは、幾つかの構成(コンフィギュレーション)パラメータを求められる。
2)アクターは、作成者IDEの通常の使用へ進む。
前提条件(事前の条件、Pre-conditions)
アクターは、パッケージをダウンロードしたか、またはCDを持つ。
結果条件(事後の条件、Post-conditions)
作成者IDEが、インストールされる。
関連使用ケース(Related use cases)
家庭にあるPC上で、リビング・オブジェクト(生きているオブジェクト)タイプを作成または更新するか、またはユーザの都合で後に延期される。
名前
家庭でリビング・オブジェクト・タイプを追加する。
アクター
生徒である。
教師は、もし彼女が彼女のホームPC上でIDEをインストールしたならば、この使用ケースのアクターでありうる。
管理者は、ここではアクターではない。というのは、管理者は、リビング・オブジェクト更新を取り扱う個々の使用ケースを有するからである。
ゴール
システムにおけるすべての生きたオブジェクトのタイプが作成者IDEに知られ、それによって、すべてのリビング・オブジェクト・タイプのシミュレータを支持すること。
コンテキスト中のフォース
1)情報ソースは、典型的に、学校でインストールされたLOLAシステムであろう、そして更新プロセスは、ブラウザ・ベースであり、インターネットを介してなされる。ファイヤウォールは、家庭における生徒のブラウザとLOLAシステムの間に存在し得る。
2)生徒は、学校でフロッピーデスク(または他の媒体)上に要求されたデータを置くことができ、それからホームで彼女のPC上にそれをインストールできる。
トリガー
次のトリガーのいずれか一つでありうる。
1)作成者IDEが、丁度インストールされたということ。
2)新しいタイプのリビング・オブジェクトが、システムに接続されたこと。
要約
生徒の家庭でインストールされたIDEに対して知られているリビング・オブジェクトのタイプを作成または更新すること。
前提条件
作成者IDEが、インストールされていること。
結果条件
1)作成者IDEにおけるシミュレータが、入手可能なリビング・オブジェクトのタイプに一致している。
2)生徒が、決定ツリー(判断ツリー、decision tree)の構築を開始できること。
関連する使用ケース
1)作成者IDEインストレーション
2)LOLAインストレーション
名前
決定ツリーの構築。
アクター
生徒
ゴール
コンパイルの準備ができているタスクを構築すること。
文脈中のフォース
1)プログラミングの知識は要求されない
2)グラフィカル・ユーザ・インターフェース(GUI)は、使用が容易(ユーザ・フレンドリ)である。
3)先行するタスクで作られた決定ツリーまたはサブツリーを再利用できる。
4)組み込まれた決定ツリーまたはサブツリーを使用できる
5)生徒は、彼女が作業している玩具に特定な高レベル・コマンドを使用することを望む。
トリガー
1)教師が、彼女の生徒にホームワークを課す。
2)生徒が、実験室(lab)での授業中に、または自己の自由な選択により決定ツリーを構築する。
要約
この使用ケースは、生徒が生きたオブジェクト(リビング・オブジェクト)にNIをプログラムするために決定ツリーを構築するシナリオを捕捉する。
1)生徒は作成者IDEを開始する。
2)生徒は決定ツリーを構築する。
前提条件
1)作成者IDEは生徒デスクトップ上にインストールされる。
結果条件
1)コンパイル用に準備されたタスク。
関連する使用ケース
1)作成者IDEインストレーションは、必要条件である。
2)ホームのPCにリビング・オブジェクト・タイプを作成または更新することは、必要条件である。
名前
高度にカスタマイズされた決定ツリーを構築すること。
アクター
生徒。
ゴール
コンパイル用に用意されたタスクを構築すること。
文脈中のフォース
1)基本的なプログラミングのスキルは要求される。
2)プログラミング言語そしてライブラリを使用することは容易であること。
3)以前のタスクで作られた決定ツリーまたはサブツリーを再使用する。
4)組み込まれた決定ツリーまたはサブツリーを使用する。
5)生徒は彼女が作業している玩具に特定である高レベルのコマンドを使用することを望む。
トリガー
1)教師が彼女の生徒にホームワークを課すこと。
2)生徒が実験室での授業中または自身の自由な選択により決定ツリーを構築すること。
要約
この使用ケースは、生徒がリビング・オブジェクトにNIをプログラムするために決定ツリーを構築するシナリオを捕捉する。
1)生徒は作成者IDEを開始する。
2)生徒は決定ツリーを構築する。
前提条件
1)作成者IDEが生徒デスクトップ上にインストールされていること。
2)シミュレータは学校に存在するリビング・オブジェクトをシミュレートすること。
結果条件
1)コンパイルの準備ができているタスク。
関連する使用ケース
1)作成者IDEインストレーション:必要条件である。
2)ホームでのPCで生きたオブジェクト・タイプを作成または更新:必要条件である。
名前
タスクのコンパイル。
アクター
生徒。
ゴール
生徒により構築された決定ツリーに従って作動する、リビング・オブジェクト上における実行用に準備されたタスクを作成すること。
文脈中のフォース
1)生徒は決定ツリーの内部実現に慣れていない可能性がある。
2)もし生徒が、生徒によって定義されたマクロ/コードを追加することなく決定ツリーを構築するだけであるならば、そのときコンパイル・プロセスは多くの場合にパスすることが期待されるべきである。
3)コンパイル・エラー/警告は、決定ツリーの見地から表示されるべきである。生徒がマクロを追加した場合だけは、これらのラインはいずれかが表示されるべきである。
4)ユーザ・フレンドリであること。
トリガー
1)生徒が決定ツリーを構築すること。
要約
この使用ケースは、生徒が決定ツリーを構築するシナリオを捕捉し、そしてそれをコンパイルすることを望む。
1)生徒は作成者IDEを開始する。
2)生徒は決定ツリーを構築する。
3)生徒はタスクをコンパイルする。
前提条件
1)生徒は決定ツリーを構築する。
結果条件
1)もしコンパイルがパスするならば、実行用に準備しているタスクである。
関連する使用ケース
1)高度にカスタマイズされた決定ツリーを構築する、または必要条件である決定ツリーを構築する。
名前
タスクを実行
アクター
生徒
ゴール
タスクをチェックするために生徒PC上にローカルにタスクを実行する。タスクは、生徒PC上に存在するリビング・オブジェクト・シミュレータと対話(相互作用)でき、またはもし入手可能であれば、生徒PCまたはネットワークの他のPCの何れかに接続された物理的にリビング・オブジェクトと対話できる。
文脈中のフォース
1)リビング・オブジェクト・シミュレータは、物理的な生きたオブジェクトの挙動を正確にシミュレートすべきである。特に、このタスクがリビング・オブジェクト上に単独で実行される時に生じ得る全てのエラーを指摘すべきである。
2)製作者IDEの統一部分として、見る。
3)ユーザ・フレンドリなGUIである。
4)セキュリティ:遠隔PCに接続された生きたオブジェクト上でタスクを彼女が実行しようとしている場合には、生徒許可をチェックする。
トリガー
1)生徒が、タスクを構築しそしてコンパイルし、そしてそれを実行することを望むこと。
要約
この使用ケースは、生徒が決定ツリーを構築するシナリオを捕捉し、そして、典型的にはタスクをチェックするために、それを直ちにランすることを望む。
1)生徒は作成者IDEを開始する。
2)生徒は決定ツリーを構築する。
3)生徒はタスクをコンパイルする。
4)生徒はタスクを実行する。
前提条件
1)生徒は決定ツリーを構築しそしてそれをコンパイルした。
結果条件
1)生きたオブジェクト上に実行する準備のできたタスク。
関連する使用ケース
1)高度にカスタマイズされた決定ツリーを構築、または決定ツリーを構築しそして必要条件であるタスクをコンパイルする。
名前
タスクをデバッグ
アクター
生徒
ゴール
生徒PC上でローカルにタスクをデバッグする。タスクは、生徒PC上に存在する生きたオブジェクト・シミュレータと対話でき、またはもし入手可能ならば、生徒PCまたはネットワークの他のPCの何れかに接続された物理的なリビング・オブジェクトと対話できる。
文脈中のフォース
1)生きたオブジェクト・シミュレータは、物理的なリビング・オブジェクトの挙動を正確にシミュレートすべきである。特に、このタスクがリビング・オブジェクト上に単独で実行される時に生じる得る全てのエラーをポイント(指摘)すべきである。
2)製作者IDEの統一部分として見る。
3)ユーザ・フレンドリなGUIである。
4)遠隔PCに接続されたリビング・オブジェクト上のタスクを生徒が実行しようとしている場合に、安全性をチェックする。
5)生徒はステップ中にタスク実行をトレースできる、そして決定ツリー中のどのモードが今実行されているかをグラフィカルに見ることができる。
6)生徒は決定ツリーに加えられたラインのコードへとステップすることができる。
7)通常のデバッグ能力はカーソルへのステップ、カーソルを超えるステップ、カーソルへのラン、ブレークポイントをセット、継続、ウオッチなどを好む。
トリガー
1)生徒はタスクを構築しそしてコンパイルし、そしてそれをデバッグすることを望む。
要約
この使用ケースは、生徒が決定ツリーを構築するシナリオを捕捉し、そしてそれをデバッグすることを望む。
1)生徒は作成者IDEを開始する。
2)生徒は決定ツリーを構築する。
3)生徒はタスクをコンパイルする。
4)生徒はタスクをデバッグする。
前提条件
1)生徒は決定ツリーを構築した。
結果条件
1)生きたオブジェクト上に実行する準備にあるタスク。
関連する使用ケース
1)高度にカスタマイズされた決定ツリーを構築、または決定ツリーを構築しタスクをコンパイルすることは、好ましくは、必要条件である。
名前
タスク登録
アクター
生徒
ゴール
タスクが正しくインストールされ、そして予定されているときにランされること。
文脈中のフォース
1)インターネットまたはイントラネットを経てブラウザ・ベースでの登録。
2)セキュリティ、プライバシー。
3)ファイアウオールはウェブ・ベースのクライアントとサーバとの間に存在し得る。
トリガー
生徒は登録プロセスを開始し、典型的には彼女が構築した後にタスクを実行しそしてデバッグする。
要約
この使用ケースは、生徒が実行用のタスクを登録する場合を捕捉する。
1)生徒はユーザ名とパスワードを求められる。
2)生徒はタスクのファイルを送ることを求められる。
3)生徒は彼女の全ての登録されたファイルを閲覧することができ、そして以前に登録されたタスクを削除するような付加的動作を実行できる。
前提条件
生徒が彼女のタスクを構築、実行およびデバッグしたこと。
結果条件
タスクはスケジュールされたような実行のために登録される。
関連する使用ケース
1)タスクをデバッグする、またはタスクを実行する。
名前
タスクの実行ログの閲覧(ブラウジング)
アクター
主なアクターは生徒である。教師または管理者はまた、典型的には問題解決における助けのためにこのユーザケースのアクターであり得る。
ゴール
典型的には問題を診断するために、既に実行されたタスクのログを閲覧すること。
文脈中のフォース
1)生徒は、イントラネットに接続された全てのPCからログを閲覧することができる。
2)インターネット経由でブラウザ・ベースのログを閲覧することは、その場合、ここではファイアウオールはホームのPCとLOLAシステムとの間に存在するのであるが、もっているとよい特徴である。
3)生徒は幾つかの基準に従ってログを閲覧することができる。
トリガー
1)生徒のタスクが実行され、生徒が実行ログを閲覧することを望むこと。
要約
この使用ケースは、生徒が決定ツリーを構築し、実行のためにそれを登録して実行のログを閲覧することを望むシナリオを捕捉する。
1)生徒は作成者IDEを開始する。
2)生徒は決定ツリーを構築する。
3)生徒はタスクをデバッグする。
4)生徒はタスクを登録する。
5)生徒は実行ログを閲覧する。
前提条件
1)生徒はタスクを登録した、そしてタスクは既に実行された。
結果条件
生徒はどのように彼女のタスクが実行されたかを理解する。
関連する使用ケース
1)タスク登録は必要条件である。
教師によるサービス
教師は、タスク割当て、チェックそして評価の全ての面の責任を有する。
名前
生徒タスクを閲覧。
アクター
教師
ゴール
生徒のタスクを評価するために生徒のタスクを閲覧する、または問題を解決するのを助ける。
文脈中のフォース
1)セキュリティ、プライバシーについては、教師のみが、生徒のタスクを閲覧できる。
2)教師は、全ての登録されたタスクを閲覧できる。
3)教師はタスク・ブラウザとして作成者IDEを使用する。
4)構成(コンフィギュレーション)により、教師は生徒タスクを変えることができる場合とできない場合とがある。
トリガー
教師が、彼女の生徒タスクを評価し、または問題を解決することにおいて生徒を助けることを望むこと。
要約
1)教師は作成者IDEを開始する。
2)教師はタスク・マネージャの中へログする。
3)教師はサーバから彼女のIDEへタスクをロードする。
前提条件
1)作成者IDEは、教師のデスクトップにインストールされている。
結果条件
生徒タスクは、教師コンソール上で現れる。
関連する使用ケース
作成者IDEインストールは必要条件である。
実行されたタスク統計値の使用ケースはいずれかは生徒タスクを評価するために測度(measure)として使用される。
名前
実行されたタスク統計値。
アクター
教師
ゴール
典型的には生徒のワークを評価するために、教師は彼女の生徒タスクについて収集された統計値を通して閲覧する。
文脈中のフォース
1)セキュリティ、プライバシーに関しては、教師だけが生徒のタスクを閲覧できる。
2)教師は彼女の生徒タスクに関係する全ての統計値を閲覧できる。
トリガー
1)教師は彼女の生徒タスクを評価することを望む。
要約
1)教師は統計値サーバへログインする。
2)教師はデータ用サーバに質問し、そしてこのデータを閲覧する。
前提条件
生徒タスクは、システムにおいて既に実行された。
結果条件
教師は彼女の生徒タスクを評価するための測度をより多く有する。
関連する使用ケース
ブラウザ生徒タスクの使用ケースはいずれかが生徒タスクを評価するために測度として使用される。
管理者サービス
管理者は、システムのインストール、配置(deployment)、メンテナンス、診断、モニタリングおよび制御に対して責任を有する。
名前
インストール
アクター
管理者
ゴール
LOLAシステムが正常にインストールされる。
状況の制約
1)アプリケーションのコンポーネントは、ボトルネックが起こらず、システムが有効に動作するように展開されねばならない。
2)インストール操作は中央から実行できる。
3)先行のインストールが可能である。その場合、このインストールは前回のインストールをアップグレードする。
4)インストール・シールド様のインストールである。
5)システムは、数十個のリビング・オブジェクトまで、また数百人の生徒まで拡張できなければならない。
トリガー
管理者がインストール操作をCD又はダウンロードしたフィアルから始める。
要約
この使用事例が最初に、そして後にLOLAシステムのインストールが捕捉される。
1)管理者が種々の設定パラメータを尋ねられる。
2)管理者がリビング・オブジェクトの使用事例をアップデートすることを促進する。
事前の条件
管理者がパッケージをダウンロードするかCDを持っている。
事後の条件
リビング・オブジェクトのタイプを定義するために全てがセットアップされる。
関連する使用事例
1)リビング・オブジェクトのタイプのアップデートが直ちに続けられるか、ユーザの便宜のために後に延期される。
ネーム
リビング・オブジェクトのタイプの追加
アクター
管理者
ゴール
システム内の全てのリビング・オブジェクトのタイプと目的がシステムに既知であり、そのために適正なアプリケーションのコンポーネントが展開される。
状況の制約
1)中央から実行される。
2)リビング・オブジェクトとオブジェクト・タイプは、インストール後だけでなく、その動作中にシステムから削除したり追加したりできる。
3)特に、生徒の家のPC上のIDEにあるシミュレータがアップデートできなければならない。
トリガー
1)LOLAシステムがインストールされている。
2)リビング・オブジェクトの新しいタイプがシステムに接続されなければならない。
要約
システムは動作可能なリビング・オブジェクトに従って設定される(コンフィギュレーションが定められる)。
事前の条件
システムのインストール。
事後の条件
全てのリビング・オブジェクトのタイプがシステムに既知である。
関連する使用事例
1)インストール
2)家のPC上のリビング・オブジェクトのタイプをアップデート又は創造する使用事例をトリガー。
ネーム
生徒、グループ及び役割の定義
アクター
管理者
ゴール
生徒はシステムにログインでき、彼らの許容範囲に従って活動できる。
状況の制約
1)柔軟性−生徒は1つ又は複数のグループに属することができ、各グループは1つ以上の役割を持つことができる。同じ役割が別々のグループに割り当てられ得る。
2)この操作は、通常の基準の場合と同様に、新しい生徒、グループ、役割が追加されたり削除されたりするときはいつでも、インストール及びリビング・オブジェクトの設定の後にできる。
3)ユーザの定義は、OSのユーザと独立である。
トリガー
教師はその生徒がシステムを利用開始できるように、その生徒のアカウントを開くように管理者に依頼する。
要約
この使用事例は、クラスの教師が、その生徒がシステムの利用の許可を得られるように欲しているというシナリオを捕捉する。
1)管理者は役割を定義する:各役割の定義は役割名とその役割の所有者が得る許容範囲からなる。許容範囲は次の基準に従って得られる。
*リビング・オブジェクトのタイプ
*リビング・オブジェクト
*時間:UNIXのcrontabの様な権限
2)管理者はグループを定義する:各グループの定義はグループ名とそのグループに関連する0個以上の役割とからなる。
3)管理者はユーザを定義する:各ユーザの定義はユーザ名とパスワード(1方向関数で暗号化)とそのグループに関連する0個以上の役割とからなる。
事前の条件
1)インストール。
2)リビング・オブジェクトのタイプのアップデート。
事後の条件
生徒が彼らの許容範囲に従ってシステムにログインできる。
関連する使用事例
1)インストールとリビング・オブジェクトのタイプのアップデートが必要である。
ネーム
システムの診断、監視及び制御
アクター
管理者
ゴール
アクターがシステムの診断、監視及び制御をできる。
状況の制約
1)可能なときには予め潜在的な問題が検出できなければならない。
2)診断ツールを介して問題を分離する。
3)調整方を介して問題を解決する。
4)自動的な健全性のチェック。
5)管理者が、例えば特別の時刻イベントの受信と同時にRFチャンネルを変更する様な、種々のイベントの自動的な動作を定義することを許す。
6)管理者は、リビング・オブジェクト上の動作を呼び出し、オンラインでそれらからのイベントを受け取ることができる。
7)管理者は、システム上の全てのイベントを調べる(ブラウズする)ことができる。
8)ブラウザ・ベースの管理コンソール。
9)セキュリティ。
10)もしあれば、エンタープライズ管理コンソールとの統合。
トリガー
通常の基準又は、生徒や教師が問題を訴えた後のシステム管理。
要約
1)管理者がブラウザ・ベースの管理ステーションを起動する。
2)管理者がシステムを診断し、監視し、制御する。
事前の条件
1)システムが既にインストールされている。
事後の条件
システムが正常に機能する。
関連する使用事例
1)インストール。
2)タスクのスケジュール時間の調査及び変更。
ネーム
タスクのスケジュール時間の調査及び変更。
アクター
管理者
ゴール
タスクの実行時間を中央から、及び全システムのビューから制御する。
状況の制約
1)予め可能な時に、タスクのスケジューリングから生ずる潜在的な問題を検出できなければならない。
2)管理者はシステム内の全タスクのスケジュール時間を種々のビューで見ることができなければならない。
3)管理者はタスクのスケジュール時間を変更し、スケジュールされていないタスクを実行のためにスケジュールできなければならない。
4)セキュリティー。
トリガー
1)生徒が彼らのタスクを実行のために登録した。管理者は彼らが彼らのタスクを適性にスケジュールしたことを確かめたい。(注)生徒は彼らの許容範囲に従ってタスクを登録できるだけである。しかしながら、それでも彼らは不適正にタスクを登録できる。例えば、二人以上の生徒が同一のリビング・オブジェクトに対して重複した時間に同じセンサー上で動作するタスクを登録した場合である。
2)生徒がタスクを登録したがスケジュール時間を特定しなかった。これは典型的な場合としては管理者が競合の発生を防止し自分でそれを特定したいと思ったためである。従って、管理者は全タスクのスケジュール時間を特定する。
3)タスクがインターネット上のコンテンツ・プロバイダ・サーバーからダウンロードされた。管理者はこれらのタスクの実行をスケジュールをする事を望む。
要約
1)管理者はブラウザ・ベースの管理ステーションを起動する。
2)管理者はシステムの全タスクと、それらのスケジュール時間をスケジュールされているかどうか調査する。
3)管理者はタスクのスケジュール時間を変更し、又は新しいタスクの実行をスケジュールする。
事前の条件
1)システムは既にインストールされている。
2)タスクが既にシステムに登録されているか、ダウンロードされている。
事後の条件
タスクが所望の実行のためにスケジュールされた。
関連する使用事例
1)インストール。
2)システムの診断、監視及び制御。
ユーザのサービス
ユーザはリビング・オブジェクトと対話する校内の全員であり得る。特に、生徒、教師、管理者又はそれ以外の者である。
ネーム
リビング・オブジェクトとの対話
アクター
ユーザ
ゴール
対話の目的は、娯楽、教育、タスク・チェック(生徒又は教師)又はシステム・チェック(管理者)であり得る。
状況の制約
1)親しみのある(フレンドリな)対話。
2)リビング・オブジェクトは登録されたタスクとそれらのタスクの実行をスケジュールするスケジューラに従って動作する。
トリガー
ユーザが校内でリビング・オブジェクトを見、それと対話しようとする。
要約
この使用事例は、ユーザがリビング・オブジェクトと対話するシナリオを捕捉する。ユーザはリビング・オブジェクトと声で(それに話しかけ、聞く)、その反応を見て、そのセンサーをトリガーすることによって対話する。
事前の条件
1つ以上のタスクがリビング・オブジェクトで実行されている。
事後の条件
以下の1つ又は2つ:
1)ユーザが楽しみ、更に教育される。
2)物理的なリビング・オブジェクトによってタスクがチェックされる(学生又は教師)。
3)リビング・オブジェクトの機能がチェックされる(管理者)。
関連する使用事例
1)タスクの実行。
2)タスクのデバッグ。
3)タスクの登録。
コンテンツ・プロバイダ・サービス
データをLOLAデータベースにプッシュしたり、そのようなデータをLOLAクライアントからの要求時に供給するための、システムと相互作用する外部サーバー。
ネーム
コンテンツ・データベースの構築
アクター
コンテンツ・プロバイダ
ゴール
リビング・オブジェクト上で動作するタスク(コンテンツ)をプッシュ又は供給する。
状況の制約
1)LOISシステム用に開発された能力への影響力(leverage)。
2)コンテンツは通常の基準で自動的にプッシュされるか、要求時にプルされ得る。
3)コンテンツ・プロバイダによって書かれたタスクは、生徒によって書かれたタスクと同じ方法で実行をスケジュールされる。
トリガー
設定に依存する:
1)一般に、管理者が、特定の間隔でアップデートを実行するプッシュ・クライアントを設定する。従ってトリガーはプッシュ・クライアントのスケジューラである。
2)管理者は手動でダウンロードを始め得る。
要約
この使用事例は、学校の管理者がコンテンツ・プロバイダによって書かれたタスクの実行のスケジュールとこれらのタスクの通常基準のアップデートを望むシナリオを捕捉する。これらのタスクは生徒によって書かれたタスクの場合と同じ仕方で実行をスケジュールされる。
例えば、登録、構築、コンテンツ・プロバイダ側のような、この機構で支持される全使用事例は、LOISシステムの一部であると見做される。
事前の条件
1)LOLAシステムがインストールされている。
2)LOISシステムの使用事例のインストールと登録。
事後の条件
1)実行の準備ができた新しいコンテンツがタスク・データベースにある。
関連する使用事例
1)インストール。
情報サーバー・サービス
データをLOLAデータベースにプッシュしたり、そのようなデータをLOLAクライアントからの要求時に供給するための、システムと相互作用する外部サーバー。
ネーム
生徒のタスクの問合せを支持するデータベースを構築するための情報の供給。
アクター
情報サーバー
ゴール
生徒のデータベース問合せに答えるデータをプッシュ又は供給する。
状況の制約
1)このデータベースを構築するために標準のツールとプロトコルを用いる。
2)データは通常の基準で自動的にプッシュされるか、要求時にプルされ得る。
トリガー
設定に依存する:
1)一般に、管理者が特定の間隔でアップデートを実行するプッシュ・クライアントを設定する。従ってトリガーはプッシュ・クライアントのスケジューラである。
2)管理者は手動でダウンロードを始め得る。
要約
この使用事例は、学校の管理者が、ウエブ上で必要なデータを探すのではなく、生徒が問合せをできる内部データベースを構築することを望むシナリオを捕捉する。
事前の条件
LOLAシステムがインストールされている。
事後の条件
1)データベースがアップデートされた。
関連する使用事例
1)インストール
図42は、感情的な対話フローチャート設計プロセスを示す簡略化したフローチャートである。
図43乃至図102は、本発明の好適な実施例に従って構成され動作するコンピュータによるプログラムされたティーチング・システムの好適な実施例を示す。
図69乃至図102に就いて詳細に説明する。
図69は、中央の(データベース・サーバー316、クリーチャー制御サーバー318のような)サーバー群、学生のプログラム用のワークステーション310、教師用ステーション312、管理者用ステーション1200及びサーバーの周辺に集まっている無線基地ステーション320を含む、システム・ネットワークの全般的な論理的概観である。
図70は、中央の無線基地ステーション(これがクリーチャーの制御を提供する)と、学生のプログラム用のワークステーション310、教師用ステーション312、管理者用ステーション1200及びサーバーの周辺に集まっている無線基地ステーション320を含む、クリーチャー322に対する制御の全般的な論理的概観である。
図71:
管理ステーションのメイン・メニューは、4つのメイン・サブメニュー、すなわち、システムの動作に関するリアルタイム情報1250と、ハードウェアおよびソフトウェアの問題のトラブルシューティングのための診断1260と、ソフトウェアおよびハードウェアのコンポーネントのコンフィギュレーションおよび登録1270と、学生が提供しシステムが実行する種々のタスク(プロジェクトおよびプログラム)の展開および管理のためのタスク1280と、である。
図72は、タスク(プロジェクトおよびプログラム)を家庭で開発およびテストするための基本的なステップを示す。最初に、学生は、タスクを開発し(ステップ1290)、次にソース・コードをコンパイルし(ステップ1300)、次にこのタスクをシミュレータを使って実行する(ステップ1300)。このタスクが設計された通りに実行しない場合には、学生はシミュレータを使って(ステップ1320)このプログラムをデバッグして問題点を発見し、これを修正しそして再度このタスクをテストする。もしこのタスクが設計された通りに実行する場合、学生は、物理的なクリーチャ(生き物、creature)に対し実行されるようこのタスクを登録する(ステップ1330)。
図73は、学生による家庭および学校でのタスクの開発、テストおよび登録のプロセスを示す。しかし、このプロセスは、図62と同様に、家庭の学生で開始し、学生はタスクを学校に転送し、そしてこの同じプロセスを学校で継続する。
図74は、非常に簡単な「判断ツリー」(「ステート・マシン」とも称される)を記述するフローチャートである。このフローチャートは、クリーチャーに命令して“傾聴モード”に入るよう命令し、これによってユーザの発語(verbalutterances)を記録し、そしてこの記録を音声認識エンジンによって処理する。この傾聴モードは、「ウェイクアップ」という用語が見出され(spot)、タスクが歌を歌うまで持続する。この歌が終わった後、このプロセスを繰り返す。
図75は、シミュレーション・エンジンのメイン機能を示すブロック図である。シミュレーション・エンジンは、学生が、物理的クリーチャーなしでこの物理的クリーチャーに対し開発したプログラム(タスク)をテストできるようにする。このシミュレーション・エンジンは、この物理的クリーチャーの物理的機能全てを、傾聴機能をシミュレートするコンピュータ・マイクロホン(1450)、クリーチャーのトーク機能をシミュレートするコンピュータ・スピーカ(1460)、コンピュータ・スクリーン上にクリーチャーのアニメーションを表示することによるクリーチャーの動きのシミュレーション(1470)、コンピュータのキーボードおよびマウスでのクリーチャーセンサのシミュレーション(1480)、およびコンピュータ・ディスプレイおよび周辺ビデオ・カメラによるクリーチャー内にインストールしたビデオ・ディスプレイおよびビデオ・カメラのシミュレーション、のような標準のコンピュータ周辺装置によって提供する。
図76は、ある1つのプロジェクト(タスク)の登録および実行のプロセスを記述するフローチャートである。ステップ1500において、学生または教師は、このタスクを、データベース・サーバ(Lolaサーバ)316内にこのタスクを登録して、特定のクリーチャー制御サーバ318および特定のクリーチャー324により後で実行できるようにする。ステップ1510において、適当な日、時刻、または登録ステップ1500で指定された条件の時に、Lolaサーバ316は、このタスクを実行のため、適当なクリーチャー制御318サーバに送る。このクリーチャー制御サーバは、このプログラムを起動し、そしてコマンドを無線基地局(320)を介してその適当なクリーチャー(324)に送ることによりそれを実行する。
図77は、教師が利用可能なメイン・サービスのブロック図である。教師は、IDEの排他的拡張にアクセスすることにより(ステップ1600)、各学生のタスクの各々を選択し調べることができる。教師は、学生のタスクをブラウズし(1620)、絶対的なパフォーマンスに関する統計(1640)および相対的なパフォーマンスに関する統計(1650)のようなそれらタスクの実行に関連した統計をビューし(1630)、そして成績(マーク)を学生に割り当てる(1660)。
図78は、リビング・オブジェクト研究(Living Object Laboratory)システム・トポロジのブロック図であり、メインのサブシステムから成っている。
Lolaサーバは、データベース・サーバおよびクリーチャー制御サーバのような1つ以上のサーバ、すなわち管理者ステーション(1710)、教師ステーション(1720)、学生プログラミング・ステーション(1740)、無線基地局(1750)から成っている。これらメイン・サブシステムの全ては、無線基地局を除いて、ハイパーテキスト・トランスポート・プロトコル(HTTP)あるいはミドルウェア(MW)のようなネットワーキング手段により相互接続し、ここでミドルウェアは、任意の適当なインターフェース・ソフトウェアである。代表的には、無線基地局を除く全てのサブシステムは、Ethernetのようなローカル・エリア・ネットワーク(LAN)を介して相互接続し、一方、無線基地局は、ユニバーサル・シリアル・バス(USB)によって接続する。
図79は、リビング・オブジェクト研究システムのブロック図であり、本システムが提供するメイン(論理的)サービスを提示する。データベース・エンジン1760は、データベース・レポジトリ1765に対する全てのアクセスを管理する。ログ・サーバ1770は、本システム内で走っている全クリーチャーおよびタスクの実行および性能の詳細をログする。モニタ・エンジン1775は、ユーザに対し、モニタの時間中での本システムが実行しているタスクの性能に関するリアルタイムの情報を提示する。セキュリティ・マネージャ1780は、本システムに対する全てのユーザ・アクセスを監督し、そして管理者が予め定めた通り、許可したユーザのみがデータベースの特定の部分へのアクセスを有するよう検証する。タスク・マネージャ1785は、システムの内の全てのタスクの動作を、許可したユーザが提供する命令にしたがって監督する。これらサービスは、代表的には、互いに分離しそしてHTTPおよびミドルウェアのような在来の通信手段により相互接続したソフトウェア・サブシステムにより提供する。
図80は、システム管理者ステーション1200によりシステム管理者に利用可能なメイン・サービスのブロック図である。これらサービスは、代表的には以下のものから成る。
システムが規則的に機能している間に利用可能な全てのサービスに対するオンライン・コンソール1800。
システムが、主要なインストレーションおよびメンテナンス・プロシージャのためシャットダウンされたときに、利用可能な全サービスに対するオフライン・コンソール1810。
システム管理者がハードウェア周辺装置、ネットワーキング・コンフィギュレーション等をセットアップできるようにするコンフィギュレーション・コンソール1820。
システム管理者が新たなクリーチャーのセットアップまたは既存のクリーチャーのコンフィギュレーションを変化させることができるようにする展開コンソール1830.
図81は、独立のサーバとしてあるいは一般のLolaサーバのような別のサーバの一部分として実装されているかどうかに拘わらず、クリーチャー制御サーバのソフトウェアのメイン・モジュールのブロック図である。クリーチャー制御サーバは、多数のプロキシ・オブジェクト1840(この各々は、特定のクリーチャーを担当する)と、種々のプロキシの動作の調整およびタイミングを担当するスケジューラ・タスクと、から成っている。
図82は、プログラミング・ステーションによる学生に利用可能なメイン・サービスのブロック図である。これらサービスは、HTTPおよびミドルウェアのようなインターフェース手段により相互接続したモジュールとして実現する。3つのメインのモジュール/サービスは、学生が学生自身に割り当てられたタスクのプログラミングを実行できるようにする対話型開発環境1860(IDE)と、学生が開発したプログラムをコンピュータ・スクリーン上にアニメートさせた仮想のクリーチャーを使ってテストできるようにするシミュレータ1870と、学生が物理的クリーチャーによる実行のためその開発したプログラムを登録できるようにするタスク登録1880と、である。
図83は、教師ステーションにより教師が利用可能なメイン・サービスのブロック図である。これらサービスは、プログラミング・ステーションのサービスおよびモジュール構成と同一であるが、ただし追加の教師コンソールは、教師が、学生にタスクを割り当て、学生の作業をモニタし、マークを割り当てる等できるようにする。
図84から図93は、合わさって、リビング・オブジェクト研究所のデモンストレーション・パイロット・プロジェクトの一般的な説明を構成する。
図84は、パイロット・リビング・オブジェクト研究所のブロック図であって、2つのクラスから成り、その各々が、5つのプログラミング・ステーションと、1つの教師ステーションと、ネットワークに直接に接続された無線基地局と、1つのクリーチャーとを備えている。加えて、これら2つのクラスの外には、1つのLolaサーバ、1つの管理者ステーション、1つの基地局があり、これもまたネットワークに直接接続されそして4つのクリーチャーを制御する。
図85は、パイロット研究所をインストールしそしてこれを管理者レベルでしかも2つのクラス内で使用するための方法および機能を説明するブロック図である。
図86および図87は、パイロット・システムのソフトウェアおよびハードウェアのトポロジを説明している。
図88から図90は、パイロット・プロジェクトのデモンストレーション・プログラムの活性化におけるステップのフローチャート説明である。
図90は、このパイロット・システムのメイン・アプリケーション・モジュールを説明している。
図92および図93は、Lolaシステムを稼働状態にするのに取るべきステップを示している。
図92は、パイロット・デモンストレーション・ソフトウェアを活性化することができるようにするためにインストールしなければならないソフトウェア・モジュールをリストしている。
図93は、図88から図89で説明したアクティビティを実行できるようになる前に、行わなければならないコンフィギュレーション・アクティビティをリストしている。
これらステップを実行すべき順序は、これらステップ全部が完全に実行される限り重要ではない。
図94から図105は、対話型開発環境(IDE)の構造および特徴を説明している。
図94は、IDEのスクリーンの代表的な構成を説明している。このスクリーンは、代表的には、全てのウィンドウ・アプリケーションにおいて普通のトップ・メニュー・バー2000およびボトム・ステータス・バー2005と、スクリーン上のどこかに配置できそしてトップ・メニュー・バーの近くに示している2010および2020のようなツール・バーとから成っている。ツール・バー2010は、プログラマが編集、コンパイル、シミュレーション等の際に利用可能なソフトウェア・ツールのアイコンを含む。プログラミング・ツール・バー2020は、プログラマがソフトウェア・プログラム内に導入することができる、状態、イベント、機能等のようなオブジェクトのアイコンを含む。オブジェクトは、ツール・バーからドラッグし、そしてプログラミング・ウィンドウ2030内にドロップしてこのウィンドウ内の他のオブジェクトと接続するようにすることができる。1つのオブジェクトを選択すると、特定のオブジェクトのプロパティが、オブジェクト・インスペクタ・ウィンドウ2040内に現れる。これらプロパティの値は、プログラマが変更することにより、必要なプログラムの振る舞いを作成することができる。シミュレーションを選択したときには、プログラムしたクリーチャーのアニメーションは、シミュレーション・ウィンドウ2050内に現れる。このクリーチャーに入力データ(例えばスピーチまたは触覚センサ)を収集するよう命令したとき、ポップアップ・メニュー2060が現れ、そしてプログラマは、ポップアップ・メニューからの適当な選択によってそのクリーチャーと対話することができる。メッセージ・ウィンドウ2070は、プログラマに対し、プログラミング・アクティビティ中はヒントを、そしてシミュレーション・アクティビティ中はプログラム実行のトレーシング・データを提供する。
図95は、IDEスクリーンのトップ・メニュー・バー2000においてプログラマが利用可能なメイン機能(ファイル、編集、ビュー等)と、1つのメイン機能を選択したときにドロップ・ダウン・ウィンドウ内において利用可能なサブ機能を説明している。
図96Aおよび図96Bは、オブジェクト・ツール・バー2010およびプログラミング・ツール・バー2020においてユーザに利用可能なメインのオブジェクトおよびプログラミング・ツールを説明している。
図97は、オブジェクト・インスペクション・ウィンドウ2040を詳細に説明している。
図98は、種々の状況でメッセージ・ウィンドウ2070内においてプログラマに対し現れるメインのメッセージ・グループを説明している。このようなメッセージ・グループは、プログラミング・シンタックス・エラー、コンパイル・エラー、コンパイルやデバッグのような種々の機能のための進行指示メッセージ、システムがデバッグ中に提供するテスト・ログ・メッセージである。
図99は、シミュレーション・プロセスおよびモジュール構造のブロック図である。シミュレーションを活性化すると、IDEモジュールは、テストしたプログラムを実行するが、クリーチャー実行可能の命令を仮想クリーチャー・コマンド・インターフェース2210へ送る。インターフェース2210は、クリーチャー・タイプとシミュレートすべき適当なクリーチャー機能とを識別し、適当な機能2220を選択し動作させる。機能2220は、コンピュータ・ディスプレイ上における仮想クリーチャーの適当なアニメーション2230を実行する。
図100は、ボトム・ステータス・バー2005の構造を説明している。
図101Aおよび図101Bは、種々のオブジェクト・グループに対して、このようなグループが選択されたときにおける、オブジェクト・ツール・バー2020のコンテンツおよび構造を詳細に説明している。図101Aは、図96Aの2100に詳細に参照しており、図101Bは、図96Aの2120に詳細に参照しており、図101Cは、図96Aの2120に詳細に参照しており、そして図101Dは、図96Aの2130に詳細に参照している。
感情的分析
コンセプト・ペーパー
リビング・オブジェクト研究所の目標は、コンピュータ化されたマシンに人間の振る舞いを教え込む技術を学生に教授することである。人間の1つの主要な特徴は、感情的感受性である。すなわち、別の人間の感情的状態および状態推移を識別しそしてそれにしたがって応答する能力である。感情的感受性を人間に教えるのは非常に困難であり、したがって感情的感受性をマシンに教え込むのはそれよりはるかに困難である。しかし、最も単純な感情的感受性でさえも、マシンにより特徴づけたときには、人間とマシンの対話に対しとても大きな効果がある。したがって、感情的感受性をプログラミングする技術は重要である。
感情的分析の目標は、メイン・アプリケーションに対し、マシンと対話する人間の感情的状態に対処する能力を提供することである。感情的分析は、バックグラウンドの1つのプロセスまたはそれ以上のプロセスである。感情的分析は、リビング・オブジェクトと対話する人の感情的状態を評価する。この評価は、他のプロセスと平行して継続的に実行する。このプロセスは、アプリケーション・システムの複雑度とプログラミングの認識した容易さとに対し適当となるように、メイン・ルーチンが呼び出すサブルーチンとしてあるいはバックグラウンド・タスクとして実行することができる。メイン・モジュール(またはプロセス)は、このアプリケーションのメインの目標(例えば、教師、ガード、ガイド、プレイメイト等の役割を演ずるもの)を取り扱う。この感情的分析は、メイン・タスクと通信し、必要な入力を受け、そしてメイン・アプリケーションに対して対話している人間への適当な応答のための質問を提供する。
感情的分析は、ほとんどが音声的である。感情的分析プロセスは、メイン・アプリケーションが記録した音声入力のコンテンツを分析する。この分析の結果にしたがい、感情的分析は、このメイン・アプリケーションに対し適当なデータを提供する。感情的分析プロセスがメイン・プロセスに提供するこのデータは、対話している人間の認識した感情的状態、感情的状態の推移から、メイン・プロセスがプレイする詳細な音声フレーズにまで渡ることができる。感情的分析に入力を提供しかつこの感情的分析出力に従う最終的判断は、メイン(アプリケーション)プロセスの手中にある。
感情的分析は、基本的には、1つのプログラムであり、このメイン・アプリケーションをプログラミングするのに利用可能である同じプログラミング手段を使ってプログラミングすることができる。この感情的分析プログラムは、ステート・マシンとして実現するアルゴリズムとして見ることができ、ここで、イベントは、対話している人間から受けた(記録された)口語入力と蓄積したデータの音響分析と意味分析の組み合わせである。
感情的分析プロセスの設計には、以下のようないくつかのステージが含まれる。
感情の範囲、例えば悲しみ、喜び、怒りの3つの感情を判定すること、
対話している人間から受けた(記録された)口語入力において検出した感情の音響的表現および意味表現、例えば
声の振幅(静かなあるいは大きな声)
声のピッチ
スピーチの速度
言い回し品質(音声認識の品質)
「悲しい」、「うれしい」、「怒っている」等の特定のワード
を判定すること。
もちろん、上記特徴の1つにおける変化は、特徴それ自体よりも重要となることがあり、例えば声を高くすることは、連続した大きな声よりもより感情的情報を運ぶものである。
直接的な質問、例えば「あなたは悲しいですか?」のような、対話している人間の感情についての明示的な質問のための判定手段。
対話している人間の認識した感情的状態に従ったアプリケーション対話の変更の判定。先ず、変更の目標を判定し、そして次にその手段を判定すべきである。
例えば、
目標
共感表現
感情的サポート、勇気づけ等を提供
ムードに影響(変更)
手段
音声出力の適当な振幅(ラウドネス)、ピッチ、速度の適応
選択し再生すべき同じ口語コンテンツのいくつかのバージョン
共感、関心、サポート等を表現するデフォルト/標準のフレーズ
アプリケーション・プロセスと感情的分析プロセスとの間の通信手段(プロトコル)を判定。
学生のプログラミング・プロジェクトへのマークの割り当て
教師は、通常試験を評価し、チェックリストに基づいて評点を割り当てる。これは、厳密科学から人文学まで、全ての首題にとって真実である。それはまた、プログラミングの評価にとって分析から設計を介した実行まで真実である。チェックリストの評価は、自動化することができ、即ち、コンピュータにより実行することができる。試験のコンピュータ化された評価の仕組は全ての首題にとって共通でかつ同じである。
プログラミングはまた適正に動かねばならず、即ち、実行は、故障(クラッシュ)なしにかつ仕様に従ってそれ自身機能しなければならない。コンピュータは、実行されたプログラムの性能を追跡し、その性能を仕様に従って分析し、その結果を報告することができることは明らかである。
自動化された(又はコンピュータ化された)評価は、モニタされたプログラムの性能をログするモニタリング・プログラムにより実行され、そのログを分析し、その結果を報告する。モニタリングを使用可能にするため、幾つかのチェックポイントがモニタされるプログラム内に設定され、そしてモニタリング・プログラムは、関連のパラメータの値を有するこれらの各チェックポイントを介して全ての経過をログする。
LOLAのデフォルト・モニタリングは、各状態の中への全ての入口とそれからの出口(従って、各状態遷移/接続に対する全ての入口とそれからの出口)を与える。モニタリング・プログラムは、モニタリングの結果をプログラム・モジュールによりかつ学生により報告する。評点を次の基準に従って割り当てることができる。
入れられた(従ってテストされた)状態及び状態接続のパーセンテージ。
出された(従って首尾よく実行された)状態及び状態接続のパーセンテージ。
内部性能バランス、即ち最も少なく訪問された(最も多く訪問された)エンティティ(状態;接続)への入口(それからの出口)の数とモジュール内の(各及び全モジュールに対する)入口(出口)の平均数との比。より正確には、リストの入口(出口)及び最も多く訪問されたエンティティの差と平均との二乗和の平方根。
全体の性能(パフォーマンス)バランス、即ちモジュールの中の入口(出口)の数とプロジェクト平均との比。
図103は、感情分析データベースのテーブルを図示し、
図104は、感情分析状態チャートである。
感情分析装置は、ユーザの気分(ムード)変化に敏感である。気分変化は、声の大きさ、速度、ピッチ(これらは暗黙のイベントの例である。)のようなユーザの話し方の特徴、ユーザによる特有の用語の使用、及びクリーチャによりなされる直接の閉じた質問に対する返答(これらは明示的イベントの例である。)における変化と関連する。各そのようなイベントは重みを有し、イベントが発生したとき、重みが、関連のテーブルのセルに加えられる。スレッショルドを通り抜けたときのみ、クリーチャは、(感情移入を与えること、閉じた質問を尋ねること等により)知覚された気分変化に応答する。
図105から図110は、ソフトウエア・アーキテクチャの全体像を含むユニポート(Uniport)の好適な実施形態を図示する。図105は、典型的なファンクション呼出し及びコールバック通知を図示する。図106は、メディアBIOSモジュールに適した典型的な入力データ処理を図示する。図107は、UCP実行モジュールに適した典型的な入力データ処理を図示する。図108は、ユーザ・アプリケーション及びAPIモジュールに適した典型的な出力データ処理を図示する。図109は、典型的なUCP実行モジュール及びメディアBIOS出力データ処理を図示する。図110は、プロトコル実行モジュール及びメディアBIOSモジュールのための出力データ処理を図示する。図110において、MAX_OBは、出力バッファの中の要素の最大を表す。
典型的な搬出されるファンクションの記述は次の通りである。
crsrAddWords
このファンクションは、単語を音声認識エンジンからのアクティブな文脈(コンテキスト)に追加するため用いられる。
crWaitForEvent
このファンクションは、ユニット(UNIT)からのイベントを待つため用いられる。
bioTransferRest
このファンクションは、メディアBIOSモジュールの中の入力及び/又は出力キューをリセットするため用いられる(絵5,2参照)。
3.2 プロトコル実行モジュールの搬出されるファンクション記述
proSystemOpen
このファンクションは、システムを開けるため用いられる。
proSystemClose
このファンクションは、システムを閉じるため用いられる。
proSendMessage
このファンクションは、制御メッセージを送るため用いられる。
proSendBuffer
このファンクションは、バッファを送るため用いられる。
proTransferReset
このファンクションは、メディアBIOSモジュールの中の入力及び/又は出力キューをリセットするため用いられる(絵5,2参照)。
3.2 APIモジュールの搬出されるファンクション記述
crBaseDetect
このファンクションは、ベースを検出する(デバイスIDを決定する)ため用いられる。
crSystemOpen
このファンクションは、システムを開けるため用いられる。
crSystemClose
このファンクションは、システムを閉じるため用いられる。
crSetNotification
このファンクションは、ユーザアプリケーションの中のコールバック通知機構をセットアップするため用いられる。
crSendBuffer
このファンクションは、バッファを送るため用いられる。
crSendMessage
このファンクションは、メッセージを送るため用いられる。
crUnitTalk
このファンクションは、サウンド・ファイルを再生(play)するため用いられる。
crGetBaseVersion
このファンクションは、バージョン・ナンバーをベースから得るため用いられる。
crsrGetWords
このファンクションは、全ての単語を音声認識エンジンのアクティブな文脈から得るため用いられる。
crsrGetContext
このファンクションは、新しい文脈を音声認識エンジンの中に作るため用いられる。
crsrDeleteContext
このファンクションは、文脈を音声認識エンジンから削除するため用いられる。
crsrSelectContext
このファンクションは、文脈を音声認識エンジンから選択するため用いられる。
crsrRemoveWords
このファンクションは、音声認識エンジンからのアクティブな文脈から単語を取り除くため用いられる。
3.1 メディアBIOSモジュールの搬出されるファンクション記述
bioMediaConnect
このファンクションは、通信メディア(媒体)に接続するため用いられる。
bioMediaDisconnect
このファンクションは、通信メディアから切離すため用いられる。
bioAddOutBuffer
このファンクションは、出力バッファを出力キューに追加するため用いられる(絵5を参照)。
図111から図115は一緒で、トイ・コンフィギュレーション・フローチャートを形成する。図111は、典型的なフィギュア・コンフィギュレーションを図示する。図112から図115は、インストール−検査を図示する(BT1/4,2/4,3/4,4/4のそれぞれ)。
スクリーン・インタフェースを発生するため、オンスクリーン・テキストのボイスオーバとしてサービスする以下のテキストが記録されてよい。
スクリーン0010−0012
導入部へのイントロ
朝:やあ、やあ。あなたにおはよう!
昼:やあ元気。あなたにこんにちは!
夕:やあ、あなたにこーんーばーんわ。
スクリーン0040:あなたについて
ユーザ情報を与える又は変えるためにはここをクリックせよ。
スクリーン0050:ホット・クリップ!
ストーリーテラーのダンス及び歌うのを見るためにはここをクリックせよ。
スクリーン0060:プレーの仕方
プレーの仕方を聞くためにはここをクリックせよ。
スクリーン0070:プレー
プレーをスタートするためにはここをクリックせよ。
スクリーン0080: ** ニュー:検査
システムをチェックするためにはここをクリックせよ。
スクリーン0090:出口
ストーリーテラーのプログラムを閉じるためにはここをクリックせよ。
スクリーン0041
ユーザの名前をダブル・クリックするか、又は新しいユーザの名前をタイプせよ。あなたが新しい名前をタイプしている場合、完了したらエンタ・キーを押せ。
スクリーン0042
新しいユーザの名前をタイプして下さい。完了したら、エンタ・キーを押せ。
スクリーン0043
我々が一緒にプレーするとき、私はあなたを秘密の名前で呼ぼう。ここで、あなたが望む秘密の名前をダブル・クリックせよ。
かれらが秘密の名前を選択しなかった場合
私はあなたの秘密の名前を最初に知らねばならない。進み、ここで1つを選択せよ。
あなたについて
私にあなた自身の全てを話すためにはここをクリックせよ。
個人的データを書き入れるための命令
1. アイテムの上でカーソルをクリックせよ。
2. メニューが現れるであろう。あなたの選択をせよ。
3. 各アイテムにわたり1つづつ進め。
4. あなたが済んだとき、メイン・メニュー・ボタンをクリックせよ。
あなたについて/秘密の名前/好みのスクリーンのトップでの、データを入力することへの一般的招き
私にあなたについての全てを話して下さい。私はあなたを知り非常に幸せです。
好み
あなたの好みのものを選択するためにはここをクリックせよ。
・ あなたの好みの色は何か? 黄色?赤?青? 1つを選べ。
・ あなたの好みの食べ物は何か? ピッツァ?マカロニ及びチーズ?フレンチ・フライ? 1つを選べ。
・ あなたの好みの遊びは何か? ごっこ遊びか?お絵かきか?コンピュータ・ゲームの遊びか? 1つを選べ。
・ あなたの好きな動物は何か? 猫か?犬か?馬か? 1つを選べ。
カーソルのグラフィック
ストーリーテラーのメイン・メニューに戻るためにはここをクリックせよ。
本発明のソフトウエア・コンポーネントは、所望ならば、ROM(読取り専用メモリ)の形式で実現し得ることが認められる。ソフトウエア・コンポーネントは、一般的に、所望ならば、通常の技術を用いて、ハードウエアの中に実現し得る。
アペンディクス(このページに続くA−1からA−561にある)に記載された特定の実施形態は、本発明の極めて詳細な開示を提供することのみを意図しているのであって、限定を意図するものでないことが認められる。
別々の実施形態の文脈において、明瞭のため、記載されている本発明の種々の特徴がまた単一の実施形態の組合わせで与えられることが認められる。逆に、単一の実施形態の文脈において、簡潔のため、記載されている本発明の種々の特徴がまた、別々に、又は任意の適当な副組合わせにおいて与えられることが認められる。
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
Figure 0003936749
当業者であれば理解するであろうが、本発明は、以上で特定的に示し説明したものには限定されない。そうではなく、本発明の範囲は、次の請求の範囲によってのみ定義される。

Claims (8)

  1. 対話型玩具装置であって、
    空想的な物理的外観を有し、少なくとも1つのオーディオ・トランスデューサと前記少なくとも1つのオーディオ・トランスデューサと通信する玩具トランシーバとを含む玩具と、
    コンピュータであって、
    ユーザ入力受信機と、
    前記ユーザ入力受信機を介してユーザから受け取られたユーザの好みとユーザ自身とに関係する情報を記憶するユーザ情報記憶ユニットと、
    コンピュータ・トランシーバと、
    前記少なくとも1つのオーディオ・トランスデューサと前記玩具の前記玩具トランシーバと前記コンピュータ・トランシーバとを介して前記ユーザから音声入力を受け取り、音声認識出力を提供する音声認識ユニットと、
    前記ユーザ入力受信機を介して受け取られ前記ユーザ情報記憶ユニットに記憶されている前記ユーザの好みと関係する情報と前記音声認識出力とを用いて、前記コンピュータ・トランシーバと前記玩具トランシーバと前記少なくとも1つのオーディオ・トランスデューサとを介して前記玩具において前記ユーザに対話型オーディオ・コンテンツを提供する対話型コンテンツ・コントローラと、
    を含むコンピュータと、
    を含むことを特徴とする対話型玩具装置。
  2. 請求項1記載の対話型玩具装置において、前記玩具トランシーバと前記コンピュータ・トランシーバとは無線トランシーバであることを特徴とする対話型玩具装置。
  3. 請求項1記載の対話型玩具装置において、前記対話型コンテンツ・コントローラは、対話型分岐を実行するように動作することを特徴とする対話型玩具装置。
  4. 請求項3記載の対話型玩具装置において、前記対話型分岐は、前記音声認識出力に少なくとも部分的に応答する少なくとも1つの分岐点を用いることを特徴とする対話型玩具装置。
  5. 請求項1記載の対話型玩具装置において、前記音声認識出力は、前記コンピュータ・トランシーバと前記玩具トランシーバと前記少なくとも1つのオーディオ・トランスデューサとを介して前記玩具において前記ユーザに提供される前記オーディオ・コンテンツに対する前記ユーザの応答の情報コンテンツを含むことを特徴とする対話型玩具装置。
  6. 請求項1記載の対話型玩具装置において、前記玩具は少なくとも1つの触覚トランスデューサを更に含み、
    前記玩具トランシーバは、前記少なくとも1つの触覚トランスデューサと通信し、
    前記対話型コンテンツ・コントローラは、前記少なくとも1つの触覚トランスデューサから得られた情報を用いることを特徴とする対話型玩具装置。
  7. 請求項1記載の対話型玩具装置において、前記玩具は少なくとも1つの運動トランスデューサを含み、前記対話型コンテンツ・コントローラは前記少なくとも1つの運動トランスデューサに入力を提供することを特徴とする対話型玩具装置。
  8. 請求項1記載の対話型玩具装置において、前記玩具と前記コンピュータとの少なくとも一方は時間インジケータを含み、前記対話型コンテンツ・コントローラは前記時間インジケータに応答することを特徴とする対話型玩具装置。
JP55270799A 1998-04-16 1999-04-15 対話型玩具 Expired - Fee Related JP3936749B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IL12412298 1998-04-16
US09/081,255 1998-05-19
US124122 1998-05-19
US09/081,255 US6160986A (en) 1998-04-16 1998-05-19 Interactive toy
PCT/IL1999/000202 WO1999054015A1 (en) 1998-04-16 1999-04-15 Interactive toy

Publications (2)

Publication Number Publication Date
JP2002505614A JP2002505614A (ja) 2002-02-19
JP3936749B2 true JP3936749B2 (ja) 2007-06-27

Family

ID=26323628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP55270799A Expired - Fee Related JP3936749B2 (ja) 1998-04-16 1999-04-15 対話型玩具

Country Status (7)

Country Link
US (1) US6959166B1 (ja)
EP (1) EP0991453A1 (ja)
JP (1) JP3936749B2 (ja)
CN (1) CN1272800A (ja)
AU (1) AU3343199A (ja)
CA (1) CA2296119A1 (ja)
WO (1) WO1999054015A1 (ja)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6663393B1 (en) * 1999-07-10 2003-12-16 Nabil N. Ghaly Interactive play device and method
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6773344B1 (en) 2000-03-16 2004-08-10 Creator Ltd. Methods and apparatus for integration of interactive toys with interactive television and cellular communication systems
JP2001277166A (ja) * 2000-03-31 2001-10-09 Sony Corp ロボット及びロボットの行動決定方法
AU2001272711A1 (en) * 2000-08-12 2002-02-25 Alexander V. Smirnov Toys imitating characters behaviour
KR100396752B1 (ko) * 2000-08-17 2003-09-02 엘지전자 주식회사 상품을 이용한 완구의 학습/성장 시스템 및 방법
JP4296714B2 (ja) * 2000-10-11 2009-07-15 ソニー株式会社 ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム
KR20020044736A (ko) * 2000-12-06 2002-06-19 스마트아이엔티 주식회사 교육용 터미널 장치 및 방법
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US9625905B2 (en) * 2001-03-30 2017-04-18 Immersion Corporation Haptic remote control for toys
US7457752B2 (en) * 2001-08-14 2008-11-25 Sony France S.A. Method and apparatus for controlling the operation of an emotion synthesizing device
KR100624403B1 (ko) * 2001-10-06 2006-09-15 삼성전자주식회사 인체의 신경계 기반 정서 합성 장치 및 방법
US7037455B2 (en) * 2001-12-21 2006-05-02 Mattel, Inc. Insert molding method
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US20040043373A1 (en) * 2002-09-04 2004-03-04 Kaiserman Jeffrey M. System for providing computer-assisted development
US7238079B2 (en) * 2003-01-14 2007-07-03 Disney Enterprise, Inc. Animatronic supported walking system
US7248170B2 (en) * 2003-01-22 2007-07-24 Deome Dennis E Interactive personal security system
US9446319B2 (en) * 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
JP4007224B2 (ja) * 2003-03-27 2007-11-14 株式会社デンソー ロボット固定装置
US7862428B2 (en) 2003-07-02 2011-01-04 Ganz Interactive action figures for gaming systems
US7534157B2 (en) 2003-12-31 2009-05-19 Ganz System and method for toy adoption and marketing
US7465212B2 (en) * 2003-12-31 2008-12-16 Ganz System and method for toy adoption and marketing
EP1704517A4 (en) 2003-12-31 2008-04-23 Ganz An Ontario Partnership Co SYSTEM AND METHOD FOR THE TAKEOVER ACQUISITION AND MARKETING
US20070299694A1 (en) * 2006-06-26 2007-12-27 Merck David E Patient education management database system
US20080039247A1 (en) * 2006-08-02 2008-02-14 Sandra L. Uhler Footbag And A System Relating Thereto
EP1895505A1 (en) 2006-09-04 2008-03-05 Sony Deutschland GmbH Method and device for musical mood detection
EP1912193A1 (en) * 2006-10-02 2008-04-16 Koninklijke Philips Electronics N.V. Interactive storyteller system
US20080082301A1 (en) * 2006-10-03 2008-04-03 Sabrina Haskell Method for designing and fabricating a robot
US20080082214A1 (en) * 2006-10-03 2008-04-03 Sabrina Haskell Method for animating a robot
US8307295B2 (en) 2006-10-03 2012-11-06 Interbots Llc Method for controlling a computer generated or physical character based on visual focus
AU2007237363B2 (en) 2006-12-06 2010-04-29 2121200 Ontario Inc. Feature codes and bonuses in virtual worlds
TW200824767A (en) * 2006-12-08 2008-06-16 Yu-Hsi Ho Materialization system for virtual object and method thereof
WO2008100141A1 (en) * 2007-02-12 2008-08-21 Im Smiling B.V. Method for controlling an external device via the usb-port of a personal computer
US20080195724A1 (en) * 2007-02-14 2008-08-14 Gopinath B Methods for interactive multi-agent audio-visual platforms
TW200836893A (en) * 2007-03-01 2008-09-16 Benq Corp Interactive home entertainment robot and method of controlling the same
US20080287033A1 (en) * 2007-05-17 2008-11-20 Wendy Steinberg Personalizable Doll
US8353767B1 (en) 2007-07-13 2013-01-15 Ganz System and method for a virtual character in a virtual world to interact with a user
CN101411946B (zh) * 2007-10-19 2012-03-28 鸿富锦精密工业(深圳)有限公司 玩具恐龙
US20090117816A1 (en) * 2007-11-07 2009-05-07 Nakamura Michael L Interactive toy
US8088002B2 (en) * 2007-11-19 2012-01-03 Ganz Transfer of rewards between websites
US8612302B2 (en) 2007-11-19 2013-12-17 Ganz Credit swap in a virtual world
US20090132357A1 (en) * 2007-11-19 2009-05-21 Ganz, An Ontario Partnership Consisting Of S.H. Ganz Holdings Inc. And 816877 Ontario Limited Transfer of rewards from a central website to other websites
US8626819B2 (en) 2007-11-19 2014-01-07 Ganz Transfer of items between social networking websites
KR101230705B1 (ko) * 2007-12-17 2013-02-07 플레이 메가폰 유저와 대화식 시스템 간의 상호작용을 관리하는 시스템 및 방법
US8046620B2 (en) * 2008-01-31 2011-10-25 Peter Sui Lun Fong Interactive device with time synchronization capability
US8172637B2 (en) * 2008-03-12 2012-05-08 Health Hero Network, Inc. Programmable interactive talking device
CA2623966A1 (en) * 2008-04-01 2009-01-12 Ganz, An Ontario Partnership Consisting Of 2121200 Ontario Inc. And 2121 812 Ontario Inc. Reverse product purchase in a virtual environment
WO2010019937A1 (en) * 2008-08-15 2010-02-18 Mattel, Inc. Electronic toy and methods of interacting therewith
US20100053862A1 (en) * 2008-09-04 2010-03-04 Burnes Home Accents, Llc Modular digital image display devices and methods for providing the same
US20100100447A1 (en) * 2008-10-21 2010-04-22 Ganz Toy system and extravaganza planner
US20110230114A1 (en) * 2008-11-27 2011-09-22 Stellenbosch University Toy exhibiting bonding behavior
US8255807B2 (en) 2008-12-23 2012-08-28 Ganz Item customization and website customization
US8909414B2 (en) 2009-12-14 2014-12-09 Volkswagen Ag Three-dimensional corporeal figure for communication with a passenger in a motor vehicle
US8843553B2 (en) * 2009-12-14 2014-09-23 Volkswagen Ag Method and system for communication with vehicles
US20110202863A1 (en) * 2010-02-18 2011-08-18 Corrallo Charles Shane Computer Entertainment Tracker Application for Limiting Use of Specific Computer Applications and Method of Use
US8308667B2 (en) * 2010-03-12 2012-11-13 Wing Pow International Corp. Interactive massaging device
US8836719B2 (en) 2010-04-23 2014-09-16 Ganz Crafting system in a virtual environment
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US20120185254A1 (en) * 2011-01-18 2012-07-19 Biehler William A Interactive figurine in a communications system incorporating selective content delivery
US9180380B2 (en) 2011-08-05 2015-11-10 Mattel, Inc. Toy figurine with internal lighting effect
WO2013024470A1 (en) 2011-08-16 2013-02-21 Seebo Interactive Ltd. Connected multi functional system and method of use
US20130268119A1 (en) * 2011-10-28 2013-10-10 Tovbot Smartphone and internet service enabled robot systems and methods
US9079113B2 (en) * 2012-01-06 2015-07-14 J. T. Labs Limited Interactive personal robotic apparatus
US8721456B2 (en) 2012-02-17 2014-05-13 Ganz Incentivizing playing between websites
US9649565B2 (en) * 2012-05-01 2017-05-16 Activision Publishing, Inc. Server based interactive video game with toys
CN103505880A (zh) * 2012-06-29 2014-01-15 新昌县冠阳技术开发有限公司 一种人与玩具不见面智能交互的装置
US8972324B2 (en) * 2012-07-25 2015-03-03 Toytalk, Inc. Systems and methods for artificial intelligence script modification
US10223636B2 (en) 2012-07-25 2019-03-05 Pullstring, Inc. Artificial intelligence script tool
US10528385B2 (en) 2012-12-13 2020-01-07 Microsoft Technology Licensing, Llc Task completion through inter-application communication
US9675895B2 (en) 2013-03-13 2017-06-13 Hasbro, Inc. Three way multidirectional interactive toy
US9259659B2 (en) 2013-04-30 2016-02-16 Mattel, Inc. Twist-waist punching figure
US20140329433A1 (en) * 2013-05-06 2014-11-06 Israel Carrero Toy Stuffed Animal with Remote Video and Audio Capability
US10043412B2 (en) 2013-05-26 2018-08-07 Dean Joseph Lore System for promoting travel education
US9406240B2 (en) * 2013-10-11 2016-08-02 Dynepic Inc. Interactive educational system
CN104679378A (zh) * 2013-11-27 2015-06-03 苏州蜗牛数字科技股份有限公司 基于虚拟头像的音乐媒体播放方式
CN103761932A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 天气预报播报服务机器人
CN103753582A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 夜游安全服务机器人
CN103753579A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 新闻播报服务机器人
CN103753538A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 公司会议讲解服务机器人
CN103778576A (zh) * 2014-01-24 2014-05-07 成都万先自动化科技有限责任公司 健身咨询服务机器人
US9925456B1 (en) 2014-04-24 2018-03-27 Hasbro, Inc. Single manipulatable physical and virtual game assembly
US20150238879A1 (en) * 2014-05-23 2015-08-27 Bluniz Creative Technology Corporation Remote interactive media
JP6476608B2 (ja) * 2014-06-30 2019-03-06 カシオ計算機株式会社 動作処理装置、動作処理方法及びプログラム
JP6547244B2 (ja) * 2014-06-30 2019-07-24 カシオ計算機株式会社 動作処理装置、動作処理方法及びプログラム
US10561950B2 (en) 2014-07-30 2020-02-18 Hasbro, Inc. Mutually attachable physical pieces of multiple states transforming digital characters and vehicles
CN104575502A (zh) * 2014-11-25 2015-04-29 百度在线网络技术(北京)有限公司 智能玩具及智能玩具的语音交互方法
CA2983046A1 (en) 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
CN104959985B (zh) * 2015-07-16 2017-10-17 深圳狗尾草智能科技有限公司 一种机器人的控制系统及其方法
KR101824977B1 (ko) * 2015-11-26 2018-02-02 엠텍씨앤케이 주식회사 컨텐츠와 외부기기 연동방법
GB2540831B (en) * 2016-02-05 2018-04-04 The Eyelash Trainer Ltd An Apparatus for Practicing the Application of Eyelash Extensions
JP6756130B2 (ja) * 2016-03-23 2020-09-16 カシオ計算機株式会社 学習支援装置、ロボット、学習支援システム、学習支援方法及びプログラム
JP6763167B2 (ja) * 2016-03-23 2020-09-30 カシオ計算機株式会社 学習支援装置、学習支援システム、学習支援方法、ロボット及びプログラム
US10010801B2 (en) * 2016-03-31 2018-07-03 Shenzhen Bell Creative Science and Education Co., Ltd. Connection structures of modular assembly system
HK1216278A (zh) * 2016-04-27 2016-10-28 Kam Ming Lau 種使用虛擬機器人的教育系統
CN106205612B (zh) * 2016-07-08 2019-12-24 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
US11195126B2 (en) 2016-11-06 2021-12-07 Microsoft Technology Licensing, Llc Efficiency enhancements in task management applications
JP7351745B2 (ja) * 2016-11-10 2023-09-27 ワーナー・ブラザース・エンターテイメント・インコーポレイテッド 環境制御機能を有する社会ロボット
US11045738B1 (en) 2016-12-13 2021-06-29 Hasbro, Inc. Motion and toy detecting body attachment
CN106823378A (zh) * 2017-02-20 2017-06-13 包伯瑜 一种角色扮演玩具系统
US10758828B1 (en) 2017-03-17 2020-09-01 Hasbro, Inc. Music mash up collectable card game
US10354176B1 (en) 2017-05-03 2019-07-16 Amazon Technologies, Inc. Fingerprint-based experience generation
US10965391B1 (en) * 2018-01-29 2021-03-30 Amazon Technologies, Inc. Content streaming with bi-directional communication
CN110400494A (zh) * 2018-04-25 2019-11-01 北京快乐智慧科技有限责任公司 一种儿童故事播放的方法和系统
CN108671552A (zh) * 2018-05-03 2018-10-19 深圳市沃特沃德股份有限公司 智能玩具控制方法及装置
CN110035166B (zh) * 2019-03-20 2021-03-26 广州美术学院 一种关联多个手机终端的互动装置
CN110211434A (zh) * 2019-05-30 2019-09-06 江苏科斗教育科技有限公司 一种人工智能教育编程机器人
RU2712349C1 (ru) * 2019-07-24 2020-01-28 Федеральное государственное бюджетное образовательное учреждение высшего образования "Поволжский государственный технологический университет" Игрушка
US11389735B2 (en) 2019-10-23 2022-07-19 Ganz Virtual pet system
US11358059B2 (en) 2020-05-27 2022-06-14 Ganz Live toy system
TWI774208B (zh) * 2021-01-22 2022-08-11 國立雲林科技大學 故事展演系統及其方法
DE102021106403A1 (de) * 2021-03-16 2022-09-22 Geobra Brandstätter Stiftung & Co. Kg Spielsystem und Spiel mit dem Spielsystem
CN115382224B (zh) * 2022-08-02 2024-02-13 奥飞娱乐股份有限公司 玩具载具的面部切换机构和玩具载具

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3009040C2 (de) 1980-03-08 1982-05-19 Hermann Dr. 8510 Fürth Neuhierl Spielfahrzeug mit elektrischer Stromversorgung, elektrischem Antrieb und Funkfernsteuerung
JPS6055985A (ja) 1983-09-05 1985-04-01 株式会社トミー 音声認識玩具
US4679789A (en) 1983-12-26 1987-07-14 Kabushiki Kaisha Universal Video game apparatus with automatic skill level adjustment
US4712184A (en) 1984-09-12 1987-12-08 Haugerud Albert R Computer controllable robotic educational toy
US4642710A (en) * 1985-03-15 1987-02-10 Milton Bradley International, Inc. Animated display controlled by an audio device
US4670848A (en) 1985-04-10 1987-06-02 Standard Systems Corporation Artificial intelligence system
US4752068A (en) * 1985-11-07 1988-06-21 Namco Ltd. Video game machine for business use
WO1987006487A1 (en) 1986-05-02 1987-11-05 Vladimir Sirota Toy
US4802879A (en) 1986-05-05 1989-02-07 Tiger Electronics, Inc. Action figure toy with graphics display
US4846693A (en) * 1987-01-08 1989-07-11 Smith Engineering Video based instructional and entertainment system using animated figure
US4857030A (en) 1987-02-06 1989-08-15 Coleco Industries, Inc. Conversing dolls
US4840602A (en) * 1987-02-06 1989-06-20 Coleco Industries, Inc. Talking doll responsive to external signal
US4923428A (en) * 1988-05-05 1990-05-08 Cal R & D, Inc. Interactive talking toy
US4858930A (en) * 1988-06-07 1989-08-22 Namco, Ltd. Game system
US5241142A (en) 1988-06-21 1993-08-31 Otis Elevator Company "Artificial intelligence", based learning system predicting "peak-period" ti
US4959037A (en) 1989-02-09 1990-09-25 Henry Garfinkel Writing doll
US5195920A (en) 1989-02-16 1993-03-23 Collier Harry B Radio controlled model vehicle having coordinated sound effects system
SE466029B (sv) 1989-03-06 1991-12-02 Ibm Svenska Ab Anordning och foerfarande foer analys av naturligt spraak i ett datorbaserat informationsbehandlingssystem
US5109222A (en) 1989-03-27 1992-04-28 John Welty Remote control system for control of electrically operable equipment in people occupiable structures
US5021878A (en) 1989-09-20 1991-06-04 Semborg-Recrob, Corp. Animated character system with real-time control
US5142803A (en) 1989-09-20 1992-09-01 Semborg-Recrob, Corp. Animated character system with real-time contol
US5182557A (en) 1989-09-20 1993-01-26 Semborg Recrob, Corp. Motorized joystick
GB8922140D0 (en) 1989-10-02 1989-11-15 Blue Box Toy Factory A toy musical box
US5191615A (en) 1990-01-17 1993-03-02 The Drummer Group Interrelational audio kinetic entertainment system
WO1992008531A1 (en) * 1990-11-14 1992-05-29 Best Robert M Talking video games
US5261820A (en) * 1990-12-21 1993-11-16 Dynamix, Inc. Computer simulation playback method and simulation
EP0575473B1 (en) 1991-03-04 2000-04-26 Inference Corporation Case-based reasoning system
US5209695A (en) 1991-05-13 1993-05-11 Omri Rothschild Sound controllable apparatus particularly useful in controlling toys and robots
EP0527527B1 (en) 1991-08-09 1999-01-20 Koninklijke Philips Electronics N.V. Method and apparatus for manipulating pitch and duration of a physical audio signal
US5281143A (en) 1992-05-08 1994-01-25 Toy Biz, Inc. Learning doll
US5369575A (en) 1992-05-15 1994-11-29 International Business Machines Corporation Constrained natural language interface for a computer system
US5377103A (en) 1992-05-15 1994-12-27 International Business Machines Corporation Constrained natural language interface for a computer that employs a browse function
US5390281A (en) 1992-05-27 1995-02-14 Apple Computer, Inc. Method and apparatus for deducing user intent and providing computer implemented services
US5434777A (en) 1992-05-27 1995-07-18 Apple Computer, Inc. Method and apparatus for processing natural language
US5390282A (en) 1992-06-16 1995-02-14 John R. Koza Process for problem solving using spontaneously emergent self-replicating and self-improving entities
US5270480A (en) 1992-06-25 1993-12-14 Victor Company Of Japan, Ltd. Toy acting in response to a MIDI signal
JPH08501166A (ja) 1992-09-04 1996-02-06 キャタピラー インコーポレイテッド 総合オーサリング及び翻訳システム
JPH0689274A (ja) 1992-09-08 1994-03-29 Hitachi Ltd 審査支援方法及びシステム
AU5363494A (en) 1992-10-19 1994-05-09 Jeffrey Scott Jani Video and radio controlled moving and talking device
US5615112A (en) 1993-01-29 1997-03-25 Arizona Board Of Regents Synthesized object-oriented entity-relationship (SOOER) model for coupled knowledge-base/database of image retrieval expert system (IRES)
US5388493A (en) 1993-11-17 1995-02-14 Curletto; Giorgio F. Extra low profile housing for vertical dual keyboard MIDI wireless controller for accordionists
US5694558A (en) 1994-04-22 1997-12-02 U S West Technologies, Inc. Method and system for interactive object-oriented dialogue management
US5704018A (en) 1994-05-09 1997-12-30 Microsoft Corporation Generating improved belief networks
US5733131A (en) * 1994-07-29 1998-03-31 Seiko Communications Holding N.V. Education and entertainment device with dynamic configuration and operation
US5724074A (en) 1995-02-06 1998-03-03 Microsoft Corporation Method and system for graphically programming mobile toys
US5636994A (en) * 1995-11-09 1997-06-10 Tong; Vincent M. K. Interactive computer controlled doll
US5752880A (en) 1995-11-20 1998-05-19 Creator Ltd. Interactive doll
US5727951A (en) 1996-05-28 1998-03-17 Ho; Chi Fai Relationship-based computer-aided-educational system
US5779486A (en) 1996-03-19 1998-07-14 Ho; Chi Fai Methods and apparatus to assess and enhance a student's understanding in a subject
US6134590A (en) * 1996-04-16 2000-10-17 Webtv Networks, Inc. Method and apparatus for automatically connecting devices to a local network
US5700178A (en) * 1996-08-14 1997-12-23 Fisher-Price, Inc. Emotional expression character
IL120857A (en) * 1997-05-19 2003-03-12 Creator Ltd Programmable assembly toy
US20010032278A1 (en) * 1997-10-07 2001-10-18 Brown Stephen J. Remote generation and distribution of command programs for programmable devices
US6160986A (en) 1998-04-16 2000-12-12 Creator Ltd Interactive toy
US6663393B1 (en) * 1999-07-10 2003-12-16 Nabil N. Ghaly Interactive play device and method
US6439956B1 (en) * 2000-11-13 2002-08-27 Interact Accessories, Inc. RC car device

Also Published As

Publication number Publication date
CN1272800A (zh) 2000-11-08
JP2002505614A (ja) 2002-02-19
US6959166B1 (en) 2005-10-25
WO1999054015A1 (en) 1999-10-28
AU3343199A (en) 1999-11-08
CA2296119A1 (en) 1999-10-28
EP0991453A1 (en) 2000-04-12

Similar Documents

Publication Publication Date Title
JP3936749B2 (ja) 対話型玩具
US6160986A (en) Interactive toy
US11798431B2 (en) Public speaking trainer with 3-D simulation and real-time feedback
Druin et al. Robots for kids: exploring new technologies for learning
Kelleher Motivating Programming: Using storytelling to make computer programming attractive to middle school girls
US20020068500A1 (en) Adaptive toy system and functionality
US7137861B2 (en) Interactive three-dimensional multimedia I/O device for a computer
US20100121808A1 (en) Virtual game dealer based on artificial intelligence
JP2019521449A (ja) 永続的コンパニオンデバイス構成及び配備プラットフォーム
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
WO2001012285A1 (en) Networked toys
Fontijn et al. StoryToy the interactive storytelling toy
US20040014014A1 (en) System and method for persuading a desired personal behavior
Resner Rover@ Home: Computer mediated remote interaction between humans and dogs
CN112262024A (zh) 用于增强数字体验的动态机器人配置的系统和方法
Kory Storytelling with robots: Effects of robot language level on children's language learning
Freed " This is the fluffy robot that only speaks french": language use between preschoolers, their families, and a social robot while sharing virtual toys
US20050288820A1 (en) Novel method to enhance the computer using and online surfing/shopping experience and methods to implement it
Davis Technology's Child: digital media’s role in the ages and stages of growing up
US9485963B2 (en) Assisted animal activities
Govindasamy Animated Pedagogical Agent: A Review of Agent Technology Software in Electronic Learning Environment
Ball 11 A Bayesian Heart: Computer Recognition and Simulation of Emotion
EP3576075A1 (en) Operating a toy for speech and language assessment and therapy
TWI824883B (zh) 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統
Chang TinkRBooks: tinkerable story elements for emergent literacy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060711

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061010

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070326

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees