<実施形態1>
図1は、本発明の第1の実施の形態の遊戯システム構成を示すブロック図である。
本発明の実施の形態の遊戯システムは、管理サーバ101、育成段階格納データベース102、遊戯装置103及び表示装置104を備える。管理サーバ101、育成段階格納データベース102、遊戯装置103及び表示装置104は、ネットワーク105によって接続されている。
管理サーバ101は、センシングデータを解析及び管理するコンピュータであって、プロセッサ、メモリ及び記憶装置(磁気ディスク等)を備え、プロセッサがメモリに記憶されたプログラムを実行することによって、後述する各処理が実行される。管理サーバ101の構成は、図4を用いて詳述する。
育成段階格納データベース102は、年令に応じた育成段階の情報を格納するデータベースであって、記憶装置(磁気ディスク等)及びデータ管理部(例えば、DBMS)を備える。育成段階格納データベース102には、月齢(又は、日齢、年齢)に対応する子供の発育段階の情報が格納されている。より具体的には、特定の図形を認識しない子供の数を統計的な処理をした数値が、生後の経過月に応じて格納されており、特定のサンプルについて統計的評価をするための母集団のデータが提供される。育成段階格納データベース102の構成は、図5Aから図5Dを用いて詳述する。
遊戯装置103は、複数のセンサを備え、子供が遊戯装置103で遊んでいる状況を検出する。遊戯装置103は、表示装置10301、スピーカ10302、吊飾り10303、制御装置10304、圧力センサ10305、張力センサ10306、視線抽出センサ10307、支柱10309及びマット10310を備える。
マット10310は、この遊戯装置103で子供が遊ぶ領域を定めるプレイマットであり、所定の位置に圧力センサ10305を備える。また、マット10310には、頭部領域10308が設けられており、この頭部領域10308内には子供の頭の動きを検出するため、圧力センサ10305が備わる。さらに、マット10310には、スピーカ10302(支柱10309)が取り付けられる。
支柱10309は、その中間部がマット10310上で、マット10310から所定の距離をもつように、その両端がマット10310に取り付けられている。なお、支柱10309は、マット10310の対角状に設けられるスピーカ10302に取り付けられてもよい。支柱10309がマット10310上で所定の空間を形成することによって、支柱10309に吊飾り10303を取り付けることができ、支柱10309に取り付けられた吊飾り10303を、マット10310上に横たわった子供が引っ張ることができる。
表示装置10301は、液晶表示パネルで構成された表示画面を備え、制御装置10304に設置され、子供がこの遊戯装置103で遊ぶための画像(動画、静止画等)を表示する。なお、表示装置10301は、支柱10309から吊り下げられて設置されてもよい。表示装置10301は、その表示画面がマット10310上に横たわった子供の方を向くように設置される。このため、マット10310上に横たわった子供が表示装置10301に表示される画像を見ることができる。表示装置10301は、制御装置10304と有線又は無線によって接続されるインターフェースを備える。
スピーカ10302は、マット10310の左右、すなわち、この遊戯装置103で遊ぶ子供の左側及び右側に取り付けられる。このため、この遊戯装置103で遊ぶ子供は、右スピーカ10302から出た音を主に右耳で、左スピーカ10302から出た音を主に左耳で聞く。スピーカ10302は、制御装置10304と有線又は無線によって接続される。
圧力センサ10305は、マット10310に所定の間隔でメッシュ状に設けられており、この遊戯装置103で遊ぶ子供の動きを検出することができる。頭部領域10308には、他の領域より細かい間隔でメッシュ状に圧力センサ10305が設けられている。このため、頭部領域10308では、この遊戯装置103で遊ぶ子供の頭の動き(例えば、横たわっている子供が左を向いているか、右を向いているか)を検出することができる。具体的には、メッシュ状に設けられた圧力センサ10305によって検出された圧力のカーブによって頭の動きを検出することができる。なお、圧力センサ10305には、ストレインゲージを用いることができる。
本実施の形態で、頭部の動きを検出する場合、圧力センサ10305を用いることなく、CCDカメラ(例えば、視線抽出センサ10307)によって撮影された画像を画像認識技術を用いて処理することによって、頭部の動きを検出してもよい。
張力センサ10306は、支柱10309の所定の位置に設けられ、吊飾り10303が下方に引っ張られたことを検出する。なお、張力センサ10306及び吊飾り10303は、支柱10309に沿って移動可能に、支柱10309に取り付けられてもよい。張力センサ10306が取得した信号は制御装置10304に送信される。
吊飾り10303は、圧力センサ10305から下方に延伸するように設けられ、その先端は子供が引っ張ることができる形状に形成されている。
視線抽出センサ10307は、カメラ(例えば、CCDカメラ)によって、この遊戯装置103で遊ぶ子供の顔の画像を撮影し、撮影された画像に顔認識技術を用いることによって、視線の移動を検出する。すなわち、顔全体を認識した情報と、黒目(角膜)の移動の情報との両方又は一方によって視線の移動を認識する。
制御装置10304は、プロセッサ、メモリ及び記憶装置を備えるコンピュータであって、プロセッサがメモリに記憶されたプログラムを実行することによって、後述する各処理が実行される。制御装置10304の構成は、図2を用いて詳述する。
制御装置10304は、表示装置10301に表示される画像を提供することによって、表示装置10301を制御する。また、制御装置10304は、スピーカ10302から発生する音を提供することによって、スピーカ10302を制御する。さらに、制御装置10304は、圧力センサ10305、張力センサ10306及び視線抽出センサ10307が取得した信号を収集する。制御装置10304と各センサとの間は、無線又は有線によって接続される。
また、制御装置10304は、管理サーバ101にデータ呈示処理(図11)を開始させるための、スタートボタン10312を備える。
なお、各センサからの出力を制御装置10304に転送せず、例えば近距離無線システム(例えば、微弱無線、特定省電力、ZigBee、ブルートゥース、無線LAN、無線PAN等)を用いて、データベースに直接転送してもよい。
表示装置104は、プロセッサ、メモリ、記憶装置、ネットワークインターフェース、表示装置及び入力装置を備えるコンピュータであり、プロセッサがメモリに記憶されたプログラム(例えば、情報表示用のブラウザ)を実行することによって必要な処理が実行される。表示装置104は、解析結果を表示することによって、この遊戯装置103で遊ぶ子供の発育段階をユーザに示すことができる。また、表示装置104は、ユーザからの指示の入力を受け付ける。
なお、表示装置104はコンピュータではなく、PDA、携帯電話機等の携帯端末を用いてもよい。
図2は、本発明の第1の実施の形態の制御装置10304の構成を示すブロック図である。
制御装置10304は、プロセッサ1030401、メモリ1030402、記憶装置1030403、ネットワークインターフェース1030404、A/D変換器1030405及びセンサインターフェース1030406を備えるコンピュータである。
プロセッサ1030401は、遊戯装置103を制御するためのプログラムを実行する。メモリ1030402は、プロセッサ1030401によって実行されるプログラム、及び、これらのプログラムの実行時に必要なデータを記憶する。
記憶装置1030403は、不揮発性の記憶装置(例えば、磁気ディスクドライブ、フラッシュメモリ等)によって構成され、各センサによって取得されたデータを格納する。ネットワークインターフェース1030404は、遊戯装置103をネットワーク105に接続するインターフェースである。センサインターフェース1030406は、圧力センサ10305、張力センサ10306及び視線抽出センサ10307が検出した信号を、制御装置10304内に取り込み、信号レベルを変換するインターフェースである。A/D変換器1030405は、センサインターフェース103046によって取り込まれた各センサからのアナログ信号をデジタル信号に変換する。
図3Aは、本発明の第1の実施の形態の制御装置10304のメモリ1030402に格納される呈示プロセスデータ1030407の構成を示す説明図である。
呈示プロセスデータ1030407は、プロセス番号及び呈示用画像データの種類を示す。
例えば、プロセス番号が1001の呈示用プロセスは、視覚による見分けの可否を判定するためのものである。図3Bには、プロセス番号が1001の呈示用プロセスのシーケンスを示す。なお、図3Bにおいて、横軸が時間である。このシーケンスでは、複数の画像が所定のインターバル時間をおいて、繰り返し表示される。このシーケンスでは「☆☆」及び「☆+」の表示時間(t(0)、t(1)、t(2)…)が規定されている。
この「☆☆」の表示時間はユーザが「☆」図形に馴れる時間であり、「☆+」の表示時間において「☆」と「+」とを注視する反応が検出される。この「☆☆」「☆+」の画像が表示されている時間に子供の反応が検出された場合、すなわち、「☆☆」の画像の表示時間と他の画像の表示時間「☆+」との間に子供が異なる反応を示した場合、視覚によって「☆」と「+」との見分けができたと判定することができる。
プロセス番号が1002の呈示用プロセスは、視覚による選好の可否を判定するためのものである。図3Cには、プロセス番号が1002の呈示用プロセスのシーケンスを示す。なお、図3Cにおいて、横軸が時間である。このシーケンスでは、複数の画像が所定のインターバル時間をおいて、繰り返し表示される。すなわち、「△○」と「○△」とが、所定のインターバル時間をおいて、繰り返し表示される。このシーケンスでは各画像の表示時間(t(0)、t(1)、t(2)、t(3)…)が規定されており、各画像の表示時間を刺激時間として、この間の子供の反応が検出される。この「△○」の画像が表示されている時間と、「○△」の画像が表示されている時間との間に子供の異なる反応が検出された場合、視覚による選好ができたものと判定することができる。
プロセス番号が1003の呈示用プロセスは、聴覚による聴き分けの可否を判定するためのものである。図3Dには、プロセス番号が1003の呈示用プロセスのシーケンスを示す。なお、図3Dにおいて、横軸が時間である。このシーケンスでは、複数の画像と音楽とが所定のインターバル時間をおいて、繰り返し表示及び再生される。すなわち、所定の音楽が演奏されている時間と無音時間とが、所定のインターバル時間をおいて繰り返される。この所定の音楽が演奏されている時間は、何も画像が表示されず、無音時間は所定の画像(例えば、太陽)又は所定の動画が表示される。なお、音楽ではなく、人の音声又は動物の鳴き声であってもよい。
このシーケンスでは音楽の各演奏時間(t(0)、t(1)、t(2)…)が規定されており、各演奏時間を刺激時間として、この間の子供の反応が検出される。この演奏時間に子供の反応が検出された場合、すなわち、演奏時間と無音時間との間に子供が異なる反応を示した場合、聴覚による聴き分けができたものと判定することができる。
プロセス番号が1004の呈示用プロセスは、聴覚による選好の可否を判定するためのものである。図3Eには、プロセス番号が1004の呈示用プロセスのシーケンスを示す。なお、図3Eにおいて、横軸が時間である。このシーケンスでは、複数の音楽(音楽(2,6)と音楽(2,8))が所定のインターバル時間をおいて、左右のスピーカから繰り返し再生される。なお、音楽(2,6)と音楽(2,8)とは所定の順序に演奏されて、ランダムに演奏されても、交互に演奏されてもよい。なお、音楽ではなく、人の音声又は動物の鳴き声であってもよい。
このシーケンスでは各音楽の演奏時間(t(0)、t(1)、t(2)…)が規定されており、各音楽の演奏時間を刺激時間として、この間の子供の反応が検出される。すなわち、この音楽(2,6)が演奏されている時間と、音楽(2,8)が演奏されている時間との間に子供の異なる反応が検出された場合、聴覚による選好ができたものと判定することができる。
次に、子供の反応をセンシングする方法を図3Bに示すシーケンスを例として説明する。
時間t(0)で画像「☆☆」が表示された時、子供は表示装置10301の方を向き、頭が動くと、圧力センサ10305が子供の頭によってマット10310に加わる力の変化を検出する。この頭の動きの検出時間と画像の表示時間とが重複していれば、検出された頭の動きは画像の表示に起因するものだと判定することができる。なお、後述する第2及び第3の実施の形態では、スイッチ10311(図13、図14参照)の操作時間と画像の表示時間とで判定される。
図4は、本発明の第1の実施の形態の管理サーバ101の構成を示すブロック図である。
管理サーバ101は、プロセッサ10101、メモリ10102、記憶装置10103及びネットワークインターフェース10104を備える。
プロセッサ10101は、管理サーバ101における各種処理のために、メモリ10102に格納されたプログラムを実行する。
メモリ10102は、システムプログラム1010201、データ受信・管理プログラム1010202、センシングデータ解析プログラム1010203、データ呈示プログラム1010204及び、解析結果表示プログラム1010205を格納する。
記憶装置10103は、不揮発性の記憶装置(例えば、磁気ディスクドライブ、フラッシュメモリ)によって構成され、センシングデータ1010301、呈示用画像データ1010302、呈示用音声・音響データ1010303及び呈示プロセスデータ1010304を格納する。
ネットワークインターフェース10104は、管理サーバ101をネットワーク105に接続するためのインターフェースである。
システムプログラム1010201は、管理サーバ101を動作させるための基本プログラムで、例えば、オペレーティングシステムである。
データ受信・管理プログラム1010202は、遊戯装置103の各センサによってセンシングされたデータを取得し、取得したセンシングデータを記憶装置10103に書き込み、また、書き込まれたデータを管理するプログラムである。
センシングデータ解析プログラム1010203は、育成段階格納データベース102に格納された反応データを参照し、遊戯装置103の各センサによって取得されたデータを解析し、この遊戯装置103で遊ぶ子供の発育段階に関する情報を提供するプログラムである。
データ呈示プログラム1010204は、呈示プロセスデータ1010304に基づいて、呈示用画像データ格納領域1010302及び呈示用音声・音響データ格納領域1010303から呈示すべき画像データ及び音声・音響データを読み出して、呈示プロセスデータに従って、画像を表示し、音声・音響を再生するプログラムである。
解析結果表示プログラム1010205は、センシングデータ解析プログラム1010203によって解析された発育段階に基づいて、表示装置104で表示可能な形式の画面データを生成するプログラムである。
センシングデータ格納領域1010301は、遊戯装置103の各センサによって取得されたセンシングデータを格納する。
呈示用画像データ格納領域1010302は、呈示プロセスデータに従って表示される呈示用の画像データ(動画、静止画)を格納する。呈示用音声・音響データ格納領域1010303は、呈示プロセスデータに従って再生される呈示用の音声・音響データ(音楽、人の音声、動物の鳴き声、乗り物の音等)を格納する。
呈示プロセスデータ格納領域1010304は、呈示用画像を表示し、呈示用音声・音響を再生するためのシーケンスの情報(呈示用プロセスデータ)を格納する。
図5は、本発明の実施の形態の育成段階格納データベース102の構成を示すブロック図である。
育成段階格納データベース102は、記憶装置10203及びネットワークインターフェース10204を備える。
記憶装置10203は、不揮発性の記憶装置(例えば、磁気ディスクドライブ、フラッシュメモリ)によって構成され、育成段階別視覚反応データ102101、育成段階別聴覚反応データ102102、育成段階別圧力反応データ102103及び育成段階別マルチモーダル反応データ102104を格納する。これらのデータは、遊戯装置103で遊ぶ子供について統計的評価をするための母集団のデータとなる。
ネットワークインターフェース10204は、育成段階格納データベース102をネットワーク105に接続するためのインターフェースであり、記憶装置10203に格納されたデータを管理するプロセッサを備える。
育成段階別視覚反応データ102101は、図6Aに示すように、パタン及び呈示プロセスの組み合わせ毎に、視覚刺激を与えた場合の、月齢の範囲に対応した検定結果の値を示す。育成段階別聴覚反応データ102102は、図6Bに示すように、パタン及び呈示プロセスの組み合わせ毎に、聴覚刺激を与えた場合の、月齢の範囲に対応した検定結果の値を示す。育成段階別視覚反応データ102101及び育成段階別聴覚反応データ102102に含まれる検定結果の値は、各月齢において、特定の図形を認識しない子供の割合を示す。
育成段階別圧力反応データ102103は、図6Cに示すように、パタン及び呈示プロセスの組み合わせ毎に、視覚刺激を与えた場合の月齢の範囲に対応した嗜好値、すなわち、刺激に対する所定の結果が達成される被験者(子供)の割合を示す。嗜好値は、具体的には、パタンAでは、マット上に設定された所定の領域に一定以上の圧力が所定の時間内に検出された時間の長さと所定の閾値との比較結果によって判定される。また、パタンBにおける嗜好値である「ボタンの発見、利用範囲」は、例えば、所定のボタンの操作時間、所定時間中の所定ボタンの操作頻度の各々と、所定の閾値との比較結果によって判定される。また、パタンCにおける嗜好値である「吊り下がり物体の引っ張り」は、例えば、吊飾り10303が設置された位置にある張力センサ10306によって所定の閾値以上の力が検出された時間長によって判定される。
育成段階別マルチモーダル反応データ102104は、図6Dに示すように、パタン及び呈示プロセスの組み合わせ毎に、聴覚刺激と視覚刺激を同期して与えた場合の、月齢の範囲に対応した嗜好値を示す。例えば、「泣き顔」と「泣き声」の組み合わせ、及び、「泣き顔」と「笑い顔」の組み合わせによる呈示パタン(プロセス)である。育成段階別圧力反応データ102103及び育成段階別マルチモーダル反応データ102104に含まれる嗜好値は、各月齢の子供がとる典型的な行動を示す。
図7は、本発明の第1の実施の形態の遊戯装置103において実行されるデータ収集処理のフローチャートである。
遊戯装置103が起動されると、視線抽出センサ10307からのデータ収集処理1302、圧力センサ10305からのデータ収集処理1303、及び張力センサ10306からのデータ収集処理1304が実行される。これらのデータ収集処理は、各センサで並行して実行される。
データ収集処理1302では、視線抽出センサ10307が起動し、画像データを収集する。
データ収集処理1303では、圧力センサ10305が起動し、圧力データを収集する。これによって、マット10310に設けられたメッシュ状に設けられているどの圧力センサに圧力が加わっているかを検出することができる。
データ収集処理1304では、張力センサ10306が起動し、張力データを収集する。これによって、支柱10309に設置されている吊飾り10303が引っ張られたことを検出することができる。
制御装置10304は、各センサから出力されたデータを所定の頻度で繰り返し収集する(1305)。そして、制御装置10304は、各センサから収集したアナログデータをデジタルデータに変換し(1306)、A/D変換されたセンシングデータとデータの取得時刻とを対応付けて、センシングデータセットを生成する(1307)。
制御装置10304は、生成されたセンシングデータセットを管理サーバ101に送信する(1308)。
図8は、本発明の第1の実施の形態の管理サーバ101において実行されるメイン処理のフローチャートである。
まず、管理サーバ101及び表示装置104の電源が投入されると(1401)、表示装置104にメニュー画面(図9A)が表示され(1402)、ユーザによる選択がされる(1403)。その後、ユーザの選択によって処理が振り分けられる。
「今までの記録」が選択された場合、ステップ1404において、今日のセンシングデータ11010301をセンシングデータ格納領域から読み出して、今日取得されたセンシングデータを表示する。今日の記録の表示画面(図9B)には、次にデータを表示する時間単位を選択するメニュー807、808、809が含まれている。
その後、今日の記録画面に表示されたメニューによって、データの表示期間(「週」「月」「年」)が選択される(1405)。
「週」が選択された場合、図9Cに示すように、ステップ1406において、直近1週間のセンシングデータ11010301をセンシングデータ格納領域から読み出して、1週間の記録を表示する。また、「月」が選択された場合、ステップ1406において、直近1月間のセンシングデータ11010301をセンシングデータ格納領域から読み出して、1月間の記録を表示する。「年」が選択された場合、ステップ1406において、直近1年間のセンシングデータ11010301をセンシングデータ格納領域から読み出して、1年間の記録を表示する。
一方、ステップ1403において、「今日のメニュー作り」が選択された場合、その後に表示される メニュー作成画面(図10)において、視覚区別バリエーション、聴覚区別バリエーション、視覚選好バリエーション、及び聴覚選好バリエーションの少なくとも一つの数値を入力し、さらに、メニューが実行される時間を入力する(1408)。そして、「確定」ボタン706が操作されると(1409)、入力されたデータが表示装置104から管理サーバ101に送信される。入力されたデータを受信した管理サーバ101は、入力されたデータに基づいて遊戯装置103の表示部10301に表示される表示内容のシーケンス及びスピーカ10302から発される音響(音声、音楽等)のシーケンスを生成する(1410)。この生成されたシーケンスの例は、図3Bから図3Eに示したとおりである。その後、管理サーバ101は、生成されたシーケンスを遊戯装置103に送信する(1411)。
なお、新たにシーケンスを生成することなく、記憶されたシーケンスを表示し、利用者に選択させてもよい。この場合、選択されたシーケンスが遊戯装置103に送信される。
図9Aは、本発明の第1の実施の形態の表示装置104に表示されるメニュー画面の説明図である。このメニュー画面は管理サーバ101にて生成され、表示装置104で実行される表示プログラム(例えば、ブラウザ)によって、表示装置104の表示画面に表示される。
図9Aに示すメニュー画面には、日付、名前、生後経過日数(又は、月数、年数)を含む初期メッセージ、機能選択ボタン801、802及び初期設定ボタン803が含まれる。
機能選択ボタン801は、管理サーバ101に記録された今までの記録を解析し、記録内容及び解析結果を見る場合に選択される。機能選択ボタン802は、この遊戯装置103で遊ぶ子供に呈示される画像及び/又は音響のシーケンスを作成する場合に選択される。初期設定ボタン803は、この遊戯システムの初期条件を設定するために初期設定画面を呼び出す際に場合に操作される。
図9Bは、本発明の第1の実施の形態の表示装置104に表示される記録表示画面の説明図である。
記録表示画面は、その日の記録を表示する画面で、メニュー画面で「今までの記録」が選択された後に表示される。この記録表示画面には、日付表示欄804、日付変更ボタン805、記録内容表示欄806、表示期間変更ボタン807、808、809が含まれる。
日付表示欄804には、記録が表示されている日が表示される。日付変更ボタン805は日付表示欄804の左右に設けられ、現在表示されている日付を1日前又は後ろにずらして、表示内容を変更することができる。
記録内容表示欄806には、リスト、結果及び対応が表示される。記録内容表示欄806中のリストには、呈示されるパタンの概要を示す。記録内容表示欄806中の結果には、被験者の動作を判定した結果に基づいて選択されるメッセージが表示される。記録内容表示欄806中の対応には、この結果に対応する今後の行動の示唆が表示される。
例えば、記録内容表示欄806の1行目は、円形と三角形とを見分ける呈示パタンにおいて、この被験者は平均的な子供より優れた結果であったので、メッセージ「とてもよくできました。」が表示される。また、記録内容表示欄806の2行目は、男性の声と女性の声とを見分ける呈示パタンにおいて、この被験者は平均的な子供のレベルに到達していないので、メッセージ「もうちょっとかな。」が表示される。
さらに、記録内容表示欄806の3行目は、所定の呈示パタンではなく、ボタンの探索を目的とする試験の結果であって、所定の遊戯時間に所定回数ボタンが操作された場合に、メッセージ「今日はいろいろなボタンを見つけました。」が表示される。このボタンは、マット10310に着色等の表示をするのことによって、所定の位置に設定される。すなわち、着色等の表示によってボタンに設定された位置の圧力センサ10305による圧力の検出によって、ボタンが探索されたことを判定することができる。
表示期間変更ボタン807、808及び809は、各々、週、月、年の単位で、データを表示するために操作される。
図9Cは、本発明の実施の形態の表示装置104に表示される画面の説明図であり、「月」が選択された後に表示される画面を示す。
図9Cに示す記録表示画面は、図9Bに示す記録表示画面で、表示期間変更ボタン807〜809が操作された後、選択された期間の記録を表示する画面であり、記録内容表示欄806、表示移動操作領域810が含まれる。
図9Cに示す画面の記録内容表示欄806は、横軸が時間軸(月)で、縦軸が呈示されるパタンの概要を示す。そして、各呈示パタンにおいて選好が達成された月に、達成マーク811が表示される。
表示移動操作領域810は、記録が表示されている期間を前後に移動させるために操作されるスクロールバーである。なお、表示移動操作領域810には、記録が表示されている期間が表示されてもよい。
図10は、本発明の第1の実施の形態の表示装置104に表示されるメニュー作成画面の説明図である。
メニュー作成画面は、この遊戯装置103で遊ぶ子供に呈示される画像・音楽のシーケンスを作成するための画面で、メニュー画面で「今日のメニュー作り」が選択された後に表示される。このメニュー作成画面には、視覚区別バリエーションの種類の入力欄701、聴覚区別バリエーションの種類の入力欄702、視覚選好バリエーションの種類の入力欄703、聴覚選好バリエーションの種類の入力欄704、遊戯時間の入力欄705及び確定ボタン706が含まれる。
視覚区別バリエーションの種類の入力欄701は、視覚による見分けの呈示プロセスデータを作成する場合に、表示される画像の種類が入力される。聴覚区別バリエーションの種類の入力欄702は、聴覚による聴き分けの呈示プロセスデータを作成する場合に、再生される音の種類が入力される。
視覚選好バリエーションの種類の入力欄703は、視覚による選好の呈示プロセスデータを作成する場合に、表示される画像の種類が入力される。聴覚選好バリエーションの種類の入力欄704は、聴覚による選好の呈示プロセスデータを作成する場合に、再生される音の種類が入力される。
遊戯時間の入力欄705は、このプロセスを実行する時間が入力される。確定ボタン706は、入力したデータを確定する場合に操作される。確定ボタン706が操作されると、入力されたデータは、管理サーバ101に送信される。
管理サーバ101は、入力されたデータに基づいて、呈示用プロセスを生成する。具体的には、Sel[p][q]でプロセスが識別される。ここで、pは、バリエーション番号で、具体的には、視覚による見分けの呈示プロセスの場合には「0」、聴覚による聴き分けの呈示プロセスの場合には「1」、視覚による選好の呈示プロセスの場合には「2」、聴覚による選好の呈示プロセスの場合には「3」となる。また、qは、バリエーション数で、種類の各入力欄701、702、703、704に入力された値となる。
また、遊戯時間欄705に入力された値は、複数のプロセスの組み合わせを示すパラメータSel_all[r][s][v]を生成するために用いられる。ここで、rは、前記4種類の呈示プロセスの中からの選択される呈示プロセスの数を示す。また、sはpと等しい。また、vは、選択されたパターンpの数)である。
図11は、本発明の第1の実施の形態の管理サーバ101において実行されるデータ呈示処理のフローチャートである。
管理サーバ101は、遊戯装置103のスタートボタン10312が操作されたことを検出すると(1501)、データ呈示プログラム1010204を起動し、選択された呈示プロセスデータのプロセス番号Sel[0][q]のデータを呈示プロセスデータ記憶領域1010304から読み出す(1502)。そして、読み出された呈示プロセスデータに定義されている呈示用画像データ及び呈示用音響データを、各々、管理サーバ101の呈示用画像データ格納領域1010302及び呈示用音声・音響データ格納領域1010303から読み出す(1503)。
その後、管理サーバ101は、選択された呈示プロセスデータに従って、画像データ及び音響データを呈示するように、制御装置10304に指示する(1504)。制御装置10304は、各々、表示装置10301及びスピーカ10302に画像信号及び音響信号を送る。
制御装置10304は、呈示される画像データ及び音響データの開始時刻及び終了時刻を管理サーバ101に送る。そして、管理サーバ101は、受信したデータの呈示時刻を記憶装置に格納する(1505)。
そして、管理サーバ101は、制御装置10304から送信されたセンシングデータセット(センシングデータとデータ取得時刻とのペア)を受信すると(1506)、センシングデータセットからデータ取得時刻を抽出し、抽出されたデータ取得時刻とデータ呈示時刻とを比較して、センシングデータと呈示されたデータとを対応付ける(1507)。
図12は、本発明の第1の実施の形態の管理サーバ101において実行されるデータ解析処理のフローチャートである。
まず、管理サーバ101は、遊戯装置103の制御装置10304から、メモリ103042に格納されたデータを収集する。このとき、ユーザが表示装置104を操作して、データを収集する遊戯装置103を指定してもよい。
なお、管理サーバ101が遊戯装置103からデータを収集するのではなく、遊戯装置103が所定のタイミングで管理サーバ101にデータの送信を要求することを契機として、管理サーバ101がデータを収集してもよい。
管理サーバ101は、遊戯装置103から受信したデータを記憶装置10103のセンシングデータ格納領域1010301に格納する(1601)。
次に、管理サーバ101は、解析すべきシーケンスの選択を受け付け、受け付けたシーケンスを特定する(1602)。
その後、選択されたシーケンスのセンシングデータを記憶装置10103のセンシングデータ格納領域1010301から読み出す(1603)。このとき、読み出されるデータには、各センサが検出を開始・終了した時刻、すなわち、視線注視開始時刻、視線注視終了時間、圧力検出開始時刻、圧力検出終了時刻、張力検出開始時刻、張力検出終了時刻が含まれる、
そして、選択されたシーケンスの画像の呈示時刻を記憶装置10103の呈示用画像データ格納領域1010302から読み出し、選択されたシーケンスの音響の呈示時刻を記憶装置10103の呈示用音声・音響データ格納領域1010304から読み出す(1604)。
次に、管理サーバ101は、ステップ1603で読み出されたセンシングデータと刺激呈示時刻とを対応付ける(1605)。
具体的には、刺激呈示時間中に、圧力センサ10305が子供の頭によってマット10310に加わる力の変化が検出されると(すなわち、この頭の動きの検出時間と画像の表示時間とが重複していれば)、検出された頭の動きは画像の表示に起因するものだと判定することができる。このとき、頭の動きの検出時間と画像の表示時間との重複時間を算出し、重複時間が所定時間より長い場合に、検出された頭の動きと画像の表示とが対応するかを判定してもよい。
また、圧力センサ10305ではなく、視線抽出センサ10307によって、呈示された刺激による、子供の視線の動きを検出してもよい。さらに、圧力センサ10305によって検出された頭の動きと、視線抽出センサ10307によって検出された視線の動きとを併用してもよい。
なお、画像表示開始時刻から所定時間内に頭の動きが検出された場合に、頭の動きは画像の表示に起因するものだと判定してもよい。さらに、画像表示サイクルと頭の動きのサイクルとを比較して、頭の動きと画像の表示との関係を判定してもよい。
また、選好の呈示プロセスの場合、表示された画像又は再生された音に対応した吊飾り10303が操作されたことが張力センサ10306によって検出された時間と画像の表示時間とを対比して、検出された頭の動きと画像の表示とが対応するかを判定してもよい。
次に、管理サーバ101は、センシングデータを用いて、設定された領域における反応時間を算出する(1606)。
例えば、呈示される2種類の画像の各々の周囲に検出領域を設定する。この検出領域は、呈示される画像の周囲に円形を設定したり、画面の左半分と右半分とを分割した領域を設定してもよい。そして、各領域に視線が滞留する時間を算出する。なお、視線が複数回滞留した場合は、その複数回の滞留時間を加算した時間を算出する。
次に、算出された二つの反応時間(例えば、二つの領域の視線滞留時間)の差を検定する(1607)。この検定は、例えば、t検定を用い、p値を得ることができる。
その後、センシングデータの検定結果(p値)を、各呈示パタンにおける判定値と比較する(1608)。判定値には、例えば、図6A、図6Bの検定結果又は図6C、図6Dの嗜好値を用いることができる。
比較の結果、p値が検定結果又は嗜好値を超える場合は、その月齢において標準的な段階に達していないと判定する。一方、p値が検定結果又は嗜好値以下である場合は、その月齢において標準的な段階に達していると判定する。すなわち、現在の月齢よりも高月齢の値以下であれば、その月齢の状態まで発達していると判定することができる(1609)。
そして、比較されたセンシングデータを育成段階格納データベース102に格納する(1610)。その後、新たに格納されたセンシングデータを既に格納されているセンシングデータに加算した結果を用いて検定をし、新たに算出されたp値によって判定値を更新する(1611)。
以上説明したように、第1の実施の形態の遊戯システムによると、呈示された刺激(画像、音)と利用者(子供)の動きと対応させたセンシングデータと、複数人に対する試験から得られたデータとを対比して、被験者(子供)の発育段階を解析するので、今まで人間が観察しなければならなかった事象を自動的に観察し、子供の発育段階を簡易かつ的確に判定することができる。
<実施形態2>
図13は、本発明の第2の実施の形態の遊戯装置103の説明図である。
第2の実施の形態の遊戯装置103は、前述した第1の実施の形態の遊戯装置103と異なり、マット10310上に座ることができる子供を対象とするものである。なお、前述した第1の実施の形態と同じ構成及び処理には同じ符号を付し、その詳細な説明は省略する。
第2の実施の形態の遊戯装置103は、表示装置10301、スピーカ10302、制御装置10304、視線抽出センサ10307、マット10310及びスイッチ10311を備える。
マット10310は、この遊戯装置103で子供が遊ぶ領域を定めるプレイマットであり、正面に表示装置10301、左右にスピーカ10302が取り付けられる。また、表示装置10301の前面のマット10310の上には、スイッチ10311が設けられる。
表示装置10301は、マット10310の正面に取り付けられ、液晶表示パネルで構成された表示画面及び制御装置10304と接続されるインターフェースを備え、子供がこの遊戯装置103で遊ぶための画像(動画、静止画等)を表示する。
スピーカ10302は、マット10310の左右、すなわち、この遊戯装置103で遊ぶ子供の左側と右側とに取り付けられる。このため、この遊戯装置103で遊ぶ子供は、右スピーカ10302から出た音を主に右耳で、左スピーカ10302から出た音を主に左耳で聞く。スピーカ10302は、制御装置10304と有線又は無線によって接続される。
視線抽出センサ10307は、カメラ(例えば、CCDカメラ)によって、この遊戯装置103で遊ぶ子供の顔の画像を撮影し、撮影された画像に顔認識(目認識)技術を用いることによって、視線の移動を検出する。
スイッチ10311は、この遊戯装置103で遊ぶ子供の右手及び左手で操作しやすい位置に設けられており、表示装置10301に表示される画像(又は、スピーカ10302から放出された音)によって、子供が手を動かしたことを検出する。なお、スイッチ13011は、接点を持ったスイッチの他、人体の接触を検出する接触スイッチであってもよい。
制御装置10304は、プロセッサ、メモリ及び記憶装置を備えるコンピュータであって、プロセッサがメモリに記憶されたプログラムを実行することによって、必要な処理が実行される。また、制御装置10304は、圧力センサ10305、視線抽出センサ10307及びスイッチ10311が取得した信号を収集する。制御装置10304と各センサ及びスイッチとの間は、無線又は有線によって接続される。
第2の実施の形態は、前述した第1の実施の形態と、遊戯装置103の構成を除き、そのほかのシステムの構成及び実行される処理は同じである。
なお、データ解析処理(図12)のステップ1605における、センシングデータと刺激呈示時刻との対応付けは、スイッチ10311の操作時間、視線抽出センサ10307によって検出された視線の動きとの両方又は一つを用いて判定する。
以上説明したように、第2の実施の形態の遊戯システムによると、前述した第1の実施の形態の遊戯システムの対象者より年齢の高い利用者(子供)の発育段階を簡易かつ的確に判定することができる。
<実施形態3>
図14は、本発明の第3の実施の形態の遊戯装置103の説明図である。
第3の実施の形態の遊戯装置103は、前述した第1の実施の形態の遊戯装置103と異なり、一つの筐体に収容された構成である。なお、前述した第1の実施の形態と同じ構成及び処理には同じ符号を付し、その詳細な説明は省略する。
第3の実施の形態の遊戯装置103は、表示装置10301、スピーカ10302、視線抽出センサ10307及びスイッチ10311を備え、筐体内に制御装置10304を備える。
表示装置10301は、筐体の上面に取り付けられ、液晶表示パネルで構成された表示画面であり、子供がこの遊戯装置103で遊ぶための画像(動画、静止画等)を表示する。
スピーカ10302は、筐体の左側面及び右側面に取り付けられる。このため、この遊戯装置103で遊ぶ子供は、右スピーカ10302から出た音を主に右耳で、左スピーカ10302から出た音を主に左耳で聞く。
視線抽出センサ10307は、カメラ(例えば、CCDカメラ)によって、この遊戯装置103で遊ぶ子供の顔の画像を撮影し、撮影された画像に顔認識(目認識)技術を用いることによって、視線の移動を検出する。
スイッチ10311は、この遊戯装置103で遊ぶ子供の右手及び左手で操作しやすい位置に設けられており、表示装置10301に表示される画像(又は、スピーカ10302から放出された音)によって、子供が手を動かしたことを検出する。なお、スイッチ13011は、接点を持ったスイッチの他、人体の接触を検出する接触スイッチであってもよい。
制御装置10304は、プロセッサ、メモリ及び記憶装置を備え、プロセッサがメモリに記憶されたプログラムを実行することによって、必要な処理が実行される。また、制御装置10304は、視線抽出センサ10307及びスイッチ10311が取得した信号を収集する。
第3の実施の形態は、前述した第1の実施の形態と、遊戯装置103の構成を除き、そのほかのシステムの構成及び実行される処理は同じである。
なお、データ解析処理(図12)のステップ1605における、センシングデータと刺激呈示時刻との対応付けは、スイッチ10311の操作時間、視線抽出センサ10307によって検出された視線の動きとの両方又は一つを用いて判定する。
以上説明したように、第3の実施の形態の遊戯システムによると、持ち運びに便利な形態の遊戯装置103を用いて、利用者(子供)の発育段階を簡易かつ的確に判定することができる。
<実施形態4>
第4の実施の形態は、前述した第1又は第2の実施の形態の管理サーバ101及び育成段階格納データベース102と、遊戯装置103の制御装置10304とが一体に構成されたものである。
このため、第1の実施の形態において管理サーバ101によって実行されるメイン処理(図8)及びデータ解析処理(図12)は、制御装置10304によって、実行される。すなわち、制御装置10304がセンシングデータを解析し、解析結果を表示装置104に表示する。
以上説明したように、第4の実施の形態の遊戯システムによると、遊戯装置103に管理サーバ101及び育成段階格納データベース102の機能を収容したので、遊戯装置103と表示装置104以外の構成を必要とせずシステムを構成することができる。
<実施形態5>
第5の実施の形態は、前述した第3の実施の形態の管理サーバ101及び育成段階格納データベース102と、遊戯装置103の制御装置10304とが一体に構成されたものである。
このため、第1の実施の形態において管理サーバ101によって実行されるメイン処理(図8)及びデータ解析処理(図12)は、制御装置10304によって、実行される。すなわち、制御装置10304がセンシングデータを解析し、解析結果を表示装置10301に表示する。また、利用者からの指示はスイッチ10311によって入力される。
以上説明したように、第5の実施の形態の遊戯システムによると、遊戯装置103に管理サーバ101及び育成段階格納データベース102の機能を収容したので、遊戯装置103以外の構成を必要とせずシステムを構成することができる。