JP4165707B2 - 刺激提示システム - Google Patents

Description

この発明は刺激提示システムに関し、特にたとえば、映像、音、匂いおよび振動の少なくとも１つを含む刺激をユーザに対して提示する、刺激提示システムに関する。

従来のこの種の刺激提示システムの一例が特許文献１に開示される。この先行技術のリラックスリフレッシュ装置は、リクライニング式の椅子の形状に形成され、振動、光、芳香を含むエアおよび音による刺激を使用者に与えて、使用者をリラックスさせるものである。

また、先行技術の他の例が特許文献２に開示される。この先行技術のセラピー玩具は、暦の月に対するメロディ、曜日に対するメッセージ、１日の生活パターンの各イベント時刻に対する生活メッセージを、該当する月、曜日、時刻に応じて発生する。これにより、たとえば一人暮らしの者の痴呆症を予防する。
特開平５−２６１１５６号 特開２００２−１７２２７４

しかし、前者の場合には、振動、光、芳香を含むエアおよび音による刺激を与えられるが、いずれの刺激がリラックスするのに最適であるかは使用者が試してみる必要がある。また、使用者の精神状態が不安定であるような適切なときに刺激を与えることができなかった。さらには、使用者が最適な刺激を見つけられるとは限らなかった。

また、後者の場合は、提示するメロディやメッセージのような刺激および提示する時刻は予め決定されているため、それがすべてのユーザにとって適切であるとは限らなかった。

それゆえに、この発明の主たる目的は、新規な、刺激提示システムを提供することである。

また、この発明の他の目的は、ユーザの精神状態に応じて適切に刺激を提示できる、刺激提示システムを提供することである。

請求項１の発明は、映像、音、匂いおよび振動の少なくとも１つを含む刺激をユーザに提示する刺激提示システムであって、ユーザについて、複数の所定の活動の内容と当該複数の所定の活動の内容の各々に対応して提示すべき１または複数の刺激の種類と当該ユーザに対する当該１または複数の刺激の各々の適合度とを記憶する個性情報記憶手段、複数の所定の活動の内容に対応して一般的な傾向に従って予め決定した、提示すべき１または複数の刺激の種類と当該１または複数の刺激を提示すべき優先度とを記憶する刺激提示情報記憶手段、ユーザの活動の内容を検出する活動状態検出手段、ユーザの精神状態を検出する精神状態検出手段、精神状態検出手段によってユーザの精神状態が不安定であることが検出されたとき、活動状態検出手段によって検出された活動の内容に対応して、個性情報記憶手段に記憶される当該ユーザについての提示すべき１または複数の刺激の種類および当該ユーザに対する当該１または複数の刺激の適合度と、刺激提示情報記憶手段に記憶される１または複数の刺激の種類および当該１または複数の刺激を提示すべき優先度とに基づいて、当該ユーザに提示する刺激を決定する刺激決定手段、および刺激決定手段によって決定された刺激をユーザに提示する刺激提示手段を備える、刺激提示システムである。

請求項１の発明では、刺激提示システムは、映像、音、匂いおよび振動の少なくとも１つを含む刺激をユーザに提示する。個性情報記憶手段は、ユーザについて、複数の所定の活動の内容と当該複数の所定の活動の内容の各々に対応して提示すべき１または複数の刺激の種類と当該ユーザに対する当該１または複数の刺激の各々の適合度とを記憶する。また、刺激提示制御情報記憶手段は、その複数の所定の活動の内容に対応して一般的な傾向に従って予め決定した、提示すべき１または複数の刺激の種類と当該１または複数の刺激を提示すべき優先度とを記憶する。活動状態検出手段は、ユーザの活動の内容を検出する。精神状態検出手段は、ユーザの精神状態を検出する。たとえば、落ち着いている（リラックスしている）ような安定な状態、または、そわそわしたり、緊張したりしているような不安定な状態を検出する。刺激決定手段は、精神状態検出手段によってユーザの精神状態が不安定であることが検出されたとき、活動状態検出手段によって検出された活動の内容に対応して、個性情報記憶手段に記憶される当該ユーザについての提示すべき１または複数の刺激の種類および当該ユーザに対する当該１または複数の刺激の適合度と、刺激提示情報記憶手段に記憶される１または複数の刺激の種類および当該１または複数の刺激を提示すべき優先度とに基づいて、当該ユーザに提示する刺激を決定する。刺激提示手段は、刺激決定手段によって決定された刺激をユーザに提示する。

請求項１の発明によれば、ユーザの精神状態が不安定なときに刺激を提示するので、精神状態に応じて適切に刺激を提示することができる。

請求項２の発明は請求項１に従属し、適合度および優先度は、それぞれ、度合いを数値の大きさによって表わされ、刺激決定手段は、提示すべき刺激の種類の候補が複数存在するとき、適合度と優先度との積算値が最大である提示すべき刺激を、ユーザに提示する刺激として決定する。

請求項２の発明では、適合度および優先度は、それぞれ、度合いを数値の大きさによって表わされる。刺激決定手段は、提示すべき刺激の種類の候補が複数存在するとき、適合度と優先度との積算値が最大である提示すべき刺激を、ユーザに提示する刺激として決定する。

請求項２の発明によれば、適合度と優先度との積算値が最大である刺激をユーザに提示するので、ユーザに対して適切な刺激を提示することができる。

請求項３の発明は請求項１または２に従属し、精神状態検出手段は、刺激提示手段によってユーザに刺激が提示された後のユーザの精神状態をさらに検出し、刺激が提示された後のユーザの精神状態が所定の状態を示すとき、適合度を更新する更新手段をさらに備える。

請求項３の発明では、精神状態検出手段は、刺激提示手段によってユーザに刺激が提示された後のユーザの精神状態も検出する。更新手段は、刺激提示手段によってユーザに刺激が提示された後のユーザの精神状態が、所定の状態を示すとき、適合度を更新する。たとえば、精神状態に変わりがなく、精神状態が不安定な状態のままであれば、今回提示した刺激の適合度が低いと判断して、当該適合度を低減させる。一方、精神状態が安定し、ユーザが落ち着いた場合には、今回提示した刺激の適合度が高いと判断して、当該適合度を増加させる。つまり、ユーザの個性情報に含まれる適合度は最適化されるのである。

請求項３によれば、刺激を提示した後のユーザの精神状態に応じて個性情報に含まれる適合度を最適化するので、次回以降ユーザに刺激を提示する場合に、最適な刺激を選択して、提示することができる。

この発明によれば、ユーザの精神状態を検出し、精神状態が不安定であるときに刺激を与えるので、ユーザに対して適切に刺激を提示することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの実施例の刺激提示システム１０は、ＰＣ或いはワークステーションのようなコンピュータ１２を含み、このコンピュータ１２は時計回路１２aを内蔵している。また、コンピュータ１２には、カメラ１４、カメラ１６、マイク１８、生理情報検出装置２０および活動状態検出装置２２が接続される。

カメラ１４およびカメラ１６は、ＣＣＤイメージャのような撮像装置を用いたカメラである。この実施例では、カメラ１４はユーザの顔画像を撮影し、カメラ１６はユーザの全身を撮影する。カメラ１４およびカメラ１６から出力される画像データはコンピュータ１２に入力される。

マイク１８は、たとえば集音マイクであり、ユーザが存在する場ないしは空間（部屋）の音すなわち音声または音楽を集音し、集音した音に対応する音声信号（音声データ）をコンピュータ１２に入力する。

生理情報検出装置２０は、ユーザの生理情報を検出し、検出した生理情報に対応するデータ（以下、「生理情報データ」という。）をコンピュータ１２に入力する。ここで、生理情報とは、脈拍、血圧、脳波および呼吸数などをいう。したがって、脈拍数の数値、血圧の数値、脳波の数値および呼吸の数値についてのデータ（数値データ）がコンピュータ１２に入力されるのである。図示は省略するが、生理情報検出装置２０はユーザに装着されるウェアラブルセンサであり、脈拍計、血圧計、脳波計および呼吸計を含む。

活動状態検出装置２２は、ユーザの活動状態を検出するための装置であり、たとえば、テレビジョン（ＴＶ）受像機、ビデオテープレコーダやＤＶＤプレーヤのような映像再生装置、コンポ或いはミニコンポのような音楽再生装置の各々についての電源のオン／オフ状態を検出し、オン／オフ状態を示すオン／オフ状態データをコンピュータ１２に入力する。図示は省略するが、活動状態検出装置２２は、ＴＶ受像機、映像再生装置および音楽再生装置のフロントパネルに設けられるパイロットランプの明滅や色をカメラで撮影し、当該カメラからの映像により、電源のオン／オフ状態を判断することができる。ただし、ＴＶ受像機、映像再生装置および音楽再生装置の電源回路や制御装置（マイコン）から電気的に検出するようにすることもできる。

また、刺激提示システム１０は複数のデータベース（ＤＢ）３０、３２、３４および３６を含み、ＤＢ３０〜３６はコンピュータ１２に接続される。ユーザ状態情報ＤＢ３０は、ユーザの状態情報についてのデータ（ユーザ状態情報データ）を記憶する。この実施例では、ユーザ状態情報データは、図２に示すように、時刻に対応して、活動の種類および状態情報が記述されたデータであり、さらに、時刻に対応して、ユーザに対して提示した刺激の種類も記述される。後で詳細に説明するが、ユーザ状態情報データは、コンピュータ１２によって更新（追加）される。

ここで、活動の種類とは、ユーザの活動状態についての種類をいい、具体的には、「ＴＶ視聴」、「ビデオ鑑賞」または「音楽鑑賞」が該当する。これは、カメラ１６からの画像データ、マイク１８からの音声データおよび活動状態検出装置２２の出力に基づいて判断できるからである。また、状態情報とは、ユーザの精神状態についての情報をいい、具体的には、「落ち着き有り」、「そわそわ」、「（過度に）緊張」などが該当する。これは、カメラ１４およびカメラ１６からの画像データおよび生理情報検出装置２０からの生理情報データに基づいて判断できるからである。さらに、刺激種類とは、ユーザに提示する刺激の種類をいい、この実施例では、映像、音（音楽）、匂いおよび振動が該当する。ただし、この実施例では、映像、音および匂いについては、これらのカテゴリのみならず、各カテゴリで提示すべき内容（コンテンツ）や種類が複数存在する。たとえば、映像であれば、ビデオ（たとえば、自分史ビデオや映画）や風景の画像（動画、静止画）などが該当する。また、音であれば、クラシック、ジャズ、ポップス、ゴスペル、ロックなどのようなジャンル別の音楽や単なる物音（効果音）などが該当する。匂いであれば、食べ物（たとえば、カレー）の匂い、香水の匂い、森林の匂いなどが該当する。

また、この実施例では、人間の鼓動周期に合致するような所定の周波数で振動を提示するようにしてあるが、複数種類の周波数で振動を提示するようにしてもよい。

このようなユーザ状態情報データを参照することにより、たとえば、８時１５分に、ユーザはＴＶ受像機を視聴し、そのとき、ユーザは落ち着いていたことが分かる。その後、８時３０分に、ユーザはテレビ視聴中にそわそわし、そのとき、ユーザに対してカレーの匂いを提示したことが分かる。

ユーザプロファイル情報ＤＢ３２は、図３に示すように、ユーザプロファイル情報データを記憶する。この実施例では、ユーザプロファイル情報データは、活動の種類に対応して、時間帯、提示すべき刺激種類および適合度が記述されたテーブルデータである。活動の種類は、上述した通りであるが、「なんでも」と記述してあるのは、活動の種類に限定がないことを示してある。また、時間帯には、この実施例では、「朝」、「昼」、「夕方」、「夜」の区分が記述されるが、時間帯を規定（指定）して、時刻の範囲を記述するようにしてもよい。また、時間帯として、「いつでも」と記述してあるのは、時間帯に限定がないことを示してある。

また、提示すべき刺激種類には、ユーザに対して提示すべき刺激の種類が記述される。刺激種類は、上述した通りであるが、その内容は、活動の種類と時間帯とに対応している。

さらに、適合度は、提示すべき刺激種類についての効果度（適切度）を示す数値である。この実施例では、刺激提示システム１０は、ユーザに落ち着きがない場合、たとえば、そわそわしたり、緊張したり、興奮したりしているような精神状態が不安定である場合に、ユーザに刺激を提示して、ユーザを落ち着かせるのであるが、落ち着かせることのできる効果度を、適合度として数値で表している。この実施例では、適合度は「０」〜「１０」の値で設定されるが、デフォルト値は「５」であり、後述するように、該当する刺激を提示した後に、ユーザが落ち着いたか否かに応じて、その値は変更（増加、減少）される。

このようなユーザプロファイル情報データでは、たとえば、ユーザが朝ＴＶ受像機を視聴している場合には、提示すべき刺激はソファーの振動であり、その適合度が「４」であることが分かる。また、活動の種類および時間帯に拘わらず、提示すべき刺激はカレーの匂いであり、その適合度は「６」であることも分かる。

たとえば、ユーザプロファイル情報は、医師の問診や介助者の経験に基づいて作成される。したがって、「適合度」は、上述したデフォルト値（「５」）ではなく、医師の問診や介助者の経験から取得された数値を設定するようにしてもよい。また、様々な時間帯に、様々な刺激を提示した結果をユーザ状態情報（図２参照）として取得し、取得したユーザ状態情報に基づいてユーザプロファイル情報を作成するようにしてもよい。

刺激提示制御情報ＤＢ３４は、刺激提示制御情報データを記憶する。この刺激提示制御情報データは、図４に示すように、活動状態に対応して、提示すべき刺激種類および優先度が記述されたテーブルデータである。たとえば、ユーザがＴＶ視聴中である場合に、提示すべき刺激はソファーの振動であり、その優先度は「１０」であることが分かる。この刺激提示制御情報データは、軽度脳障害者の一般的な傾向に従って予めシステムの開発者ないしは設計者が決定したものである。優先度は、同じ活動状態の中で、いずれの刺激を優先的に提示するかを決定するための数値であり、「０」〜「１０」の間で設定される。

また、図４からも分かるように、提示すべき刺激の種類は、１つに限らず、２つ以上の組み合わせで、複合的に提示される場合もある。たとえば、ユーザが音楽鑑賞中である場合に、提示すべき刺激は香水の香りとソファーの振動であり、その優先度は「８」である。

コンテンツＤＢ３６は、映像や音楽などについてのコンテンツデータを複数記憶したデータベースであり、ユーザに対して映像や音により刺激を提示する場合に、所望のコンテンツデータが使用される。このようなコンテンツデータは、予めＤＢ３６に記憶しておいてもよいし、インターネットのようなネットワークからコンピュータ１２が適宜取得して、記憶するようにしてもよい。

なお、図１においては、ＤＢ３０，３２，３４，３６は、直接コンピュータ１２に接続されるようにしてあるが、これらは、ネットワークを介して接続されるようにしてもよい。

図１に戻って、刺激提示システム１０は、さらに、駆動制御装置４０を含み、この駆動制御装置４０はコンピュータ１２に接続される。また、駆動制御装置４０には、表示装置４２、スピーカ４４、匂い提示装置４６および触覚提示装置４８が接続される。駆動制御装置４０は、たとえば、マイコンやＤＳＰであり、コンピュータ１２からの制御コマンド（この実施例では、刺激提示コマンド）に応じて、表示装置４２、スピーカ４４、匂い提示装置４６および触覚提示装置４８を駆動制御する。

表示装置４２は、ＣＲＴ或いはＬＣＤのようなディスプレイである。ただし、プロジェクタを用いることも可能である。スピーカ４４は、通常のスピーカないしは骨伝導スピーカである。匂い提示装置４６は、ユーザに匂いを提示するための装置であり、図示は省略するが、たとえば、複数種類の匂い粒子や匂いの液体が筒内に封入されており、シャッタ機構により、匂いを切替えて、選択的に匂いを放出する。この匂い提示装置４６としては、本件出願人が先に出願した特願２００３−２８６９８２号に詳細に説明される「匂い提示装置」を用いることができる。触覚提示装置４８は、ユーザに対して振動による刺激を提示する装置であり、図示は省略するが、ソファーのような椅子に複数の振動子を配置し、当該複数の振動子を一度に全部を振動させる、または、順次的かつ部分的に振動させるものである。たとえば、触覚提示装置４８としては、本件出願人が先に出願した特願２００３−３２３８９４号に詳細に説明される「自動車用警告装置」の一部の構成を用いることができる。また、一般的に製造販売されるマッサージチェアを用いることもできる。

図５に示すように、ユーザが存在する部屋にはＴＶ受像機、ビデオテープレコーダ（ＶＴＲ）およびコンポが設けられ、ユーザは、たとえば、ソファーに座ってＴＶ受像機を視聴している。また、図１に示したカメラ１４、カメラ１６、マイク１８、表示装置４２、スピーカ４４、匂い提示装置４６および触覚提示装置４８は、ユーザが存在する部屋にそれぞれ設けられる。たとえば、カメラ１４はユーザの顔を撮影可能な位置、この実施例では、ＴＶ受像機の上に載置される。また、カメラ１６はユーザの全身を撮影可能な位置（たとえば、部屋の天井や壁）に配置される。表示装置４２は、ユーザがソファーに座った状態で、その表示画面を見ることができる位置に配置される。スピーカ４４は、ユーザの近傍ないしソファーに配置される。匂い提示装置４６は、ソファーの近傍ないしは匂いの放出口（図示せず）が露出するようにソファー内部に配置される。さらに、触覚提示装置４８はソファー内部に配置され、図示は省略するが、振動を提示する部分（振動子）は、ユーザがソファーに座った状態で、ユーザに振動を提示することができる位置に配置される。

なお、図５では省略するが、生理情報検出装置２０はユーザに装着され、活動状態検出装置２２は当該部屋内に設けられる。また、コンピュータ１２およびＤＢ３０〜３６は、当該部屋の内部或いは外部に設けることができる。

たとえば、コンピュータ１２は、カメラ１４によってユーザの顔が撮影されており、活動状態検出装置２２から入力されるオン／オフ状態データがＴＶ受像機のオン状態を示す場合には、ユーザがＴＶ視聴中であることを認識（推定）することができる。また、マイク１８から音声データが入力され、活動状態検出装置２２から入力されるオン／オフ状態データがコンポのオン状態を示すとき、ユーザが音楽鑑賞中であることを認識（推定）することができる。

また、カメラ１４およびカメラ１６から入力される画像データと、生理情報検出装置２０から入力される生理情報データとに基づいて、コンピュータ１２は、ユーザの状態情報を判断する。たとえば、カメラ１６によって撮影されるユーザが小刻みに揺れており、カメラ１４によって撮影されるユーザの視線が不規則に動いている場合には、ユーザがそわそわしていると判断することができる。また、カメラ１６で撮影したユーザが全く動かず、カメラ１４で撮影したユーザの視線も全く動かず、さらに、活動状態検出装置２２によって検出されたユーザの呼吸数が減少した場合には、ユーザが（過度に）緊張していると判断することができる。

一方、生理情報検出装置２０から入力される生理情報データが通常の範囲内であり、カメラ１４および１６から入力される画像データに基づいて判断したユーザの全身の動きおよび視線の動きが安定している（一定である）場合には、ユーザが落ち着いていると判断することができる。

ただし、生理情報検出装置２０は脳波や脈拍数も検出するため、これらに基づいて、ユーザの状態情報を判別することも可能である。たとえば、検出した脳波がβ波を示す場合には、ユーザがストレスを感じている状態であると判断することができる。また、検出した脳波がγ波を示す場合には、ユーザがいらいらした状態であると判断することができる。さらに、検出した脳波がα波を示す場合には、ユーザはリラックスした（落ち着いた）状態であると判断することができる。また、通常の心拍数（５０〜１００／１分）よりも多い場合には、ユーザが緊張ないしは興奮している状態であると判断することができる。ただし、通常の心拍数であれば、ユーザは落ち着いている状態であると判断することができる。

上述したように、この実施例では、ユーザの精神状態が不安定な場合には、映像、音声、匂いおよび振動の少なくとも１つを提示することにより、ユーザを落ち着かせるようにしてある。ただし、いずれの刺激を提示するのが適切であるかを判断するのが困難であるため、この実施例では、ユーザの活動の種類を特定して、ユーザプロファイル情報および刺激提示制御情報に従って提示すべき刺激を決定するようにしてある。

このような刺激提示システム１０の具体的な処理について図６以降に示すフロー図等を用いて具体的に説明することにする。図６はユーザ状態情報更新処理を示すフロー図であり、コンピュータ１２によって処理される。この図６を参照して、コンピュータ１２はユーザ状態情報更新処理を開始すると、ステップＳ１で、活動情報（活動の種類）を特定する。具体的には、上述したように、カメラ１４およびカメラ１６から入力される画像データおよび活動状態検出装置２２から入力される状態データに基づいて活動の種類を特定する。次のステップＳ３では、状態情報を特定する。具体的には、上述したように、カメラ１４およびカメラ１６から入力される画像データと生理情報検出装置２０から入力される生理情報データとに基づいて状態情報を特定する。

そして、ステップＳ５で、活動の種類または状態情報に変化があるかどうかを判断する。ここでは、コンピュータ１２は、ＤＢ３０を参照して、最新のユーザ状態情報データが示す活動の種類または状態情報が、ステップＳ１およびＳ３において、特定した活動の種類または状態情報と一致するかどうかを判断する。活動の種類または状態情報が一致する場合には、それらに変化がないと判断し、ステップＳ５で“ＮＯ”となり、そのままステップＳ１に戻る。しかし、活動の種類または状態情報が不一致であれば、それらに変化があると判断し、ステップＳ５で“ＹＥＳ”となり、ステップＳ７で、活動の種類および状態情報を時刻とともに、ユーザ状態情報データに追加してステップＳ１に戻る。なお、ステップＳ７においては、時刻の情報は時計回路１２ａから取得する。

また、コンピュータ１２は、図７および図８に示すコマンド送信処理およびＤＢ更新処理を実行する。この実施例では、送信するコマンドは、刺激提示に関するコマンド（刺激提示コマンド）であり、ユーザに対して提示すべき刺激の種類（映像、音、匂い、振動等）およびその内容（コンテンツ等）を示す。また、ＤＢ更新処理により、ユーザ状態情報データおよびユーザプロファイル情報データが必要に応じて更新される。このようなコマンド送信処理およびＤＢ更新処理は、上述したユーザ状態情報更新処理と並列的に処理される。

図７を参照して、コンピュータ１２がコマンド送信処理およびＤＢ更新処理を開始すると、ステップＳ１１で、ユーザが落ち着いているかどうかを判断する。つまり、コンピュータ１２は、ＤＢ３０を参照して、最新の状態情報が「落ち着きあり」を示すかどうかを判断する。ステップＳ１１で“ＹＥＳ”であれば、つまりユーザが落ち着いていれば、そのままステップＳ１１に戻る。一方、ステップＳ１１で“ＮＯ”であれば、つまりユーザが落ち着いていなければ、ステップＳ１３で、ユーザの活動状態（活動の種類）と刺激提示制御情報とから、提示すべき刺激のリストを抽出する。具体的には、ユーザ状態情報データを参照して、ユーザの活動状態を特定し、特定した活動状態に対応する刺激提示制御情報データを抽出する。たとえば、活動状態が「ＴＶ視聴」に特定されると、図９に示すように、図４に示した刺激提示制御情報データから「ＴＶ視聴」に対応して記述される提示すべき刺激種類および優先度が抽出される。

続くステップＳ１５では、優先度と適合度とから決定した刺激の有用性の推測値を含む候補リストを作成する。たとえば、図１０（Ａ）に示すような候補リストが作成される。図１０（Ａ）に示される候補リストは、ユーザがＴＶ視聴中である場合の候補リストであり、適合度は、図３に示したユーザプロファイル情報データから取得される。刺激の有用性の推測値は、この実施例では、優先度と適合度とを掛け算して得られた値である。したがって、たとえば、提示すべき刺激の種類が「ソファーの振動」であれば、優先度が「１０」であり、適合度が「４」であるため、刺激の有用性の推測値は「４０」となる。また、提示すべき刺激の種類が「カレーの匂い」であれば、優先度が「８」であり、適合度が「６」であるため、刺激の有用性の推測値は「４８」となる。さらに、提示すべき刺激の種類が「香水の香り」であれば、優先度が「４」であり、適合度が「２」であるため、刺激の有用性の推測値は「８」となる。

次のステップＳ１７では、有用性の推測値に従って、候補リストをソートする。つまり、図１０（Ｂ）に示すように、有用性の推測値が高い順に候補リストが並べ替えられる。続いて、ステップＳ１９で、最も有用性の推測値が高い刺激を提示すべき刺激として選択し、ステップＳ２１で、選択結果に応じた刺激提示コマンドを駆動制御装置４０に送信する。したがって、後述するように、ユーザに刺激提示コマンドに応じた刺激が提示される。そして、ステップＳ２３で、今回提示した刺激の情報を時刻とともに、ＤＢ３０に記憶されるユーザ状態情報データに書き込む（追加する）。ここでは、時刻の情報を、時計回路１２ａから取得する。

その後、ステップＳ２５では、ユーザが落ち着いているかどうかを判断する。このステップＳ２５の判断処理は、上述したステップＳ１１の判断処理と同じであるため、詳細な説明は省略する。ステップＳ２５で“ＹＥＳ”であれば、つまりユーザが落ち着いていれば、ステップＳ２７で、ユーザプロファイル情報の当該刺激に対応して記述される適合度を増加して、ステップＳ１１に戻る。たとえば、ステップＳ２７では、適合度が所定の割合（たとえば、１０％）だけ増加される。したがって、たとえば、図１１（Ａ）に示すように、朝ＴＶ受像機を視聴していたユーザに対して、ソファーの振動による刺激を提示した場合に、ユーザが落ち着くと、ユーザプロファイル情報の記憶される当該項目についての適合度が１０％増加され、「４．４」に変更される。なお、図面においては、変更された適合度を分かり易く示すために、太枠で示してある。

一方、ステップＳ２５で“ＮＯ”であれば、つまりユーザが落ち着いていなければ、図８に示すステップＳ２９で、ユーザプロファイル情報の該当刺激についての適合度を減少させる。ここでは、たとえば、図１１（Ｂ）に示すように、ユーザが朝ＴＶ視聴中である場合に、カレーの匂いを提示したが、ユーザが落ち着かなければ、ユーザプロファイル情報についての該当項目の適合度が所定の割合（たとえば、１０％）だけ減少される。ただし、図３に示すユーザプロファイル情報と図１１（Ｂ）に示すユーザプロファイル情報とを比較して分かるように、今回適合度を減少させた項目は、図３に示したユーザプロファイル情報に存在しない。つまり、このような場合には、時間帯および活動の種類に拘わらず提示すべき刺激の種類がカレーの匂いである項目について、条件を限定したルールとしてユーザプロファイル情報に新しく項目が追加されるのである。なお、図示等は省略するが、適合度を増加させる場合も同様のことが有り得る。

続くステップＳ３１では、次に提示すべき刺激の候補があるかどうかを図１０（Ｂ）に示したようなソート後の候補リストを参照して判断する。ステップＳ３１で“ＹＥＳ”であれば、つまり次に提示すべき刺激の候補があれば、ステップＳ３３で、候補リストから次に有用性の推測値が高い刺激を提示すべき刺激として選択し、図７に示したステップＳ２１に戻る。一方、ステップＳ３１で“ＮＯ”であれば、つまり次に提示すべき刺激の候補がなければ、ステップＳ３５で、当該ユーザの介護者に警告して、図７に示したステップＳ１１に戻る。たとえば、ステップＳ３５においては、コンピュータ１２は、介護者が所持するＰＤＡのような携帯端末（図示せず）に警告メッセージを送信することにより、ユーザの異常を知らせるのである。

なお、この実施例では、刺激提示コマンドを送信した（Ｓ２１）後に、直にユーザが落ち着いているかどうかを判断する（Ｓ２５）ようにしてあるが、実際には、刺激を提示した後に或る程度の時間（たとえば、３分〜５分）が経過してからユーザが落ち着いているかどうかを判断する必要がある。これは、刺激を提示してから落ち着くまでに或る程度の時間を要すると考えられるためである。

また、図１２〜図１４には、駆動制御装置４０によって実行される刺激提示処理のフロー図が示される。図１２を参照して、駆動制御装置４０は刺激提示処理を開始すると、ステップＳ４１で、刺激提示コマンドがあるかどうかを判断する。つまり、コンピュータ１２からの刺激提示コマンドを受信したかどうかを判断する。ステップＳ４１で“ＮＯ”であれば、つまり刺激提示コマンドがなければ、同じステップＳ４１に戻って、刺激提示コマンドがあるのを待機する。一方、ステップＳ４１で“ＹＥＳ”であれば、つまり刺激提示コマンドがあれば、ステップＳ４３で、刺激提示コマンドの種類を判別する。

次のステップＳ４５では、刺激提示コマンドの種類が「映像」であるかどうかを判断する。ステップＳ４５で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「映像」であれば、ステップＳ４７で、刺激提示コマンドに従ったビデオ情報を再生して、ステップＳ４１に戻る。このステップＳ４７では、駆動制御装置４０は、刺激提示コマンドが示すビデオ情報に対応するコンテンツデータを、コンピュータ１２を介してＤＢ３６から取得し、表示装置４２を駆動して、映像をユーザに提示する。以下、この実施例において同様である。

一方、ステップＳ４５で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「映像」でなければ、ステップＳ４９で、刺激提示コマンドの種類が「音楽（音）」であるかどうかを判断する。ステップＳ４９で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「音楽」であれば、ステップＳ５１で、当該刺激提示コマンドに従った音楽情報を再生して、ステップＳ４１に戻る。このステップＳ５１では、駆動制御装置４０は、刺激提示コマンドが示す音楽情報に対応するコンテンツデータを、コンピュータ１２を介してＤＢ３６から取得し、スピーカ４４に出力する。以下、この実施例において同様である。

一方、ステップＳ４９で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「音楽」でなければ、ステップＳ５３で、刺激提示コマンドの種類が「匂い」であるかどうかを判断する。このステップＳ５３で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「匂い」であれば、ステップＳ５５で、当該刺激提示コマンドに従った匂いを提示して、ステップＳ４１に戻る。このステップＳ５５では、駆動制御装置４０は、匂い提示装置４６に対して、たとえば、匂いの種類を指示するとともに、匂いの提示を指示する。これに応じて、匂い提示装置４６は、指示された匂いをユーザに対して提示（放出）する。以下、この実施例において同様である。

一方、ステップＳ５３で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「匂い」でなければ、ステップＳ５７で、刺激提示コマンドの種類が「振動」であるかどうかを判断する。ステップＳ５７で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「振動」であれば、ステップＳ５９で、当該刺激提示コマンドに従った振動を提示して、ステップＳ４１に戻る。このステップＳ５９では、駆動制御装置４０は、触覚提示装置４８に振動提示を指示し、これに応じて、触覚提示装置４８は、図示しない振動子を所定の周波数で振動させる。これにより、ユーザに振動が提示される。以下、この実施例において同様である。

一方、ステップＳ５７で“ＮＯ”であれば、つまり刺激提示コマンドの種類が振動でなければ、図１３に示すステップＳ６１で、刺激提示コマンドの種類が「映像と音楽」であるかどうかを判断する。刺激提示コマンドの種類が「映像と音楽」である場合には、ステップＳ６１で“ＹＥＳ”となり、ステップＳ６３で、当該刺激提示コマンドに従ったビデオ情報と音楽情報とを再生して、図１２に示したステップＳ４１に戻る。しかし、刺激提示コマンドの種類が「映像と音楽」でなければ、ステップＳ６１で“ＮＯ”となり、ステップＳ６５で、刺激提示コマンドの種類が「映像と匂い」であるかどうかを判断する。

このステップＳ６５で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「映像と匂い」であれば、ステップＳ６７で、当該刺激提示コマンドに従ったビデオ情報を再生するとともに、匂いを提示して、ステップＳ４１に戻る。一方、ステップＳ６５で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「映像と匂い」でなければ、ステップＳ６９で、刺激提示コマンドの種類が「映像と振動」であるかどうかを判断する。ここで“ＹＥＳ”であれば、ステップＳ７１で、当該刺激提示コマンドに従って、ビデオ情報を再生するとともに、振動を提示して、ステップＳ４１に戻る。しかし、“ＮＯ”であれば、次のステップＳ７３で、刺激提示コマンドの種類が「音楽と匂い」であるかどうかを判断する。

ステップＳ７３で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「音楽と匂い」であれば、ステップＳ７５で、当該刺激提示コマンドに従って、音楽情報を再生するとともに、匂いを提示して、ステップＳ４１に戻る。一方、ステップＳ７３で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「音楽と匂い」でなければ、ステップＳ７７で、刺激提示コマンドの種類が「音楽と振動」であるかどうかを判断する。

ステップＳ７７で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「音楽と振動」であれば、ステップＳ７９で、当該刺激提示コマンドに従って、音楽情報を再生するとともに、振動を提示して、ステップＳ４１に戻る。一方、ステップＳ７７で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「音楽と振動」でなければ、ステップＳ８１で、刺激提示コマンドの種類が「匂いと振動」であるかどうかを判断する。ここで“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「匂いと振動」であれば、ステップＳ８３で、当該刺激提示コマンドに従って、音楽情報に再生を実行するとともに、振動を提示して、ステップＳ４１に戻る。しかし、“ＮＯ”であれば、つまり刺激提示コマンドの種類が「匂いと振動」でなければ、図１４に示すステップＳ８５で、刺激提示コマンドの種類が「映像と音楽と匂い」であるかどうかを判断する。

ステップＳ８５で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「映像と音楽と匂い」であれば、ステップＳ８７で、当該刺激提示コマンドに従って、ビデオ情報および音楽情報を再生するとともに、匂いを提示して、図１２に示したステップＳ４１に戻る。一方、ステップＳ８５で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「映像と音楽と匂い」でなければ、ステップＳ８９で、刺激提示コマンドの種類が「映像と音楽と振動」であるかどうかを判断する。

このステップＳ８９で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「映像と音楽と振動」であれば、ステップＳ９１で、当該刺激提示コマンドに従って、ビデオ情報および音楽情報を再生するとともに、振動を提示して、ステップＳ４１に戻る。しかし、ステップＳ８９で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「映像と音楽と振動」でなければ、ステップＳ９３で、刺激提示コマンドの種類が「映像と匂いと振動」であるかどうかを判断する。

ステップＳ９３で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「映像と匂いと振動」であれば、ステップＳ９５で、当該刺激提示コマンドに従って、ビデオ情報を再生するとともに、匂いおよび振動を提示して、ステップＳ４１に戻る。一方、ステップＳ９３で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「映像と匂いと振動」でなければ、ステップＳ９７で、刺激提示コマンドの種類が「音楽と匂いと振動」であるかどうかを判断する。

ステップＳ９７で“ＹＥＳ”であれば、つまり刺激提示コマンドの種類が「音楽と匂いと振動」であれば、当該刺激提示コマンドに従って、音楽情報を再生するとともに、匂いと振動を提示して、ステップＳ４１に戻る。しかし、ステップＳ９７で“ＮＯ”であれば、つまり刺激提示コマンドの種類が「音楽と匂いと振動」でなければ、刺激提示コマンドの種類が「映像と音楽と匂いと振動」であると判断して、ステップＳ１０１で、当該刺激提示コマンドに従って、ビデオ情報および音楽情報を再生するとともに、匂いおよび振動を提示して、ステップＳ４１に戻る。

この実施例によれば、ユーザの活動状態および状態情報を検出し、ユーザが落ち着いていない場合には、ユーザプロファイル情報および刺激提示制御情報に基づいた刺激をユーザに提示するので、ユーザの活動状態や精神状態に応じて適切な刺激を提示することができる。

また、刺激を提示した結果に基づいて、ユーザプロファイル情報に含まれる適合度を更新するので、ユーザプロファイル情報を当該ユーザに対して最適化することができる。

なお、この実施例では、コンピュータおよび駆動制御装置を設けて、個別に処理を実行するようにしたが、コンピュータの処理能力が高い場合には、駆動制御装置を設けずにコンピュータによって表示装置、スピーカ、匂い提示装置および触覚提示装置を駆動制御するようにしてもよい。

また、この実施例では、提示する刺激の候補リストを作成し、優先度と適合度とを掛け算して得られた有用性の推測値の最も高い刺激を選択して提示するようにしたが、優先度を含まない候補リストを作成し、適合度の最も高い刺激を選択して提示するようにしてもよい。かかる場合には、刺激提示制御情報において、優先度を決定する必要はない。

さらに、この実施例では、ユーザプロファイル情報と刺激提示制御情報とに基づいて、提示する刺激を決定するようにしたが、いずれか一方にのみ基づいて提示する刺激を決定するようにしてもよい。たとえば、ユーザの精神状態が不安定になった場合に、ユーザの活動の種類を特定し、ユーザプロファイル情報において、当該活動の種類の中で最も適合度の高い刺激を選択することができる。また、同様に、ユーザの精神状態が不安定になった場合に、ユーザの活動の種類を特定し、刺激提示制御情報において、当該活動の種類の中で最も優先度の高い刺激を選択することができる。

さらにまた、この実施例では、軽度脳障害を有するようなユーザに対して刺激を提示する場合についてのみ説明したが、一般のユーザに対しても刺激を提示することができる。かかる場合には、ユーザプロファイル情報および刺激提示制御情報を一般のユーザに適合するように作成しておけばよい。このようにすれば、刺激を提示することにより、一般のユーザを、リラックスさせたり、リフレッシュさせたりすることができる。

図１はこの発明の刺激提示システムの構成の一例を示すブロック図である。 図２は図１に示すユーザ状態情報ＤＢの内容の一例を示す図解図である。 図３は図１に示すユーザプロファイル情報ＤＢの内容の一例を示す図解図である。 図４は図１に示す刺激提示制御情報ＤＢの内容の一例を示す図解図である。 図５は図１に示す刺激提示システムを適用した部屋の一例を示す図解図である。 図６は図１に示すコンピュータのユーザ状態情報更新処理を示すフロー図である。 図７は図１に示すコンピュータのコマンド送信、状態情報およびプロファイル更新処理の一部を示すフロー図である。 図８は図１に示すコンピュータのコマンド送信、状態情報およびプロファイル更新処理の他の一部であり、図７に後続するフロー図である。 図９は刺激提示の候補リストの一例を示す図解図である。 図１０は刺激提示の候補リストを示す図解図である。 図１１はユーザプロファイル情報が更新される様子を示す図解図である。 図１２は図１に示す駆動制御装置の刺激提示処理の一部を示すフロー図である。 図１３は図１に示す駆動制御装置の刺激提示処理であり、図１２のフロー図に後続するフロー図である。 図１４は図１に示す駆動制御装置の刺激提示処理のその他の一部を示し、図１３に示したフロー図に後続するフロー図である。

符号の説明

１０ …刺激提示システム
１２ …コンピュータ
１４、１６ …カメラ
１８ …マイク
２０ …生理情報検出装置
２２ …活動状態検出装置
３０、３２、３４、３６ …データベース
４０ …駆動制御装置
４２ …表示装置
４４ …スピーカ
４６ …匂い提示装置
４８ …触覚提示装置

Claims (3)

1. 映像、音、匂いおよび振動の少なくとも１つを含む刺激をユーザに提示する刺激提示システムであって、
   前記ユーザについて、複数の所定の活動の内容と当該複数の所定の活動の内容の各々に対応して提示すべき１または複数の刺激の種類と当該ユーザに対する当該１または複数の刺激の各々の適合度とを記憶する個性情報記憶手段、
   前記複数の所定の活動の内容に対応して一般的な傾向に従って予め決定した、提示すべき１または複数の刺激の種類と当該１または複数の刺激を提示すべき優先度とを記憶する刺激提示情報記憶手段、
   前記ユーザの活動の内容を検出する活動状態検出手段、
   前記ユーザの精神状態を検出する精神状態検出手段、
   前記精神状態検出手段によって前記ユーザの精神状態が不安定であることが検出されたとき、前記活動状態検出手段によって検出された活動の内容に対応して、前記個性情報記憶手段に記憶される当該ユーザについての前記提示すべき１または複数の刺激の種類および当該ユーザに対する当該１または複数の刺激の適合度と、前記刺激提示情報記憶手段に記憶される１または複数の刺激の種類および当該１または複数の刺激を提示すべき優先度とに基づいて、当該ユーザに提示する刺激を決定する刺激決定手段、および
   前記刺激決定手段によって決定された刺激を前記ユーザに提示する刺激提示手段を備える、刺激提示システム。
2. 前記適合度および前記優先度は、それぞれ、度合いを数値の大きさによって表わされ、
   前記刺激決定手段は、前記提示すべき刺激の種類の候補が複数存在するとき、前記適合度と前記優先度との積算値が最大である提示すべき刺激を、前記ユーザに提示する刺激として決定する、請求項１記載の刺激提システム。
3. 前記精神状態検出手段は、前記刺激提示手段によって前記ユーザに刺激が提示された後の前記ユーザの精神状態をさらに検出し、
   前記刺激が提示された後のユーザの精神状態が所定の状態を示すとき、前記適合度を更新する更新手段をさらに備える、請求項１または２記載の刺激提示システム。

Images