上記本発明の構成では、ユーザーの精神状態を誘導するためのシナリオとして機能する状態推移パターンを、もてなしシステム側(つまり、ホストとなる自動車側)で複数予め用意しておく。各状態推移パターンは、基点精神状態から1又は複数の経過精神状態を経て終点精神状態へ至るように定められており、隣接する精神状態間の推移・誘導にそれぞれ適合した一連の誘導もてなし動作の内容と対応付けて記憶されている。そして、ユーザーの現在精神状態を検出するとともに、その検出された現在精神状態に適合する基点精神状態を有した状態推移パターンを選択し、状態推移パターンに従い誘導もてなし動作内容を読み出して順次行なわせるようにした。これにより、検出した現在精神状態に応じて選択される状態推移パターンにより、システム側で精神誘導の方向性が自発的に決定され、ひいてはユーザーがいちいち意思表示しなくても、精神誘導に係る一連のもてなし動作を、状況に応じた適切な流れにてシステム側から積極的に受けることができるようになる。また、経過精神状態を経由させることで、不自然で急激な精神状態変動を感じさせることなく、ユーザーを終点精神状態へ快適かつスムーズに導くことができる。
精神状態特定手段は、ユーザーの精神状態として、予め定められたニュートラル状態と、該ニュートラル状態よりも精神活性度が不快方向に高い怒り・興奮状態と、該ニュートラル状態よりも精神活性度が不快方向に低い落胆状態とを互いに区別して特定するものとして構成できる。状態推移パターン記憶手段は、それら怒り・興奮状態又は落胆状態を基点精神状態とする状態推移パターンとして、該不快側基点精神状態を快方向に修正した中間沈静化精神状態を経過精神状態として経た後、ニュートラル状態へ導く修正専念型状態推移パターンを記憶するものとできる。上記のような修正専念型状態推移パターンを用いることにより、現在精神状態が怒り・興奮状態あるいは落胆状態といった不快状態であっても、これを自然に和らげて、安定で落ち着いたユーザー精神状態であるニュートラル状態へ導くことができ、快適なカーライフの基本となるもてなし内容が実現する。
修正専念型状態推移パターンは、不快側基点精神状態から中間沈静化状態へ推移させる第一誘導もてなし動作を有するものとして定めることができる。この第一誘導もてなし動作には、基点精神状態が怒り・興奮状態である場合はこれを冷静化させ、基点精神状態が落胆状態である場合はこれを興奮化させる対抗型もてなし動作を組み込むことができる。怒り・興奮状態には冷静化させるもてなし動作を、落胆状態である場合はこれを興奮化させて気持ちを高めるもてなし動作を実施することで、不快側基点精神状態をニュートラル状態に向けて速やかに推移させることができる。こうした対抗型もてなし動作としては、怒り・興奮状態を沈静化する、もしくは落胆状態を活性化するのに寄与する香り発生動作(アロマテラピーとして確立されている概念である)や、空調動作(怒り・興奮状態であれば空調温度をやや下げ、落胆状態であればやや上げるなど)あるいは音情報出力(怒り興奮状態であればヒーリングミュージックなどの癒し系音楽や波音などの効果音を、落胆状態であればポップミュージックを出力するなど)などを例示することができる。
また、修正専念型状態推移パターンは、対抗型もてなし動作が組み込まれた第一誘導もてなし動作に先行する準備もてなし動作を有するものとして定めることができ、基点精神状態を支持ないし助長する迎合型もてなし動作を該準備もてなし動作に組み込むことができる。基点精神状態は、怒り・興奮状態や落胆状態であり、これを支持ないし助長する迎合型もてなし動作は、怒り・興奮状態に対しては興奮を誘う香り発生動作や、空調動作(怒り・興奮状態であれば空調温度をやや上げ、落胆状態であればやや下げるなど)あるいは音情報出力(怒り興奮状態であればポップミュージックやヘヴィーメタル、ハードロックを出力し、落胆状態であれば癒し系音楽を出力するなど)などを例示することができる。こうした迎合型もてなし動作は、不快精神状態の改善という観点においては一見矛盾した内容にも映ずるが、システム側がユーザーの「不快精神状態」を肯定し、あるいは正当化することで、ユーザーがシステム側から提供されるもてなし動作内容に向けて心を開かせ、受け入れさせる準備動作としての効用を有し、これに続く対抗型もてなし動作の不快精神状態解消効果を一層高めることができるのである。
また第二誘導もてなし動作は、複数ユーザーが同席していることを前提として、特定ユーザーを対象とする対抗型もてなし動作の組み込みが第一誘導もてなし動作よりも制限され、かつ、それら複数ユーザーの共通嗜好に適合する共通嗜好適合型もてなし動作が第一誘導もてなし動作よりも助長された形で組み込まれたものとすることもできる。この態様は、複数ユーザーが同席しており、その中の特定ユーザーの精神状態を最終的にニュートラル状態へどうスムーズに移行させるか、ということを目的とするものである。ニュートラル状態が近づいてきたとき、固有嗜好適合型もてなし動作を完全に制限してしまうとユーザーの喪失感が大きくなる可能性があることは、既に説明した通りであるが、この固有嗜好適合型もてなし動作を、該特定ユーザーも含めた複数ユーザーが共通して楽しむことができる共通嗜好適合型もてなし動作とし、他方、対抗型もてなし動作を抑制することで、該特定ユーザーの精神状態は同乗する他のユーザーとの連帯感の中で和らげられ、ニュートラル状態へのスムーズな推移を図ることができる。
なお、精神状態特定手段は、ユーザーの精神状態として、予め定められたニュートラル状態と、該ニュートラル状態よりも精神活性度が快方向に高い盛り上がり状態と、該ニュートラル状態よりも精神活性度が快方向に低い癒され状態とを互いに区別して特定するものとすることができる。状態推移パターン記憶手段は、ニュートラル状態を基点精神状態として盛り上がり状態又は癒され状態へ導く向上専念型状態推移パターンを記憶するものとできる。そして、状態推移パターン選択手段は、修正専念型状態推移パターンの選択に引き続いて向上専念型状態推移パターンを選択可能とすることができる。不快精神状態を一旦ニュートラル状態に推移させたあと、さらに、該ニュートラル状態よりも精神活性度が快方向に高い盛り上がり状態に導けば、機嫌の悪かったユーザーを明るく陽気な状態に導くことができ、車内滞在を一層楽しく盛り上げることができる。他方、ニュートラル状態よりも精神活性度が快方向に低い癒され状態に導けば、落胆や怒りで疲労したユーザーの精神状態を、癒しによる開放感に満ちた精神状態にスムーズに転換でき、車内滞在をより心地よく演出することができる。
本発明のシステムでは、複数ユーザーが同席している場合に、ユーザー別に現在精神状態を特定し、対応する状態推移パターンを選択するとともに、誘導もてなし動作を各状態推移パターンに従いユーザー毎に個別に行なわせるように構成することができる。上記のような快方向に高い精神状態に導くもてなし動作は、運転に関与しない同乗者の方が、その効果を気兼ねなく享受できる傾向にある。この場合、修正専念型状態推移パターンの選択に引き続いて向上専念型状態推移パターンを選択する処理を、運転席を除く座席のユーザーに対してのみ実施すればよい。逆に、運転手は、安定した精神状態の持続により、運転の安全性を確保することができるので、不快精神状態を一旦ニュートラル状態に推移させたあとは、なるべくそのニュートラル状態を維持させるもてなし動作となることが望ましいともいえる。
しかし、ニュートラル状態が長く続きすぎると、緊張感が薄れ、注意が散漫になりやすい懸念もある。そこで、状態推移パターン記憶手段は、ニュートラル状態を基点精神状態とする状態推移パターンとして、盛り上がり状態又は癒され状態からなる経過精神状態を経てニュートラル状態からなる終点精神状態へと回帰させる回帰型状態推移パターンを記憶するものとして形成できる。このような回帰型状態推移パターンによれば、ニュートラル状態にあるユーザー(特に運転者)の精神状態を積極的に刺激して、盛り上がり状態とすることで精神状態を活性化でき、緊張感の持続を図ることができる。そして、一定の緊張感が回復できれば再びニュートラル状態に回帰することで緊張緩和でき、他方、運転時間が長時間化して疲労が懸念される場合は、癒され状態へ移行させることで運転者をリラックスさせ、疲労を和らげることができる。
誘導もてなし動作指令手段は、もてなし実行制御部に対し、上記回帰型状態推移パターンに従う誘導もてなし動作内容を周期的に繰り返し行なわせるための誘導もてなし動作指令を行なうように構成することができる。すなわち、「ニュートラル状態→盛り上がり状態(緊張・覚醒)→ニュートラル状態→癒され状態(リラックス・疲労緩和)→ニュートラル状態」というもてなし動作の推移を周期的に繰り返すことで、長緊張とリラックスとが周期的に到来するようにもてなし動作を通じて精神状態をコントロールすることにより、時間にわたる運転においても運転者の精神状態がマンネリ化することを効果的に防止でき、安全運転にも大いに寄与する。なお、盛り上がり状態へ導くことによる精神刺激は、過度に長時間持続しても、「慣れ」による活性低下により所期の効果が上がらない場合がある。この点に考慮すれば、回帰型状態推移パターンは、経過精神状態が癒され状態に定められる場合の1周期が、経過精神状態が盛り上がり状態に定められる場合の1周期よりも長く設定することが望ましいといえる。
また、回帰型状態推移パターンにおいては、より具体的には、ニュートラル状態から癒され状態へ推移させるための誘導もてなし動作として、ユーザーの自己集中状態を向上するのに寄与する香り発生動作、空調動作、照明出力動作、及び音情報出力の少なくともいずれかよりなる自己集中促進もてなし動作を組み込んでおくことが、一旦自己集中状態を経由することで、最終的な癒され状態(リラックス状態)へよりスムーズに導くことができる。他方、回帰型状態推移パターンは、ニュートラル状態から盛り上がり状態へ推移させるための誘導もてなし動作として、複数ユーザーが同席している場合に、それら複数ユーザーの共通嗜好に適合する共通嗜好適合型もてなし動作を組み込んでおくとよい。共通嗜好適合型もてなし動作により、嗜好を媒介として同乗者との連帯感を高めることができ、ひいては盛り上がり状態へより誘導しやすくなる利点を生ずる。
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図1は、本発明の一実施形態を示す自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の概念ブロック図である。該システム100は、種々のもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが接続された第一のコンピュータからなるもてなし実行制御部3と、種々のセンサ・カメラ群518〜528が接続された第二のコンピュータからなるもてなし意思決定部2とからなる自動車側搭載部100を、その要部とする形で構成されている。第一のコンピュータと第二のコンピュータは、いずれもCPU,ROM,RAMを備え、ROMに格納された制御ソフトウェアを、RAMをワークメモリとして実行することにより、後述の種々の機能を実現する。
上記システム100においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、もてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン502、ブザー503が接続されている。また、照明装置(ランプ類)としては、ヘッドランプ504(ビームをハイとローとで切り替え可)、フォグランプ505、ハザードランプ506、テールランプ507、コーナリングランプ508、バックアップランプ509、ストップランプ510、車内照明511及び床下ランプ512が接続されている。また、他のもてなし動作部として、エアコン514、カーオーディオシステム(カーステレオ)515、電動シート・ハンドル516及びサイドミラーやバックミラーなどの角度調整用の駆動部517、カーナビゲーションシステム534、ドア開閉用のアシスト機構(以下、ドアアシスト機構という)541、車内に芳香剤を放出する芳香発生部548、重度体調不良(重度の眠気を催した状態を含む)に対する気付け・覚醒用成分の発生部549(例えば、運転用のハンドルの中心部に、運転者の顔付近を目指す形で気付け・覚醒用成分(例えば、アンモニアを含有するもの)を噴出するように取り付けられる)、運転者に注意喚起したり眠気から覚醒させるためのシートバイブレータ550(シート底部あるいは背もたれ部に埋設される)、ハンドルバイブレータ551(ハンドルの軸に取り付けられている)、車内騒音低減用のノイズキャンセラ1001Bが接続されている。
図2Bは、車内照明511の構成例を示すもので、各々固有の照明色からなる複数の照明部(本実施形態では、赤系照明511r、アンバー系照明511u、黄系照明511y、白系照明511w及び青系照明511bからなる)を有する。これらの照明は、もてなし意思決定部2からもてなし実行制御部3を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。図3は、ユーザーの性格種別に応じて定められた点灯制御データ402の構成例を示すもので、もてなし意思決定部2のROMに記憶され、制御ソフトウェアにより随時読み出されて使用される。例えば、活動的な性格(SKC1(図11参照))に対しては、赤系照明511rを選んでこれをフラッシュ点灯(最初のみ、その後連続点灯)させ、おとなしい性格(SKC2)に対しては、アンバー系照明511uを選んでフェードイン点灯させる、などであるが、これはほんの一例である。
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤系(R)、緑系(G)、青系(B)の3原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。図4は、その回路構成の一例を示すもので、赤系(R)、緑系(G)、青系(B)の各発光ダイオード3401が電源(Vs)に接続され、各々トランジスタ3402でスイッチング駆動される。このスイッチングは、コンパレータ3403に入力される三角波(のこぎり波でもよい)の周期と、指令信号の電圧レベルとによって定まるデューティ比によりPWM制御される。各色の発光ダイオード3401への指令信号の入力波形は、各々独立に変更可能であり、3つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオード3401の発光強度は、上記のようにPWM制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとPWM制御とを組み合わせた方式も可能である。
図5には、赤系(R)、緑系(G)、青系(B)の各光の混合比(デューティ比による)と、視認される混合光の色との関係を示す(ここで示す混合比は、「1」を設定された色に対する他色の相対混合比で表わしており、この相対混合比を基準に絶対照明強度は別途設定される)。それぞれ、制御時に発光色を選択するためのインデックス(0〜14)が付与され、制御参照情報としてもてなし実行制御部3のROM(あるいは、もてなし意思決定部2側の記憶装置535:制御に必要な情報を、通信によりもてなし実行制御部3に送信すればよい)に記憶される。白色照明光は使用頻度が高く、着色された照明光との間でスムーズに制御移行できるように、白色を規定するインデックスが、該インデックスの配列上にて周期的に複数現れるように定められている。
特に中間に位置する白色(インデックス:6)を境として、その前後に、暖色系(うす黄→黄→赤)と寒色系(うす青→青→青紫)の各色が配列し、ユーザーの体調状態や精神状態に応じて、白色照明光から暖色系照明光ないし寒色系照明光にスムーズに切り替えることができるようになっている。ここで、演出等を特に考慮しない通常時の照明色は白色を中心に設定されている。そして、中庸の精神状態では白色が選択され、高揚した精神状態となるほど、青系すなわち短波長側に、沈んだ精神状態となるほど、赤系すなわち長波長側に照明色が変化するように定められている。
次に、図6は、カーオーディオシステム515の構成例を示すもので、もてなし意思決定部2からもてなし実行制御部3を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部515aを有する。インターフェース部515aには、デジタルオーディオ制御部515e、多数の音楽ソースデータを格納した音楽ソースデータベース515b,515c(前者はMP3データベース、後者はMIDIデータベース)が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部515aを経てオーディオ制御部に送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部515fでアナログ変換された後、プリアンプ515g及びパワーアンプ515hを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカ515jから出力される。
図1に戻り、電動ドア機構541は、乗降用のスライドドアあるいはスイング式ドアを、図示しないモータ(アクチュエータ)により自動開閉ないし開閉パワーアシストするためのものである。
図7は、ノイズキャンセラ1001Bの一構成例を示す機能ブロック図である。該ノイズキャンセラ1001Bの要部は、騒音抑制手段をなす能動的騒音制御機構本体2010と、必要音強調部(手段)2050とを含む。能動的騒音制御機構2010は、車内に侵入する騒音を検出する車内騒音検出マイク(ノイズ検知マイク)2011と、車内騒音検出マイク2011が検出する騒音波形と逆位相の騒音制御用波形を合成する騒音制御用波形合成部(制御音発生部)2015とを有する。騒音制御用波形は騒音制御用スピーカ2018から出力される。また、騒音制御用音波が重畳後の車内音に含まれる消し残し騒音成分を検出するエラー検出マイク2012と、消し残し騒音のレベルが縮小する方向にフィルタ係数が調整される適応フィルタ2014も設けられている。
車両自身に音源を有する車内騒音としては、エンジン音、路面音、風切り音などがあり、車内騒音検出マイク2011は、複数個のものが、個別の車内騒音の検知に適した位置に分散配置されている。車内騒音検出マイク2011は、搭乗者Jから見てそれぞれ違う位置にあり、マイク2011が拾う位置での騒音波形と、搭乗者Jが実際に聞く騒音波形との間には少なからぬ位相差がある。そこで、この位相差を合わせこむために、車内騒音検出マイク2011の検知波形は適宜、位相調整部2013を介して制御音発生部2015に与えられる。
次に、必要音強調部2050は、強調音検知マイク2051及び必要音抽出フィルタ2053を含んで構成され、その必要音の抽出波形が制御音発生部2015に与えられる。ここでも、車内騒音検出マイク2011と同様の事情により、位相調整部2052が適宜設けられる。強調音検知マイク2051は、車外の必要音を取り込むための車外用マイク2051と、車内の必要音を取り込むための車内用マイク2051とからなる。いずれも周知の指向性マイクにて構成でき、車外用は、音検知の指向性の強い角度域が車外方向を向き、指向性の弱い角度域が車内方向を向くように取り付けられている。本実施形態では、マイク2051の全体が車外に出るように取り付けられているが、指向性の弱い角度域が車内側に位置し、指向性の強い角度域のみが車外に出るように、車内と車外とにまたがって取り付けることも可能である。他方、車内用マイク2051は、各座席に対応して、搭乗者の会話音を選択的に検知できるよう、音検知の指向性の強い角度域が搭乗者の正面側を向き、指向性の弱い角度域が反対方向を向くように取り付けられる。これら強調音検知マイク2051は、いずれも、その入力波形(検出波形)のうち必要音成分を優先的に通過させる必要音抽出フィルタ2053に接続されている。なお、図6のカーオーディオシステム515のオーディオ入力が車内必要音音源2019として利用されるようになっている。このオーディオ機器のスピーカ出力音(スピーカは騒音制御用スピーカ2018と兼用してもよいし、別途設けてもよい)は、騒音制御用波形が重畳されても相殺されないように制御される。
図8は、図7の機能ブロック図に対応したハードウェアブロック図の一例を示すものである。第一DSP(Digital Signal Processor)2100は騒音制御用波形合成部(制御音発生部)2015及び適応フィルタ2014(さらには位相調整部2013)を構成するものであり、車内騒音検出マイク2011がマイクアンプ2101及びA/D変換器2102を介して、また、騒音制御用スピーカ2018がD/A変換器2103及びアンプ2104を介してそれぞれ接続されている。他方、第二DSP2200は、抑制すべき騒音成分の抽出部を構成するものであり、エラー検出マイク2012がマイクアンプ2101及びA/D変換器2102を介して、また、オーディオ入力など抑制対象外の音声信号源、すなわち必要音音源2019がA/D変換器2102を介してそれぞれ接続されている。
必要音強調部2050は、必要音抽出フィルタ2053として機能する第三DSP2300を有し、必要音検知マイク(強調音検知マイク)2051がマイクアンプ2101及びA/D変換器2102を介して接続されている。そして、第三DSP2300はデジタル適応フィルタとして機能する。以下、フィルタ係数の設定処理について説明する。
緊急車両(救急車、消防車、パトカーなど)のサイレン音、踏み切り警報器音、後続車のクラクション音、ホイッスル音、人間の叫び声(子供の泣き声や女性の叫び声など)を、注意ないし危険認識すべき必要車外音(強調音)として定め、それらのサンプル音をディスク等に記録して、読み取り再生可能な参照強調音データとしてライブラリー化しておく。また、会話音については、複数人の個別のモデル音声を、同様に参照強調音データとしてライブラリー化しておく。なお、自動車への搭乗候補者が固定的に定められている場合には、モデル音声を、そのモデル音声自身の発声による参照強調音データとして用意しておけば、その搭乗候補者が乗車した場合の会話音の強調精度を高めることができる。
そして、フィルタ係数に適当な初期値を与え、強調音検知マイク2051による強調音検出レベルを初期値に設定する。次いで、各参照強調音を読み出して出力し、強調音検知マイク2051により検出する。そして、適応フィルタの通過波形を読み取り、参照強調音として通過できた波形のレベルを測定する。この検知レベルが目標値に達するまで上記の処理を繰り返す。このようにして、車外音及び車内音(会話音)の双方について、参照強調音を次々と取り替えて、通過波形の検知レベルが最適化されるよう、フィルタ係数を学習処理させる。上記のようにフィルタ係数が調整された必要音抽出フィルタ2053により、強調音検知マイク2051からの入力波形から必要音を抽出し、その抽出強調音波形を第二DSP2200に転送する。第二DSP2200は、車内騒音検出マイク2011の検知波形から、必要音音源(ここではオーディオ出力)2019からの入力波形と、第三DSP2300からの抽出強調音波形を差分演算する。
第一DSP2100に組み込まれるデジタル適応フィルタのフィルタ係数は、システムの使用に先立って初期化が行われる。まず、抑制対象となる種々の騒音を定め、それらのサンプル音をディスク等に録音して、再生可能な参照騒音としてライブラリー化しておく。そして、フィルタ係数に適当な初期値を与え、エラー検出マイク2012による消し残し騒音レベルを初期値に設定する。次いで、参照騒音を順次読み出して出力し、車内騒音検出マイク2011により検出する。適応フィルタを通過した車内騒音検出マイク2011の検出波形を読み取り、これを高速フーリエ変換することにより、騒音検出波形を、各々波長の異なる正弦波素波に分解する。そして、各正弦波素波の位相を反転させた反転素波を生成し、これを再度合成することにより、騒音検出波形と逆位相の騒音制御用波形が得られる。これを騒音制御用スピーカ2018から出力する。
適応フィルタの係数が適性に定められていれば、車内騒音検出マイク2011の波形からは騒音成分だけが効率良く抽出されているはずなので、これに基づいて逆相合成された騒音制御用波形により車内騒音を過不足なく相殺することができる。しかし、フィルタ係数の設定が適性でなければ相殺されない波形成分が消し残し騒音成分となって生ずる。これは、エラー検出マイク2012により検出される。消し残し騒音成分のレベルは目標値と比較され、目標値以下になっていなければフィルタ係数を更新し、これが目標値以下になるまで同様の処理を繰り返す。このようにして、参照騒音を次々と取り替えて、消し残し騒音成分が最小化されるよう、フィルタ係数を学習処理させる。そして、実使用時には、消し残し騒音成分を定常的にモニタリングし、常時これが最小化されるようにフィルタ係数をリアルタイム更新しつつ、上記と同様の処理を行なうことで、必要な音波成分を残しつつ、車内の騒音レベルのみを効果的に低減することができる。
図1に戻り、ユーザー側端末装置1は、本実施形態では周知の携帯電話として構成されている(以下、「携帯機1」ともいう)。この携帯機1には、着信音出力や音楽演奏のために、着信音データや音楽データ(MP3データあるいはMIDIデータ:着信音としても使用される)がダウンロード可能とされており、図示しない楽音合成回路にて該データに基づく演奏出力が可能である。
また、もてなし意思決定部2には、次のようなセンサ・カメラ群が接続されている。これらの一部はシーン推定情報取得手段として機能し、また、ユーザー生体特性情報取得手段として機能するものである。
・車外用カメラ518:自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。ユーザーを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・赤外線センサ519:自動車に接近するユーザー、ないし乗車したユーザーの顔部分からの放射赤外線に基づき、サーモグラフィーを撮影する。ユーザー生体特性情報取得手段である体温測定部として機能し、その時間的変化波形を測定することにより、ユーザーの体調状態ないし精神状態を推定することができる。
・着座センサ520:ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。このほか、シートに着座したユーザーを撮影するカメラにより着座センサを構成することもできる。この方法であると、シートに荷物など、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、例えば人が着座した場合にだけもてなし動作を行なう、といった選択制御も可能となる。また、カメラを用いれば、着座したユーザーの動作を検出することも可能であり、検出情報をより多様化することができる。なお、シート上でのユーザーの動作を検出するには、シートに装着した感圧センサを用いる方法もある。
さらに、本実施形態では、図9に示すように、シートの座部及び背もたれ部に複数分散埋設された着座センサ520A,520B,520Cの検知出力に基づいて、着座したユーザー(運転者)の姿勢変化を波形検出するようにしている。いずれも着座圧力を検出する圧力センサで構成され、具体的には、正面を向いて着座したユーザーの背中の中心に基準センサ520Aが配置される。残部のセンサは、それよりもシート左側に偏って配置された左側センサ520Bと、シート右側に偏って配置された右側センサ520Cとからなる。基準センサ520Aの出力は、差動アンプ603及び604にて、それぞれ右側センサ520Cの出力及び左側センサ520Bの出力との差分が演算され、さらにそれらの差分出力同士が、姿勢信号出力用の差動アンプ605に入力される。その、姿勢信号出力Vout(第二種生体状態パラメータ)は、ユーザーが正面を向いて着座しているときほぼ基準値(ここではゼロV)となり、姿勢が右に偏ると右側センサ520Cの出力が増加し、左側センサ520Cの出力が減少するので負側にシフトし、姿勢が左に偏るとその逆となって正側にシフトする。なお、右側センサ520C及び左側センサ520Bは、いずれも加算器601,602により、座部側のセンサ出力と背もたれ側のセンサ出力との加算値として出力されているが、残部センサ出力と背もたれセンサ出力の差分値を出力するようにしてもよい(このようにすると、運転者が前のめりになったとき背もたれセンサ側の出力が減少し、その差分値が増大するので、より大きな姿勢の崩れとして検出することができる。
・顔カメラ521:着座したユーザーの顔の表情を撮影する。例えばバックミラー等に取り付けられ、フロントグラス側から運転者を斜め上方から、シートに着座したユーザー(運転者)の顔を含む上半身を撮影する。その画像から顔部分の画像を切り出し、ユーザーの種々の表情を予め撮影して用意されたマスター画像と比較することにより、図10に示す種々の表情を特定することができる。精神状態ないし体調状態のいずれにおいても、状態が良好な順に表情の序列を決めておき、その序列に従って得点付与することにより(例えば、精神状態の場合、安定を「1」、注意散漫・不安を「2」、興奮・怒りを「3」とするなど)、表情を離散的な数値パラメータ(第二種生体状態パラメータ)として使用することができ、その時間変化を離散的な波形として測定できるので、当該波形に基づき、精神状態ないし体調状態の推定を行なうことも可能である。なお、顔を含む上半身の画像形状と、その画像上での重心位置から、運転者の姿勢の変化を検出することもできる。すなわち、重心位置の変化波形は姿勢の変化波形として使用でき(第二種生体状態パラメータ)、当該波形に基づき、精神状態ないし体調状態の推定を行なうことも可能である。なお、もてなし制御に使用するユーザー生体状態情報の取得源(ユーザー生体特性情報取得手段)としての機能以外に、バイオメトリックスによるユーザーの本人認証用にも使用される。また、目のアイリスの向きを拡大検出することで、顔や視線の方向を特定することもできる(例えば、やたらに時計の方向を見る場合は、「時間を気にして焦っている」と推定するなど)。また、視線方向の角度の時間的変化波形(真正面を向いているときを基準方向として、その基準方向に対する左右へのぶれ角度を波形変化として検出する)に基づき(第二種生体状態パラメータ)、運転者の体調状態あるいは精神状態を推定するのにも使用される。
・マイクロフォン522:ユーザーの声を検出する。これも、ユーザー生体特性情報取得手段として機能させうる。
・感圧センサ523:自動車のハンドルやシフトレバーの、ユーザーによる把握位置に取り付けられ、ユーザーの握り力や、握ったり放したりの繰り返し頻度などを検出する(ユーザー生体特性情報取得手段)。
・血圧センサ524:自動車のハンドルのユーザー把握位置に取り付けられる(ユーザー生体特性情報取得手段)。血圧センサ524の検出する血圧値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の体調状態ないし精神状態の推定に使用される。
・体温センサ525:自動車のハンドルのユーザー把握位置に取り付けられた温度センサからなる(ユーザー生体特性情報取得手段)。体温センサ525の検出する体温値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の体調状態ないし精神状態の推定に使用される。
・皮膚抵抗センサ545:発汗等による体表面の抵抗値を測定する周知のセンサであり、自動車のハンドルのユーザー把握位置に取り付けられる。皮膚抵抗センサ545の検出する皮膚抵抗値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の体調状態ないし精神状態の推定に使用される。
・網膜カメラ526:ユーザーの網膜パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・アイリスカメラ527:バックミラー等に取り付けられ、ユーザーのアイリス(虹彩)の画像を撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。アイリスの画像を用いる場合、その模様や色の個人性を利用して照合・認証を行なう。特にアイリス模様は後天的形成要素であり、遺伝的影響度も低いので一卵性双生児でも顕著な相違があり、確実に識別できる利点がある。アイリス模様を用いた認証方式は、認識・照合を迅速に行なうことができ、他人誤認率も低い特徴がある。また、アイリスカメラにより撮影された運転者の瞳孔寸法(第二種生体状態パラメータ)の時間的変化に基づいて、体調状態あるいは精神状態の推定を行なうことができる。
・静脈カメラ528:ユーザーの静脈パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・ドアカーテシスイッチ537:ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
また、もてなし意思決定部2には、エンジン始動を検知するためのイグニッションスイッチ538の出力も分岐入力されている。また、湿度センサ546、室温センサ563、日照センサ564(エアコン514の制御用)、車外ノイズセンサ562(ノイズキャンセラ1001Bの制御用)、車内の明るさレベルを検出する照度センサ539、車内の音響レベルを測定する音圧センサ540も、もてなし意思決定部2に同様に接続されている。
また、もてなし意思決定部2には、タッチパネル(カーナビゲーションシステム534のモニターに重ねられたタッチパネルで兼用してもよい:この場合は、入力情報はもてなし実行制御部3からもてなし意思決定部2に転送される)等で構成された入力部529と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置535とが接続されている。
他方、もてなし実行制御部3には、車両位置情報を取得するためのGPS533(カーナビゲーションシステム534においても使用する)、ブレーキセンサ530、車速センサ531及び加速度センサ532も接続されている。
もてなし意思決定部2は、センサ・カメラ群518〜528の1又は2以上のものの検出情報から、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体状態情報を取得し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部3に指令する。もてなし実行制御部3は、これを受けて、対応するもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bにもてなし動作を実行させる。すなわち、もてなし意思決定部2ともてなし実行制御部3とが互いに協働して、取得されたユーザー生体状態情報の内容に応じてもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bの動作内容を変化させる機能を実現する。もてなし実行制御部3には、自動車側通信手段(ホスト側通信手段)をなす無線通信装置4が接続されている。該無線通信装置4は、自動車のユーザーが携帯するユーザー側端末装置(携帯電話)1と無線通信網を介して通信する。
一方、カーオーディオシステム515には、ユーザーが手動で操作する操作部515d(図6)が設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部515dからのボリューム/トーンコントロール信号は、プリアンプ515gへ入力される。この選曲データは、インターフェース部515aから、図1のもてなし実行制御部3を経てもてなし意思決定部2へ転送され、これに接続された記憶装置535の選曲実績データとして蓄積される。その蓄積内容に基づいて、後述のユーザ−性格判定処理が行われる(つまり、カーオーディオシステム515の操作部515dは、ユーザー生体特性情報取得手段の機能を構成しているといえる)。
図11は、上記音楽ソースデータのデータベース構造の一例を示すものである。該データベース401には、曲ID、曲名及びジャンルコードと対応付ける形で音楽ソースデータ(MP3又はMIDI)が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格種別コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中点」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格種別コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。
次に、本実施形態においてシーンは、接近シーン、乗車シーン、準備シーン、運転シーン、滞在シーン、降車シーン及び離脱シーン等が定められている。シーンの特定方法については、特許文献1〜3に詳細に開示されているのでここでは繰り返さないが、例えば、ユーザー側のGPS(図示せず)と、自動車側のGPS533とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することでシーン特定が可能である。また、乗り込みシーンと降車シーンとは、ドアカーテシスイッチ537のドア開検知出力に基づいて特定する。また、各シーンに対応した個別シーンフラグが設けられ、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来(フラグ値1)」に設定してゆくことで、現在どのシーンまで進んできているかを特定できる。また、準備シーンとシーン運転/滞在シーンとは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ538がONになるまでの間、あるいは、イグニッションスイッチ538がONにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンへの移行は、降車シーンのあと、ドアカーテシスイッチ537がドア閉を検知することで識別される。
各もてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御される。これらの動作制御アプリケーションはもてなし実行制御部3のROM(あるいは記憶装置535)内に記憶されている。
以下、自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の動作について説明する。図12は、システム100における、もてなし意思決定からもてなし動作実行に至る一連の処理の全体アルゴリズムを概念的に示すものである(これら3つの図は、対応する丸数字を接続子として、一つながりの図として読まれるべきものである)。もてなし主処理は、「目的推定(δ1)」、「個性適合(δ2)」、「状態適合(δ3)」、「演出対応(δ4)」、「機能選択(δ5)」、「駆動(δ6)」の各ステップからなる。
まず、「目的推定(δ1)」では、ユーザー位置検出(β1)及びユーザー動作検出(β2)により、現在のシーンを推定する。ユーザー位置検出(β1)は、具体的には、ユーザーと自動車との相対的位置関係(α1)を把握・特定することにより行なう。また、ユーザーの接近方向(α2)も考慮可能である。他方、ユーザー動作検出(β2)は、基本的には、ドアの開閉操作やシートへの着座など、シーン決定用に固定的に定められた動作を検出するセンサ類(シーン推定情報取得手段)の出力を用いて行なう(α5)。また、着座継続時間により準備シーンから運転/滞在シーンへの移行検知を行なう場合のように、特定動作の継続時間(α6)も考慮できる。
γ1でシーンが決定されれば、δ1にて、個々のシーンでのもてなし意図を推定する。「もてなし意図の推定」とは前述のごとく、刻々変化するユーザーの体調状態や精神状態に対し、その都度最も適合するもてなし内容、つまり、ユーザーが最も欲する種別のもてなし内容を推定することである。具体的には、図19及び図20に例示した意図推定テーブル371と図21に例示した原理作用テーブル372とを併用し、シーン毎に区分された安全性、利便性(楽に)及び快適性の分類項目毎に、ユーザーの体感、すなわち、触覚系、視覚系、嗅覚系及び聴覚系のそれぞれを対象とする制御対象環境項目に適合するもてなし意図が存在するか否かを検索する。もてなし意図が検索されれば、図22に例示する、対応するシーン別の機能抽出テーブル373を参照し、検索されたもてなし意図に対応するもてなし機能を抽出する。
また、δ2では、もてなし内容をユーザーの個性に適合させる処理となる。これは、具体的には、後述するユーザーの性格判定処理と、判定された性格に応じて、個々のもてなし処理に適正な重み付けをすること、つまり、個々のユーザーの性格に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。個性の特定には性格検出処理β4が必要である。性格検出処理β4は、アンケート処理(α7)など、ユーザー自身の入力により性格分類を取得して行なう方法と、ユーザーの動作、行為や思考パターン、あるいは表情などから、より分析的に性格分類を決定する方法との双方を用いることができる。後者については、音楽選曲の統計から性格分類を決定する方式(特許文献2,3)を採用している(α8:W2も参照)。
δ3は、もてなし内容をユーザーの精神/体調状態に適合させる処理を示す。また、δ4はもてなし演出対応処理であり、δ5は機能選択処理である。すなわち、ユーザー生体特性情報取得手段の検出情報に基づいて、ユーザーの精神状態及び体調を反映した精神/体調情報を取得し、その取得内容に応じてユーザーの精神状態ないし体調状態を推定する。
ユーザー生体特性情報取得手段は、赤外線センサ519(顔色:α17)、顔カメラ521(表情:α9、姿勢:α11、視線:α12、瞳孔径:α13)、血圧センサ524(心拍(心電):α14)などが採用可能であるが、この他にも、運転操作実績を検出するセンサ類(502w、530、531,532;誤操作率:α10)、血圧センサ(α15)、着座センサ520(感圧センサによりシートにかかる体重分布を測定し、運転中の小刻みな体重移動を検出して、運転中の落ち着きが損なわれた判定を行ったり、偏った体重の掛かりかたを検出して、運転者の疲労の程度を判定したりすることができる)。詳細は後述する。
上記のユーザー生体特性情報取得手段からの出力を精神状態や体調状態を示す数値パラメータに置き換え(β5)、その数値パラメータ及びその時間的変化からユーザーの精神状態や体調状態を推定する(γ3,γ4)。その推定結果は、後述の基準意図パラメータ値の決定処理に使用され、該基準意図パラメータ値は、意図推定テーブル371(図19,20)と原理作用テーブル372とを併用したもてなし機能を抽出と制御内容決定処理に使用される。基準意図パラメータは推定された精神状態や体調状態を反映して特有の値に設定され、それに応じて、選択される機能やその制御内容も、推定されるユーザーの精神状態や体調状態に適合するものとなるように適正化される。また、同じシーンのもてなしであっても、ユーザーの性格が異なれば、その性格に適合したもてなし動作となるように微調整され、同じユーザーであっても精神状態や体調に応じて採用される機能の種別や程度が調整される。
照明光の場合を例に取れば、性格によってユーザーの指向する照明色が相違し(例えば、活発なタイプは赤系を、おとなしいタイプは緑や青系を指向)、体調の良し悪しによって照明強度に対する要望(例えば、体調が悪いときは照明による刺激を抑制するため光量を落とす)が相違することが多い。前者では照明光の周波数あるいは波長(赤系→緑系→青系の順に波長が短くなる)を調整するもてなし制御となり、後者は照明光の振幅を調整するもてなし制御となる。また、精神状態は、その両方に関係する因子であり、幾分陽気な精神状態において、さらに気分を盛り上げるために赤系の照明光を採用することもありえるし(周波数調整)、照明光の色を変えず、明るさを増したりすることもありえる(振幅調整)。また、過度に興奮した状態では、気持ちを沈めるために青系の照明光を採用したり(周波数調整)、照明光の色を変えず明るさを減らしたりする(振幅調整)、といった処理が考えられる。音楽の場合は、種々の周波数成分が含まれているのでより複雑であるが、覚醒効果を高めるために、数100Hz〜10kHz程度の高音域の音波を強調したり、逆に気持ちを沈めるために、リラックス時の脳波(α波)の周波数(7〜13Hz:ヒューマンレゾナンス)に、音波の揺らぎの中心周波数を合わせこんだ、いわゆるα波系音楽を採用したりするなど、周波数/振幅により制御パターンを同様に把握することができる。
また、図1の照度センサ539(視覚刺激:α18)、音圧センサ(聴覚刺激:α19)などの出力から、現在ユーザーがどの程度の刺激を感じているかに関しての情報(外乱刺激)を得(環境検出:β6)、その外乱刺激値を推定する(γ5)。なお、特定すべき外乱刺激としては、触覚刺激(α20:例えば、ハンドルに取り付けられた感圧センサ523など)、及び嗅覚刺激(α21:嗅覚センサによる)なども併用することができる。また、外乱推定に関しては、ユーザーを取り囲む空間からの間接的刺激、具体的には、高さ(α22)、距離(α23)、奥行き(α24)及び自身ないし同乗者の体格(α25)等を考慮することも可能である(空間検出:β7)。
次に、ユーザー性格分類は、例えば以下のような方法により決定できる。
自動車のユーザーは、図1のもてなし意思決定部2のROM(書換えが可能となるように、フラッシュROMで構成しておくことが望ましい)等に形成されたユーザー登録部600(図2A)に予め登録される。このユーザー登録部は、各ユーザー名(あるいは、ユーザーID(及び暗証番号)と、その性格種別とが互いに対応付けられた形で登録されている。この性格種別は、後述のごとく、ユーザーによる自動車使用継続中に蓄積される、カーオーディオシステムの選曲統計情報に基づいて決定することも可能である。しかし、自動車の使用開始直後など、選曲統計情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。
例えば、図1のモニター536(カーナビゲーションシステム534のモニターで代用してもよい)に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部529からこれを入力することができる。また、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方式を採用してもよい。この場合、モニター536にはアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える(ここでは、選択ボタン(図示せず)で選択肢を構成し、この上に重ねられたタッチパネル529の該当位置に触れて選択入力を行なう)。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、1つのものが一義的に決定されるようになっている。
なお、ユーザー名を含めたユーザー登録入力も、上記の入力部529からなされ、決定された性格種別、もてなし優先度及び体調系補正係数Dfb,Dfm(後述)とともに図2Aのユーザー登録部600に記憶される。また、これらの一連の入力は、携帯機1から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部529か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。
カーオーディオシステムの選曲実績の統計情報に基づいて性格種別を決定する事例については、特許文献1〜3に開示されている通りなので、概略を説明する。図6のカーオーディオシステム515においては、ユーザーは操作部515dからの入力により、いつでも好きな曲を選んで演奏を楽しむことができる。ユーザーが自身で選曲した場合は、そのユーザーの特定情報(ユーザー名あるいはユーザーID)と、選曲された音楽ソースデータのIDと、前述のもてなし参照データRD(性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード)とが互いに対応付けられた形で、選曲実績記憶部(図1の記憶装置535内に形成されている)に記憶される。選曲実績記憶部には、ユーザー別に、その選曲実績の統計情報(図1の記憶装置535に記憶されている)が作成される。この統計情報では、選曲データが、性格種別コード別にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報から上記のごとく導かれた性格種別と置き換えるようにすればよい。
なお、自動車の使用に先立っては、ユーザーの認証が必要である。特にユーザーが複数登録されている場合は、ユーザーによって性格種別が異なるものに設定され、もてなしの内容も異なるものとなるからである。最も簡単な認証方式は、携帯機1からユーザーIDと暗証番号を自動車側に送信し、これを受けたもてなし意思決定部2が、登録されているユーザーIDと暗証番号との照合を行なう方法である。また、携帯機1に設けたカメラにより顔写真の照合を行ったり、音声認証、指紋を用いた認証など、バイオメトリックス認証方式を採用することもできる。他方、自動車へのユーザーの接近時は、ユーザーIDと暗証番号とを用いた簡略な認証に留め、開錠後、自動車に乗り込んでから、前述の顔カメラ521、マイクロフォン522、網膜カメラ526、アイリスカメラ527あるいは静脈カメラ528などによるバイオメトリックス認証を行なうようにしてもよい。
本実施形態では、顔写真の照合による認証を行なう場合を例示している。図32に示すように、顔カメラ521は、各シート100FR,FL,RR,RLを正面から撮影するものであり、各乗員の上半身が包含されるように撮影視野が定められている。着座センサ519は各シート100FR,FL,RR,RLの座部に埋設された荷重センサ等で構成され、乗員の着座の有無を補助的に検出する。例えば、着座センサ519が荷重検知し、かつ、顔カメラ521の撮影視野に乗員の顔画像が検出された場合に着座ありと検出する方式を採用することにより、シートへの荷物載置や外乱光等による誤検出防止を図ることができる。また、着座センサ519の併用により、顔画像の特定精度を多少低くしても着座検知の精度を確保することができ、アルゴリズムの軽量化に寄与する。他方、図2Aに示すように、ユーザー登録部600には、個々のユーザーのマスター顔画像から抽出した顔特徴量がユーザーIDと対応付けて記憶されており、各シートの顔カメラ521が撮影した顔画像から抽出した顔特徴量と照合するすることにより、どのシートにどのユーザーが乗車しているかが特定できるようになっている。
以下、本発明のもてなしシステムの具体的な動作例について、運転/滞在シーンを例に取り、図13のフローチャートに従い説明する。まず、着座しているユーザーの精神状態と体調状態を推定する(図12:γ3,γ4)。具体的な方法については、特許文献1〜3に詳細に開示されており、ここでは概略のみを説明する。基本的には、取得した生体状態パラメータの時間的変化を測定し、その変化波形から精神状態と体調状態とを推定する方式を採用している。
本実施形態では、図23に示すように、精神活性度(覚醒度)を縦軸に、横軸に愉快度を定めた、いわゆるラッセル・メーラビアンの感情平面の概念に基づいて、個々の精神状態を分類・特定するようにしている。具体的には、感情平面の個々の象限が規定する4つの精神状態、すなわち、盛り上がり状態(精神活性度大/愉快)、癒し・リラックス状態(精神活性度小/愉快)、怒り・興奮状態(精神活性度大/不愉快)、落胆・倦怠状態(精神活性度小/不愉快)を基本とし、これを、感情平面の原点からの距離に応じてそれぞれ複数段階に区分したものとして規定してある。この感情平面の原点近傍のエリアは、各象限の感情状態のどれかに強く偏るのではない中庸の精神状態、すなわちニュートラル状態を表わすものであり、各象限にてこのニュートラル状態から遠ざかるにつれ、個々の象限に特徴的な感情ひいては欲求により強く支配された状態へと段階的に推移する。そして、この感情ないし欲求の個々の段階は、象限毎にマズローの欲求段階説に従い配列されたものとなっている。
マズローの欲求段階説は、人間の欲求を以下のように5段階に分け、より低次の欲求が満たされると、順々により高次の欲求を求めるようになる、という仮説である。
第1段階: 生理的欲求 …食欲、睡眠欲、性欲など生物的に生きるために必要な欲求。
第2段階: 安全・安定の欲求…衣服、住居、お金など、将来を含めて危険から守られることへの欲求。
第3段階: 所属・愛情欲求/社会的欲求…集団に所属したり、家族や他人から愛されることへの欲求。
第4段階: 自我・尊厳の欲求…他人から承認され、尊重されることへの欲求。
第5段階: 自己実現の欲求…自分ならではの素質・能力を発揮して自己を成長・発展させることへの欲求。
ただし、段階数は、図23に示すように、第1段階及び第2段階を併合した「ニュートラル状態」、第3段階及び第4段階を併合した「中間状態」、及び第5段階の「特徴化状態」の3つに集約してある。そして、前述の生体状態パラメータの時間的変化測定の変化波形に基づいて、上記各象限・各段階の精神状態が推定される。
生体状態パラメータとして「血圧」を採用する場合は、血圧センサ524により検出される血圧波形の中心周波数(あるいはピーク周波数)fと、区間別の積分振幅A1,A2の平均値Aを演算する。周波数fが上限閾値fu0より大きくなっていれば監視中の血圧変化が「急」であると判定し、下限閾値fL0(>fu0)より小さくなっていれば「緩」であると判定し、fu0≧f≧fL0ならば「標準」であると判定する。また、振幅Aを閾値A0と比較し、A≦A0であれば、監視中の平均血圧レベルは「維持」状態にあると判定し、そうでなければ「変動」状態にあると判定する。精神状態特定への寄与は、「変化の緩急/方向」でみたとき、「怒り・興奮状態」象限については「緩/増加(中間状態A’)」→「急/増加(特徴化状態A)」、「落胆・倦怠」象限については「やや急/減少(中間状態B’)」→「緩/減少(特徴化状態B)」、「盛り上がり状態」象限については「緩/増加(中間状態C’)」→「急/増加(特徴化状態C)」、「癒し・リラックス状態」象限については「やや急/減少(中間状態D’)」→「緩/減少(特徴化状態D)」という形で推移する。また、体調不良に関しては、血圧の変動は緩やかとなる。
生体状態パラメータとして「体温」を採用する場合は、体温センサ525(赤外線センサ519)を用いる。具体的には、一定時間間隔で定められたサンプリングタイミングが到来する毎に検出される体温値をサンプリングし、波形記録するとともに周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、波形を一定数の区間に分割し、区間別の体温平均値を演算する。そして、区間毎に、平均体温値を波形中心線として積分振幅を演算し、各区間の積分振幅を平均し、波形振幅の代表値として決定する。決定された周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の体温変化が「急」であると判定する。また、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の体温変化が「緩」であると判定する。精神状態特定への寄与は、「変化の緩急/方向」でみたとき、「怒り・興奮状態」象限については「緩/増加(中間状態A’)」→「急/増加(特徴化状態A)」、「落胆・倦怠」象限については「やや急/減少(中間状態B’)」→「緩/減少(特徴化状態B)」、「盛り上がり状態」象限については「緩/増加(中間状態C’)」→「急/増加(特徴化状態C)」、「癒し・リラックス状態」象限については「やや急/減少(中間状態D’)」→「緩/減少(特徴化状態D)」という形で推移する。体温が平熱よりも高レベルで安定していたり(風邪発熱時等)、平熱よりも低レベルで安定していたり(貧血時等)する場合は、体調不良の特定にも活用できる。
生体状態パラメータとして「皮膚抵抗」を採用する場合は皮膚抵抗センサ545を用いる。ここでも同様に皮膚抵抗値をサンプリングし波形記録するとともに、スペクトラムの中心周波数(あるいはピーク周波数)fと区間別積分振幅A1,A2‥を演算する。そして、各区間の積分振幅Aを時間tに対してプロットし、最小二乗回帰して勾配αを求める。周波数fが上限閾値fu0より大きくなっていれば監視中の皮膚抵抗変化が「急」であると判定し、下限閾値fL0(>fu0)より小さくなっていれば「緩」であると判定する。また、fu0≧f≧fL0ならば「標準」であると判定する。さらに、勾配αの絶対値を閾値α0と比較し、|α|≦α0であれば、監視中の平均皮膚抵抗レベルは「一定」状態にあると判定する。また、|α|>α0の場合、αの符号が正であれば監視中の平均皮膚抵抗レベルは「増」状態にあると判定し、負であれば「減」状態にあると判定する。精神状態特定への寄与は、「変化の緩急/方向」でみたとき、「怒り・興奮状態」象限については「緩/減少(中間状態A’)」→「急/減少(特徴化状態A)」、「落胆・倦怠」象限については「やや急/増加(中間状態B’)」→「緩/増加(特徴化状態B)」、「盛り上がり状態」象限については「緩/減少(中間状態C’)」→「急/減少(特徴化状態C)」、「癒し・リラックス状態」象限については「やや急/増加(中間状態D’)」→「緩/増加(特徴化状態D)」という形で推移する。体調不良に関しては、軽度のものは皮膚抵抗の時間的変化にそれ程反映されないが、体調不良が進行すると、皮膚抵抗値の変化が緩やかに増加に転ずるので、「重度体調不良」の推定には有効である。
生体状態パラメータとして「表情」を採用する場合は、図1の顔カメラ521を用い、所定のサンプリング間隔で顔画像を撮影し、マスター画像と順次比較することにより、表情種別(例えば、「安定」、「不安・不快」、「興奮・怒り」)を識別しつつ、その時間的変化を「変化小」、「増」、「微増」あるいは「急増」等として判定する。精神状態特定への寄与は、「表情種別/変化方向」でみたとき、「怒り・興奮状態」象限については「不快/減少(中間状態A’)」→「怒り・興奮/急増(特徴化状態A)」、「落胆・倦怠」象限については「無表情/(変化小)(中間状態B’)」→「やや不快/(変化小)(特徴化状態B)」、「盛り上がり状態」象限については「楽しげ/(変化小)(中間状態C’)」→「楽しげ/増加(特徴化状態C)」、「癒し・リラックス状態」象限については「無表情/(変化小)(中間状態D’)」→「やや楽しげ/微増(特徴化状態D)」という形で推移する。
生体状態パラメータとして「姿勢」を採用する場合は、シートに埋設した複数個の着座センサ520による姿勢信号を用い、姿勢信号波形の中心周波数(あるいはピーク周波数)fと区間別の積分振幅A1,A2‥の平均値Anと分散Σ2を演算する。周波数fが上限閾値fu0より大きくなっていれば監視中の姿勢変化速度が「増」であると判定し、下限閾値fL0(>fu0)より小さくなっていれば「減」であると判定する。また、積分振幅Aの平均値Anの値を予め定められた閾値と比較して、姿勢移動量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、姿勢移動量は増加傾向にある)。また、分散Σ2の値が閾値以上になっている場合は、姿勢移動が増減傾向にあると判定する。神状態特定への寄与は、「姿勢移動の増減/速度」でみたとき、「怒り・興奮状態」象限については「増加/増加(中間状態A’)」→「急増加/増加(特徴化状態A)」、「落胆・倦怠」象限については「減少/安定(中間状態B’)」→「急減少/安定(特徴化状態B)」、「盛り上がり状態」象限については「微増/安定(中間状態C’)」→「増加/微増(特徴化状態C)」、「癒し・リラックス状態」象限については「漸減/安定(中間状態D’)」→「減少/安定(特徴化状態D)」という形で推移する。なお、体調不良が生ずると、辛さを和らげようとして時折姿勢を変える仕草が目立つようになり、姿勢移動量は微増傾向となる。しかし、体調不良がさらに進行すると(あるいは、極度の眠気に襲われた場合)、姿勢が不安定になってぐらつくようになり、姿勢移動は増減傾向となる。このときの姿勢移動は、体のコントロールが利かない不安定なものなので、姿勢移動の速度は大幅に減少する。
生体状態パラメータとして「視線角度」を採用する場合は、前述の顔画像中にて瞳孔位置と顔中心位置とを特定するとともに、顔中心位置に対する瞳孔の正面方向からのぶれを演算して視線角度θを求め、その時間的変化波形を取得する。そして、同様に、波形の中心周波数(あるいはピーク周波数)fと、区間別積分振幅A1,A2の平均値Anを演算する。積分振幅Aの平均値Anの値を予め定められた閾値と比較して、視線角度θの変化量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、視線角度θの変化量は増加傾向にある)。精神状態特定への寄与は、「視線移動量」でみたとき、「怒り・興奮状態」象限については「減少(中間状態A’)」→「激減(特徴化状態A)」、「落胆・倦怠」象限については「減少(中間状態B’)」→「激減(特徴化状態B)」、「盛り上がり状態」象限については「安定(中間状態C’)」→「減少(特徴化状態C)」、「癒し・リラックス状態」象限については「漸減(中間状態D’)」→「減少(特徴化状態D)」という形で推移する。なお、体調不良が生ずると、その不良の程度に応じて視線移動量が減少する。
生体状態パラメータとして「瞳孔径」を採用する場合は、アイリスカメラ527(図1)によりユーザーのアイリスを撮影し、その画像上にて瞳孔径dを決定し、その時間変化波形を取得する。そして、その波形から区間別の瞳孔径平均値dn、区間別の積分振幅A1,A2の平均値An及び分散Σ2を演算する。瞳孔径平均値dnが閾値d0より大きくなっていれば「瞳孔開」と判定する。また、大きくなっていなければ分散Σ2が閾値Σ20よりも大きいかどうかを調べ、大きければ「瞳孔径変動」と判定する。また、大きくなければ「正常」と判定する。瞳孔径dは、ユーザーの精神状態に応じて顕著に変化し、特に、特有の瞳孔開状態があるか否かに基づいて、ユーザーが興奮状態にあるか否かを高精度に推定することができる。精神状態特定への寄与は、「怒り・興奮状態」象限については「変動(中間状態A’)」→「開(特徴化状態A)」、「落胆・倦怠」象限については「変動(中間状態B’)」→「閉(特徴化状態B)」、「盛り上がり状態」象限については「変動(中間状態C’)」→「開(特徴化状態C)」、「癒し・リラックス状態」象限については「変動(中間状態D’)」→「閉(特徴化状態D)」という形で推移する。
生体状態パラメータとして「ステアリング操作状態(操舵)」を用いる場合は、直線走行時にステアリングのサンプリング及び評価を行なう。具体的には、一定時間間隔で定められたサンプリングタイミングが到来する毎に、操舵角センサ547の出力により現在の操舵角度φを読み取る(例えば、直進中立状態でφ=0°とし、左右いずれかへの触れ角として定義する(例えば右方向の角度を正、左方向の角度を負とする)。そして、その操舵角度値を波形として取得し、中心周波数(あるいはピーク周波数)fと、区間別の積分振幅A1,A2‥及びその分散Σ2を演算する。周波数fが上限閾値fu0より大きくなっていれば操舵角度φの変化速度が「増」であると判定し、下限閾値fL0(>fu0)より小さくなっていれば「減」であると判定し、fu0≧f≧fL0ならば「正常」であると判定する。また、積分振幅Aの分散Σ2が閾値Σ20よりも大きければ操舵誤差が「増」と判定し、大きくなければ「正常」と判定する。精神状態特定への寄与は、「操舵誤差の増減/操舵速度」でみたとき、「怒り・興奮状態」象限については「増加/増加(中間状態A’)」→「増加/増加((特徴化状態A)」、「落胆・倦怠」象限については「正常/正常(中間状態B’)」→「増加/正常(特徴化状態B)」となる。「盛り上がり状態」象限と「癒し・リラックス状態」象限については、いずれも正常のままであり、顕著な傾向は生じない。
このようにして得られた生体状態パラメータの時間的変化に係る判定結果を用いて、ユーザーの具体的な体調/精神状態の判定(推定)が行なわれる。そして、個々の具体的には、記憶装置535内には、図14に示すように、ユーザーの判定すべき精神状態と体調状態との組み合わせである複数の被特定状態と、個々の被特定状態が成立していると判定するための、複数のユーザー生体特性情報取得手段がそれぞれ検出しているべき生体状態パラメータの時間的変化状態の組み合わせとを対応付けて記憶した判定テーブル1601が記憶されている。
具体的には、各生体状態パラメータの時間的変化に係る判定結果(例えば、「急減」や「増加」など)をリードし、リードした個々の判定結果を、判定テーブル1601上の各被特定状態に対応する時間的変化状態の組み合わせと順次照合する。この場合、例えば、全ての生体状態パラメータについて、被照合情報と判定結果とが一致した被特定状態のみを採用する処理としてもよいが、参照する生体状態パラメータが多い場合は、被照合情報と判定結果とが全ての生体状態パラメータについて一致するのが稀となり、ユーザーの体調状態あるいは精神状態の推定を柔軟に行なうことができなくなる。従って、照合カウンターの得点(N)を「一致度」とみなして、最も得点の高いもの、つまり一致度の最も高いものを、被特定状態として確定させる方法が有効である。
なお、例えば平均血圧レベルが「変動」と判定された場合のように、同じ生体状態パラメータの状態が複数の被特定状態(「集中力散漫」あるいは「興奮状態」)への成立に肯定的に寄与する場合もあるが、この場合は、それら各被特定状態の照合カウンターをインクリメントする。例えば、平均血圧レベルが「変動」と判定された場合は、4つの照合カウンター値N1,N4,N5,N6がインクリメントされる。
他方、被照合情報と判定結果との一致不一致は、既に種々説明したごとく、生体状態パラメータ(周波数あるいは振幅等)の閾値との比較で判断されているものがほとんどであり、上記のように一致/不一致を二値的(つまり、シロかクロか)に決定する際に、実際のパラメータの指示値と閾値との偏差がどの程度であったかは情報として埋没することになる。しかし、実際には、閾値に近接した値で一致/不一致が決定される場合は、いわば「グレー」の判定であり、閾値から隔たった(例えば閾値を大幅にクリアした)形で一致/不一致が決定される場合と比較して、判定結果への寄与の度合いを小さく扱うようにすることが本来的には望ましい。
これを解決する方法としては、被照合情報と判定結果とが完全に一致した場合にのみ照合カウンターへの加算を行なうようにするのに代え、完全一致せずとも、定められた範囲内で近接した結果が得られた場合は、完全一致の場合よりも低い得点に制限しつつ、これを照合カウンターへ加算することが考えられる。例えば、被照合情報が「急増」となっている場合、判定結果も「急増」であれば3点を、「増」の場合は2点を、「微増」の場合は1点を加算する方式を例示できる。
図13に戻り、体調状態と精神状態とが特定できればS2に進み、特定された体調状態に対応する体調系基準意図パラメータ値を決定する処理となる。本実施形態では、体調系基準意図パラメータは5成分(fb1,‥,fb5)からなる空間パラメータである(以下、これを[fb]≡[fb1,‥,fb5]と記し、体調系基準意図ベクトルと称する)。上記5成分のうち、fb1、fb2が体力消耗低減に関する意図強度を表わすパラメータ種別に属し、fb3、fb4、fb5が体力回復に関する意図強度を表わすパラメータ種別に属する。具体的には、fb1は「力/時間を低減する」、fb2は「手間/人を低減する」の各意図に対応するものである。また、fb3は「補給する」、fb4は「休息する」、fb5は「効果を高める」の各意図に対応するものである。
次に、S3では、特定された精神状態に対応する精神系基準意図パラメータ値を決定する処理となる。本実施形態では、精神系基準意図パラメータは7成分(fm1,‥,fm7)からなる空間パラメータである(以下、これを[fm]≡[fm1,‥,fm7]と記し、精神系基準意図ベクトルと称する)。上記7成分のうち、fm1、fm2が不愉快排除に関する意図強度を表わすパラメータ種別に属し、fm3、fm4が愉快獲得に関する意図強度を表わすパラメータ種別に属する。また、fm5が気持高揚に関する意図強度を表わすパラメータ種別に属し、fm6、fm7が気持安静に関する意図強度を表わすパラメータ種別に属する。具体的には、fm1は「対象を排除する(ストレス源を排除する)」、fm2は「誤魔化す(ストレスを感じなくする)」の各意図に対応するものである。fm3は「対象を得る(好きなもの/イメージを認識する)」、fm4は「誤魔化す(別の好きな雰囲気を楽しむ)」の各意図に対応するものである。fm5は「気持高揚(車/目的地のイメージが強調される)」の意図に対応するものである。fm6は「癒される」、fm7は「効果を高める」の各意図に対応するものである。
各体調状態に対応する体調系基準意図ベクトル[fb]の各成分の設定値は、図15に示す体調系基準意図ベクトル設定テーブル601(図1のもてなし意思決定部2のROMに記憶されている)にまとめられており、決定された体調状態に対応するものが随時読み出されて使用される。また、精神系基準意図ベクトル[fm]は、図16に示す感情平面上の個々の象限の各段階(N,A,A’,B,B’,C,C’,D,D’)の精神状態に一対一に対応する形で設定されており、各成分の設定値は精神系基準意図ベクトル設定テーブル602(図1のもてなし意思決定部2のROMに記憶されている)にまとめられており、決定された精神状態に対応するものが随時読み出されて使用される。
基準意図ベクトル[fb][fm]の各成分(すなわち、成分基準意図パラメータ)は、対応する外乱刺激に対するユーザーの排除意図が強いものほど絶対値が大きく設定される。具体例を挙げて説明する。まず、体調系基準意図ベクトル[fb]については、図15に示すように、体力消耗低減に関する意図強度を表わすパラメータ種別fb1及びfb2の値が、体調異常の場合において体調正常時よりも明らかに大きく設定されている(特に、重度体調異常時に値が最大値(1)となり、軽度体調異常時においては値が若干下げられている(0.8)。体力回復に関する意図強度を表わすパラメータ種別(fb3、fb4、fb5)についても同様であり、fb4(休息する)については、正常時にあっても、疲労時には値が若干高く設定されている。
また、精神系基準意図ベクトル[fm]については、図16に示すように、気持高揚に関する意図強度を表わすパラメータ種別fm5が、落胆・倦怠状態において、ニュートラル状態や怒り・興奮状態よりも値が大きく設定され、気持を高揚させる意図を強調するようにしている。逆に、気持安静に関する意図強度を表わすパラメータ種別fm6、fm7は、激情・興奮状態において落胆・倦怠状態やニュートラル状態やよりも値が大きく設定され、高ぶった気持をクールダウンする意図を強調するようにしている。
なお、不愉快要素を歓迎するユーザーは通常はいないので、不愉快排除に関する意図強度を表わすパラメータ種別fm1、fm2の値は総じて高めに設定される。逆に、激情・興奮状態や落胆・倦怠状態などでは精神安定欠如のため愉快要素を受け入れる余裕がないこともあり、愉快獲得に関する意図強度を表わすパラメータ種別fm3、fm4値は総じて低めに設定される。
以上の精神系基準意図ベクトル[fm]の内容によると、図23にて不快方向に偏った精神状態に対応する精神系基準意図ベクトルは、怒り・興奮状態である場合はこれを冷静化させ、逆に落胆状態である場合はこれを高揚ないし興奮化させる形になっている(すなわち、対抗型もてなし動作とみることができる)。一方、図23にて快方向に偏った精神状態かニュートラル状態に対応する精神系基準意図ベクトルは、その快状態を維持するもてなし動作が実行される形になっている(つまり、当該の精神状態を支持ないし助長する迎合型もてなし動作とみることができる)。
次に、図13のS4に進み、使用する体調系基準意図ベクトル[fb]及び精神系基準意図ベクトル[fm]の補正を行なう。具体的には、自動車に乗り込んでいる各ユーザーのもてなし優先度を図2Aのユーザー登録部600で検索し、もてなし優先度が最も上位に位置するユーザーの体調系補正係数Dfb,Dfmを読み出す。体調系補正係数Dfbは、体調系基準意図ベクトル[fb]の成分設定値を補正するためのものであり、対応するユーザーが好む体的刺激レベルの個人差(つまり、強めの刺激を好むか弱めの刺激を好むか:例えば、冷房であれば冷え性で弱冷を好むか、逆に汗かきで強冷を好むか、などを反映するものである)に応じて、ユーザー毎に固有の値が定められる。本実施形態では、図17に示すように、弱め、ニュートラル、強めにそれぞれ対応して、体調系補正係数Dfbの値が3段階に定められている。体調系補正係数Dfbは、ベクトル[fb]の各成分に乗ずる形で使用され、「ニュートラル」は補正なし(1)、「弱め」は値縮小(0.8)、「強め」は値拡大(1.2)に作用する。
また、精神系補正係数Dfmは、精神系基準意図ベクトル[fm]の成分設定値を補正するためのものであり、ユーザーの外乱排除速度に対する欲求個人差(つまり、おっとり型かせっかち型か:例えば、冷房であればゆっくり冷えることを好むか、速やかに冷えることを好むか、などを反映するものである)に応じて、ユーザー毎に固有の値が定められる。該精神系補正係数Dfmは、ユーザー登録部600内の性格種別とも密接な対応関係にあり、おっとり型の性格については精神系補正係数Dfmの値が小さく設定され、逆にせっかち型の性格については精神系補正係数Dfmの値が大きく設定される。本実施形態では、スロー、ニュートラル、ファストにそれぞれ対応して、精神系補正係数Dfbの値が3段階に定められている。精神系補正係数Dfbは、ベクトル[fm]の各成分に乗ずる形で使用され、「ニュートラル」は補正なし(1)、「スロー」は値縮小(0.8)、「ファスト」は値拡大(1.2)に作用する。
当然、体的刺激レベルの好みはユーザー毎に皆違うので、これらを一律に充足する補正条件を見出すことは困難である。そこで、ユーザーのもてなし優先度(乗り込んだユーザー間のいわば「力関係」)を導入し、もてなし優先度が最も上位に位置するユーザーの補正条件を優先した処理を行なうわけである。前述のごとく、この「力関係」を反映したもてなし優先度の設定は、ユーザー登録時に入力設定することも可能であるし、子供と大人で優先度を異ならせる場合は、カメラ521等が撮影するユーザーの画像や、座席に取り付けられた検知センサ等で、着座したユーザーの身体サイズを特定し、その身体サイズに応じて(例えば、身体サイズが閾値未満であれば子供と判定するなど)もてなし優先度を自動設定するようにしてもよい。
また、座席毎にマイクロフォンを設け、このマイクロフォンが検出するユーザーの会話を、周知の音声認識及び会話分析手法に基づいて解析し、もてなし優先度を自動設定することも可能である。比較的簡単な手法としては、会話中の単語出現頻度を解析し、例えば敬語を多用するユーザーほど力関係下位と判定し、もてなし優先度を低く設定したり、逆に命令的あるいは鷹揚な口調を示す単語の出現頻度の高いユーザーは力関係上位と判定し、もてなし優先度を高く設定したりすることが可能である。また、幼児語を多用したり、総じて言動の幼いユーザーを子供と判定することが可能である。
もてなし優先度は、ユーザーの座席位置とは無関係にデフォルト値を設定し、それを、着座位置に応じて補正するように構成することもできる。図30に示すように、運転席に着座するのは、もてなしのいわばホストに相当する人物であり、隣席である助手席はこのホストに比較的親しい人物が着座する傾向が強い。この場合は、もてなし優先度を大方向に補正する補正量が、助手席ユーザーに対し運転席ユーザーよりも大きくなるように設定し、助手席ユーザーのもてなし優先度を相対的に高めることができる。また、後部座席については、マナー上、運転席背後の座席が上席とみなされる習慣が強く、もてなし優先度を大方向に補正する補正量が、運転席背後ユーザーに対し助手席背後ユーザーよりも大きくなるように設定することができる。また、前席と後席とはやや隔絶されていることもあり、社交的距離を配慮して、上記隣席同士よりはもてなし優先度の補正量を小さく設定することができる。助手席ユーザーのもてなし優先度を高める状況下では、前席側の大方向補正量を後席側よりも高める態様を例示できる。
また、後部座席に子供(特に幼児や低学年児童)が着座する場合は、図31に示すように、興奮して騒ぎ、運転集中への影響が生ずるケースが考えられる。この場合、後部座席側での対応例として、後部座席の子供の鎮静化を図るもてなし動作(例えば、子供が没頭できる映像出力など)へのもてなし優先度を高めるように設定することが可能である。他方、運転席側での対応例としては、後部座席からの騒ぎ声等を抑制するノイズキャンセラの動作や、いらいらを沈静化するための快適音楽送出等に対するもてなし優先度を高める方法を例示できる。
図27は、もてなし優先度の座席別決定処理の流れを示すフローチャートである。S01〜S106は、上記した流れにより運転席、助手席及び後部座席の各ユーザーを特定し、例えば前述のユーザー登録部600(図2A)に登録されているデフォルトもてなし優先度の値をそれぞれ読み出す。そして、上記のごとく座席ごとに定められた補正係数をデフォルトもてなし優先度に乗じて、座席ごとのもてなし優先度として設定する。
もてなし動作は、個別対応可能なものは、基本的に座席毎にカスタマイズされた異なる内容にて実行されるが、相反するもてなし動作が座席間で競合した場合は、設定されたもてなし優先度に従い、調停処理がなされる。この場合、後述のもてなし動作の意図強度を、例えば図28に示すように、もてなし優先度の値に応じて定められた補正係数により、もてなし優先度が高いほど意図強度が強められるように補正することで、上記動作競合に対する調停が可能となる。
さて、補正されたベクトル[fb]、[fm]の各成分は、図19及び図20に示す意図推定テーブル371上に以下のようにして展開される。意図推定テーブル371はもてなし意思決定部2のROM内に格納され、以下のような構造を有する。すなわち、マトリックスの縦軸に各シーン(乗る→降りる→滞在→運転)が配列し、シーン毎に、安全性(安全に)、利便性(楽に)及び快適性(快適に)の3つのもてなし意図分類項目が設定されている。このうち、利便性(楽に)のもてなし意図分類項目には体調系基準意図ベクトル(パラメータ)の各成分が示す5つの意図強度項目が割り当てられ(図20)、快適性(快適に)のもてなし意図分類項目には精神系基準意図ベクトル(パラメータ)の各成分が示す7つの意図強度項目が割り当てられている(図19)。
他方、マトリックスの横軸には、触覚系、視覚系及び聴覚系の少なくとも3つの属性(このほか、さらに嗅覚があるが、図では欄外となっている)に区分された外乱刺激の項目が配列している。外乱刺激は車内外乱と車外外乱とがあるが、ここでは車内外乱の場合について例示している。触覚系外乱刺激には気流温度、車内物温度、湿度、圧力(振動)がある。また、視覚系外乱刺激には光(照度)がある。さらに、聴覚系外乱刺激には音がある。いずれも、対応するセンサの入力から値取得される(図13:S5)。
各種別の外乱刺激値は、いずれもニュートラル値を基準として正負両方向に値が検出されるようになっている(具体的に、各外乱刺激値は、いずれもニュートラル値をゼロとして、正方向に+0.5、+1.0及び負方向に−0.5、−1.0の5段階に検出される)。いずれも、明るい⇔暗い、暑い⇔寒い、うるさい⇔静かなど、互いに相反する状態の間を行き来する形で変化するものである。具体的には、気流温度については、その強度(振幅に相当:程度)が、暑い→(温かい、ニュートラル、涼しい)→寒い、の間で変化し、(機能動作の結果として得られる温度変化の)速度(周波数に相当)は、急速→(速い、ニュートラル、遅い)→緩やか、の間で変化する。車内物温度については、その強度が、熱い→(ニュートラル)→冷たい、の間で変化する。湿度は、その強度が、濡れる→(湿る、ニュートラル)→乾く、の間で変化する。振動については、その強度が、強い→(ニュートラル)→弱い、の間で変化し、速度(周波数)は、高い→(ニュートラル)→低い、の間で変化する。光(照度)については、その強度が、眩しい→(ニュートラル、薄暗い)→暗い、の間で変化し、速度(周波数(光の色))は、暖色→(ニュートラル)→寒色、の間で変化する。音については、その強度が、五月蝿い→(ニュートラル)→静か、の間で変化し、速度(周波数)は、賑やか→(ニュートラル)→穏やか、の間で変化する。
前述のごとく、基準意図ベクトル[fb]、[fm]の各成分(各成分基準意図パラメータ)は、対応する外乱刺激に対するユーザーの排除意図が強いものほど絶対値が大きく設定されるとともに、各成分は、意図推定テーブル371の各セル上にて、対応する外乱刺激値との積が基準意図パラメータとして演算される(図13:S6)。もし、対応する外乱刺激値がニュートラル値(つまり、ゼロ)であれば、この積の値(意図強度パラメータ)もゼロとなる(図19及び図20にて空白のセルは、意図強度パラメータの値がゼロであることを示す)。このことは、対応する外乱刺激に対するユーザーの排除意図が存在しない(つまり、何もせずともユーザーにとって最も心地よい外乱刺激状態が実現している)ことを意味し、当該の外乱刺激を抑制するための対応機能の動作を抑制(あるいは禁止)する意図が反映される。
対応する外乱刺激値の絶対値がゼロでなければ、意図強度パラメータはゼロでなくなり、その絶対値が大きいほど外乱刺激の排除意図が大きく設定されていると解釈される。ただし、意図強度パラメータは、基準意図ベクトル[fb]、[fm]の各成分と、対応する外乱刺激値との積の逆数により定義したり、同じく比により定義したりすることもでき、その絶対値と外乱刺激排除意図の大きさとの関係は演算定義により異なることはいうまでもない。
意図強度パラメータの符号は外乱刺激の符号と一致し、該符号は、対応する機能の制御の向きに対応付けられる。すなわち、外乱刺激値は、上記のごとく互いに相反する状態の間を行き来する形で変化し、その2状態の間には、そのどちらでもないニュートラル状態(つまり、明るすぎも暗すぎもしないちょうどよい明るさの状態、暑すぎず寒すぎない快適な気温状態、うるさすぎず静かすぎもしない普通の音響状態)が存在し、該ニュートラル状態を基準として外乱刺激が各々上記2状態のどちらに偏っているかが、その符号によって一義的に表わされる。
前述のごとく、基準意図パラメータは、ニュートラル値からずれた外乱刺激に対しユーザーがどの程度の排除願望を抱いているかをその絶対値にて示すものであり、これを用いて外乱刺激値との積により演算される意図強度パラメータの符号により、外乱刺激を相殺(キャンセル)する向きの制御が行なわれる。つまり、明るい場合には暗くし、暗い場合には明るくする、あるいは暑い場合には涼しくし、寒い場合には暖かくする作用となる。また、五月蝿い場合は、静かにするかその五月蝿さを誤魔化す向きの制御を行なう。
機能の具体的な選択・決定は、図21に示す原理探索テーブル372と図22の機能抽出テーブル373とを用いて行なう(図13:S7、S8)。原理探索テーブル372は、セル構造は意図推定テーブル371と同じであるが、各セルには機能特定情報として、機能の原理を特定するための原理特定情報が格納されている。また、機能抽出テーブル373は原理探索テーブル372に付随する、各原理特定情報と個別機能とを互いに対応付けた二次元テーブルであり、テーブルの各セルに、対応する個別機能の座席別の採用優先度を示す機能採用優先度情報が格納されている。
以下、精神系基準意図ベクトルに関係する部分により代表させて、より具体的な実施例を説明する(体調系基準意図ベクトルに関係する部分についても、基本的な処理の流れは同じである)。図19は、意図推定テーブル371の精神系基準意図ベクトル[fm]の設定部分を抜き出したものであり、図21は、原理探索テーブル372の対応部分を抜き出したものである。図19にて、精神系基準意図ベクトル[fm]の各成分[fm1,fm2,fm3,fm4,fm5,fm6,fm7]の設定値は[1,1,0.2,0.2,0.2,0.8,0.8]であり、Dfm=0.8で補正することにより[0.8,0.8,0.16,0.16,0.16,0.64,0.64]にて意図推定テーブル371上に設定されている。一方、外乱については、例えば視覚系外乱である光の強度に関しては、5段階の極小値−1.0が検出されているので、対応するセルの意図強度パラメータの設定値は[−0.8,−0.8,−0.16,−0.16,−0.16,−0.64,−0.64]となっている。
図21の原理探索テーブル372の対応部分を見れば、視覚系の原理特定情報として、例えば、不愉快排除→ストレス源排除→意思疎通強化の意図項目には、「内 表示」(理性系)及び「内 照明」(感性系)がそれぞれ格納されている(なお、原理探索テーブル372上にて空欄となっているセルは、対応する機能原理が存在しないことを示す)。前者は、図22の機能抽出テーブル373上にて、例えばメーターやインジケータ類、あるいはカーナビゲーション装置やカーステレオなどの表示を、夜間(あるいは暗所)点灯状態とする機能と結び付けられる(ただし、図22では表示を省略している)。また、後者は車室内照明であり、図22の機能抽出テーブル373上では、車内作用→視覚作用→照明の欄にて、前後、左右の各座席にて、上/下(すなわち、足元及び天井)の各位置を照らすべく配置されたイルミネーション(図1:車内照明511)に対し、それぞれ優先度「3」にて、該当する機能を選択することが指定されている。対応する意図強度パラメータの設定値は−0.8(かなり暗い)であり、もてなし実行制御部は、これを相殺するために+0.8に対応する発光出力で、表示や照明を明るく駆動制御することとなる(図13:S9)。
図19にて、触覚系外乱の気流温度(強度)に関しては、5段階の中小値−0.5が検出されているので、対応するセルの意図強度パラメータの設定値は[−0.4,−0.4,−0.08,−0.08,−0.08,−0.32,−0.32]となっている。
図21の原理探索テーブル372の対応部分を見れば、触覚系の原理特定情報として、例えば、不愉快排除→ストレス源排除→厚さ/寒さ解消の意図項目に、「内 エアコン」(感性系)が格納されている。これは、図22の機能抽出テーブル373上にてエアコン機能と結び付けられる(ただし、図22では表示を省略している)。対応する意図強度パラメータの設定値は−0.4(涼しい)であり、もてなし実行制御部は、これを相殺するために+0.4に対応する暖房出力で車室内が暖かくなるようにエアコン制御を行なう(図13:S9)。
また、不愉快排除→誤魔化す→ストレスを感じなくする、の意図項目には原理特定情報として、「内 照明」(感性系)が格納されている。対応する機能は、照明色の調整であり、照明色が長波長側(黄色、アンバー、赤色、ピンク、あるいはこれらの色彩を帯びた白色光)にシフトするように変化させる。これらの照明色は暖色系であり、温かみのある(あるいは気分の高揚に寄与する)演出効果に優れるからである。
さらに、愉快獲得→好きなもの/イメージが入手できる→趣味情報を提供、の意図項目には原理特定情報として、「内 全表示」(理性系)が格納されている。図22の機能抽出テーブル373上では、例えばカーナビゲーション装置の情報出力機能(例えば、涼感を提供する施設(喫茶店やプールなど)の案内情報)が結び付けられる(ただし、図22では表示を省略している)。好感雰囲気層送出の意図項目には原理特定情報として、「内 音発生」(感性系)が格納されている。図22の機能抽出テーブル373上では、例えばせせらぎや波、風等の涼感を誘う効果音出力機能が結び付けられる(ただし、図22では表示を省略している)。
図19にて、聴覚系外乱の音(強度)に関しては、5段階の極大値+1.0(つまり、相当五月蝿い)が検出されているので、対応するセルの意図強度パラメータの設定値は[0.8,0.8,0.16,0.16,0.16,0.64,0.64]となっている。図21の原理探索テーブル372の対応部分を見れば、聴覚系の原理特定情報として、例えば、不愉快排除→ストレス源排除→騒音解消の意図項目に、「内 音防止」(感性系)が格納されている。これは、図22の機能抽出テーブル373上にてノイズキャンセラ1001Bと結び付けられる(ただし、図22では表示を省略している)。対応する意図強度パラメータの設定値は0.8であり、もてなし実行制御部は、これを相殺するために+0.8に対応する出力で車室内騒音がキャンセルされるようにノイズキャンセラ1001Bの制御を行なう(図13:S9)。
また、愉快獲得→好きなもの/イメージが入手できる→趣味情報を提供、の意図項目には原理特定情報として、「内 音楽発生」(感性系)が格納されている。図22の機能抽出テーブル373上では、カーステレオの音楽出力機能が結び付けられる(ただし、図22では表示を省略している)。音楽ソースは、その都度体調や精神状態に応じた適正な選曲を行なう(図13:S9)。
次に、図1のもてなし意思決定部2のROM内には、ユーザー精神状態がニュートラル状態で比較的安定している場合も含めて、該ユーザー精神状態を一定のシナリオに従い誘導する状態推移パターンが複数パターン記憶されている。各状態推移パターンは、基点精神状態から1又は複数の経過精神状態を経て終点精神状態へ至るように定められており、隣接する精神状態間の推移・誘導にそれぞれ適合した一連の誘導もてなし動作の内容と対応付けて記憶されることとなる。そして、前述の手法に従い、ユーザーの現在精神状態が検出され、その検出された現在精神状態に適合する基点精神状態を有した状態推移パターがもてなし意思決定部2側で選択される。もてなし意思決定部2は、選択された状態推移パターンに従い誘導もてなし動作内容を順次読み出して、もてなし実行制御部3に対し、対応するもてなし動作部3に誘導もてなし動作を順次行なわせるための誘導もてなし動作指令を行なう。もてなし動作部3側では、検出した現在精神状態に応じて選択される状態推移パターンにより、システム側で精神誘導の方向性が自発的に決定され、ひいてはユーザーがいちいち意思表示しなくても、精神誘導に係る一連のもてなし動作が、状況に応じた適切な流れにてシステム側から積極的に受けることができるようになる。
図23に、状態推移パターンの具体例を示している。前述のごとく、ユーザーの精神状態は、ニュートラル状態(N)、ニュートラル状態(N)よりも精神活性度が不快方向に高い怒り・興奮状態(A:第2象限)、ニュートラル状態(N)よりも精神活性度が不快方向に低い落胆状態(B:第3象限)、ニュートラル状態(N)よりも精神活性度が快方向に高い盛り上がり状態(C:第1象限)、及びニュートラル状態(N)よりも精神活性度が快方向に低い癒され状態(D:第4象限)が区別されている。また、個々の象限では、感情平面の原点からの距離に応じて、ニュートラル状態(N)→中間状態(A’、B’、C’、D’)→特徴化状態(A、B、C、D)の3段階に区分されている。
記憶されている状態推移パターンは、次のような種別を含む。
(1)修正専念型状態推移パターン
怒り・興奮状態(A)を不快側基点精神状態とし、中間状態(A’)(中間修正精神状態)を経過精神状態として経た後、ニュートラル状態(N)へ導く(SN12R)。また、落胆・倦怠状態(B)を不快側基点精神状態とし、中間状態(B’)(中間修正精神状態)を経過精神状態として経た後、ニュートラル状態(N)へ導く(SN22R)。落ち込んだ精神状態を引き上げる精神誘導シナリオとなる。
(2)回帰型状態推移パターン
盛り上がり型推移パターンと癒し型推移パターンとの2種類がある。盛り上がり型推移パターンは、ニュートラル状態(N)を基点精神状態とし、盛り上がり状態(C)からなる経過精神状態を経てニュートラル状態(N)へと回帰させる(SN11F+SN11R)。該パターンは、ニュートラル状態(N)を基点精神状態とし、中間状態(C’)を経て特徴化状態(C)へ誘導する第1パターンSN11Fと、特徴化状態(C)を基点精神状態とし、中間状態(C’)を経てニュートラル状態(N)へ復帰する第2パターンSN11Rとからなる。他方、癒し型推移パターンは、ニュートラル状態(N)を基点精神状態とし、癒され状態(D)からなる経過精神状態を経てニュートラル状態(N)へと回帰させる(SN21F+SN21R)。該パターンは、ニュートラル状態(N)を基点精神状態とし、中間状態(D’)を経て特徴化状態(D)へ誘導する第3パターンSN21Fと、特徴化状態(D)を基点精神状態とし、中間状態(D’)を経てニュートラル状態(N)へ復帰する第4パターンSN21Rとからなる。
いずれの種別の状態推移パターンにおいても、中間状態を経過精神状態(A’、B’を経由させることで、不自然で急激な精神状態変動を感じさせることなく、ユーザーを終点精神状態へ快適かつスムーズに導くことができる。
図24〜図26に、各状態推移パターンの詳細を、もてなし動作の設定例と対応付けて示している。各精神状態に対応するもてなし動作は、上記のごとく、特定された精神状態に対応する精神系基準意図ベクトル[fm]が読み出され、その成分を必要に応じて補正後、意図推定テーブル371(図19及び図20)上で展開され、その後、原理探索テーブル372(図21)及び機能抽出テーブル373(図22)を経て、最終的なもてなし動作に使用する機能が選択される流れとなる。現在精神状態に対応するもてなし動作を目標精神状態に対応するもてなし動作へ切り替えるには、現在精神状態似対応する精神系基準意図ベクトル[fm]を設定してもてなし動作を行なった後、精神系基準意図ベクトル[fm]を目標精神状態に対応するものに切り替えることにより行なう。この場合、精神系基準意図ベクトル[fm]の切り替えにより所期のもてなし動作が得られるように、意図推定テーブル371、原理探索テーブル372及び機能抽出テーブル373の内容を適宜定めておく必要がある。ただし、状態推移パターンに従うもてなし動作の変化を、各テーブル371、372,373を用いたアルゴリズムに沿って厳密に説明することは非常に煩雑であり、もてなし動作変化の概略把握も困難であるので、以下の説明では、状態推移パターンと、上記アルゴリズムに従い最終的に特定される具体的なもてなし動作(機能)内容とを直接対応付けた形で説明する。
図24の上欄に、図23の第2象限、すなわち、怒り・興奮状態(A)を不快側基点精神状態とする修正専念型状態推移パターンSN12Rの例を示す。基点精神状態である怒り・興奮状態(A)においては、準備もてなし動作として、主に怒り・興奮状態を支持(すなわち、受け入れる)ための迎合型もてなし動作が組み込まれている。具体的には、興奮を誘う香り(ローズマリー、スイートオレンジなど)の発生動作や、空調動作(空調温度をやや上げ、湿度も少し高めるなど)を例示できる。また、他人の嗜好を排除する情報の出力も、対象ユーザーの怒り・興奮状態を支持する上で効果的である。例えば、音情報出力の場合、対象ユーザーの嗜好する音楽であって、かつ、同乗のユーザーの嗜好には全く属さない音楽を選曲して出力する動作を例示できる。
この怒り・興奮状態(A)を、怒り・興奮がやや沈静化した中間状態(A’)に誘導するために第一誘導もてなし動作(A→A’)が実行される。具体的には、他人嗜好を排除する情報(例えば音楽:映像や趣味情報でもよい)の出力となっていたのを、他人嗜好排除を若干和らげた(例えば、同乗のユーザーが「嫌いではない」あるいは「悪くない」と感じる程度)、対象ユーザーの好みの情報に切り替えて出力する(嗜好適合型もてなし動作)。また、香り発生や空調等は、迎合型もてなし動作から対抗型もてなし動作(落ち着けさせる香り(ネロリ、ローマンカモミール、ラベンダー、ジャスミンなど)、不快を感じさせない温度・湿度)に切り替える。
そして、その後、その中間状態(A’)からニュートラル状態(N)に移行させる第二誘導もてなし動作(A’→N)が実施される。ここでは、第一誘導もてなし動作(A→A’)から引き続いて嗜好適合型もてなし動作が組み込まれ、かつ対抗型もてなし動作の組み込みが第一誘導もてなし動作よりも制限された内容となっている。具体的には、対象ユーザー固有の嗜好に適う情報が抑制され(音楽では音量低下や停止等)、対抗型もてなし動作をなす香り発生も停止され、残留香気を排出するために空調による換気(例えば外気取り入れモード)ないし消臭の動作が実行される。また、対象ユーザーを含めた全ユーザーが共通して楽しむことができる映像(あるいは音楽)が、共通嗜好適合型もてなし動作として出力される。また、照明色を、沈静化を促す明るい色(緑みがかった白など)に切り替えることも効果的である。
以上の誘導により、ニュートラル状態に移行できれば、そのニュートラル状態に適合したもてなし動作は、安定した精神状態を過剰に刺激してぶれないようにすることが肝要であるから、安全確保(例えば、車内の静寂化、視界確保など)及び不快要素排除(暑さ、寒さ、多湿状態の解消など)に集中したもてなし動作となる。
次に、図24の下欄に、図23の第3象限、すなわち、落胆・倦怠状態(B)を不快側基点精神状態とする修正専念型状態推移パターンSN22Rの例を示す。基点精神状態である落胆・倦怠状態(B)においては、準備もてなし動作として、主に落ち込んだ状態を支持(すなわち、受け入れる)ための迎合型もてなし動作が組み込まれている。具体的には、沈静化させる香り発生動作(スイートマジョラム、ラベンサール、ラベンダーなど)や、空調動作(空調温度をやや下げ、湿度は少し下げるなど)を例示できる。なお他人嗜好排除を若干和らげた(例えば、同乗のユーザーが「嫌いではない」あるいは「悪くない」と感じる程度)、対象ユーザーの好みの情報(音楽、映像、趣味情報など)を合わせて出力するようにしている。
この落胆・倦怠状態(B)を、やや活性化した中間状態(B’)に誘導するために第一誘導もてなし動作(B→B’)が実行される。具体的には、対象ユーザーを含めた前ユーザーが共通して楽しむことができる映像が、共通嗜好適合型もてなし動作として出力する。また、音楽は落ち込んでいた気分を引き上げる軽快で歯切れのよい音楽(例えばポップミュージックなど)を出力し、香り発生や空調等は、精神高揚を刺激する香り(ローズマリー、ニアウリ、タイム、グレープフルーツなど)や、やや高めの温度設定など、対抗型もてなし動作に切り替える。
そして、その後、その中間状態(B’)からニュートラル状態(N)に移行させる第二誘導もてなし動作(B’→N)が実施されるが、その内容は図23の第2象限での処理とほぼ同じで合う。ここでは、第一誘導もてなし動作(B→B’)から引き続いて、対象ユーザーを含めた全ユーザーが共通して楽しむことができる映像(あるいは音楽)が、共通嗜好適合型もてなし動作として出力される。
図26は、図23の第4象限、すなわち、ニュートラル状態(A)を基点精神状態とする回帰型状態推移パターンのうちの、癒され型推移パターンSN21F+SN21FRの例を示すものである。その第1パターンSN21Fでは、ニュートラル状態(N)から中間状態(D’)に誘導するに際し、対象ユーザーが他のユーザーとの協調的な精神状態を保っていたのを、自己嗜好の発生により周囲から分離させる分離もてなし動作が実施される。この場合、共通嗜好適合型もてなし動作(音楽、映像等)となっていたのを、対象ユーザー固有の嗜好適合型もてなし動作(音楽、映像等)に少しずつ切り替えてゆく。なお、共通嗜好的な香りの発生も停止し、換気等を行なう。そして、中間状態(D’)から特徴化状態(D)に誘導する際は、対象ユーザー固有の嗜好適合型もてなし動作(音楽、映像等)の比率をさらに高めた処理とする。そして、特徴化状態(D)に到達すれば、その嗜好適合型もてなし動作をさらに継続しつつ、癒しの自己没入に好都合な香り(クラリセージ等)の出力動作や、温度(少し低め)・湿度(少し高め)の微調整動作を行なう。
第2パターンSN21Rでは、特徴化状態(D)での動作は第1パターンSN11Fと同じである。自己没入状態が進んだこの特徴化状態(D)を再び中間状態(D’)に復帰させるには、一種の覚醒動作が必要であり、刺激の強い香り(ローズマリー、さらに進んでは気付け用の微アンモニア臭など)の出力などが有効である。また、中間状態(D’)からニュートラル状態(N)に戻す際には、対象ユーザー固有の嗜好適合型もてなし動作(音楽、映像等)を少しずつ減じて共通嗜好適合型もてなし動作へ切り替え、その後、前述のニュートラル状態(N)に対応したもてなし動作へと移行する。
図26は、図23の第1象限、すなわち、ニュートラル状態(A)を基点精神状態とする回帰型状態推移パターンのうちの、盛り上がり型推移パターンSN11F+SN11FRの例を示すものである。その第3パターンSN11Fでは、ニュートラル状態(N)から中間状態(C’)に誘導するに際し、対象ユーザーが他のユーザーとの協調的な精神状態を保っていたのを、その強調状態を保ったまま高揚させる処理として、共通嗜好適合型もてなし動作(音楽、映像等)を導入し、また、活性化を促す明るい色(黄みがかった白など)に切り替える。また、盛り上げに寄与する軽快で歯切れのよい音楽(例えばポップミュージックなど)を出力し、温度設定はやや高めとする。そして、中間状態(C’)から特徴化状態(C)に誘導する際は、対象ユーザーが発話者となる場合、その発話者にスポットがあたりやすいよう、周囲の騒音をノイズキャンセラでカットする処理を行なう。そして、特徴化状態(C)に到達すれば、周囲ユーザーの会話を分析し、その会話内で対象ユーザーの好みの情報を示唆する単語を抽出し、その単語の内容が反映された趣味情報、映像あるいは音楽等を出力して、多人数の輪の中からの話題抽出により、対象ユーザーを目立たせる(あるいは自己顕示につながる)もてなし動作を行なう。
第4パターンSN11Rでは、特徴化状態(C)での動作は第3パターンSN11Fと同じである。他人をも巻き込む自己顕示にまで発展した特徴化状態(C)を再び中間状態(C’)に復帰させるには、他ユーザーの関与を切り離すために、再びシステム側で、対象ユーザーに集中したもてなし動作に順次切り替えてゆくことが有効であり、最終的には、対象ユーザー固有の嗜好情報(音楽、効果音あるいは香り発生)に推移する処理がなされる。また、中間状態(C’)からニュートラル状態(N)に戻す際には、対象ユーザー固有の嗜好適合型もてなし動作(音楽、映像等)を少しずつ減じて共通嗜好適合型もてなし動作へ切り替え、その後、前述のニュートラル状態(N)に対応したもてなし動作へと移行する。
図29は、現在精神状態に応じた状態推移パターンの選択アルゴリズムを示すものであり、S201では前述の方法に従い対象ユーザーの現在精神状態を特定する。S202でニュートラル(N)の場合はS211に進む。基本的に、盛り上がり型推移パターンSN11F+SN11FRと癒され型推移パターンSN21F+SN21FRとを交互に繰り返す回帰型状態推移パターンに従う処理になる。デフォルトで盛り上がり型推移パターンSN11F+SN11FRを選ぶように決めておき、S211にて、前回が癒され型推移パターンSN21F+SN21FRであれば、盛り上がり条件を充足したとしてS212に進み、第1パターンSN11Fを選択する。他方、前回が盛り上がり型推移パターンSN11F+SN11FRであれば盛り上がり条件を充足しないとしてS213へ進み、第2パターンSN11Rを選択する。
S203で盛り上がり(N)の場合は、第1パターンSN11Fの完了を意味しているからS210に進み、第2パターンSN11Rを選択する。また、S204で癒され(D)の場合は、第3パターンSN21Fの完了を意味しているからS210に進み、第4パターンSN21Rを選択する。そして、S205で興奮(A)の場合はS207に進んで修正専念型状態推移パターンSN11Rを、S206で落胆(B)の場合はS208に進んで修正専念型状態推移パターンSN22Rをそれぞれ選択する。なお、どの状態にも該当しない場合は、各中間状態(A’、B’、C’、D’)であることを意味し、それぞれ継続中の状態推移パターンを続行すればよいので、そのままリターンする。以上の処理は、一定時間ごとに、現在精神状態のモニタリングをかねて繰り返し実行される。この場合、修正専念型状態推移パターンSN11Rを実行すれば、最終的にニュートラル状態(N)へ誘導されることになるから、その後、そのニュートラル状態(N)を起点として回帰型状態推移パターンに移行する処理となる。この態様は、運転者に対しても、同乗者に対しても同様に適用できる。他方、回帰型状態推移パターンへの移行を運転者に対してのみ実施し、同乗者に対しては、回帰型状態推移パターンを第一パターンSN11FないしSN21Fにて打ち切り、修正専念型状態推移パターンとして実施するようにしてもよい。
なお、各精神状態(N、A’、A、B’、B、C’、C、D’、D)へ誘導するための対応もてなし動作は、現在精神状態をモニタリングして、それが誘導先となる目標精神状態に到達したかどうかを確認し、到達していなければ当該のもてなし動作を継続するフィードバック制御形態にて実施することができる。この場合、到達した精神状態を安定化させるために、当該目標精神状態に対応するもてなし動作を一定時間(例えば、10分〜1時間が適当である)継続してから、次の目標精神状態へ誘導するもてなし動作へ切り替えるようにすることが望ましい。前述の回帰型状態推移パターンでは、盛り上げ状態(C)に到達したときの、該盛り上げ状態に維持するためのもてなし動作の継続時間を、癒され状態(D)に到達したときの、該癒され状態に維持するためのもてなし動作の継続時間よりも短く(例えば、前者の1/2〜2/3程度)設定するようにしている。