JP4509042B2 - 自動車用もてなし情報提供システム - Google Patents

自動車用もてなし情報提供システム Download PDF

Info

Publication number
JP4509042B2
JP4509042B2 JP2006035812A JP2006035812A JP4509042B2 JP 4509042 B2 JP4509042 B2 JP 4509042B2 JP 2006035812 A JP2006035812 A JP 2006035812A JP 2006035812 A JP2006035812 A JP 2006035812A JP 4509042 B2 JP4509042 B2 JP 4509042B2
Authority
JP
Japan
Prior art keywords
user
state
information
hospitality
mental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006035812A
Other languages
English (en)
Other versions
JP2007212421A (ja
Inventor
昌吾 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2006035812A priority Critical patent/JP4509042B2/ja
Priority to US11/652,107 priority patent/US8108083B2/en
Priority to DE102007005627A priority patent/DE102007005627A1/de
Publication of JP2007212421A publication Critical patent/JP2007212421A/ja
Application granted granted Critical
Publication of JP4509042B2 publication Critical patent/JP4509042B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3641Personalized guidance, e.g. limited guidance on previously travelled routes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/436Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Description

この発明は、車内のユーザーによる前記自動車の利用を補助するための、又は前記ユーザーを楽しませるためのもてなし情報を、自動車内にて効果的に提供するための自動車用もてなし情報提供システムに関する。
特開2003−118421号公報
特許文献1には、ユーザーの状態が安定したことを前提に生体情報を検出し、ナビゲーション装置の制御に反映する技術が開示されている。また、該特許文献1には、ユーザーがデータベースから選択した音楽や映像あるいはテキストなどの情報と、その情報を選択したときの該ユーザーの生体情報との相関関係を蓄積し、生体情報の傾向に応じて情報をライブラリー化するアイデアも開示されている。
しかし、上記の特許文献1の装置では、ユーザーの状態が安定化するまでの待ち時間が必要であり、刻々移り変わるユーザーの状態にきめ細かく対応した情報提供を行なうことができない。例えば、外的な要因により、いらいらしたり、かっとなったりした場合にも、逆にこれを安定化させて快適なドライブに導くような思想は何ら開示されていない。また、生体情報が具体的にどのような状態であるかについては、多数のイベントの実施結果を蓄積して、その相関から相対的に識別するようにしているので、そのユーザーの精神状態や肉体状態(例えば、喜怒哀楽や肉体疲労など)を直接特定することができないし、相対的な識別でさえ、それが可能となるまでに相当の学習蓄積期間が必要であり、自動車を購入してすぐには機能享受できない問題もある。
また、生体情報と情報との相関関係が得られても、それを情報のライブラリー化にしか用いていない。このため、ユーザーは、自分の精神状態や肉体状態を自分で判定し、適合したライブラリーに自分でアクセスして情報を取得しなければならず、自動車側からの自発的なもてなし(情報提供)という観点からは物足りない側面がある。
本発明の課題は、ユーザーの生体特性情報に応じて、その都度タイムリーな情報提供をすることが可能であり、ひいては自動車側からの自発的なもてなしに相当する機能を高めた情報提供システムを提供することにある。
課題を解決するための手段及び作用・効果
上記の課題を解決するために、本発明の自動車用もてなし情報提供システムは、
ユーザーが利用する自動車に設けられ、該ユーザーの性格、精神状態及び肉体状態の少なくともいずれかを反映したユーザー生体特性情報を取得するユーザー生体特性情報取得手段と、
ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし情報を記憶するもてなし情報記憶部と、
ユーザー生体特性情報と記憶されたもてなし情報との予め定められた適合関係に基づいて、ユーザー生体特性情報取得手段が取得するユーザー生体特性情報に適合するもてなし情報を、もてなし情報記憶部上にて検索するもてなし情報検索手段と、
自動車に設けられ、検索されたもてなし情報を出力するもてなし情報出力手段と、を備え、さらに、
もてなし情報記憶部は、ユーザーの性格、精神状態及び肉体状態の少なくともいずれかと関連を有する分類情報と、個々のもてなし情報とを対応付けて記憶し、
ユーザー生体特性情報取得手段は、ユーザーの予め定められた生体状態を、当該生体状態を反映した数値パラメータである生体状態パラメータの時間的変化として検出する生体状態検出部と、ユーザーの精神的状態又は肉体的状態を、補給を行なわない限りは時間と共に一方向的に消耗するエネルギー値にとして定め、検出された生体状態パラメータの時間的変化に基づいて当該エネルギー値を計算することにより、ユーザーの精神的状態又は肉体的状態を推定する精神/肉体状態推定手段とを備え、
もてなし情報検索手段は、推定された精神的状態又は肉体的状態に対応する分類情報を見出し、当該分類情報にて分類された、エネルギー値を向上させうるもてなし情報を、もてなし情報記憶部上にて検索することを特徴とする。
上記本発明の自動車用もてなし情報提供システムによると、自動車を利用するユーザーの生体特性情報を取得し、ユーザー生体特性情報と記憶されたもてなし情報との予め定められた適合関係に基づいて、ユーザー生体特性情報取得手段が取得するユーザー生体特性情報に適合するもてなし情報を検索して出力するようにした。これにより、ユーザー毎の固有の性格、精神状態あるいは体調に応じて、適正な情報をその都度タイムリーにきめ細かく提供することが可能となる。
もてなし情報出力手段はカーナビゲーション装置とすることができる。もてなし情報記憶部は、該カーナビゲーション装置にて目的地設定に使用する目的地データベースとして構成することができる。また、もてなし情報検索手段は、ユーザー生体特性情報取得手段が取得するユーザー生体特性情報に基づいて、当該情報が特定するユーザー生体特性に適合した目的地を目的地データベース上にて検索するものとでき、もてなし情報出力手段は、該検索された目的地をカーナビゲーション装置の表示画面上に出力するものとすることができる。ユーザーがカーナビゲーション装置を用いて目的地を設定する際に、食事場所や観光地あるいは任意の経由地など、状況に応じて目的地の選択に一定の幅が許容される場合、ユーザーの性格、精神状態あるいは体調に応じて、これに適合した目的地が自動的に検索されてユーザーに提示されるので、ユーザーは自分の現在の状態にあった目的地を絞り込む手間が省け、大いに満足度が向上する。当然、周知のカーナビゲーション装置であれば、現在位置から規定の距離範囲内(あるいは最終目的地までの選択可能な経路上)にある目的地候補の中から上記の検索を行なうことは問題なく可能であるから、ユーザーの状態にほぼリアルタイムに適合した形で目的地への到達を図ることも可能となる。
上記の態様を具体的に適用することにより、最も波及効果が大きいのは食事場所の検索を行なう場合である。自動車に乗っても、時間がたてば必ず空腹になるのは人間として避け難い生理現象である。しかし、地理的によく知らない地域を走行中に空腹を覚えた場合、好みや目的に合った食事場所を、カーナビゲーション装置上で手動検索により適確に探し出すのは意外と面倒なものである。そこで、ユーザー生体特性情報取得手段を、ユーザー生体特性情報として該ユーザーの空腹度を反映した空腹度情報を取得するものとして構成し、もてなし情報検索手段を、取得される空腹度情報の内容が予め定められた条件を充足した場合に、目的地データベースにて飲食可能施設の検索を行なうものとすることができる。この構成によると、ユーザーが食事を欲しているかどうか(空腹かどうか)を自動車側が推察して、自発的に飲食可能施設を検索してユーザーに提示するので、ユーザーをスムーズに食事場所に誘導することができ、例えば空腹に耐え切れなくなっていらいらしながらカーナビゲーション装置を操作したりする必要もなくなる。
自動車側に計時手段(いわゆる、「時計」である)と、該計時手段が取得する時刻情報に基づいて予め定められた食事時刻の到来を判定する食事時刻判定手段が設けられ、ユーザー生体特性情報取得手段は、該食事時刻到来に係る判定結果を空腹度情報として取得するものとすることができる。ユーザーが空腹になれば、無口になったりいらいらしたりするなど、外部から検知可能なシグナルも多数現われる。これを、後述のような生体情報として検知することも全く不可能というわけではないが、実際には、空腹ではなく単なる体調不良であったり、精神的に落ち込んでいるだけの場合などとの適確な識別が難しい場合もある。上記の構成は、一日の食事時間というのは概ね決まっている点に着目し(朝食、昼食、夕食)、予め定められた食事時刻の到来を計時手段により判定して、その食事時刻到来に係る判定結果を空腹度情報として取得するようにしたから、ユーザーが食事を欲しているか否かの推定精度を向上することができる。
また、ユーザーの食事後の経過時間を計測する食事後経過時間計測手段を設け、ユーザー生体特性情報取得手段は、該食事後経過時間を空腹度情報として取得するものとしてもよい(これを、上記時刻情報に基づいて食事時刻の到来を判定する構成と併用することももちろん可能である)。食事後であっても、自動車に乗ってから一定以上時間が経てば再び空腹になるのは当然であり、時間が経てば経つほど空腹度も大きくなる。そこで食事後の経過時間を計測し、その食事後経過時間(又は、食事後経過時間が反映された別のパラメータであってもよい)を空腹度情報として取得すれば、ユーザーが食事を欲しているか否かの推定精度を向上することができる。
ユーザー生体特性情報ともてなし情報との予め定められた適合関係については、もてなし情報記憶部上にてその適合関係を規定する分類情報を、個々のもてなし情報に一義的に付与しておき、その分類情報を用いて検索を行なう方法を採用できる。しかし、ユーザー生体特性情報の内容によっては、どの種別のもてなし情報を選択するかが半ば自明に決定される場合もある。例えば、上記のように空腹に関係する生体特性情報が得られた場合は、目的地データベース上で飲食可能施設が検索対象となることは自明であり、もてなし情報記憶部上に、上記適合関係を規定する分類情報を敢えて付与しなくとも、飲食可能施設のみが検索されるように検索アルゴリズムを定めておけばよいことになる。本発明においては、例えば、上記のごとく、空腹状態であれば飲食店検索が自動的に実施されるようにアルゴリズムを定めることも、「ユーザー生体特性情報ともてなし情報との適合関係を定める」概念に属するものとみなす。
一方、ユーザーの状態をより細かくあるいは多面的に分析し、その分析結果に適合するより細分化した目的地の検索を行なうには、もてなし情報記憶部にて、ユーザーの性格、精神状態及び肉体状態の少なくともいずれかと関連を有する分類情報と、個々の目的地の特定情報とを対応付けて記憶しておくことが有効である。もてなし情報検索手段は、ユーザー生体特性情報取得手段が取得するユーザー生体特性情報に基づいて、当該情報が特定するユーザー生体特性と関連を有する分類情報にて分類された目的地を目的地データベース上にて検索するものとできる。
上記の構成においては、ユーザー生体特性情報取得手段は、ユーザーの予め定められた生体状態を、当該生体状態を反映した数値パラメータである生体状態パラメータとして検出する生体状態検出部と、検出された生体状態パラメータの検出状態に基づいて、ユーザーの精神的状態又は肉体的状態を推定する精神/肉体状態推定手段とを備えたものとすることができる。この場合、もてなし情報検索手段は、推定された精神的状態又は肉体的状態に対応する分類情報を見出し、当該分類情報にて分類された目的地を目的地データベース上にて検索するものとされる。この構成によると、ユーザーの生体状態を生体状態検出部により直接検出し、検出された生体状態パラメータの検出状態に基づいてユーザーの精神的状態又は肉体的状態を推定し、その推定結果に対応する目的地を目的地データベース上にて検索するようにしたから、ユーザーの精神的状態又は肉体的状態に適合した目的地をより高精度に見出すことが可能となる。
生体状態検出部は、ユーザーの予め定められた生体状態を、当該生体状態を反映した数値パラメータである生体状態パラメータの時間的変化として検出するものとでき、精神/肉体状態推定手段は、検出された生体状態パラメータの時間的変化に基づいて、ユーザーの精神状態又は肉体状態を推定するものとできる。生体状態パラメータの時間的変化に基づいて、ユーザーの精神状態又は肉体状態をより合理的に推定することができ、ひいてはこれに適合した目的地設定をより適確に行なうことが可能となる。
生体状態検出部は、生体状態パラメータの時間的変化波形を検出するとすることができる。この場合、精神/肉体状態推定手段は、波形の振幅情報に基づいてユーザーの肉体状態を推定することができる。例えば、病気や疲労によりユーザーの肉体状態が低下すると、該肉体状態を反映する生体状態の変動も小さくなる。すなわち、生体状態パラメータの時間的変化波形の振幅が縮小する傾向となりやすく、上記病気や疲労といった、肉体状態の異常を適確に検出することが可能となる。一方、精神/肉体状態推定手段は、波形の周波数情報に基づいてユーザーの精神状態を推定するものとすることもできる。精神状態の安定ないし不安定は、生体状態の変動速度に反映されることが多く、その変動速度は生体状態パラメータ波形の周波数に反映されるので、該周波数情報に基づいてユーザーの精神状態を適確に推定することができる。
生体状態検出部は、生体状態パラメータの時間的変化情報として、ユーザーの体温の時間的変化状態を検出するものとすることができる。体温にはユーザーの肉体状態(体調)や精神状態、特に肉体状態が顕著に反映される(例えば、体調不良時には体温変動幅(波形振幅)が緩やかになる)とともに、赤外線測定(例えば顔のサーモグラフィーなど)により遠隔測定が可能であることから、運転中(あるいは車内滞在中)に限らず、自動車に対するユーザーの接近、乗り込み、降車/離脱といった種々の局面で、ユーザーの状態推定に活用できる利点がある。
また、生体状態検出部は、生体状態パラメータの時間的変化状態として、ユーザーの顔の表情及び視線方向の少なくともいずれかの時間的変化状態を取得するものとすることもできる。これら2つのパラメータも、ユーザーの肉体状態(体調)や精神状態(特に精神状態)が顕著に反映され、かつ画像撮影による遠隔測定が可能であることから、運転中(あるいは車内滞在中)に限らず、自動車に対するユーザーの接近、乗り込み、降車/離脱といった種々の局面で、ユーザーの状態推定に活用できる利点がある。
さらに、生体状態検出部は、ユーザーの運転中における生体状態パラメータの時間的変化を検出するものとすることができる。運転者(ユーザー)の精神状態あるいは肉体状態に応じて目的地設定を適正化することで、快適でより安全な自動車の運転を実現することができる。特に、自動車に乗り込んでいるユーザーが運転者一人の場合、運転中の生体状態パラメータの時間的変化には、運転によるストレス付加により該ユーザーの精神的状態ないし肉体的状態がより強調されて表れるので、より正確な状態把握が可能となる利点がある。
生体状態検出部は、生体状態パラメータの時間的変化状態として、血圧、心拍数、体温、皮膚抵抗及び発汗の1又は2以上からなる第一種生体状態パラメータの時間的変化状態を取得するものとすることができる。第一種生体状態パラメータは、運転者のいわば内部肉体的な状態変化を示すものであり、その時間的変化(波形)には、運転者の精神状態(あるいは心理状態)や肉体状態、特に精神状態が顕著に反映されるので、これを解析することで、目的地設定の適正化をより効果的に図ることができる。また、これら第一種生体状態パラメータは、例えばハンドルの運転者による握り位置に取り付けられたセンサにより直接的な測定が可能であり、その時間的変化を鋭敏に捉えることができる利点がある。具体例を挙げれば、危険を察知して冷やりとしたり、割り込みや追い越しでカッとくれば(つまり、精神的に興奮した場合)発汗が顕著になったり、心臓の鼓動が高鳴ったりし、血圧、心拍数、体温、皮膚抵抗(あるいは発汗)といった第一種生体状態パラメータの波形(特に振幅)に顕著な変化が現われる。また、よそ事に気を取られて注意力が散漫になっている場合も、第一種生体状態パラメータが同様の波形を示すことが知られている。この場合、精神/肉体状態推定手段は、第一種生体状態パラメータの波形周波数が一定レベル以上に大きくなった場合に、ユーザーの精神状態に異常を来たしていると推定することが可能である。
一方、生体状態検出部は、生体状態パラメータの時間的変化状態として、ユーザーの運転中の姿勢、視線方向及び表情の少なくともいずれかからなる第二種生体状態パラメータの時間的変化状態を検出するものとすることができる。第二種生体状態パラメータは、運転者のいわば外的な肉体状態変化を示すものであり、体調不良や病気、あるいは疲労などの状態を反映して、その動きの振幅が縮小される傾向にある。従って、精神/肉体状態推定手段は、第二種生体状態パラメータの波形振幅が一定レベル以下に小さくなった場合に、ユーザーの体調に異常を来たしていると推定することができる。特に、体調の正確な把握は、飲食施設の種別選定上重要な役割を果たす。
一方、第二種生体状態パラメータの波形は、運転者の精神状態の把握にも有効活用することができる。例えば、運転者が興奮状態に陥ると運転者の姿勢が頻繁に変化するようになる一方、視線方向の変化は逆に減少し、いわゆる「目が据わった」状態になる。また、精神的に不安定な場合、顔の表情の変化も著しくなる。この場合、精神/肉体状態推定手段は、第二種生体状態パラメータの波形周波数が一定レベル以上に大きくなるか、又は一定レベル以下に小さくなった場合に(どちらになるかは、パラメータの種類によって異なる)、ユーザーの精神に異常を来たしていると推定することができる。
なお、周波数及び振幅とは異なる時間変化情報により、精神状態ないし肉体状態を把握できる生体状態パラメータも存在する。例えば、生体状態検出部は生体状態パラメータの時間的変化として、ユーザーの瞳孔寸法の時間的変化を検出するものとすることができる。精神/肉体状態推定手段は、検出された瞳孔寸法に予め定められたレベル以上の変動が生じている場合に、ユーザーの体調に異常を来たしていると推定することができる。これは、目の焦点合わせや光量調整が疲れにより不安定化し、いわゆるかすみ目やチラツキなどの状態に陥ることが多いためである。一方、怒り等により異常に興奮した状態になると、運転者は目をカッと見開いた状態になることが多い。この場合、精神/肉体状態推定手段は、検出された瞳孔寸法が予め定められたレベル以上に拡張している場合に、ユーザーの精神状態に異常を来たしていると推定することができる。
また、生体状態検出部は複数設けることができ、精神/肉体状態推定手段は、それら複数の生体状態検出部が検出する生体状態パラメータの時間的変化状態の組み合わせに基づいて、ユーザーの精神状態又は肉体状態を推定するものとすることができる。複数の生体状態パラメータを組み合わせることにより、推定(すなわち識別)可能な精神状態又は肉体状態の種別をより多様化(あるいは細分化)することができ、また、推定精度を高めることができる。この場合、ユーザーの、推定すべき精神状態又は肉体状態である複数の被特定状態と、個々の被特定状態が成立していると推定するための、複数の生体状態検出部がそれぞれ検出しているべき生体状態パラメータの時間的変化状態の組み合わせとを対応付けて記憶した判定テーブルを設けておき、精神/肉体状態推定手段は、検出された複数の生体状態パラメータの時間的変化状態の組み合わせを、判定テーブル上の組み合わせと照合し、照合一致した組み合わせに対応する被特定状態を現在成立している被特定状態として特定するものとすることができる。これにより、多数の生体状態パラメータを考慮する場合でも、被特定状態の特定処理を効率的に実施することができる。
飲食可能施設の検索を行なう前述の構成においては、目的地データベースにて飲食可能施設の特定情報を、推定される肉体状態の良否に対応付けた形で分類しておくことができる。この場合、もてなし情報検索手段は、取得される空腹度情報の内容が予め定められた条件を充足した場合に、目的地データベースにて推定される肉体状態に対応した飲食可能施設の検索を行なうものとすることができる。ユーザーが食事を欲していると判定された場合に、上記の構成によると、ユーザーの肉体状態(体調)に応じて飲食可能施設が適正に選別された形で検索でき、ユーザーの肉体状態に負担とならない食事場所の提供が可能となる。
取得されるユーザー生体特性情報に、ユーザーの性格を特定するためのユーザー性格特定情報を含ませる場合、該ユーザー性格特定情報が個々に特定するユーザーの性格種別と対応付けた形で、各もてなし動作部の動作内容を規定するもてなし動作情報を記憶したもてなし動作情報記憶部を設けておくことができる。この場合、もてなし意思決定部は、取得されたユーザー性格特定情報が特定する性格種別に対応したもてなし動作情報をもてなし動作情報記憶部から読み出し、これに基づくもてなし動作部の動作制御をもてなし動作部に司令するものとできる。
上記の構成によると、ユーザーの性格を分類し、その種別に応じて、例えば当該性格種別のユーザーに適合するもてなし動作の内容を個別に定める。他方、自動車側では、取得されたユーザー性格特定情報により、現在自動車を使用しているユーザーの性格を特定し、これに対応するもてなし動作を選んで実行する。これにより、ユーザーの性格にマッチした内容のもてなし動作を実施することができ、性格の異なるユーザーであっても、それぞれ固有のもてなし内容にて適確に満足させることができる。例えば、もてなし情報検索手段は、取得される空腹度情報の内容が予め定められた条件を充足し、かつ、肉体状態が所定レベルよりも悪いと推定される場合に、目的地データベースにて、低カロリーないしあっさり系に分類された飲食可能施設の検索を行なうものとできる。体の調子の悪いときに、低カロリーないしあっさり系の食事を提案することで、ユーザーは自動車側からの厚い気遣いにさわやかな感動に誘われ、かつ不調な体調に合った満足な食事を享受することができる。
なお、本発明において、もてなし情報出力手段は、例えば自動車内に設置されたカーオーディオシステムとすることができる。この場合、もてなし情報記憶部は、カーオーディオシステムにて再生させるべき複数の音楽ソースデータを記憶するとともに、個々の音楽ソースデータがユーザー性格種別と一義的に対応付けられた形で分類されてなる音楽ソースデータベースとすることができる。そして、もてなし情報検索手段は、取得されたユーザー生体特性情報に適合した音楽ソースデータを音楽ソースデータベースから読み出し、カーオーディオシステムにてこれを再生させるものとして構成することができる。音楽ソースデータベースにて、再生すべき音楽ソースを、予め定められたユーザー性格種別や、精神状態ないし肉体状態と対応付けて分類しておき、取得・決定されたユーザー生体特性情報に対応する音楽ソースをカーオーディオシステムにて再生することで、その性格のユーザーが好む音楽を適確に提供でき、運転中あるいは車内滞在中のユーザーを楽しませることができる。また、膨大なデータベースから自分にあった音楽を選曲する手間のかなりの部分を省くことができ、ユーザーを煩わせることがない。
以下、本発明の実施の形態を添付の図面を用いて詳しく説明する。図1は、本発明の自動車用もてなし情報提供システムの機能が組み込まれた自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の概念ブロック図である。該システム100は、種々のもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが接続された第一のコンピュータからなるもてなし実行制御部3と、種々のセンサ・カメラ群518〜528が接続された第二のコンピュータからなるもてなし意思決定部2とからなる自動車側搭載部100を、その要部とする形で構成されている。第一のコンピュータと第二のコンピュータは、いずれもCPU,ROM,RAMを備え、ROMに格納された制御ソフトウェアを、RAMをワークメモリとして実行することにより、後述の種々の機能を実現する。
上記システム100においては、ユーザーが自動車に向けて接近し、該自動車に乗り込み、該自動車を運転し又は車内にて滞在し、その後、降車に至るまでのユーザーの自動車利用に係る一連の動作が、予め定められた複数のシーンに区切られる。そして、区切られた複数のシーン毎に、もてなし動作部502〜517,534,541,548,549,550,551,552,1001Bが、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるためのもてなし動作を行なう。本実施形態では、車外への音波発生装置としてホーン502、ブザー503が接続されている。また、照明装置(ランプ類)としては、ヘッドランプ504(ビームをハイとローとで切り替え可)、フォグランプ505、ハザードランプ506、テールランプ507、コーナリングランプ508、バックアップランプ509、ストップランプ510、室内照明511及び床下ランプ512が接続されている。また、他のもてなし動作部として、エアコン514、カーオーディオシステム(カーステレオ)515、電動シート516及びサイドミラーやバックミラーなどの角度調整用の駆動部517、カーナビゲーションシステム534、ドア開閉用のアシスト機構(以下、ドアアシスト機構という)541、車内に芳香剤を放出する芳香発生部548、重度体調不良(重度の眠気を催した状態を含む)に対する気付け・覚醒用のアンモニア発生部549(図50に示すように、運転用のハンドル340の中心部に、運転者の顔付近を目指す形でアンモニアを噴出するように取り付けられている)、運転者に注意喚起したり眠気から覚醒させるためのシートバイブレータ550(図58に示すように、シート底部あるいは背もたれ部に埋設される)、ハンドルバイブレータ551(図50に示すように、ハンドル340の軸に取り付けられている)、車内騒音低減用のノイズキャンセラ1001Bが接続されている。
図80はカーナビゲーションシステム534の構成例を示すブロック図である。カーナビゲーションシステム534は、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、位置検出器101、地図データ入力器106、操作スイッチ群107、リモートコントロール(以下リモコンと称する)センサ111、音声案内などを行なうスピーカー115、フラッシュメモリ等で構成された不揮発性メモリ109、LCD等からなるモニター110、これらの接続された主制御部をなす情報系ECU51、リモコン端末112及び主記憶装置をなすハードディスク装置121等を備えている。不揮発性メモリ109には、車両の履歴情報等のナビゲーション装置100の動作に必要な情報およびデータが記憶されている。
位置検出器101は、周知の地磁気センサ102、ジャイロスコープ103、距離センサ104、および衛星からの電波に基づいて車両の位置を検出するGPSのためのGPS受信機105を有している。これらのセンサ等102,103,104,105は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
操作スイッチ群107は、メカニカルなスイッチ等を使用できるが、本実施形態では、モニター110と一体になったタッチパネル122を併用しており、モニター110上に表示されるボタン画像に対応するタッチパネル領域を指で触れることにより、操作状態を認識できるようにしている(いわゆるソフトボタン)。これら操作スイッチ群107およびリモコン端末112によって、種々の指示を入力することが可能である。
操作スイッチ群107およびリモコン端末112の他に、音声認識ユニット130を用いて種々の指示を入力することも可能である。これは、音声認識ユニット130に接続されるマイク131から音声を入力することによって、その音声信号を周知の音声認識技術により音声認識処理して、その結果に応じた操作コマンドに変換するものである。
情報系ECU51は通常のコンピュータとして構成されており、周知のCPU181、ROM182、RAM183、前述の不揮発性メモリ109、入出力部184がバス接続されたものである。前述のHDD121はインターフェース129fを介してバス接続されている。また、地図やナビ操作画面を表示する描画情報に基づいて、モニター110に画像出力する機能を担う描画LSI187と、描画処理用のグラフィックメモリ187Mとが同様にバス接続され、前述のモニター110がこれに接続されている。CPU181は、HDD121に記憶されたナビプログラム21pおよびデータにより制御を行なう。また、HDD121へのデータの読み書きの制御はCPU181によって行なわれる。
HDD121には、道路データを含む地図データ21mと、目的地データベース21dとが記憶されている。その他に、地点登録など、ユーザーが独自にデータ21uを書き込むことができる。これらのデータは、操作スイッチ群107およびリモコン端末112の操作あるいは音声入力によって内容の書き換えが可能である。また、外部情報入出力装置(地図データ入力器)106を用いて記憶媒体120からデータを読み込んでHDD121の内容を更新することも可能である。なお、本実施形態では、通信インターフェース126及び通信データを一次格納するためのバッファメモリ126fを介して情報系ECU51が、車内ネットワークをなすシリアル通信バス127に接続され、ボデー系ECU142やエンジン制御ECU(図示せず)などの、車内の他の制御装置との間でデータの遣り取りを行なうようになっている。
なお、図1のもてなし実行制御部3は、ここまで概念把握を容易にするために単独のECUで構成されている場合を例にとって説明を行なってきたが、当然、上記ネットワーク接続された複数のECUにて実行制御部3を構成することがより現実的である。また、もてなし意思決定部2がもてなし意思決定に使用する記憶部535内の種々のデータや、自動車用もてなし情報提供装置の出力対象となるデータ(例えば後述の目的地データベース21dや音楽ソースデータベース515b,515cに格納されたデータ)の少なくとも一部を、自動車外のデータサーバに蓄積し、無線通信により自動車にてダウンロードして使用するようにしてもよい。
モニター110はカラー液晶表示器により構成されており、その画面には位置検出器101から入力された車両の現在位置マークと、HDD121から入力された地図データ21mと、さらに地図上に表示する誘導経路等付加データとを重ね合わせて表示するとともに、本画面に経路案内の設定および経路誘導中の案内や画面の切り替え操作を行なうためのメニューボタンが表示される。
カーステレオ515に搭載されたFMチューナ141は、例えばVICS(Vehicle Information and Communication System:道路交通情報通信システム)センタ114からの渋滞表示用道路交通情報を搬送する放送電波を受信し、車内ネットワークを介してその情報が情報系ECU51に送られる。
カーナビゲーションシステム534は、情報系ECU51のCPU181によりナビプログラム21pが起動される。運転者は、操作スイッチ群107あるいはリモコン端末112の操作あるいはマイク131からの音声入力によって、目的地データベース21dから所望の目的地を選択する。例えば、モニター110上に表示されるメニューから目的地経路をモニター110に表示させるための経路案内処理を選択した場合、次のような処理を実施する。即ち、運転者がモニター110上の地図あるいは目的地選択画面に基づいて目的地を入力すると、GPS受信機105から得られる衛星のデータに基づき車両の現在位置が求められ、該現在位置から目的地までの最適な経路を求める処理が行われる。そして、モニター110上の道路地図に誘導経路を重ねて表示し、運転者に適切な経路を案内する。このような自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。また、モニター110およびスピーカー115の少なくとも一方によって、操作時のガイダンスや動作状態に応じたメッセージの報知を行なう。
次に、図16は、室内照明511の構成例を示すもので、各々固有の照明色からなる複数の照明部(本実施形態では、赤色系照明511r、アンバー系照明511u、黄色系照明511y、白色系照明511w及び青色系照明511bからなる)を有する。これらの照明は、もてなし意思決定部2からもてなし実行制御部3を経て入力される制御指令信号を受けて、指定されたものが選択され、制御指令信号に従い種々の点灯パターンにて点灯制御される。図19は、ユーザーの性格種別に応じて定められた点灯制御データの構成例を示すもので、もてなし意思決定部2のROMに記憶され、制御ソフトウェアにより随時読み出されて使用される。例えば、活動的な性格(SKC1(図18参照))に対しては、赤色系照明511rを選んでこれをフラッシュ点灯(最初のみ、その後連続点灯)させ、おとなしい性格(SKC2)に対しては、アンバー系照明511uを選んでフェードイン点灯させる、などであるが、これはほんの一例である。
なお、照明装置は、白熱電球、蛍光ランプのほか、発光ダイオードを用いた照明装置を採用することも可能である。特に、赤色系(R)、緑色系(G)、青色系(B)の3原色の発光ダイオードを組み合わせることにより、種々の照明光を簡単に得ることができる。図39は、その回路構成の一例を示すもので、赤色系(R)、緑色系(G)、青色系(B)の各発光ダイオード3401が電源(Vs)に接続され、各々トランジスタ3402でスイッチング駆動される。このスイッチングは、コンパレータ3403に入力される三角波(のこぎり波でもよい)の周期と、指令信号の電圧レベルとによって定まるデューティ比によりPWM制御される。各色の発光ダイオード3401への指令信号の入力波形は、各々独立に変更可能であり、3つの発光色の混合比率に応じて任意の色調の照明色が得られ、また、色調や照明強度パターンを、指令信号の入力波形に応じて経時的に変化させることも可能である。なお、各色の発光ダイオード3401の発光強度は、上記のようにPWM制御する方式のほか、連続点灯を前提として駆動電流レベルにて調整することも可能であるし、これとPWM制御とを組み合わせた方式も可能である。
図72には、赤色系(R)、緑色系(G)、青色系(B)の各光の混合比(デューティ比による)と、視認される混合光の色との関係を示す。それぞれ、制御時に発光色を選択するためのインデックス(0〜14)が付与され、制御参照情報としてもてなし実行制御部3のROM(あるいは、もてなし意思決定部2側の記憶装置535:制御に必要な情報を、通信によりもてなし実行制御部3に送信すればよい)に記憶される。白色照明光は使用頻度が高く、着色された照明光との間でスムーズに制御移行できるように、白色を規定するインデックスが、該インデックスの配列上にて周期的に複数現われるように定められている。特に中間に位置する白色(インデックス:6)を境として、その前後に、暖色系(うす橙→橙→赤)と寒色系(水色→青→青紫)の各色が配列し、ユーザーの肉体状態や精神状態に応じて、白色照明光から暖色系照明光ないし寒色系照明光にスムーズに切り替えることができるようになっている。
図17は、カーオーディオシステム515の構成例を示すもので、もてなし意思決定部2からもてなし実行制御部3を経て、曲特定情報やボリュームコントロール情報などの、もてなし用曲演奏制御情報が入力されるインターフェース部515aを有する。該カーオーディオシステム515も、本発明の自動車用もてなし情報提供装置の機能出力部分を担うものであり、インターフェース部515aには、デジタルオーディオ制御部515e、多数の音楽ソースデータを格納した音楽ソースデータベース515b,515c(前者はMPEG3データベース、後者はMIDIデータベース)が接続されている。曲特定情報に基づいて選曲された音楽ソースデータはインターフェース部515aを経てオーディオ制御部に送られ、そこでデジタル音楽波形データにデコードされ、アナログ変換部515fでアナログ変換された後、プリアンプ515g及びパワーアンプ515hを経て、もてなし用曲演奏制御情報により指定されたボリュームにてスピーカー515jから出力される。
図40は、ドアアシスト機構541の概要を示すものである。自動車1100には、乗降用のスイング式ドア(以下、単に「ドア」ともいう)1101が、乗降口1102の一縁にドア旋回軸1103を介して取り付けられている。ドア1101は、手動操作により乗降口1102を閉塞する閉塞位置から任意の角度位置へ開放可能とされている。そして、この手動によるドア開操作が、モータ(アクチュエータ)1010によりパワーアシストされる。本実施形態では、ドア1101とともに回動するドア旋回軸1103に対し、モータ1010の回転出力を、減速ギア機構RGを介してトルクアップしつつ、旋回軸1103にドア開閉アシストの回転駆動力として直接伝達するようにしている。
図41は、ドアアシスト機構541の回路図の一例である。ドアアシスト機構541は、ドアの開操作時に、該ドアと干渉する車外の障害物を検出する障害物検出手段を有し、また、アクチュエータ制御手段は、障害物が検出されていない場合には、ドア開操作時において、アクチュエータによりドア開方向の正アシスト力が生ずる通常アシストモードとなり、障害物検出手段が障害物を検出した場合には、ドア開操作時において、ドアが乗降口を塞ぐ閉位置から障害物に衝突する衝突位置に至るドア旋回区間の少なくとも途中位置まではドアの開操作を可能としつつ、障害物とドアとの衝突は抑制される衝突抑制モードとなるように、アクチュエータによるドアアシストを制御するものとして構成される。
アクチュエータは正逆両方向に回転可能なモータ1010であり、本実施形態ではDCモータにより構成されている(もちろん、インダクションモータ、ブラシレスモータ、ステッピングモータなど、他の種類のモータを用いてもよい)。アクチュエータ制御手段は、正アシストモードではモータを正方向に回転させ、逆アシストモードではモータ1010を逆方向に回転させるものであり、本実施形態では、プッシュプルトランジスタ回路を用いた双方向リニア制御型のモータドライバ1007がアクチュエータ制御手段を構成している。
モータドライバ1007は、具体的には、正電源(電圧Vcc)に接続された正方向駆動用トランジスタ1073と、負電源(電圧−Vcc)に接続された逆方向駆動用トランジスタ1074とをその要部として構成され、両トランジスタ1073,1074の各ベース端子には、駆動指示電圧VDが抵抗1071により電圧調整されて入力される。抵抗1072は増幅用のフィードバック抵抗であり、両トランジスタ1073,1074のコレクタ/エミッタ間電流の一部を電圧変換して各トランジスタのベースに戻す。これにより、VDが正の時は正方向駆動用トランジスタ1073が、VDが負の時は逆方向駆動用トランジスタ1074が、それぞれVDに比例した電流をモータ1010に流す。従って、VDが正の時にモータ1010が正方向に回転する正アシストモードとなり、VDが負の時にモータ1010が逆方向に回転する逆アシストモードとなる。また、アシスト力は、VDに応じたモータ電流によって定まることとなる。なお、駆動用トランジスタ1073,1074には、それぞれ過電流保護用のトランジスタ1073t,1074tが設けられている。また、符号1073R,1074Rは過電流の検出抵抗であり、符号1073D,1074Dはフライバックダイオードである。
ドアアシスト機構541には、ドア1101の操作力を検出する操作力検出手段1002が設けられ、図43に状態(A)及び状態(B)として示すように、アクチュエータ制御手段により、正アシストモードにおいて、操作力検出手段1002が検出するドア操作力が小さくなるほど、正アシスト力が大きくなるようにアクチュエータ1010の動作を制御する。つまり、力の弱い人がドア1101を開こうとする場合は、モータ1010による正アシスト力が強く作用して楽にドア1101を開くことができる。他方、力の強い人が強くドアを開こうとする場合は、正アシスト力は比較的弱く働くことになる。例えば、外部からの操作力によるドア開トルクと正アシスト力によるドア開トルクとの合計がほぼ一定になるように制御すれば、誰が操作してもドア1101をほぼ一定の標準トルクで開くことができる。
図41の回路においては、上記の機能を次のようにして実現している。操作力検出手段1002は、図40に示すようにドア旋回軸1103に設けられたトルクセンサ1002であり、ドア開の操作力が強く作用するほどドア旋回軸1103に生ずるねじれトルクが大きく現われ、トルクセンサ1002の出力電圧が増加する。なお、トルクセンサ1002の出力電圧はドア開操作時に正となり、ドア閉操作時には負となるので、電圧の符号によりトルクの向きも検出可能である。本実施形態では、トルクセンサ1002の出力電圧を非反転増幅器1003により増幅し、電圧フォロワ1004を経てトルク検出電圧Vstとして出力している。
上記のトルク検出電圧Vstは差動増幅回路1005に入力される。差動増幅回路1005は、トルク検出電圧Vstを参照電圧Vref1と比較して、その差分ΔV(=Vref1−Vst)を一定のゲインにて増幅し、モータ1010に対する駆動指示電圧VDとして出力する。ドア1101の開操作を開始すると、トルク検出電圧Vstは最初小さいからΔVは大きくなり、モータ1010の出力電流も大きくなって、大きな正アシスト力が働く。この正アシスト力によるトルクは、外部操作力によるトルクとともにドア旋回軸1103に重畳するから、トルク検出電圧Vstは正アシスト力による寄与分だけ増加する。すると、ΔVは小さくなってΔVは減少する。つまり、正アシスト力によるトルクがドア旋回軸1103へ戻されることで、外部操作力と正アシスト力との合計トルクがトルク検出電圧Vstに反映され、これがVref1に近づくように、モータ1010によるドアアシスト駆動がフィードバック制御されることになるのである。その結果、力の弱い人の場合は、外部操作力による寄与が少なくなる分だけアシストモータ電流(つまり、アシストトルクAT)は大きく維持され、逆に力の強い人の場合は、アシストモータ電流は小さく維持されることとなる。
なお、ドア1101は、周知のごとく、車外側操作ノブ1104E及び車内側操作ノブ1104のいずれによっても開閉操作が可能であり、ロックボタン1104を倒すと、図41に示す周知のドアロック機構1320により、ノブ1104E,1104によるドア開閉操作が不能となる。このドアロック機構1320がロック状態になったときはドアロック信号DRSが出力され、これがモータ1010の停止制御に用いられるようになっている。本実施形態では、ドアロック信号DRSを受けたスイッチ1021が、参照電圧Vref1を差動増幅回路1005から切り離すとともに、差動増幅回路1005の反転入力端子と非反転入力端子とを短絡させ、差動入力ΔVひいてはモータ1010への駆動指示電圧VDを強制的にゼロにして、モータ1010を駆動停止するようにしている。
また、図41の回路では、トルク検出電圧Vstの符号が負になった場合にアシスト制御信号SK1を出力するコンパレータ1020を設けている。スイッチ1021の制御端子には、ゲート1304を介してドアロック信号DRSとアシスト禁止信号SK1との論理和が入力され、アシスト制御信号SK1が検出された場合にもアシストシステムSYS1のモータ1010が停止制御されるようになっている。
また、ドア1101の開操作時に、該ドア1101と干渉する車外の障害物を検出する障害物検出手段が設けられている。障害物検出手段は、ドア1101の側面に対向して存在する障害物を検出するものを採用できる。このようにすると、ドア1101が開いていく方向に存在する障害物を適確に検出することができる。このような障害物検出手段として、例えば周知の近接スイッチ、反射式光学センサ(赤外線式を含む)あるいは超音波センサなどの障害物センサ1050を採用できる。
障害物センサ1050の検知出力はコンパレータ1051にて閾値と比較され、障害物の検知の有無を表す信号を二値的に出力する。ドア1101を内側から開けてゆき、障害物センサ1050にこれが検知されると、その障害物検知したときのドア1101の角度位置が限界角度位置となって、障害物ありを意味する検知信号SI’が出力され、これを受けたドアアシスト制御手段側で、それ以降のドア開操作が妨げられる制御が行われる。本実施形態では、ドア1101が限界角度位置に到達したとき、該ドアの以降の旋回を阻止する障害物用ドア旋回ロック機構1300が、ドアアシスト制御手段の一部をなすものとして設けられている。
図42は、そのロック機構1300のロック部の構成例を示すものである。ロック部の要部は、ドア1101の旋回軸1103に設けられたドア側係合部(本実施形態では雄スプライン)1312と、車体側に固定され、該ドア側係合部1312に対し旋回軸1103の旋回角度に応じた任意の角度位相にて着脱可能に係合し、係合状態の角度位相にて旋回軸1103の旋回をロックする車体側係合部(本実施形態では雌スプライン)1313とを有する。車体側係合部1313は、旋回軸1103の軸線方向においてドア側係合部1312に対し接近・離間可能に設けられ、接近時に車体側係合部1313とロック係合状態となり、離間時にロック解除となる。本実施形態においては、この接近・離間機構を周知のソレノイド機構(シリンダ機構等でもよい)にて構成している。車体側係合部1313は、ばね受け部1314Bを有した駆動軸1314の先端に取り付けられ、この駆動軸1314が、ケース1300C内に収容されたソレノイド1301により軸線方向に進退駆動されるソレノイド1301を付勢すると、駆動軸1314が飛び出し、車体側係合部1313がドア側係合部1312に係合する。他方、ソレノイドを付勢解除すると、ばね受け部1314Bと係合するバイアスばね1310が弾性復帰して、駆動軸1314が引っ込んで車体側係合部1313とドア側係合部1312とが係合解除される。
図41に示すように、障害物の検知信号SI’が出力されると、駆動スイッチ(トランジスタ:符号1302は保護用のフライバックダイオード)1303がオンとなり、ソレノイド1301が付勢されて、図42の車体側係合部1313とドア側係合部1312とが係合する。この時点でドア1101は、車外の不定位置にある障害物のそばまで近づいており、車体側係合部1313とドア側係合部1312とは、障害物検知されたときの角度位相でスプライン係合し、その角度でロックされることとなる。つまり、障害物検出手段が障害物を検出したときのドア角度位置に応じて(つまり、障害物の位置に応じて)、限界角度位置が可変に定まる。これにより、自動車に対する障害物の相対距離に関係なく、開操作によりドアが近づいてくれば、障害物に当たらないようにドア開操作が妨げられる。このとき、モータ1010による正アシスト力が生じていてもドア1101の開操作は妨げられるから、衝突抑制モードとなるように、アクチュエータによるドアアシストが制御されていることが明らかである。
なお、外部ドア操作信号EDSが、車外側からドアが操作された状態を示しているときは、障害物センサ1050の検出出力によらず、ドアアシスト抑制の制御機構(ここでは、障害物用ドア旋回ロック機構1300)の動作が制限されるようになっている。具体的には、コンパレータ1051により二値化された障害物センサ1050の検知信号SI’と、同じく二値の外部ドア操作信号EDS(ドアが外部から操作されたときは、検知信号SIと逆符号となる)との、ゲート1051aによる論理積出力SIを、前述の駆動スイッチ1303の駆動信号として用いることにより、この機能を実現している。
なお、上記のようなアシスト機構を有したスイング式ドアを採用する態様に代え、周知の電動自動開閉機構ないしアシスト機構を備えた電動スライド式ドアを採用することも可能である。
図44は、ノイズキャンセラ1001Bの一構成例を示す機能ブロック図である。該ノイズキャンセラ1001Bの要部は、騒音抑制手段をなす能動的騒音制御機構本体2010と、必要音強調部(手段)2050とを含む。能動的騒音制御機構2010は、車内に侵入する騒音を検出する車内騒音検出マイク(ノイズ検知マイク)2011と、車内騒音検出マイク2011が検出する騒音波形と逆位相の騒音制御用波形を合成する騒音制御用波形合成部(制御音発生部)2015とを有する。騒音制御用波形は騒音制御用スピーカー2018から出力される。また、騒音制御用音波が重畳後の車内音に含まれる消し残し騒音成分を検出するエラー検出マイク2012と、消し残し騒音のレベルが縮小する方向にフィルタ係数が調整される適応フィルタ2014も設けられている。
車両自身に音源を有する車内騒音としては、エンジン音、路面音、風切り音などがあり、車内騒音検出マイク2011は、複数個のものが、個別の車内騒音の検知に適した位置に分散配置されている。車内騒音検出マイク2011は、搭乗者Jから見てそれぞれ違う位置にあり、マイク2011が拾う位置での騒音波形と、搭乗者Jが実際に聞く騒音波形との間には少なからぬ位相差がある。そこで、この位相差を合せこむために、車内騒音検出マイク2011の検知波形は適宜、位相調整部2013を介して制御音発生部2015に与えられる。
次に、必要音強調部2050は、強調音検知マイク2051及び必要音抽出フィルタ2053を含んで構成され、その必要音の抽出波形が制御音発生部2015に与えられる。ここでも、車内騒音検出マイク2011と同様の事情により、位相調整部2052が適宜設けられる。強調音検知マイク2051は、車外の必要音を取り込むための車外用マイク2051と、車内の必要音を取り込むための車内用マイク2051とからなる。いずれも周知の指向性マイクにて構成でき、車外用は、音検知の指向性の強い角度域が車外方向を向き、指向性の弱い角度域が車内方向を向くように取り付けられている。本実施形態では、マイク2051の全体が車外に出るように取り付けられているが、指向性の弱い角度域が車内側に位置し、指向性の強い角度域のみが車外に出るように、車内と車外とにまたがって取り付けることも可能である。他方、車内用マイク2051は、各座席に対応して、搭乗者の会話音を選択的に検知できるよう、音検知の指向性の強い角度域が搭乗者の正面側を向き、指向性の弱い角度域が反対方向を向くように取り付けられる。これら強調音検知マイク2051は、いずれも、その入力波形(検出波形)のうち必要音成分を優先的に通過させる必要音抽出フィルタ2053に接続されている。なお、図1のカーオーディオシステム515のオーディオ入力が車内必要音音源2019として利用されるようになっている。このオーディオ機器のスピーカー出力音(スピーカーは騒音制御用スピーカー2018と兼用してもよいし、別途設けてもよい)は、騒音制御用波形が重畳されても相殺されないように制御される。
図45は、図44の機能ブロック図に対応したハードウェアブロック図の一例を示すものである。第一DSP(Digital Signal Processor)2100は騒音制御用波形合成部(制御音発生部)2015及び適応フィルタ2014(さらには位相調整部2013)を構成するものであり、車内騒音検出マイク2011がマイクアンプ2101及びA/D変換器2102を介して、また、騒音制御用スピーカー2018がD/A変換器2103及びアンプ2104を介してそれぞれ接続されている。他方、第二DSP2200は、抑制すべき騒音成分の抽出部を構成するものであり、エラー検出マイク2012がマイクアンプ2101及びA/D変換器2102を介して、また、オーディオ入力など抑制対象外の音声信号源、すなわち必要音音源2019がA/D変換器2102を介してそれぞれ接続されている。
必要音強調部2050は、必要音抽出フィルタ2053として機能する第三DSP2300を有し、必要音検知マイク(強調音検知マイク)2051がマイクアンプ2101及びA/D変換器2102を介して接続されている。そして、第三DSP2300はデジタル適応フィルタとして機能する。以下、フィルタ係数の設定処理について説明する。
緊急車両(救急車、消防車、パトカーなど)のサイレン音、踏み切り警報器音、後続車のクラクション音、ホイッスル音、人間の叫び声(子供の泣き声や女性の叫び声など)を、注意ないし危険認識すべき必要車外音(強調音)として定め、それらのサンプル音をディスク等に記録して、読み取り再生可能な参照強調音データとしてライブラリー化しておく。また、会話音については、複数人の個別のモデル音声を、同様に参照強調音データとしてライブラリー化しておく。なお、自動車への搭乗候補者が固定的に定められている場合には、モデル音声を、そのモデル音声自身の発声による参照強調音データとして用意しておけば、その搭乗候補者が乗車した場合の会話音の強調精度を高めることができる。
そして、フィルタ係数に適当な初期値を与え、強調音検知マイク2051による強調音検出レベルを初期値に設定する。次いで、各参照強調音を読み出して出力し、強調音検知マイク2051により検出する。そして、適応フィルタの通過波形を読み取り、参照強調音として通過できた波形のレベルを測定する。この検知レベルが目標値に達するまで上記の処理を繰り返す。このようにして、車外音及び車内音(会話音)の双方について、参照強調音を次々と取り替えて、通過波形の検知レベルが最適化されるよう、フィルタ係数を学習処理させる。上記のようにフィルタ係数が調整された必要音抽出フィルタ2053により、強調音検知マイク2051からの入力波形から必要音を抽出し、その抽出強調音波形を第二DSP2200に転送する。第二DSP2200は、車内騒音検出マイク2011の検知波形から、必要音音源(ここではオーディオ出力)2019からの入力波形と、第三DSP2300からの抽出強調音波形を差分演算する。
第一DSP2100に組み込まれるデジタル適応フィルタのフィルタ係数は、システムの使用に先立って初期化が行われる。まず、抑制対象となる種々の騒音を定め、それらのサンプル音をディスク等に録音して、再生可能な参照騒音としてライブラリー化しておく。そして、フィルタ係数に適当な初期値を与え、エラー検出マイク2012による消し残し騒音レベルを初期値に設定する。次いで、参照騒音を順次読み出して出力し、車内騒音検出マイク2011により検出する。適応フィルタを通過した車内騒音検出マイク2011の検出波形を読み取り、これを高速フーリエ変換することにより、騒音検出波形を、各々波長の異なる正弦波素波に分解する。そして、各正弦波素波の位相を反転させた反転素波を生成し、これを再度合成することにより、騒音検出波形と逆位相の騒音制御用波形が得られる。これを騒音制御用スピーカー2018から出力する。
適応フィルタの係数が適性に定められていれば、車内騒音検出マイク2011の波形からは騒音成分だけが効率良く抽出されているはずなので、これに基づいて逆相合成された騒音制御用波形により車内騒音を過不足なく相殺することができる。しかし、フィルタ係数の設定が適性でなければ相殺されない波形成分が消し残し騒音成分となって生ずる。これは、エラー検出マイク2012により検出される。消し残し騒音成分のレベルは目標値と比較され、目標値以下になっていなければフィルタ係数を更新し、これが目標値以下になるまで同様の処理を繰り返す。このようにして、参照騒音を次々と取り替えて、消し残し騒音成分が最小化されるよう、フィルタ係数を学習処理させる。そして、実使用時には、消し残し騒音成分を定常的にモニタリングし、常時これが最小化されるようにフィルタ係数をリアルタイム更新しつつ、上記と同様の処理を行なうことで、必要な音波成分を残しつつ、車内の騒音レベルのみを効果的に低減することができる。
次に、ユーザー側端末装置1は、本実施形態では図14に示すような携帯電話として構成されている(以下、「携帯電話1」ともいう)。携帯電話1は、液晶ディスプレイ等で構成されたモニター308、キーボードからなる入力部305、送話器304及び受話器303等を備えている。また、その側面には脈拍センサ(心拍センサ)342も設けられている。
図15は、携帯電話1の電気的構成の一例を示すブロック図である。回路の要部は、入出力部1311と、これに接続されたCPU312、ROM314、RAM313等からなる制御部310を含む。入出力部1311には、入力部305、オンフック/オフフック切換スイッチ306が接続される。また、受話器303はアンプ315とD/A変換器316を介して、送話器304はアンプ317とA/D変換器318を介して、それぞれ入出力部1311に接続されている。さらに、入出力部1311には、携帯電話1の位置情報を取得するための周知のGPS554が接続されている。
本実施形態では、ユーザー側端末装置1と自動車との距離及び方位関係を把握するために、自動車側のGPS533(図1)に加えてユーザー側端末装置1にもGPS554を設けることで、ユーザー側端末装置1が自立的にその位置情報を取得できるようにしておき、その端末位置情報を、無線通信網を介して自動車側に送信する方式を採用している。これにより、自動車側では、自身に接続されたGPS533による正確な自動車位置と、ユーザー側端末装置1から受信したGPS554による正確な端末位置との双方を取得でき、ユーザー側端末装置1と自動車との距離及び方位関係を極めて正確に把握することができる。また、ユーザー側端末装置1と自動車との距離変化や接近方向変化も事実上リアルタイムに把握できる。
図15に戻り、携帯電話1の入出力部1311には通信装置323が接続されている。通信装置323は、制御部310と接続するための接続インターフェース331と、これに接続された変調器332、送信器333、周波数シンセサイザ334、受信器335、復調器336及び共用器337等により構成されている。制御部310からのデータ信号は変調器332により変調され、さらに送信器333により共用器337を介してアンテナ339から送信される。一方、受信電波はアンテナ339及び共用器337を介して受信器335により受信され、復調器336で復調された後、制御部310のI/Оポート1311に入力される。なお、通話を行なう場合は、例えば送話器304から入力された音声信号がアンプ317で増幅され、さらにA/D変換器318によりデジタル変換されて制御部310に入力される。該信号は、必要に応じて制御部310にて加工された後、D/A変換器316及びアンプ315を介して受話器303から出力される。
一方、接続インターフェース331には、制御用電波を発信する制御用電波発信器338がつながれている。制御用電波は共用器337を介してアンテナ339から発信される。そして、携帯電話1が別の通信ゾーンに移動した場合、網側の無線回線制御局が制御用電波の受信状況に基づいて、周知のハンドオーバ処理を行なう。
次に、携帯電話1には、着信音出力や音楽演奏のために、次のような機能が設けられている。すなわち、無線受信によりダウンロードした着信音データや音楽データ(MPEG3データあるいはMIDIデータ:着信音としても使用される)が、音データ用フラッシュROM316に格納される。MIDIデータの場合、MIDIコードに従い音色、音高、音長及びテンポ等が記述された楽音データが楽音合成部307に送られる。楽音合成部307では、その楽音データをバッファリングしつつ、音源として機能する波形ROM358から、指定された音色の波形データを読み出し、MIDIコードの規定する音高となるように周波数変換して、規定されたテンポに従い順次これをデジタル波形データとして出力する。出力されたデジタル波形データは、アナログ変換回路359及びアンプ350を経てスピーカー311から出力される。なお、MPEG3等の圧縮波形データからなる音データの場合は、デコード処理を経てアナログ変換回路359及びアンプ350を経てスピーカー311から出力される。なお、本実施形態では、楽音合成部357による音声出力のタイミング情報がシーケンサ352に入力され、PWMユニット353を経てバイブレータユニット354及びLEDユニット355を音楽と同期駆動し、携帯電話1での音出力によるもてなし効果を、振動及びLED発光と組み合わせてさらに高める工夫がなされている。
次に、もてなし意思決定部2には、次のようなセンサ・カメラ群が接続されている。これらの一部はシーン推定情報取得手段として機能し、また、生体状態検出部として機能するものである。
・車外用カメラ518:自動車に接近してくるユーザーの姿を撮影する。ユーザーの仕草や顔の表情などを静止画ないし動画として取得する。ユーザーを拡大して撮影するために、望遠レンズを用いた光学式ズーム方式や、撮影画像をデジタル的に拡大するデジタルズーム方式を併用することができる。
・赤外線センサ519:自動車に接近するユーザー、ないし乗車したユーザーの顔部分からの放射赤外線に基づき、サーモグラフィーを撮影する。生体状態検出部である体温測定部として機能し、その時間的変化波形を測定することにより、ユーザーの肉体状態ないし精神状態を推定することができる。
・着座センサ520:ユーザーが座席に着座したか否かを検出する。自動車のシートに埋設される近接スイッチ等で構成することができる。このほか、シートに着座したユーザーを撮影するカメラにより着座センサを構成することもできる。この方法であると、シートに荷物など、人以外の荷重源が載置された場合と、人が着座した場合とを相互に区別でき、例えば人が着座した場合にだけもてなし動作を行なう、といった選択制御も可能となる。また、カメラを用いれば、着座したユーザーの動作を検出することも可能であり、検出情報をより多様化することができる。なお、シート上でのユーザーの動作を検出するには、シートに装着した感圧センサを用いる方法もある。
さらに、本実施形態では、図58に示すように、シートの座部及び背もたれ部に複数分散埋設された着座センサ520A,520B,520Cの検知出力に基づいて、着座したユーザー(運転者)の姿勢変化を波形検出するようにしている。いずれも着座圧力を検出する圧力センサで構成され、具体的には、正面を向いて着座したユーザーの背中の中心に基準センサ520Aが配置される。残部のセンサは、それよりもシート左側に偏って配置された左側センサ520Bと、シート右側に偏って配置された右側センサ520Cとからなる。基準センサ520Aの出力は、差動アンプ603及び604にて、それぞれ右側センサ520Cの出力及び左側センサ520Bの出力との差分が演算され、さらにそれらの差分出力同士が、姿勢信号出力用の差動アンプ605に入力される。その、姿勢信号出力Vout(第二種生体状態パラメータ)は、ユーザーが正面を向いて着座しているときほぼ基準値(ここではゼロV)となり、姿勢が右に偏ると右側センサ520Cの出力が増加し、左側センサ520Cの出力が減少するので負側にシフトし、姿勢が左に偏るとその逆となって正側にシフトする。なお、右側センサ520C及び左側センサ520Bは、いずれも加算器601,602により、座部側のセンサ出力と背もたれ側のセンサ出力との加算値として出力されているが、残部センサ出力と背もたれセンサ出力の差分値を出力するようにしてもよい(このようにすると、運転者が前のめりになったとき背もたれセンサ側の出力が減少し、その差分値が増大するので、より大きな姿勢の崩れとして検出することができる。
・顔カメラ521:着座したユーザーの顔の表情を撮影する。図49に示すように、バックミラー331等に取り付けられ、フロントグラス337側から運転者337を斜め上方から、シートに着座したユーザー(運転者)の顔を含む上半身を撮影する。その画像から顔部分の画像を切り出し、ユーザーの種々の表情を予め撮影して用意されたマスター画像と比較することにより、図59に示す種々の表情を特定することができる。肉体状態ないし肉体状態のいずれにおいても、状態が良好な順に表情の序列を決めておき、その序列に従って得点付与することにより(例えば、精神状態の場合、安定を「1」、注意散漫・不安を「2」、興奮・怒りを「3」とするなど)、表情を離散的な数値パラメータ(第二種生体状態パラメータ)として使用することができ、その時間変化を離散的な波形として測定できるので、当該波形に基づき、精神状態ないし肉体状態の推定を行なうことも可能である。なお、顔を含む上半身の画像形状と、その画像上での重心位置から、運転者の姿勢の変化を検出することもできる。すなわち、重心位置の変化波形は姿勢の変化波形として使用でき(第二種生体状態パラメータ)、当該波形に基づき、精神状態ないし肉体状態の推定を行なうことも可能である。なお、もてなし制御に使用するユーザー生体状態情報の取得源(生体状態検出部)としての機能以外に、バイオメトリックスによるユーザーの本人認証用にも使用される。また、目のアイリスの向きを拡大検出することで、顔や視線の方向を特定することもできる(例えば、やたらに時計の方向を見る場合は、「時間を気にして焦っている」と推定するなど)。また、視線方向の角度の時間的変化波形(真正面を向いているときを基準方向として、その基準方向に対する左右へのぶれ角度を波形変化として検出する)に基づき(第二種生体状態パラメータ)、運転者の肉体状態あるいは精神状態を推定するのにも使用される。
・マイクロフォン522:ユーザーの声を検出する。これも、生体状態検出部として機能させうる。
・感圧センサ523:自動車のハンドルやシフトレバーの、ユーザーによる把握位置に取り付けられ、ユーザーの握り力や、握ったり放したりの繰り返し頻度などを検出する(生体状態検出部)。
・血圧センサ524:図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられる(生体状態検出部)。血圧センサ524の検出する血圧値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・体温センサ525:図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられた温度センサからなる(生体状態検出部)。体温センサ525の検出する体温値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・皮膚抵抗センサ545:発汗等による体表面の抵抗値を測定する周知のセンサであり、図50に示すように、自動車のハンドルのユーザー把握位置に取り付けられる。皮膚抵抗センサ545の検出する皮膚抵抗値はその時間的変化が波形として記録され(第一種生体状態パラメータ)、その波形に基づいて運転者の肉体状態ないし精神状態の推定に使用される。
・網膜カメラ526:ユーザーの網膜パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・アイリスカメラ527:図49に示すように、バックミラー331等に取り付けられ、ユーザーのアイリス(虹彩)の画像を撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。アイリスの画像を用いる場合、その模様や色の個人性を利用して照合・認証を行なう。特にアイリス模様は後天的形成要素であり、遺伝的影響度も低いので一卵性双生児でも顕著な相違があり、確実に識別できる利点がある。アイリス模様を用いた認証方式は、認識・照合を迅速に行なうことができ、他人誤認率も低い特徴がある。また、アイリスカメラにより撮影された運転者の瞳孔寸法(第二種生体状態パラメータ)の時間的変化に基づいて、肉体状態あるいは精神状態の推定を行なうことができる。
・静脈カメラ528:ユーザーの静脈パターンを撮影し、バイオメトリックスによるユーザーの本人認証用に使用される。
・ドアカーテシスイッチ537:ドアの開閉を検知する。乗り込みシーン及び降車シーンへの移行を検出する、シーン推定情報取得手段として使用される。
また、もてなし意思決定部2には、エンジン始動を検知するためのイグニッションスイッチ538の出力も分岐入力されている。また、車内の明るさレベルを検出する照度センサ539、車内の音響レベルを測定する音圧センサ540も、もてなし意思決定部2に同様に接続されている。
また、もてなし意思決定部2には、タッチパネル(カーナビゲーションシステム534のモニターに重ねられたタッチパネルで兼用してもよい:この場合は、入力情報はもてなし実行制御部3からもてなし意思決定部2に転送される)等で構成された入力部529と、もてなし動作情報記憶部として機能するハードディスクドライブ等で構成された記憶装置535とが接続されている。
他方、もてなし実行制御部3には、車両位置情報を取得するためのGPS533(カーナビゲーションシステム534においても使用する)、ブレーキセンサ530、車速センサ531及び加速度センサ532も接続されている。
もてなし意思決定部2は、センサ・カメラ群518〜528の1又は2以上のものの検出情報から、ユーザーの性格、精神状態及び体調の少なくともいずれかを含むユーザー生体状態情報を取得し、その内容に応じてどのもてなし動作部にどのようなもてなし動作をさせるかを決定して、これをもてなし実行制御部3に指令する。もてなし実行制御部3は、これを受けて、対応するもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bにもてなし動作を実行させる。すなわち、もてなし意思決定部2ともてなし実行制御部3とが互いに協働して、取得されたユーザー生体状態情報の内容に応じてもてなし動作部502〜517,534,541,548,549,550,551,552,1001Bの動作内容を変化させる機能を実現する。もてなし実行制御部3には、自動車側通信手段(ホスト側通信手段)をなす無線通信装置4が接続されている。該無線通信装置4は、自動車のユーザーが携帯するユーザー側端末装置(携帯電話)1と、無線通信網1170(図15)を介して通信する。
一方、カーオーディオシステム515には、ユーザーが手動で操作する操作部515d(図17)が設けられ、ここからの選曲データの入力により、所望の音楽ソースデータを読み出して演奏することもできる。また、操作部515dからのボリューム/トーンコントロール信号は、プリアンプ515gへ入力される。この選曲データは、インターフェース部515aから、図1のもてなし実行制御部3を経てもてなし意思決定部2へ転送され、これに接続された記憶装置535の選曲実績データ403として蓄積される。その蓄積内容に基づいて、後述のユーザ−性格判定処理が行われる(つまり、カーオーディオシステム515の操作部515dは、生体状態検出部の機能を構成しているといえる)。
図18は、上記音楽ソースデータのデータベース構造の一例を示すもので、曲ID、曲名及びジャンルコードと対応付ける形で音楽ソースデータ(MPEG3又はMIDI)が記憶されている。また、各音楽ソースデータには、その音楽を選曲したユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格種別コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中点」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格種別コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない音楽ソースを選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提供する音楽ソースの適性をより絞り込むために、上記のようなサブ分類付与は有効である。
一方、各音楽ソースデータには、曲モードコードも個々に対応付けて記憶されている。曲モードコードは、その曲を選曲したユーザーの精神状態や体調と、当該曲との連関を示すデータであり、本実施形態では、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」等に分類されている。なお、性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコードは、各ユーザーに固有のもてなし内容を選定する際に参照するデータなので、これらを総称してもてなし参照データと呼ぶことにする。
図81は、カーナビゲーションシステム534で使用する目的地データベース21dの内容を示すもので、上記の音楽ソースデータベースと同様、各目的地の所在地情報に、個々の目的地を特定するためのIDとともに、同様のもてなし参照データにて構成された分類情報が付与されている。このうち、性格種別コード、年齢コード及び性別コードは音楽ソースデータベースに使用されているものとほぼ同じである。すなわち、目的地を選択するユーザーについて推定される性格種別(「活動的」、「おとなしい」、「楽観的」、「悲観的」、「頽廃的」、「体育会系」、「知性派」、「ロマンチスト」など)を示す性格種別コード、同じく年齢コード(「幼児」、「子供」、「ジュニア」、「青年」、「壮年」、「中年」、「熟年」、「敬老」、「年齢無関係」など)、性別コード(「男性」、「女性」及び「性別無関係」)が個々に対応付けて記憶されている。性格種別コードはユーザー性格特定情報の一つであり、年齢コード及び性別コードは、性格とは無関係なサブ分類である。ユーザーの性格が特定できても、年齢層や性別に合わない目的地を選択したのでは、ユーザーを楽しませる「もてなし」としての効果は半減する。従って、ユーザーに提案する目的地の適性をより絞り込むために、上記のようなサブ分類付与は有効である。
また、ジャンルコードは、目的地をなす施設を、その種別により分類するもので、「飲食店」、「娯楽施設」、「公園」、宿泊施設、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などに分かれている。このうち、「飲食店」、「道路関連サービス施設」、「コンビニエンスストア」、「スーパーマーケット」などが、飲食可能施設として位置付けられる。
また、各ジャンルコードには、それぞれのジャンルコードに適合したサブ分類コードが付与されている。「飲食店」の場合、「もてなし」効果を考慮して、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で食欲もあり(特に、青年/壮年など)、空腹が進んだ場合に選択すべき飲食店には、満腹感を優先したサブ分類コード(「がっつり・こってり系」)が付与されており、体調がそれほどでもなく食欲についても淡白な状態(特に、女性など)、精々小腹が空いた程度の状況で選択すべき飲食店には、軽めの食事を優先したサブ分類コード(「かるーく・あっさり系」)が付与されている。また、倦怠感が進み、気分転換が望ましい状況や、カップルなどでムードを盛り上げたい場合に選択すべき飲食店には、雰囲気重視の食事を優先したサブ分類コード(「シック・おしゃれ系」)が付与されている。
また、「もてなし」効果の優先性とは別に、一般的な料理種別(「和食・寿司」「中華・ラーメン」「洋食・カレー」)に基づくサブ分類コードも別途付与され、適宜選択できるようになっている。
一方、娯楽施設(あるいは観光スポット)や公園などの、レクリエーションないしエンターテインメント系のサービス提供施設についても、ユーザーの体調や精神状態と関連付けた目的地選択が可能となるように、サブ分類コードの種別が考慮されている。すなわち、体調良好で、陽気で活動的なサービスを欲している場合(特に、青年/壮年など)に選択すべき施設には、体力的あるいは精神的な発散を優先したサブ分類コード(「元気一杯スポット」)が付与されており、体調がそれほどでもないか疲れている場合(特に、女性など)には、体力消耗抑制を優先したサブ分類コード(「リラックス・いやし系」)が付与されている。また、カップルなどでムードを盛り上げたい場合に選択すべき施設には、雰囲気重視のサブ分類コード(「ラブラブスポット」)が付与されている。
他方、「道路関連サービス施設」は、「サービスエリア」、「パーキングエリア」、「道の駅」及び「ドライブイン」のサブ分類コードが付与されている。
図1のもてなし意思決定部2のROM(あるいは記憶装置535)には、図2に示すように、シーン別のもてなし内容を記憶するもてなし意思決定テーブル360が記憶されている。シーンは、本実施形態では、接近シーンSCN1、乗り込みシーンSCN2、準備シーンSCN3、運転/滞在シーンSCN4、降車シーンSCN5及び離脱シーンSCN6が、時系列的にこの順序で設定されている。また、各シーンには、次の5つのもてなしジャンル(ST)が設定され、それぞれ1又は2以上のもてなしテーマ(OBJ)が設定されている。なお、ジャンルはシーン毎に複数のテーマを統轄するものであり、広義には「テーマ」の概念に属するものである。
接近シーンの特定は、後述するごとく、ユーザー側のGPS554と、自動車側のGPS533とにより、自動車と、当該自動車外に位置するユーザーとの相対距離及びその変化を特定し、ユーザーが自動車へ予め定められた距離以内に接近したことを検出することで行なう。乗り込みシーンと降車シーンとは、ドアカーテシスイッチ537のドア開検知出力に基づいて特定する。ただし、単にドア開の情報だけでは乗り込みシーンか降車シーンかを特定できないから、もてなし意思決定部2のRAM内に、現在シーン特定情報を記憶保持する現在シーン特定情報記憶手段として、図5に示すごとくシーンフラグ350を設けることで対応するようにしている。シーンフラグ350は各シーンに対応した個別シーンフラグを有し、時系列順に到来順序が定められた各シーンが到来する毎に、そのシーンに対応するフラグを「到来(フラグ値1)」に設定してゆく。シーンフラグ350にて、値が「1」になっているフラグの最新のもの(「1」フラグ列の末尾のもの)を特定することで、現在どのシーンまで進んできているかを特定できる。
また、準備シーンとシーン運転/滞在シーンとは、いずれも前述の着座センサがユーザーを検出しているか否かにより特定するが、自動車に乗り込んでイグニッションスイッチ538がONになるまでの間、あるいは、イグニッションスイッチ538がONにならず、かつ一定以上の着座継続が確認されるまでの間は、準備シーンとして認識される。また、離脱シーンへの移行は、降車シーンのあと、ドアカーテシスイッチ537がドア閉を検知することで識別される。
各テーマにおけるもてなし動作は、対応するもてなし動作部の動作制御アプリケーションにより制御され、図6に示すように、これらの動作制御アプリケーションはテーマ別アプリケーションライブラリ351の形でもてなし実行制御部3のROM(あるいは記憶装置535)内に記憶されている。もてなし意思決定部2側で決定されたテーマがもてなし実行制御部3に通知され、そこで対応するテーマの動作制御アプリケーションが読み出され、実行される。動作制御アプリケーションの実行に際しては、各もてなしテーマのもとで統括されている複数のもてなし動作に対し、ユーザーが当該もてなしを指向する度合いに応じて採用の優先順位が予め定められており、各もてなしテーマ(あるいはシーン)において、用意された前記複数のもてなし動作のうち、その優先順位の高いものから選択される。具体的には、図7〜図13に例示(後に詳述)するように、複数のもてなし動作部(もてなし機能)の動作優先順位(数字が大きいほど優先順位が高いものとして表示している)を、外乱種別に応じて定まる動作目的別に定めた機能選択テーブル371,372がもてなしテーマ毎に用意され、もてなし実行制御部3のROM内に記憶されている。すなわち、機能選択テーブル371,372は、各シーンにおいて使用可能な複数のもてなし動作部を特定するとともに、使用可能な該複数のもてなし動作部のうち、ユーザーが受ける外乱の内容に応じて優先的に使用するものと、当該外乱内容との対応関係を示すものである。
以下、自動車用ユーザーもてなしシステム(以下、単に「システム」ともいう)100の動作について説明する。図46〜図48は、システム100における、もてなし意思決定からもてなし動作実行に至る一連の処理の全体アルゴリズムを概念的に示すものである(これら3つの図は、対応する丸数字を接続子として、一つながりの図として読まれるべきものである)。もてなし主処理は、「目的推定(δ1)」、「個性適合(δ2)」、「状態適合(δ3)」、「演出対応(δ4)」、「機能選択(δ5)」、「駆動(δ6)」及び「状態確認(δ7)」の各ステップからなる。
まず、「目的推定(δ1)」では、ユーザー位置検出(β1)及びユーザー動作検出(β2)により、現在のシーンを推定する。ユーザー位置検出(β1)は、具体的には、ユーザーと自動車との相対的位置関係(α1)を把握・特定することにより行なう。また、本実施形態では、ユーザーの接近方向(α2)も合せて考慮する。他方、ユーザー動作検出(β2)は、基本的には、ドアの開閉操作やシートへの着座など、シーン決定用に固定的に定められた動作を検出するセンサ類(シーン推定情報取得手段)の出力を用いて行なう(α6)。また、着座継続時間により準備シーンから運転/滞在シーンへの移行検知を行なう場合のように、特定動作の継続時間(α7)も考慮される。
図3は、シーン決定の処理の流れを示すフローチャートである。この処理は、自動車の使用中に一定の周期で繰り返し実行されるものである。まず、S1で、図5のシーンフラグ350をリードする。S2,S5,S8,S12,S16及びS20は、現在どのシーンまで進んでいるかを、上記シーンフラグ350の状態から判別する処理である。シーンフラグ350は、時系列的に先に位置するシーンのフラグから順にセットされるようになっており、先行するシーンを差し置いて後続のシーンのフラグが単発的にセットされるようなことはない。
S2〜S4は接近シーンの特定処理であり、まずS2で接近シーンに対するフラグSCN1が「1」でない(つまり、接近シーンが未到来である)ことを確認して、S3で、自動車側のGPS533(図1)と、ユーザー側(携帯電話1:図15)のGPS554とがそれぞれ特定する位置情報から、ユーザーが自動車に対し一定距離以下(例えば50m以下)に近づいたか否かを判別する。そして、近づいていれば接近シーンに移行したと判断して、S4でSCN1を「1」にセットする。
S5〜S7は乗車シーンの特定処理であり、S5で乗車シーンに対するフラグSCN2が「1」でないことを確認して、S6でドアカーテシスイッチ537からの入力情報からドアが開になったかどうかを判断する。そして、ドアが開になっていれば乗車シーンに移行したと判断して、S7でSCN2を「1」にセットする。現在のシーンがSCN=1、つまり、接近シーンであることを確認しているので、この状況での「ドア開」は乗車時のものであることを容易に判別できる。
なお、接近シーン及び乗車シーンでは、自動車へのユーザーの接近が「乗車→運転」を目的とする場合であれば、上記のごとく、乗車を前提としてもてなし動作をすればよい。しかし、自動車への忘れ物確認など、「乗車→運転」を目的としないユーザーの接近もありえる。このような場合、ユーザーが、自動車へ接近してきたにも拘わらず、乗車の動作へなかなか移行しないこともある(例えば、ユーザーが窓の外から車内を覗き込むだけであったり、ドアの把手に手をかけた状態で固まったりして、ドア開の操作に移行しない場合など)。そこで、先行するシーンから後続のシーンへの移行タイミングにて、後続シーンにおけるユーザーの目的を確認するための質問を、スピーカー等から音声出力し、それに対するユーザーからの応答情報(マイクを介した音声入力による)に基づいて、上記後続シーンでのもてなし動作内容の決定処理を行なうことができる。一例を以下に示す。
すなわち、ユーザーが自動車に接近し、ドアの前で立ち止まって動作が停滞した場合、もてなし制御部は乗車シーンへの移行直前までもてなし制御処理を進める。そして、ユーザーがドアを開ける動作に一定時間移行しなかった場合、車外に向けたスピーカーから、
「あら、乗らないの?せっかく来てくれて嬉しかったのに」
などという質問を出力する。ユーザーがこれに対し、
「いやあ、忘れ物がないか見にきただけや。また来るから、機嫌ようにな。」
と回答したとする。もてなし意思決定部は、この回答内容を解析し、「忘れ物」のキーワードから、遺失物確認用のもてなし動作モジュールを立ち上げ、例えば、
「じゃあ、中を明るくするから覗いて見て。」
などというメッセージとともに、車内照明を通常時よりも明るく点灯させ、さらに、パワーウィンドウにより窓を開いて中を確認しやすくする動作を行なう。
S8〜S11は準備シーンの特定処理である。S8で準備シーンに対するフラグSCN3が「1」でないことを確認して、S9で着座センサ520からの入力情報から、ユーザーが着座したかどうかを判別する。そして、ユーザーの着座が検知されれば準備シーンに移行したと判断して、S10でSCN3を「1」にセットする。この段階では着座が完了したことを検知するのみであり、ユーザーが運転ないし車内滞在へ本格的に移行する準備段階にあることを特定するに留まる。S11では、運転/滞在シーンへの移行判定に使用する着座タイマーを起動する。
S12〜S15は運転/滞在シーンの特定処理である。S12で運転/滞在シーンに対するフラグSCN4が「1」でないことを確認して、S13でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを始動したかどうかを判別する。エンジン始動されていれば、直ちに運転/滞在シーンへ移行したと判断し、S15へジャンプしてSCN4を「1」にセットする。一方、エンジン始動されていなくとも、着座タイマーが一定時間(t1)経過していれば、ユーザーが(例えば運転以外の目的で)車内に滞在するために乗車したと判断し、S15へ進んでSCN4を「1」にセットする(t1が経過していなければ、準備シーン継続のためS15をスキップする。
S16〜S19は降車シーンの特定処理である。S16で降車シーンに対するフラグSCN5が「1」でないことを確認して、S17でイグニッションスイッチ538からの入力情報から、ユーザーがエンジンを停止したかどうかを判別する。エンジン停止されていれば、S18に進み、ドアカーテシスイッチ537の入力情報から、ユーザーがドアを開いたかどうかを判別する。ドアが開いていれば降車シーンへ移行したと判断し、S19でSCN5を「1」にセットする。
S20〜S23は離間シーンの特定処理である。S20で離間シーンに対するフラグSCN6が「1」でないことを確認して、S21でイグニッションスイッチ538及び着座センサ520からの入力情報とから、ユーザーが座席から離脱しつつドアを閉じたかどうかを判断する。YesであればS22に進み、SCN6を「1」にセットする。さらに、S23では降車タイマーを起動する。なお、S20においてSCN6が1だった場合(つまり、離間シーンが既に到来している場合)にはS24以下へ移行する。降車シーンでのもてなし処理に必要な時間t2を降車タイマーにより計測し、S24でt2が既に経過していれば、S25で次回のもてなし処理のためにシーンフラグをリセットし、また、S26で着座タイマーと降車タイマーをリセットする。
図46に戻り、γ1でシーンが決定されれば、そのシーンでのもてなし内容を決定する。この決定は、図2のもてなし意思決定テーブル360を参照して行われる。前述のごとく、各シーンに対し、複数のもてなしジャンルが設定されており、各ジャンルには、これをさらに細分化したもてなしテーマが設定されている。前述のごとく、ジャンル及びもてなしテーマは、ユーザーのもてなしに求める願望や指向の観点から種々設定されている。これは、より具体的にいえば、各シーンにてユーザーは、自動車の利用に際し、「安全」「容易」「快適」の要望が満たされることを欲しており、その要望が何らかの要因によって乱される場合、その要因を外乱として特定する。そして、それらの外乱に対して何らかの対応処理、つまりもてなし動作を行なうことで、上記個々の要望が充足されるように計らうことが、最終的なシステムの目的であるといえ、上記の外乱の種別に応じてもてなしのジャンル及びもてなしテーマが定められているのである。このうち、ジャンルについては、各シーンについて共通に見出すことのできる「外乱」に基づいて定められており、具体的には、
(ST1)ユーザーを期待させ盛り上げる;
(ST2)ユーザーをリラックスさせ安らぎを与える;
(ST3)ユーザーの不安や緊張を解消する;
(ST4)ユーザーの体力的負担を軽減する;
(ST5)ユーザーの体調に応じて、適性に補佐する;
の5ジャンルが設定されている。
なお、図2において、期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2に属するもてなしテーマについては、ユーザーの性格や精神状態に応じて、どちらかが択一的に選択される(つまり、これらのジャンルは、互いに排他的に選択される)。それ以外のジャンルのもてなしテーマは、いずれも各シーンにおいて同時に選択され、それらテーマに属するもてなし動作が、該当するシーンにおいて並列に実施される。
他方、各ジャンルに属するもてなしのテーマは、シーンによって異なるものが設定されている。各シーンのジャンル別のテーマは、図2中に記載した通りである。また、複数のシーンにまたがって設定されるテーマも存在する。例えば、「目的地の様子が知りたい」OBJ331は、準備及び運転滞在の2つのシーンにまたがっている。
もてなし意思決定テーブル360は、図4に示す流れに従い使用する(これは、図46〜48のδ1〜δ6に示すもてなし主処理から、要部を抽出したものに相当する)。S101でシーンフラグをリードし、S102で現在のシーンが何であるかを特定する。S103では、特定されたシーンに対応するもてなしテーマをリードし、そのテーマに属するもてなし機能(もてなし動作部)を、図7〜図13に例示した機能選択テーブル371,372を参照して選択する。そして、S105で、抽出したもてなし機能を具体的な動作させるためのもてなしアプリケーションを、図6のテーマ別アプリケーションライブラリ351から選択し、起動する。
図46に戻り、シーン特定時の補正的項目として、ユーザーの身なり検知(α3:例えば、接近時において、車外カメラ518(図1)によるユーザーの姿の撮影画像から把握できる)、所有物検知(α4:手荷物など)、仕草検知(α5:シーン推定に直接関与する動作の予兆として検出する)等を合せて実行することも可能である。これらの検知は、シーン毎のもてなしテーマ決定に有効に寄与することとなる。
次に、δ2に進んで、もてなし内容をユーザーの個性に適合させる処理となる。これは、具体的には、後述するユーザーの性格判定処理と、判定された性格に応じて、個々のもてなし処理に適正な重み付けをすること、つまり、個々のユーザーの性格に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。個性の特定には性格判断処理β4あるいはε2が必要である。処理ε2は、アンケート処理など、ユーザー自身の入力により性格分類を取得するものであり、処理β4は、ユーザーの動作、行為や思考パターン、あるいは表情などから、より分析的に性格分類を決定するものである。後者については、後述の実施形態に音楽選曲の統計から性格分類を決定する具体例を示しているが、α10のごとく、ユーザーの動作から性格判定に直結した癖を抽出したり、あるいは、α11のように、人相から性格判定を行なうようなことも可能である。
図47に進み、δ3では、もてなし内容をユーザーの精神/肉体状態に適合させる処理となる。この点についても、詳細な具体例は後述するが、生体状態検出部の検出情報に基づいて、ユーザーの精神状態及び体調を反映した精神/体調情報を取得し、その取得内容に応じてユーザーの精神状態ないし肉体状態を推定する。生体状態検出部は、赤外線センサ519(顔色:α20)、顔カメラ521(表情:α12、姿勢:α14、視線:α15、瞳孔径:α16)、脈拍センサ524(心拍:α17)などが採用可能であるが、この他にも、運転操作実績を検出するセンサ類(502w、530、531,532,532a;誤操作率:α13)、血圧センサ(α18)、呼気センサ(アルコール:α21、例えば呼気にアルコールが検出された場合は、エンジン始動を禁止する処理を行なうなど)、着座センサ520(感圧センサによりシートにかかる体重分布を測定し、運転中の小刻みな体重移動を検出して、運転中の落ち着きが損なわれた判定を行ったり、偏った体重の掛かりかたを検出して、運転者の疲労の程度を判定したりすることができる)。
ここでも、処理の要旨は、上記の生体状態検出部からの出力を精神状態や肉体状態を示す数値パラメータに置き換え(β5)、その数値パラメータ及びその時間的変化からユーザーの精神状態や肉体状態を推定して(γ3,γ4)、個々のもてなし処理に適正な重み付けをすること、つまり、推定されるユーザーの精神状態や肉体状態に適合するよう、複数のもてなし動作の組み合わせを適宜カスタマイズしたり、あるいは、もてなし動作の程度を変更したりすることを目的とするものである。同じシーン及びテーマのもてなしであっても、前述のごとく、ユーザーの性格が異なれば、その性格に適合したもてなし動作を行なうのがよいのであり、また、同じユーザーであっても精神状態や体調に応じてもてなしの種別や程度を調整することが当然望ましい。
この場合、照明光の場合を例に取れば、性格によってユーザーの指向する照明色が相違し(例えば、活発なタイプは赤系を、おとなしいタイプは緑や青系を指向)、体調の良し悪しによって照明強度に対する要望(例えば、体調が悪いときは照明による刺激を抑制するため光量を落とす)が相違することが多い。前者では照明光の周波数あるいは波長(赤系→緑系→青系の順に波長が短くなる)を調整するもてなし制御となり、後者は照明光の振幅を調整するもてなし制御となる。また、精神状態は、その両方に関係する因子であり、幾分陽気な精神状態において、さらに気分を盛り上げるために赤系の照明光を採用することもありえるし(周波数調整)、照明光の色を変えず、明るさを増したりすることもありえる(振幅調整)。また、過度に興奮した状態では、気持ちを沈めるために青系の照明光を採用したり(周波数調整)、照明光の色を変えず明るさを減らしたりする(振幅調整)、といった処理が考えられる。音楽の場合は、種々の周波数成分が含まれているのでより複雑であるが、覚醒効果を高めるために、数100Hz〜10kHz程度の高音域の音波を強調したり、逆に気持ちを沈めるために、リラックス時の脳波(α波)の周波数(7〜13Hz:シューマンレゾナンス)に、音波の揺らぎの中心周波数を合せこんだ、いわゆるα波系音楽を採用したりするなど、周波数/振幅により制御パターンを同様に把握することができる。
車内の明るさや音波レベルに関しては、性格、精神状態及び体調を勘案して、各シーンのもてなしテーマ毎に、適性レベルを数値設定することができる。図7、図8、図9に示すごとく、各テーマの機能選択テーブル371には制御適性値設定テーブル371aを随伴させてある。
制御適性値設定テーブル371aは、各シーンのもてなしテーマ毎に用意されており、使用する複数のもてなし動作部に対し、各々設定すべき制御適性値を集めたものである。もてなし動作部の動作出力範囲に対応した数値範囲(例えば、求められる照明レベルや音波レベルなど)にて、各シーンのテーマ毎に適合する値を、予め実験等により見出しておき、これを制御適性値として制御適性値設定テーブル371aに登録しておく。制御適性値には個人差があるので、複数人について見い出された適性値の平均値や、モードあるいはメジアンなどの代表値を制御適性値設定テーブル371aに登録しておけばよい。
そして、図48のδ4に進み、もてなし演出対応処理となる。例えば、図1の照度センサ539(視覚刺激:α23)、音圧センサ(聴覚刺激:α24)などの出力から、現在ユーザーがどの程度の刺激を感じているかに関しての情報(外乱刺激)を得(環境推定:β6)、その外乱刺激を、上記の個性(性格)、精神状態及び体調から得られる上記の適性値と比較可能な数値に変換して、外乱の数値的な推定を行なう(γ6)。なお、特定すべき外乱刺激としては、触覚刺激(α25:例えば、ハンドルに取り付けられた感圧センサ523など)、及び嗅覚刺激(α26:嗅覚センサによる)なども併用することができる。また、外乱推定に関しては、ユーザーを取り囲む空間からの間接的刺激、具体的には、高さ(α27)、距離(α28)、奥行き(α29)及び自身ないし同乗者の体格(α30)等を考慮することも可能である。
次いで、δ5では機能選択処理となる。ここでは、外乱刺激と適性値との差が縮小されるよう、機能選択テーブル371,372に示された優先順位の高いもてなし機能(もてなし動作部)から順に採用し、δ6で個々のもてなし動作部の駆動処理となる。
また、実際に選択されたもてなし機能の内容や程度がユーザーの気に召したかどうかに係る情報を、例えば前述の生体状態検出部の出力から推定するか(δ7)、あるいはユーザー自身による回答情報(好き・嫌いの意思表示に係る直接的な入力であってもよいし、嫌いな音楽や照明を回避する操作入力等から推定する形でもよい)から取得し(δQ)、これをフィードバックすることで、もてなし動作制御に一種の学習効果を付与することが可能である(δQ,δ7→ε5、ε6及びγ7)。すなわち、もてなし動作を享受したユーザーからの応答情報に基づき、もてなし動作の制御状態を調整する司令を行なうもてなし調整司令手段の機能が備わっている。本実施形態では、もてなし意思決定部2のROMに、当該機能を実現するためのプログラムルーチンが格納されている。
この場合、δ6の駆動ステップのあとで、δ7の状態確認処理を行なう。この状態確認処理は、γ3とγ4で実施する精神状態推定及び肉体状態推定と同様の処理を使用し、もてなし駆動の結果を受けてこれらの状態がどう変化しているかをモニタリングする処理である。その結果は、δ4の機能選択処理にフィードバックされる。モニタリングの結果、推定される精神状態あるいは肉体状態が改善されているようであれば、現在選択しているもてなし動作を維持ないしさらに強化する司令を行ない、逆に悪化しているようであれば、現在選択しているもてなし動作を抑制、あるいは場合により廃止する司令を行なう。精神状態あるいは肉体状態が正常状態付近で安定化の傾向を示している場合は、当該状態を安定維持する司令を行なう。
他方、δQでは、もてなし動作に対するユーザーの満足度を質問形式で問いかけ、その回答情報(好み(ε5:もっとして欲しい、あるいはやめて欲しい)、物理効果(ε6:暑い、寒い、うるさいなど)を元に、もてなし動作へのフィードバックを行なう。この問いかけは、スピーカー515Sから音声出力することができる(図1のモニター536へ視覚表示することも可能である)。いずれの場合も、質問データは、図73Aに示すように、もてなし動作ID及び制御方向情報と対応付けた形で、図1の記憶装置535等に記憶されている。例えば、もてなし動作IDが「エアコン」に対応しており、制御方向情報が「設定温度上昇」に対応している場合は、質問情報は「暑すぎませんか」などという内容に設定しておく。そして、質問出力に際しては、その時点で採用されているもてなし動作を検索し、対応するIDの質問データを順次読み出して出力する。
これに対するユーザーの回答は、例えばマイクロフォン522から音声入力することができる。そして、入力された音声は、周知の音声変換モジュールにより入力内容が特定され、さらに周知の言語解析モジュールにより、その意味の解析がなされて、質問データに対する回答結果が特定される。簡単なものであれば、例えば、質問内容に対応する回答候補のキーワードリストを作成しておき、特定された入力内容にそのキーワードが含まれているかどうかと、さらには、否定を意味するキーワードが含まれていないかどうかを解析し、回答内容を把握することが可能である。例えば、「暑いですか」の問いかけに、キーワードとして「はい」、「うん」、「暑い」、「暑く」、「ない」、「いいえ」、「いいや」、「寒いです」、「ちょうどいい」などを登録しておき、「暑くない」との回答が特定されたとき、「暑く」及び「ない」のキーワードが合致することで、質問に対する回答が否定的な内容であったことを認識することができる。上記の音声変換モジュールや言語解析モジュールは、もてなし意思決定部2のROMに格納しておくことができる。
なお、上記とは別系統の機能選択判定要素として、もてなし動作部の機能状態を判定し(α31)、自動車の劣化情報として整備し(β8)、その機能状態が正常/異常のどちらに寄与するかを判定して(γ8)、正常に寄与する機能は積極採用し、異常に寄与する機能を忌避する処理を行なう、といったことも可能である。
また、もてなし動作のコンセプトは、自動車の種別によっても、その自動車のイメージに合致した内容に定めることが、もてなし効果を高める上で肝要である。高級車に関しては、全般に落ち着いた、かつ高級感を強調できるスマートなもてなし演出が有効であるし、逆にスポーツ仕様車やレジャー仕様車では、明るく賑やかな演出が相応しいといえる。
以下、個々のシーンでのもてなしの代表例について説明する。
図28は、接近シーンSCN1での、もてなし動作の処理の流れを示すものである。テーマは、図2の「車に乗ることに対する気持ち高揚」であり、ユーザーの性格分類に応じて、期待/盛り上げジャンルST1に属するもの(OBJ111;例えば性格分類が「活動的SKC1」(図18)の場合)、及びリラックス/安らぎジャンルST2に属するもの(OBJ211;例えば性格分類が「おとなしいSKC2」(図18)の場合)のどちらかが選択される。また、後述の方法により、ユーザーの肉体状態あるいは精神状態の推定も行なわれ、その結果がもてなし動作の処理に反映される。本実施形態では、後に詳述するように、「体調不良(軽度/重度)」、「集中力散漫」及び「興奮(怒り)状態」が肉体状態あるいは精神状態として推定されるようになっており、個々の状態に応じて図67に示すようなもてなし動作の調整が行われるようになっている。
図28のS21では、ユーザー(つまり、端末装置1)の自動車に対する接近方向を特定する。自動車側では、GPS533による位置情報と、駐車に至る自動車の進行方向変化の履歴から、自動車の位置とともに自動車の向きを特定することができる。従って、携帯電話1から送られてくるユーザーの位置情報(GPS554による)を参照することによって、自動車に対しユーザーが、例えば前方側、後方側及び側方のいずれから接近してきているか、及び自動車に対しユーザーがどの程度の距離まで接近しているかを認識である。
S22に進み、その接近方向が前方からであればS23に進み、前方用ランプ群を選択する。図23に示すように、前方用ランプ群として、本実施形態では、ヘッドランプ504、フォグランプ505、コーナリングランプ508を使用する。また、接近方向が後方からであればS24からS25に進み、後方用ランプ群を選択する。図24に示すように、後方用ランプ群として、本実施形態では、テールランプ507、バックアップランプ509、ストップランプ510を使用する。それ以外の場合は側方からの接近と判断してS26に進み、側方用ランプ群を選択する。図25に示すように、側方用ランプ群として、本実施形態では、ハザードランプ506、テールランプ507、床下ランプ512を使用する。
S27では、自動車とユーザーとの距離を上記の方法により特定する。自動車とユーザーとの距離が特定できたら、その距離が第一上限値(例えば20m以上に設定される)を超えていればS29に進み、遠距離用照明モードとなる。また、第二上限値(例えば5m以上20m未満に設定される)を超えていればS31に進み、中距離用照明モードとなる。それ以外の場合(つまり、第二上限値以下の場合)はS32に進み、近距離用照明モードとなる。ユーザーが自動車から遠いほど(つまり、近距離用照明モード→中距離用照明モード→遠距離用照明モードの順に)、各ランプ(照明)による総光量が大きくなるように(ビーム角度が関与する場合、照明正面に立ったときにユーザーが視認する光量とする:例えば、ランプを上向きとすることでハイビーム化する場合は、ロービーム時と光源の強度が変わらなくとも、視認される光量は大きくなる)、個々のランプの発光動作が制御される。これにより、自動車へのアプローチをライトアップしてユーザーを安全に自動車まで誘導する効果が高められる。
図23は、ユーザーUの接近方向が前方側の場合の動作例を示すものである。遠距離用照明モードではヘッドランプ504をハイビームで点灯し、中距離用照明モードではロービームとして光量を落とす。つまり、光源強度(駆動電圧等で調整できる)及びビーム角度の少なくともいずれかを調整することで、同じランプの視認光量を変化させる方式を採用している。他方、近距離用照明モードでは、光量のより小さいフォグランプ505あるいはコーナリングランプ508に切り替える。ユーザーUが正面から接近してくる場合にはフォグランプ505を点灯させ、ユーザーUが車両側方に向けて移動した場合は、コーナリングランプ508の対応する側のものを点灯させる。
図24は、ユーザーUの接近方向が後方側の場合の動作例を示すものである。遠距離用照明モードではバックアップランプ509、テールランプ507及びストップランプ510の全てを点灯し、中距離用照明モードではテールランプ507及びストップランプ510のみの点灯として光量を落とす。つまり、複数個のランプのうち、点灯させる個数を変化させて総光量を変化させる方式を採用している。近距離用照明モードでは、バックアップランプ509、テールランプ507及びストップランプ510のいずれかのみの点灯に切り替える。後方中央からユーザーUが接近してくる場合はテールランプ507のみ(あるいはストップランプ510のみ)を点灯させ、ユーザーUが車両側方に向けて移動した場合は、バックアップランプ509の対応する側のものを点灯させる。
図25は、ユーザーUの接近方向が側方側の場合の動作例を示すものである。遠距離用照明モードではハザードランプ506、複数の床下ランプ512の全てを点灯し、中距離用照明モードでは、その状態からハザードランプ506のみ消灯して光量を落とす。近距離用照明モードでは、複数の床下ランプ512のうち、ユーザーUに近いもののみの点灯に切り替える。車側中央からユーザーUが接近してくる場合は中央の床下ランプ512のみを点灯させ、ユーザーUが車長方向に移動した場合は、対応する側の床下ランプ512の点灯に切り替える。なお、ユーザーUの接近に伴い、床下ランプ512の照明角度を変えて、ユーザーUを自動車に向けて導くように照明領域を変化させてもよい。いずれの場合も、近距離用照明モードでは室内照明511も点灯させ、自動車に乗り込もうとするユーザーをより丁重にもてなすようにしている。
また、これから向う目的地をイメージした照明点灯パターンにてイルミネーションを行なう方法もある。例えば、目的地が海であれば、青色系の照明光の照度を漸増させた後漸減させる、波を連想させるイルミネーションパターンで点灯を行なうと効果的である。
この場合、上記の照明駆動形態は、ユーザーの体調や精神状態に応じて図67に示すようなバリエーションを持たせるようにする。「軽度の体調不良」であれば、例えばイルミネーションに使用する照明光のうち、必要性の低い光を低減して、ユーザーが自動車に接近するときの視認性を向上させるようにする。また、「重度の体調不良」であれば、白色ないし暖色系の暗めの照明を採用し、心理的な負担を軽減するようにする。一方、「集中力散漫」と推定されている場合は、ユーザーを覚醒させるために、照明をフラッシングさせる動作を行なう(例えば、赤や青など原色系の刺激的な波長を採用するとより効果的である)。他方、「興奮(怒り)状態」と推定される場合は、青色系の照明光を用いれば、過剰に高ぶった精神状態を沈める上で効果的である。
なお、ユーザー端末1からの無線指令により制御可能なもてなし動作部として、例えば図26に示すような建物側照明1161を有する周辺設備が、自動車の駐車位置周辺に存在する場合は、その建物側照明1161により自動車をライトアップする動作をもてなし動作に追加してもよい。図27に示すように、遠距離用照明モードでは、夜間の駐車場にて自分の車を照らし出すことで駐車位置がよりわかりやすくなるし、ライトアップにより乗り込み前のユーザーの気持ちを高める効果も生ずる。他方、中距離用ないし近距離用照明モードでは、自動車周辺のエリアが広く照らし出されるので、乗り込みの誘導ないし補助の効果が高められ、自動車に乗り込むまでのユーザーの経路(足元)上に異物等が存在していても容易に発見することができる。
性格分類は、例えば以下のような方法により決定されるものである。
自動車のユーザーは、図36に示すようなユーザー登録部600(例えば、もてなし意思決定部2のROM(書換えが可能となるように、フラッシュROMで構成しておくことが望ましい)や記憶装置535に予め登録しておくことができる。このユーザー登録部600には、各ユーザー名(あるいは、ユーザーID(及び暗証番号)と、その性格種別(図18参照)とが互いに対応付けられた形で登録されている。この性格種別は、後述のごとく、ユーザーによる自動車使用継続中に、特定の操作部における操作履歴情報として取得・蓄積し、その蓄積された操作履歴情報に基づいて推定されるものである。しかし、自動車の使用開始直後など、操作履歴情報の蓄積が不十分な場合、あるいは、操作履歴情報を敢えて収集せずに性格種別を推定したい場合は、次のように、性格種別情報又は該性格種別情報を特定するために必要な情報を、ユーザー自身により入力させ、その入力結果に基づいて性格種別を決定するようにしてもよい。
図37では、図1のモニター536(カーナビゲーションシステム534のモニターで代用してもよい)に性格種別を表示し、ユーザーは自分に適合する性格種別を選んで、入力部529からこれを入力する。ここでは、入力部はモニター536に重ねられたタッチパネルであり、表示形成された選択ボタン529Bに触れて選択入力を行なう。他方、図38では、性格種別を直接入力させる代わりに、性格種別判定のためのアンケート入力を行なう方式としている。モニター536にはアンケートの質問事項を表示し、ユーザーは回答選択肢から回答を選ぶ形で答える(ここでは、選択ボタン529Bで選択肢を構成し、この上に重ねられたタッチパネル529の該当位置に触れて選択入力を行なう)。全ての質問に回答することで、その回答の組み合わせに応じて予め定められた性格種別群から、1つのものが一義的に決定されるようになっている。
なお、ユーザー名を含めたユーザー登録入力も、上記の入力部529からなされ、決定された性格種別とともにユーザー登録部600に記憶される。また、これらの一連の入力は、携帯電話1から行なうことも可能であり、この場合は、その入力情報を無線により自動車側に転送する。また、ユーザーが自動車購入する際に、入力部529か専用の入力ツールを用いて、ディーラー側で事前にユーザー登録入力を済ませておく方法もある。
自動車の使用に先立っては、ユーザーの認証が必要である。特にユーザーが複数登録されている場合は、ユーザーによって性格種別が異なるものに設定され、もてなしの内容も異なるものとなるからである。最も簡単な認証方式は、携帯電話1からユーザーIDと暗証番号を自動車側に送信し、これを受けたもてなし意思決定部2が、登録されているユーザーIDと暗証番号との照合を行なう方法である。また、携帯電話1に設けたカメラにより顔写真の照合を行ったり、音声認証、指紋を用いた認証など、バイオメトリックス認証方式を採用することもできる。他方、自動車へのユーザーの接近時は、ユーザーIDと暗証番号とを用いた簡略な認証に留め、開錠後、自動車に乗り込んでから、前述の顔カメラ521、マイクロフォン522、網膜カメラ526、アイリスカメラ527あるいは静脈カメラ528などによるバイオメトリックス認証を行なうようにしてもよい。
上記のようにユーザーが認証・特定されたら、そのユーザーに対応する性格種別(ユーザー生体状態情報)がもてなし意思決定部2において取得され、対応するもてなし動作部の選定及び動作パターンが選択される。前述のごとく、例えば特定された性格種別が「活動的SKC1」であれば、期待/盛り上げジャンルST1に属するテーマOBJ111が選択され、特定された性格種別が「おとなしいSKC2」であれば、リラックス/安らぎジャンルST2に属するテーマOBJ211が選択される。この処理の流れは、他のシーンでも全く同じである
以下、機能選択テーブルの具体例について、図7〜図13により説明する。いずれの機能選択テーブルも、その縦軸は、ユーザーが受ける外乱に応じて定まる動作目的(ただし、一部、外乱に依存しない項目も存在する)を示し、横軸が、該シーン及びテーマにて採用可能なもてなし動作部の種類を表す二次元マトリックスとして構成されている。そして、動作目的毎に用意された各もてなし動作部に対応するセルには、その動作目的において優先的に使用するもてなし動作部の順位が数字にて指定されている。数字が大きいほど優先順位が高いことを意味し、「0」は不採用であることを示している。なお、各テーブルの右端には、理解の一助のため、その動作目的に関与する外乱種別と、その外乱を検出する手段名を併記してある。
図7は、期待/盛り上げ系のテーマOBJ111に対応した機能選択テーブル371を示すものである。動作目的は以下の通りである。
(車外明るさ)
外乱種別は「車外光量減少」であり、車外光量センサで検出する(接近シーンが対象であるから、該センサは自動車自体に設ける以外に、駐車場などの外部設備に設けることができる(この場合、センサの検知情報は通信にて取得する)。このセンサが検出する車外光量が一定の閾値未満となったとき、「車外光量減少」の外乱状態が発生したと判定できる。
(外光取入、内光発生)
外乱種別は「車内光量減少」であり、照度センサ539(図1)で検出する。このセンサが検出する車外光量が一定の閾値未満となったとき、「車内光量減少」の外乱状態が発生したと判定できる。
(外界遮断、騒音打消)
外乱種別は「車内ノイズ増大」であり、図44のノイズ検知マイク2011で検出する。このセンサが検出する車内ノイズレベルに応じて、ノイズキャンセラ1001Bは、既に説明した動作により自立的に車内ノイズ減少のための音響処理を行なう。
(車内環境)
外乱種別は「車内温度の上昇/降下」であり、室温センサ563や日照センサ564(図1)により検出する。車内温度が適正温度を外れたとき(あるいは、外れる要因(例えば、日照量の増減や、吸気温度の変動)が発生したとき)に、「車内温度の上昇/降下」に関係する外乱が発生したと判定する。
娯楽要素や情報提供に関しては、ユーザーの嗜好によりもてなし動作の選択がなされるものであり、外乱とは基本的に無関係である。この場合、後述のアルゴリズムによるユーザーの精神状態ないし肉体状態の推定結果に応じて、適正なもてなし動作の選択を行なうことが可能である。
車外照明、車内照明、窓遮蔽(パワーウィンドウ)、カーオーディオの機能優先順位が高くなっている。いずれも派手な盛り上げを行なうため、制御適性値設定テーブル371aにおける車外照明によるイルミネーション用の外的照明レベルの設定値、車内照明の設定値、カーオーディオシステム515及び携帯電話1からの音声出力レベル(ここでは、音楽出力に関する楽音レベル)はいずれも高く設定されている。図1の照度センサ539の照度検出レベル、及び音圧センサ540の音圧検出レベルが上記の設定値に近づくように、図1の照明504〜512及びカーオーディオシステム515の駆動出力レベルがもてなし実行制御部3により制御される。また、携帯電話1の音声出力レベルも無線指令により対応する値に設定される。また、推定される精神状態が集中力散漫に該当している場合も、期待/盛り上げ系の演出により、運転に臨む精神集中度を高める上で効果を発揮することがある。
他方、図8は、リラックス/安らぎ系のテーマOBJ211に対応した機能選択テーブル371を示すものである。動作目的/外乱種別は図7と同じである。機能優先順位の設定は期待/盛り上げ系と同じであるが、制御適性値設定テーブル371aにおける外的照明レベルの設定値、車内照明の設定値及び楽音レベルは、期待/盛り上げ系のテーマOBJ111よりも低く設定され、照明色や選曲も含めて、より温和な演出が行われる。また、推定される精神状態ないし肉体状態が、体調不良ないし興奮状態に該当している場合も、同様の温和な演出が効果的である。
具体的な処理は以下のごとくである。すなわち、ユーザーが自動車へ乗り込むために接近する際には、取得された性格種別(ユーザー生体状態情報)に応じて異なる内容にて照明装置(図23〜図25:符号504,505,507,509,510,511,512:これらは、いずれも自動車の外観を照らし出す照明装置として機能する(室内灯511も、窓から漏れ出す光が自動車の外観を間接的に照らし出す))を動作させるものとすることができる。期待/盛り上げ系テーマOBJ111が選択された場合は、もてなしに関与する照明装置の発光量を増やす、あるいは点滅回数を増やす、ヘッドランプ504をハイビームにする、赤系のテールランプ507の点灯光量を増やすなど、ユーザーの自動車への接近を派手に盛り上げる演出をする。他方、リラックス/安らぎ系のテーマOBJ211が選択された場合は、もてなしに関与する照明装置の発光量をやや落とし、また、派手な照明の点滅は避け、フェードイン的にじわじわと光量を上げたり、あるいは、足元を照らすサイドランプ512→室内灯511→ヘッドランプ504の順序で点灯を行って、自動車をゆっくりと浮かび上がらせるなど、ソフトな演出を行なうようにする。なお、赤系のテールランプ507を採用しなければ、「活動的」の性格種別に対する照明形態と比較して、全体の照明色調の上でも変化が得られる。なお、ヘッドランプやテールランプも含め、照明装置を白熱電球やハロゲンランプ等に代えて、発光ダイオードで構成することも可能である。
次に、ユーザーが自動車に接近する際には、上記のような照明装置以外に、携帯電話1(ユーザー側端末装置)に設けられたスピーカー(音声出力部)311をもてなし動作部として使用することもできる。この場合、自動車側の通信装置4は、携帯電話1すなわちユーザーの接近を検出し、そのユーザーに対応する性格種別(つまり、取得されたユーザー生体状態情報)に応じて異なる出力内容にてスピーカー311からもてなし用音声を出力させる。本実施形態において、もてなし用音声データは音楽ソースデータとするが、効果音や人間の声(いわゆる着声あるいは着ボイスと称されるもの)のデータであってもよい。このもてなし用音声データは、図1に示すように、自動車側の記憶装置535に記憶しておき、必要なものを携帯電話1に通信装置4を介して配信するようにしてもよいし、携帯電話1側の音データ用フラッシュROM316に記憶させても、いずれでもよい。ここでは、後者の場合を例に取り説明する。
まず、ユーザーが認証・特定されたら、そのユーザーに対応する性格種別を特定し、携帯電話1から、音データ用フラッシュROM316に記憶されている、もてなし用音声データのID一覧を無線により取得する。次に、その中から、特定された性格種別に対応する音楽ソースデータを選択する。ここでは、ユーザーが接近するほど盛り上げる処理を行なうために、曲モードコードの異なる複数の音楽ソースデータを選択している(ここでは、MIDIデータを用いた場合を例に取る)。
ここでも、前述の照明によるもてなし処理と同様、距離に応じて異なる演出を行なう(処理の流れは図28と同じ)。ユーザーの精神状態高揚度に対応して、曲モードコードについてもこれに対応付けた序列が設定され、距離が近づくほど、高揚する精神をより増長するように選曲を行なう。具体的には、自動車との距離が近づくほど、精神状態高揚度が上位となり、ユーザー接近時の曲モードコードは、「ヒーリング・α波系」又は「温和・癒し系」(遠距離用)→「爽快系」(中距離用)→「盛り上げ系」(近距離用)の順で序列が定められる。しかし、好みによっては、最初盛り上げておいて、車に接近するほど気持ちを落ち着かせるように、上記の逆の序列とすることももちろん可能である。
まず、図31に示すように、遠距離もてなしモードでは、「ヒーリング・α波系」又は「温和・癒し系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S201)。携帯電話1では、そのIDに対応する音楽ソースデータを選んで、演奏を開始する(S202)。次に、図32に示す中距離もてなしモードでは、「爽快系」の曲モードコードを有する音楽ソースデータのID(曲ID)を携帯電話1に送信する(S210)。そして、携帯電話1で、そのIDに対応する音楽ソースデータを選んで、演奏を開始するとともに、前述のごとく、バイブレータユニット354及びLEDユニット355を音楽と同期駆動し、音出力によるもてなしをより盛り上げる(S211)。また、自動車側の照明装置を、音楽に連動させて明滅させるようにしてもよい(S212)。
いよいよユーザーが自動車に乗り込む寸前にまで近づくと、図33の近距離もてなしモードとなり、最高潮の盛り上げ演出が行われる。すなわち、S220〜S222では、中距離もてなしモードとほぼ同様の処理であるが、音楽ソースデータは「盛り上げ系」のものを選ぶ。他方、自動車側でも同じIDの音楽ソースデータを選択し、カーオーディオシステム515での演奏を開始する。この場合、パワーウィンドウを作動させて窓を開き、携帯電話1の演奏と同期出力すれば、盛り上げ効果をさらに高めることができる(S223)。このとき、自動車側では、MIDIデータの主旋律部分の音程コードを、携帯電話1側の主旋律部分に対し、協和音程を形成する度数だけ低く(又は高く)なるように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力とをハモらせることができるし、MIDIデータの主旋律部分の出力タイミングを、携帯電話1側の主旋律部分に対し、一定拍数遅らせる(又は進ませる)ように変更して出力させれば、携帯電話1の出力とカーオーディオシステム515の出力との間で輪唱効果を達成することもできる。
そして、S224では、携帯電話1の心拍センサ342でユーザーの心拍数を読み取り、MIDIデータのテンポコードを、該心拍数に比例してテンポが速くなるように変更する。これにより、出力される音楽が、ユーザーの心拍に合せてアップテンポ化し、盛り上げ効果がより高められる。なお、リラックス/安らぎ系のテーマOBJ211では、近距離用の上記最後の派手な盛り上げ処理を行なわないようにすることも可能である。
また、推定される精神状態あるいは肉体状態との関係では、体調不良状態では刺激的な高音域を避けた低温域主体の音楽を流すか、あるいは体調不良状態が比較的重い場合は、音量も小さくし、テンポもゆったり系に設定する。また、興奮状態の場合も、音楽のテンポをゆったり系に設定すると効果的である。一方、集中力散漫状態の場合は、音量を逆にアップしたり、パーカッション強打や絶叫歌唱あるいはピアノ不協和音など、気分覚醒に効果のある音楽(例えば、フリージャズ、ハードロック、ヘヴィーメタル、前衛系音楽など)を流すと効果的である。
なお、図2に示すように、接近シーンSCN1において、不安/緊張解消ジャンルST3では「車の位置を知りたい(OBJ311)」及び「忘れ物・戸締り確認(OBJ312)」、体力的負担軽減ジャンルST4では、「荷物をスムーズに積み込みたい(OBJ411)」の各テーマが定められている。またこれらテーマのもてなし処理は、気持ち高揚用のテーマOBJ111ないしOBJ211のもてなし処理と並列に実行される。
図10は、テーマ「車の位置を知りたい(OBJ311)」に対応した機能選択テーブル371の内容を示すものである。動作目的/外乱種別は以下の通りである。
(車位置報知)
外乱種別は「車とユーザーとの距離大」であり、自動車側GPS533と携帯電話側GPS554との各測位情報により、距離検出を行なう。距離が一定の閾値を超えた場合に、「車とユーザーとの距離大」の外乱状態が発生したと判定できる。
(車内環境)
外乱種別は「車内温度の上昇/降下」であり、図7の動作目的「車内環境」と同じである。
情報収集に関しては、ユーザーの嗜好によりもてなし動作の選択がなされるものであり、外乱とは基本的に無関係である。この場合、後述のアルゴリズムによるユーザーの精神状態ないし肉体状態の推定結果に応じて、適正なもてなし動作の選択を行なうことが可能である。
自動車側GPS533、携帯電話1、携帯電話側GPS554、ホーン502及び車外照明(あるいは車内照明)がもてなし動作部として選択されている。具体的な動作は、例えば、自動車側GPS533の位置情報を携帯電話1側に知らせ、携帯電話側GPS554の位置情報とともにモニター308(図14)上にマップ表示して、ユーザーと自動車との相対位置を把握できるようにする。また、ユーザーが自動車に所定距離以下に接近したら、ホーン502の吹鳴や及び車外照明(あるいは車内照明)の点灯により、自動車の位置をユーザーに直接知らせるようにする。
他方、「忘れ物・戸締り確認(OBJ312)」では、出発前の注意確認事項を促すメッセージ(音声データはもてなし実行制御部3のROMに記憶しておくことができ、カーオーディオシステムの音声出力ハードウェアを流用して出力処理が可能である)を音声出力させる。注意確認事項を促すメッセージの実例としては次のようなものがある
・「免許証と財布は大丈夫ですか?」
・(カーナビで設定された行き先が空港ならば)「パスポートは持ちましたか?」
・「玄関の鍵をかけましたか?」
・「裏の窓は開いてませんか?」
・「室内のエアコンは切りましたか?」
・「ガスの元栓は締めましたか?」
次に、ユーザーの精神状態あるいは肉体状態については、自動車に接近するユーザーの表情(車外用カメラ518にて撮影できる)や体温(赤外線センサ519で測定できる)の時間的変化を測定し、その変化波形から推定することができる。前述のごとく、推定された精神状態が正常であれば、期待/盛り上げジャンルST1のもてなし動作とし、推定された精神状態が不安定ないし怒り(あるいは興奮)になっていた場合(あるいは肉体状態が体調不良となっていた場合)は、リラックス/安らぎジャンルST2のもてなし動作とすることができる。
図56は、表情変化解析処理のフローチャートの一例を示すものであり、SS151で変化カウンターNをリセットし、SS152でサンプリングタイミングが到来すればSS153に進み、顔画像を撮影する。顔画像は表情特定が可能な正面画像が得られるまで繰り返す(SS154→SS153)。正面画像が得られたら、マスター画像(記憶装置535内の生体認証用マスターデータ432(記憶装置535内)に含まれる)と順次比較することにより、表情種別を特定する(SS155)。特定された表情種別が「安定」なら、表情パラメータIに「1」をセットする(SS156→SS157)。特定された表情種別が「不安・不快」なら、表情パラメータIに「2」をセットする(SS158→SS159)。特定された表情種別が「興奮・怒り」なら、表情パラメータIに「3」をセットする(SS160→SS161)。
そして、SS162では、前回取得された表情パラメータの値I’を読み出してその変化値ΔNを演算し、SS163で、該値を変化カウンターNに加算する。以上の処理を、定められたサンプリング期間が満了するまで繰り返す(SS164→SS152)。サンプリング期間が満了すればSS165へ進み、表情パラメータIの平均値I(整数化する)を演算して、その表情値に対応する精神状態として判定を行なうことができる。また、変化カウンターNの値が大きいほど表情の変化が大きいと捕らえることができ、例えばNの値に閾値を設けて、表情変化をNの値から「変化小」、「増」、「微増」及び「急増」として判定することができる。
一方、図54は、体温波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、赤外線センサ519により検出される体温値をサンプリングし、波形記録する。そして、波形解析ルーチンでは、SS53にて直近の一定期間にサンプリングされた体温値を波形として取得し、SS54で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS55で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS56では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS57で区間別の体温平均値を演算する。そして、区間毎に、平均体温値を波形中心線として、積分振幅A1,A2‥(中心線を基準とした波形変位の絶対値を積分し、その積分値を区間幅σ1,σ2‥で除した値である)を演算する。そして、SS59では、各区間の積分振幅Aを平均し、波形振幅の代表値として決定する。
なお、以下の処理も含め、波形取得のための情報サンプリングプログラムは、シーンが特定できた場合に、そのシーンに関係する生体状態検出部についてのみ、一定の時間間隔で起動されるようにスケジュール管理される。また、図面中には表れていないが、サンプリングの繰り返しについては、無制限に続くわけではなく、上記のごとく波形解析に必要なサンプリング数が得られるように定められた前述のサンプリング期間が満了すれば繰り返しが打ち切られる。
SS60では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の体温変化が「急」であると判定する。また、SS62では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の体温変化が「緩」であると判定する。また、fu0≧f≧fL0ならばSS64に進み、監視中の体温変化は「標準」であると判定する。次に、SS65に進み、積分振幅A(平均値)を閾値A0と比較する。A>A0であれば、監視中の平均体温レベルは「変動」状態にあると判定する。また、A≦A0であれば、監視中の平均体温レベルは「維持(安定)」状態にあると判定する。
このようにして得られた生体状態パラメータの時間的変化に係る判定結果を用いて、ユーザーの具体的な精神/肉体状態の判定(推定)が行なわれる。具体的には、記憶装置535内には、図51に示すように、ユーザーの判定すべき精神状態又は肉体状態である複数の被特定状態と、個々の被特定状態が成立していると判定するための、複数の生体状態検出部がそれぞれ検出しているべき生体状態パラメータの時間的変化状態の組み合わせとを対応付けて記憶した判定テーブル1601が記憶されている。
本実施形態では、被特定状態として、「集中力散漫」、「体調不良」及び「興奮状態」が定められている。具体的には、「体調不良」が複数レベル、ここでは「軽度体調不良」と「重度体調不良」との2レベルに分割され、計4つの基本被特定状態が定められている。なお、「集中力散漫」及び「興奮状態」についても、よりきめ細かい精神/肉体状態の推定を行なうために、これを複数レベルに分けて定めることが可能である。なお、本実施形態では、上記の基本被特定状態に対し、肉体状態系のものと精神状態系のもの(「集中力散漫」あるいは「興奮状態」)との複合状態についても、生体状態パラメータの時間的変化状態の組み合わせが独自に定められ、これらの複合状態の推定精度向上を図っている。
さらに、もてなし動作の不適合や程度の不足あるいは過剰等により、ユーザーがある種の不快感を感じている場合、該ユーザーは軽度体調不良と同様の生体状態を示すことが多く、本実施形態では該「不快感」と「軽度体調不良」とを被特定状態として統合している(もちろん、関与する複数のパラメータ構成の閾値変更等により、両者を分離して特定するようにしてもよい)。
生体状態パラメータとしては、この後のシーンで使用するものも含め、「血圧」、「体温」、「皮膚抵抗」、「表情」、「姿勢」、「視線」、「瞳孔(寸法)」及び「操舵」の各パラメータが網羅されている。同じパラメータであっても、使用するセンサあるいはカメラはシーンに応じて、目的とする生体状態パラメータの取得に有利なものが適宜選択される。
前述のごとく、この接近シーンでは、車外用カメラ518によるユーザーの表情と、赤外線センサ519によるユーザーの体温が生体状態パラメータとして採用可能である。判定テーブル1601によると、集中力散漫のときは表情の変化が急増し、体調不良や興奮状態の場合も表情の変化は増加する傾向にある。いずれも正常時とは異なる状態であることは識別できるが、個々の精神/肉体状態を詳細に識別することは難しい。他方、体温の状態について見れば、集中力散漫のときは特に大きな変化がない(つまり、正常時とほぼおなじ)のに対し、体調不良時は緩やかな変化を示し、興奮状態の場合は非常に急激な変化を呈する。従って、この両者を組み合わせれば、「集中力散漫」、「体調不良」及び「興奮状態」を互いに識別することが可能となる。
この場合の処理を図66に示している(これは、シーンによらず同じ思想で判定処理可能であり、後述の運転シーンでも基本的な流れは同じである)。基本的には、複数(ここでは、表情と体温の2つ)の生体状態パラメータについて判定テーブル上の被照合情報と照合し、照合一致した組み合わせに対応する被特定状態を現在成立している被特定状態として特定する処理となる。すなわち、SS501〜SS508では、図54〜図57、図60〜図62あるいは図64、65の各フローチャートに示す解析処理による、各生体状態パラメータの時間的変化に係る判定結果(例えば、「急減」や「増加」など)をリードする。SS509では、各被特定状態が成立していると判定するためには、判定テーブル1601における個々の生体状態パラメータがどのような変化傾向を示していればよいかを表す被照合情報と、上記判定結果とを照合し、被照合情報と判定結果とが一致した被特定状態の照合カウンターをインクリメントする。この場合、例えば、全ての生体状態パラメータについて、被照合情報と判定結果とが一致した被特定状態のみを採用する処理としてもよいが、参照する生体状態パラメータが多い場合は、被照合情報と判定結果とが全ての生体状態パラメータについて一致するのが稀となり、ユーザーの肉体状態あるいは精神状態の推定を柔軟に行なうことができなくなる。従って、照合カウンターの得点(N)を「一致度」とみなして、最も得点の高いもの、つまり一致度の最も高いものを、被特定状態として確定させる方法が有効である(SS510)。
なお、図51において、例えば平均血圧レベルが「変動」と判定された場合のように、同じ生体状態パラメータの状態が複数の被特定状態(「集中力散漫」あるいは「興奮状態」)への成立に肯定的に寄与する場合もあるが、この場合は、それら各被特定状態の照合カウンターをインクリメントする。例えば、平均血圧レベルが「変動」と判定された場合は、4つの照合カウンター値N1,N4,N12,N13がインクリメントされる。
他方、被照合情報と判定結果との一致不一致は、既に種々説明したごとく、生体状態パラメータ(周波数あるいは振幅等)の閾値との比較で判断されているものがほとんどであり、上記のように一致/不一致を二値的(つまり、シロかクロか)に決定する際に、実際のパラメータの指示値と閾値との偏差がどの程度であったかは情報として埋没することになる。しかし、実際には、閾値に近接した値で一致/不一致が決定される場合は、いわば「グレー」の判定であり、閾値から隔たった(例えば閾値を大幅にクリアした)形で一致/不一致が決定される場合と比較して、判定結果への寄与の度合いを小さく扱うようにすることが本来的には望ましい。
これを解決する方法としては、被照合情報と判定結果とが完全に一致した場合にのみ照合カウンターへの加算を行なうようにするのに代え、完全一致せずとも、定められた範囲内で近接した結果が得られた場合は、完全一致の場合よりも低い得点に制限しつつ、これを照合カウンターへ加算することが考えられる。例えば、被照合情報が「急増」となっている場合、判定結果も「急増」であれば3点を、「増」の場合は2点を、「微増」の場合は1点を加算する方式を例示できる。
また、より精度の高い方法として、以下のような例がある。すなわち、図51に示すように、被特定状態毎に、関与する各生体状態パラメータの値と上記判定に使用する閾値との偏差の合計(ν又はμ)を用い、その偏差の合計に基づいて被特定状態を確定させることも可能である。以下、偏差の合計が最も大きい被特定状態を最終的な状態推定結果として確定させる場合を例示するが、偏差の定義によって判定方法は変わるので、これに限られるものではない。また、前述のNと併用して被特定状態を確定することもできる。以下、さらに詳細に説明する。まず、個々の生体状態パラメータについての偏差の計算概念を数1にまとめて示す。
Figure 0004509042
生体状態パラメータの値を一般化してXで表し、判定に使用する閾値をX0とする。Xが被特定状態への成立に肯定的に寄与しているか否かは、XとX0との大小関係で決定される。一例として、図52の血圧を例に取れば、生体状態パラメータXとして、血圧時間変化波形の周波数fと振幅Aとが採用されている。このうち振幅Aについては、閾値がA0であり、A>A0のとき、平均血圧レベルが異常状態の一つである「変動」と判定される。この場合、図51に示すごとく、「集中力散漫」と「興奮状態」との、2つの被特定状態への成立に肯定的に寄与することになる。
一方、周波数fについては2つの閾値、すなわち上限値fu0と下限値fL0とが定められており、f>fu0のとき、血圧変化が異常状態の一つである「急」と判定される。この場合も図51に示すごとく、「集中力散漫」と「興奮状態」との、2つの被特定状態への成立に肯定的に寄与することになる。他方、f<fL0のとき、血圧変化が異常状態の一つである「緩」と判定される。この場合、「軽度体調不良/不快感」と「重度体調不良」との、2つの被特定状態(異常)への成立に肯定的に寄与することになる。当然のことであるが、この両者では、被特定状態への成立に肯定的に寄与するためのパラメータ値とその閾値との大小関係が反転している。
他方、被特定状態が上記の異常状態のいずれにも該当しない場合は、これを正常状態と判定するべきである(どの場合が「正常状態」として判定されるかは、図52、図54〜図57、図60〜図62、図65にそれぞれ書き込んである)。例えば、図52の場合、平均血圧レベルについてはA>A0のとき正常(維持)と判定され、血圧変化については、fu0>f>fL0のとき正常(維持)と判定される。
そして、本実施形態では、計算すべき偏差の値を、被特定状態への成立に肯定的に寄与する向きを偏差が正となる向きに定義し、該定義に従って計算されたXとX0との差分値を該偏差の値として採用する。X>X0が上記肯定寄与の向きならば数1の(1)式ないし(5)式により(例えば、血圧変化を「急」と判定する場合のf、あるいは平均血圧レベルを「正常と判定する場合のA)、X<X0が上記肯定寄与の向きならば数1の(2)式ないし(4)式により(例えば、血圧変化を「緩」と判定する場合のf)、偏差Δμ、Δνを計算する。なお、被特定状態が異常状態である場合と正常状態である場合とで区別するために、前者については「μ」を、後者については「ν」を使用している。
また、パラメータ値が上限閾値と下限閾値との間に位置する場合に、被特定状態の成立を肯定する場合(例えば、血圧変化を「正常」と判定する場合のf)の取り扱いは以下のようにする。すなわち、上限閾値に対しては(2)により偏差を算出し、下限閾値に対しては(4)により偏差を算出する必要がある。この場合、パラメータ値が上限閾値と下限閾値とに挟まれた区間の中央に位置するほど、被特定状態の成立肯定の妥当性は高くなるから、パラメータ値が該区間中央値に近いほど大きくなるように定義された偏差を使用すればよい。一例としては、上限閾値に対しての(2)による偏差の計算値をΔμ1、下限閾値に対しての(4)による偏差の計算値をΔμ2として、
Δμs=(Δμ1×Δμ2)1/2 (Δμ1とΔμ2との幾何平均)
にて算出される合成偏差Δμsを使用することが可能である。
以上のように、各パラメータについて計算された偏差Δν、Δμが、図51に示すごとく、各被特定状態ごとの偏差ポイント合計カウンターν0、μ1、μ2、‥にそれぞれ加算されることとなる(数1:式(4)、(6)、あるいは図77の式(7)、(8))。偏差ポイントの合計が最も高い被特定状態(異常状態あるいは正常状態)が、状態推定結果として確定されることとなる。
なお、被特定状態を判定する上での各パラメータからの寄与は、上記の例ではいずれも等価なものとして扱っていたが、寄与の大きいものと小さいものと区別し、異なる重みを付与して取り扱うようにしてもよい。例えば、図51において、「集中力散漫」を特定する際に、表情変化の検出精度に問題がある場合、「表情」に係るパラメータを照合カウンターに加算する際の重み係数を、血圧や皮膚抵抗の重み係数よりも小さくすることが可能である。前述の偏差Δν、Δμを照合カウンターに加算する場合の、重み係数を用いた場合の加算式を図77の式(9)、(10)に示している。なお、この重み係数の設定値には個人差もあり、ユーザー毎に個別に設定することも可能である。さらに、重み係数は、各パラメータについて被特定状態によらず一律の値を設定するようにしてもよいし、より高精度の制御を行なうため、各パラメータの重み係数を被特定状態に応じて異ならせることも可能である(この場合、重み係数は二次元配列を構成するものとなる)。
各パラメータが図51の被照合情報のどれと一致しているか、あるいはその一致度を示す上記偏差の計算値がどの程度になっているか、さらには、その結果に基づく精神/肉体状態(図51の被特定状態のいずれか)の推定結果が、図77の状態特定結果テーブル472(もてなし意思決定部2のRAMあるいは記憶装置535に記憶されている)に集められている。このテーブル472には、各パラメータについて、状態推定結果への寄与状態と、上記の偏差の計算結果とがまとめられている。状態推定結果への寄与状態に関しては、推定結果に係る被特定状態(図77では軽度体調不良)に肯定的に寄与しているパラメータ(図77では、血圧変化、体温変化、表情の意味、姿勢移動、視線移動及びパターン)と、そうでないパラメータとを区別するための情報で与えられる。
具体的には、状態推定結果が「異常状態(ここでは、軽度体調不良)」である場合に、これに肯定的に寄与しているパラメータには「2」が付与されている。また、非肯定的に寄与しているパラメータについては、「正常状態」を示すものには「0」が付与されている。他方、「正常状態」ではないが、状態推定結果とは異なる「異常状態」を示すものを第三の状態(以下、「中立状態」ともいう)として、「1」が付与されている。すなわち、「異常状態」を構成する状態推定結果への肯定的寄与と、非肯定的寄与とが識別可能な情報、より詳しくは、非肯定的寄与が、「正常状態」を示すものであるか、状態推定結果とは異なる「異常状態」を示すものであるかが識別可能な情報が、状態判定への寄与情報として記憶されている。なお、状態推定結果が「正常状態」の場合は、「正常状態」に肯定的に寄与するパラメータには「0」が、非肯定的に寄与するパラメータ(つまり、何らかの「異常状態」を示すもの)には「1」を付与する。
なお、上記のようにして推定・モニタリングされている肉体状態あるいは精神状態については、各被特定状態(正常状態を含む)のそれぞれに寄与するポイント値が近接した場合、そのポイント値の大小関係で状態推定結果を確定させる関係上、推定結果の精度低下が避け難い。そこで、これを補うために、上位の被特定状態のポイント差が一定レベル以下に近接した場合に、音声又は画面表示により状態確認用の質問をユーザーに向けて出力し、その回答情報に応じて状態推定結果を補正することが可能である。
具体的には、シーン毎に、各被特定状態に対応した確認用質問情報を記憶装置535等に記憶しておく。そして、上記のように上位の被特定状態のポイント差が一定レベル以下に近接した場合に、当該ポイント差に収まっている複数の被特定状態のいずれが真の被特定状態であるかを確認可能な質問を出力する。例えば最もポイントの高い被特定状態を念押しする形式の質問は、ユーザーにとってもわかりやすく、明確な回答を得やすいので効果的である。この場合、質問結果を参照して最終的に確定される状態推定結果につき、後述のアルゴリズムにより、確定される被特定状態に係るパラメータが優位となるように、該確定される被特定状態ないしこれとポイント上競合している被特定状態のパラメータの閾値ないし重み係数を修正・変更すると、以降同じような質問が繰り返しなされる不具合が減少するので効果的である。以下、具体例を挙げる。
(正常状態ポイント値が軽度体調不良ポイント値よりも僅差で上の場合)
(質問)「ちょっと元気がなさそうだけど、大丈夫よね。」(あるいは、「気のせいかしら」)
(回答)「うん、大丈夫だよ。」→正常状態を推定結果として確定。(このあと、後述のアルゴリズムにより、正常状態に係るパラメータのポイントがより優位となるように、正常状態ないしこれと競合している状態のパラメータの閾値ないし重み係数を修正・変更する。)
(軽度体調不良ポイント値が正常状態ポイントよりも僅差で上の場合)
(質問)「顔色悪いわね。少し休んでから行く?」
(回答)「いや、大丈夫だよ。」→正常状態を推定結果として確定。(このあと、後述のアルゴリズムにより、正常状態に係るパラメータのポイントが軽度体調不良ポイントを上回るまで、関係するパラメータの閾値ないし重み係数を修正・変更する。)
(興奮(怒り)状態のポイントが軽度体調不良ポイントよりも僅差で上の場合)
(質問)「今日はどうしたの?ご機嫌斜めかしら。」
(回答)「いや、ちょっと調子悪いだけや。」→軽度体調不良状態を推定結果として確定。(このあと、後述のアルゴリズムにより、軽度体調不良状態に係るパラメータのポイントが興奮(怒り)状態のポイントを上回るまで、関係するパラメータの閾値ないし重み係数を修正・変更する。)
(軽度体調不良ポイントが興奮(怒り)状態のポイントよりも僅差で上の場合)
(質問)「どうしたの、風邪でもひいたの?」
(回答)「うるさいな、どうもないわ。」→興奮(怒り)状態を推定結果として確定。(このあと、後述のアルゴリズムにより、興奮(怒り)状態に係るパラメータのポイントが軽度体調不良ポイントを上回るまで、関係するパラメータの閾値ないし重み係数を修正・変更する。)
上記のような状態推定補正に係る処理は、各シーンでのもてなし動作の開始後に行なうことも可能であるし、もてなし動作の開始に先立って行なうこともできる。後者の場合、開始するべきもてなし動作の方向をユーザーの望む向きに初期段階で修正でき、その後のもてなしの結果がユーザーの願望から大きく乖離してしまう不具合を防止することができる。また、あるシーンでの状態推定精度に不安がある場合に、他のシーンでの状態推定結果によりこれをバックアップすることも可能である(例えば自動車に乗り込み後の状態推定に不安がある場合、接近シーンでの状態推定結果を参照して最終的な状態推定結果を確定するなど)。
次に、乗り込みシーンSCN2でのもてなし処理は、基本的に上記接近シーンSCN1での処理の延長として実施可能である(図2、OBJ121,OBJ221)。すなわち、ユーザーが自動車に乗り込み、着座センサ520がユーザーを検出すれば、もてなし実行制御部3は携帯電話1に演奏停止の指令を無線送信する。携帯電話1でのもてなし動作はこれで終了する。一方、不安/緊張解消ジャンルST3のもてなしのテーマについては、「車内を快適にして欲しい」(OBJ321:例えば事前のエアコン作動などにより車内を適温に保つなど)のほか、「自動車に乗り込む際の安全確保、トラブル回避」(OBJ322)がある。これは、図1の床下ランプ512による足元照明のほか、図40のドアアシスト機構541による障害物とドアとの衝突抑制モード機能によって達成できる。
また、体力的負担軽減ジャンルST4のもてなしテーマ「楽に乗り込みたい」(OBJ421)に関しては、ドアアシスト機構541の基本動作により、ドアの開閉操作の負担軽減を図ることができる。ドアアシスト機構541の動作の詳細は説明済なので、ここでは繰り返さない。なお、体調不良状態と推定される場合は、ドアアシスト機構541によるアシスト力を、通常時よりも増強する制御を行なうと、ユーザーへの負担をさらに軽減することができる。図41の構成では、外部操作力と正アシスト力との合計トルクがトルク検出電圧Vstに反映され、これがVref1に近づくように、モータ1010によるドアアシスト駆動がフィードバック制御されるので、体調不良に伴うユーザーのドア開力の減少に伴い、アシスト力も自動的に増大するようになっている。また、体調不良状態と推定される場合にVref1が大きくなるようにこれを変更して、アシスト力を増強させる方式も可能である。この場合、Vref1を決める分圧抵抗の一部を可変とし、体調不良状態と推定される場合に、該分圧抵抗値の変更によりVref1を増加させることが可能である。
また、テーマ「楽に荷物を積みたい」(OBJ422)では、例えば車外用カメラ518にて、ユーザーが大きな手荷物を抱えている場合やユーザーが体調不良と推定される場合に、ユーザーのドア開操作をアシストするのではなく、一定位置まで自動でドアを開き、ドアの操作そのものを不要にして、手荷物の積み込みを助ける。また、トランクルームの位置を知らせたり、そのカバーの開動作を自動で行って、積み込みを補助したりする動作も有効である。
次に、準備シーンSCN3及び運転/滞在シーンSCN4にうつる。期待/盛り上げジャンルST1及びリラックス/安らぎジャンルST2の各テーマ(OBJ131,OBJ141及びOBJ231、OBJ241)においては、接近シーンSCN1及び乗り込みシーンSCN2から実行されている車内照明511の作動、及び車内のカーオーディオシステム515の演奏を、引き続き継続する処理が中心となる(ただし、シーンに適合した照明色/パターンや選曲(あるいは音量)への変更は行なう)。準備シーンSCN3では気分を落ち着かせるために、光量を落とした照明と、図18の爽快系ST3あるいは温和・いやし系SFの選曲とする一方、運転開始時は、運転者を覚醒させてメリハリを付けるために照明光量を上げ、盛り上げ・活力アップ系AGの選曲に切り替えるなどの動作を例示できる。しかし、前述のごとく、精神状態や肉体状態の異常が推定される場合には、接近シーンと同様に、これを考慮した照明駆動パターンや音楽選曲が優先される。
図13は、期待/盛り上げジャンルST1のテーマOBJ141,OBJ142に係る機能選択テーブル372の設定例を示している。動作目的/外乱種別は図7と同じである。車外照明(夜間のみ5、昼間は0(非動作))、車内照明、パワーウィンドウの閉動作、ノイズキャンセラ、カーオーディオシステム、及びDVDプレーヤーなどの映像出力装置などがもてなし動作部として選択されている。車内の騒音レベル低減に関しては、パワーウィンドウの閉動作のよる窓の締め切りのほか、図44及び図45に示したノイズキャンセラ1001Bの作動もこれに大きく寄与している。既に説明したごとく、このノイズキャンセラ1001Bは、適応フィルタの設定により、カーオーディオシステム515や、車内の会話、あるいは注意ないし危険認識すべき必要車外音(強調音)など、指定された必要音を残す形でそれ以外の騒音成分だけを打ち消すようにしてあるから、より静寂な環境で音楽を聞くことができ、また、必要車外音を聞き漏らしたりすることもない。また、図67に示すように、体調不良時には、指定された必要音(警告音/重要音)を残して、オーディオ出力に対し低音域を主体としたイコライジングを行なうことにより、効果を挙げることができる。
また、制御適性値設定テーブル371aにおいては、車内照明レベルと楽音レベルとを比較的高く設定してある。もともと騒々しい環境を好む若者等をターゲットにする場合、風切り音などの車内騒音も、車の雰囲気作りに貢献する場合があるし、適応フィルタによる必要車外音のピックアップに関しては多かれ少なかれ限界もあることから、車内の楽音レベルを高めに設定するのに合わせ、騒音レベル(数値が高いほど静寂であることを示す)の低減程度は幾分抑制されている。なお、楽音レベルの設定値への制御は、図1の音圧センサ540の検出レベルが目標値に近づくよう、カーオーディオシステム515の出力ボリュームを調整することで実施できる。他方、騒音レベルの設定値への制御は、図44のエラー検出マイク2012が検出する消し残し騒音成分の目標値レベルをゼロではなく、残したい騒音レベルを示す有限値に設定することで実施できる。
図9は、リラックス/安らぎジャンルST2の各テーマOBJ241,OBJ242に係る機能選択テーブル371の設定例を示している。動作目的/外乱種別は図11と同じである。もてなし動作部の選択内容は期待/盛り上げジャンルST1と同じであるが、照明レベルと楽音レベルは期待/盛り上げジャンルST1よりも低く設定され、逆に騒音レベル低減程度は高められている。前述のごとく、体調不良時あるいは興奮状態時のクールダウン用の演出としても効果がある。
なお、接近シーンSCN1及び乗り込みシーンSCN2での音楽演奏がMIDIによるものであった場合、本格的に音楽を楽しむにはMIDIではいささか味気ないので、MPEG3曲データベース515b(図17)を用いた演奏に切り替える。この場合、もてなし意思決定部2(図1)は、ユーザーの性格種別に対応した音楽ソースデータを選ぶようにする。
ただし、もてなし意思決定部2が自動選択した曲が気に入らなければ、ユーザーは操作部515dからの入力により、いつでも好きな曲に演奏を切り替えることができる。ユーザーが自身で選曲した場合は、図20に示すように、そのユーザーの特定情報(ユーザー名あるいはユーザーID)と、選曲された音楽ソースデータのIDと、前述のもてなし参照データRD(性格種別コード、年齢コード、性別コード、ジャンルコード及び曲モードコード)とが互いに対応付けられた形で、選曲実績記憶部403(図1の記憶装置535内に形成されている)に記憶される。本実施形態では、選曲の日時、ユーザーの性別及び年齢も合せて記憶されている。
選曲実績記憶部403には、図21に示すように、ユーザー別に、その選曲実績の統計情報404(図1の記憶装置535に記憶されている)が作成される。この統計情報404では、選曲データが、性格種別コード別(SKC)にカウントされ、どの性格種別の曲が最も多く選曲されたかが数値パラメータとして特定される。最も単純な処理としては、選曲頻度が最も高い性格種別を、そのユーザーの性格として特定することが可能である。例えば、統計情報404に蓄積されている選曲実績数が一定レベルに到達すれば、例えばユーザー入力により初期設定された性格種別を、統計情報404から上記のごとく導かれた性格種別と置き換えるようにすればよい。
ところで、ユーザーの性格の分類は実際にはもっと複雑なものであり、音楽の好みも、一律に同じ性格種別に押し込めてしまえるほど単純ではない。また、そのユーザーが置かれている生活環境(充実しているか、ストレスがたまっているか、など)によっても短期的には変動しやすいことがある。この場合は、音楽の嗜好も変動し、その統計から導かれる性格種別も変化することがあってもおかしくない。この場合、図21に示すように、無制限に遡って選曲実績の統計を取るのではなく、直近の一定期間(例えば1ヶ月〜6ヶ月)に限定して選曲実績の統計情報404を作成すれば、性格種別の短期的な変動を統計結果に反映することができ、音楽によるもてなし内容をユーザーの状態に合せて臨機応変に変更できる。
また、同じユーザーであっても、いつも同じ性格種別の音楽を選ぶとは限らず、他の性格種別の音楽にもまたがって選曲されることもありえる。この場合、選曲頻度が最も高い性格種別のみから選曲していたのでは、ユーザーの気分転換を図る上では、必ずしも望ましくない状況も生じえる。そこで、各性格種別に割り振る選曲確率期待値を、統計情報404が示す選曲頻度に応じて割り振り、その期待値に応じて重み付けされた形で、各性格種別からランダムに選曲する方式を採用することもできる。このようにすると、ユーザーが多かれ少なかれ興味を示す(つまり選曲された)音楽ソースについては、複数の性格種別にまたがる形で選曲頻度の高いものから優先的に選曲され、時折は自分の性格種別以外の音楽によるもてなしを受けることも可能となり、よい気分転換になる。具体的には、一定個数の乱数値からなる乱数表を記憶しておき、各性格種別に割り振る乱数値の個数を、上記選曲頻度に比例して配分する。次いで、周知の乱数発生アルゴリズムにより乱数を発生させ、得られた乱数値が、どの性格種別に割り振られた乱数値であるかを照合することで、選択すべき性格種別を特定することが可能となる。
なお、統計情報404では、音楽のジャンル別(JC)、年齢別(AC)及び性別(SC)による選曲頻度もカウントされており、性格種別の場合の上記方式と同様にして、選曲頻度の高いジャンル、年齢層あるいは性別に属する音楽ソースデータを、優先的に選曲するように構成できる。このようにすると、ユーザーの嗜好によりマッチしたもてなし選曲を行なうことが可能となる。なお、一つの音楽ソースデータに、複数の性格種別を割り振ることも可能である。
図30は、その処理の一例を示すフローチャートである。図21のように性格種別毎の選曲頻度統計が得られた場合、図30の下に示すように、乱数表上の乱数値を各性格種別に対し、個々の選曲頻度に比例して配分する。次いで、フローチャートのS108にて、任意の乱数値を1個発生させ、乱数表上にて、その取得された乱数値に対応する性格種別コードを選ぶ。次いで、S109では、図19の点灯制御データ群から、その性格コードに対応したものを選択する。そして、S110では、取得した性格種別コードに対応する音楽ソースデータのうち、図21にて最も選曲頻度の高いジャンル、年齢層及び性別に該当する音楽ソースデータを全て抽出する(もちろん、ここでも性格種別の決定時と同様、各ジャンル、年齢層及び性別毎の頻度に応じた乱数比例配分により、選曲に係るジャンル、年齢層及び性別を選択するようにしてもよい)。抽出された音楽ソースデータが複数ある場合は、S111のように、その中の1つの音楽ソースデータIDを乱数により1つ選択するようにしてもよいし、音楽ソースデータの一覧表をモニター536(図1)示して、操作部515d(図17)によりユーザーにマニュアル選択させるようにしてもよい。こうして、選択された点灯制御データに従い、ユーザーにより運転中(もしくはユーザーが滞在中)の自動車内の照明装置の点灯制御が実施され、また、選択された音楽ソースデータによる音楽演奏がカーオーディオシステムにてなされる。
以下、準備シーンSCN3及び運転/滞在シーンSCN4に割り振られている他のもてなしテーマについて説明する。テーマ「目的地/道中の様子が知りたい」は、上記両シーンにまたがって設定されているテーマであり、例えば準備シーンSCN3側(OBJ331)では、図12の機能選択テーブル371に示すように、自動車側GPS533とカーナビ534とがもてなし動作部として選択され、目的地の設定に伴い、現地や道中の様子を、無線通信ネットワークを介して取得し、カーナビ534のモニター上に表示するもてなし動作が行われる。動作目的/外乱種別は「車内明るさ」/「車内環境」については、既に説明した他の機能選択テーブルと同じである。娯楽要素や情報提供に関しては、ユーザーの嗜好によりもてなし動作の選択がなされるものであり、外乱とは基本的に無関係である。この場合、後述のアルゴリズムによるユーザーの精神状態ないし肉体状態の推定結果に応じて、適正なもてなし動作の選択を行なうことが可能である。他方、「車内アコモデーション」については、外乱とは無関係とすることができる。他方、別途設けられたユーザー検知センサ565(図1)により、ユーザーとハンドルないしシートとの位置関係が特定できる場合には、その位置関係が適正状態を外れている場合に外乱発生と判定することができ、その外乱が縮小されるように、ハンドル位置やシートの前後位置ないし高さ調整をもてなし動作として行なうことが可能である。
運転/滞在シーンにおいては、ユーザーの性格種別を、音楽ソースの選曲実績以外の情報を用いる形でも推定することができる。例えば、ユーザー毎の運転実績データを蓄積し、その運転実績データの解析結果に基づいてユーザーの性格種別を特定することができる。以下、その具体例について説明する。図22に示すように、ユーザーが運転中にストレスを感じたときに行ないやすい操作をストレス反映操作として予め定めておき、そのストレス反映操作を対応する検出部で検出し、その検出結果をストレス反映操作統計記データ405(図1:記憶装置535内)として記憶・蓄積する。そして、その蓄積結果に基づいて、ユーザーの性格種別を推定する。以下に説明する実施形態は、自動車の運転上好ましくない性格要素による影響を、如何に抑制するかに主眼をおいたものである。
ストレス反映操作は、本実施形態では、ホーン操作(いらいらして、やたらにクラクションを鳴らす)、ブレーキ回数(車間等を詰めすぎて、やたらにブレーキを踏む)、車線変更回数(前の車を追い越そうと、頻繁に車線を変える:ウィンカーの操作+ウィンカーが操作された後のハンドル操作角度で検出できる(ハンドル操作角度が一定以下であれば、車線変更とみなす))が選定され、ホーンスイッチ502a、ブレーキセンサ530、ウィンカースイッチ502W、加速度センサ532がストレス反映操作検出部として機能する。各操作が発生する毎に、ストレス反映操作統計記憶部405内の対応するカウンターがカウントアップし、その回数が記録される。これらの操作は、「危険運転」への指向を反映したものであるともいえる。
また、走行中の車速が車速センサ531により検出され、加速度が加速度センサ532により検出され、平均速度V及び平均加速度Aが算出されてストレス反映操作統計記憶部405内に記憶される。平均加速度Aは、増加方向の一定レベル以上の加速度が検出されている期間に限って平均値が取られ、加速度変動の少ない低速走行時期間は、平均値算出に組み入れられない。このようにすることで、該平均加速度Aの値は、追い越し等に伴いやたらにアクセルを踏み込んだり、あるいは急発進したりすることを好むか否かを反映した値となる。また、車速センサ531の出力積分値から走行距離が算出され、ストレス反映操作統計記憶部405内に記憶される。
さらに、上記ストレス反映操作統計は、一般道区間と高速道区間とで別々に作成される(その識別は、カーナビゲーションシステム534からの走行情報を参照することにより可能である)。つまり、高速道路走行時では、スムーズに流れている場合、普通の運転をするユーザーであれば、ホーンを吹鳴したり、ブレーキを踏んだり、車線変更したりする回数は少ないはずなので、これらのストレス反映操作の検出回数は、一般道区間よりも高い重み付けで加算されるべきだからである。また、平均速度や平均加速度は、一般道区間より必然的に高くなるので、上記のように一般道区間と高速道区間とで区別して統計を取ることで、この影響も緩和することができる。
以下に、上記ストレス反映操作統計を用いた性格判定のアルゴリズムの一例を示すが、これに限られるものではない。まず、ホーン回数Nh、ブレーキ回数N、車線変更回数NLCについては、一般道区間(添え字「O」で示している)と高速道区間(添え字「E」で示している)での各値に、それぞれ重み係数αとβ(ただし、α<β:どちらかの係数を1に固定して、他方の係数を相対値表示してもよい)を乗じて加算し、それを走行距離Lで割った値を、換算回数(添え字「Q」で示している)として算出する。他方、平均速度と平均加速度も、同様に一般道区間での値と高速道区間での値を、重み係数を乗じて加算し、換算平均速度及び換算平均加速度として算出する。これらを全て加算した値を、性格推定パラメータΣChとして求め、該ΣChの値に応じて性格推定を行なう。
本実施形態では、ΣChの値の範囲を、予め定められた互いに異なる境界値A1,A2,A3,A4で複数の区間に区切り、そのそれぞれに性格種別を割り振っている。そして、算出されたΣChの値が属する区間に対応付けて、縮小係数δ1、δ2、δ3(いずれも0より大きく1より小)を定めている。これを用いた具体的な性格分析処理の流れの一例を図29に示す。前述のごとく、S101でユーザーを認証し、S102で図20の選曲実績データ403を取得する。そして、S103で、図21の選曲実績の統計データ404を作成する。次に、S104では、図22のストレス反映操作統計記憶部405内に蓄積されている情報(走行実績データ)を読み出し、S105で上記の方法によりΣChの値を算出して、対応する性格種別を特定し、縮小係数δを取得する。S106では、選曲実績の統計情報404で、最も頻度が高い性格種別を特定し、これに縮小係数δを乗じて見かけの頻度を低減する。これにより、例えば「活動的」なユーザーにおいてΣChが高くなるような結果が得られた場合、その「活動的」性格の故にΣChが高くなるような危険運転への指向が高められていることを意味するから、これをあおるような音楽の選曲頻度を、縮小係数δを乗ずることで抑制することができ、安全運転に導くことができる。また、「おとなしい」ユーザーにおいてΣChが低くなるような結果が得られた場合、「おとなしい」に対応する音楽の選曲頻度が縮小係数δを乗ずることで抑制され、活発な音楽の選曲頻度が相対的に増大するから、ユーザーに適度な刺激が与えられ、運転にメリハリを付けることで、安全性を高めることが可能となる。
次に、運転中においては、性格とは別に、精神状態や体調について考慮する必要がより高くなる。ユーザー(運転者)が運転席に着座している状態では、生体状態パラメータを取得するための生体状態検出部(センサやカメラ類)としてさらに多くのものを採用でき、具体的には、図1の赤外線センサ519、着座センサ520、顔カメラ521、マイクロフォン522、感圧センサ523、血圧センサ524、体温センサ525、アイリスカメラ527及び皮膚抵抗センンサ545を用いることができる。これらの生体状態検出部は、運転中のユーザーの生体反応を様々な角度から捉えることができ、もてなし意思決定部2は、接近シーンでの実施形態にて詳述したのと同様に、それらが検出する生体状態パラメータの時間的変化情報からユーザーの精神状態や体調を推定し、これに適合した形態でもてなし動作を行なう。
前述と同様、顔の表情の情報は、顔カメラ521により撮影した顔の静止画像から得られ、図34に示すように、その全体(又は部分:例えば目や口)の画像を、種々の心理状態あるいは肉体状態におけるマスター画像と比較することで、ユーザーが怒っているのか、平静であるのか、機嫌がよい(例えば楽しくウキウキしている)のか、機嫌が悪い(例えば落胆ないし悲嘆している)のか、あるいは不安ないし緊張にさらされているのか、などを推定することができる。また、ユーザーに固有のマスター画像を使用するのではなく、顔の輪郭、目(あるいはアイリス)、口及び鼻の位置や形状を、全てのユーザーに共通の顔面特徴量として抽出し、その特徴量を、種々の心理状態あるいは肉体状態において予め測定・記憶されている標準特徴量と比較して、同様の判定を行なうことができる。なお、上記の顔面特徴量から顔の類型を性格別に分類し、照合することで、ユーザーの性格種別の特定に使用することもできる。
体の動作は、顔カメラ521により撮影したユーザーの動画像(例えば、小刻みに動いたりする、顔をしかめたりするなど)、感圧センサ523の検知状態(例えば頻繁にハンドルから手を離したりする)などの情報に基づき、例えば運転中のユーザーがいらいらしているのか、そうでないのかを判断することができる。
体温は、ハンドルに取り付けた体温センサ525や、赤外線センサ519で取得した顔のサーモグラフィーなどの体温検出部により検出・特定できる。図54に示したのと同様のアルゴリズムにより、体温変化の緩急と平均体温レベルの変動/維持を判定できる。なお、ユーザーの平熱を予め登録しておき、その平熱からの温度シフト(特に高温側)を体温検出部により測定することで、より微妙な体温変化ひいてはそれによる細かい感情の動き等も検出することが可能となる。
図55は、皮膚抵抗変化波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、皮膚抵抗センサ545により検出される皮膚抵抗値をサンプリングし、波形記録する。そして、波形解析ルーチンでは、SS103にて直近の一定期間にサンプリングされた皮膚抵抗値を波形として取得し、SS104で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS105で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS106では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS107で区間別の皮膚抵抗平均値を演算する。そして、区間毎に、平均皮膚抵抗値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS109では、各区間の積分振幅Aを時間tに対してプロットし、最小二乗回帰して勾配αを求める。
SS110では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の皮膚抵抗変化が「急」であると判定する。また、SS112では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の皮膚抵抗変化が「緩」であると判定する。また、fu0≧f≧fL0ならばSS114に進み、監視中の皮膚抵抗変化は「標準」であると判定する。次に、SS115に進み、勾配αの絶対値を閾値α0と比較する。|α|≦α0であれば、監視中の平均皮膚抵抗レベルは「一定」状態にあると判定する。また、|α|>α0の場合、αの符号が正であれば監視中の平均皮膚抵抗レベルは「増」状態にあると判定し、負であれば「減」状態にあると判定する。
図51に示すように、皮膚抵抗検出値の変化が急で変化の方向が「増」である場合は、精神状態が「集中力散漫」と推定できる。体調不良に関しては、軽度のものは皮膚抵抗の時間的変化にそれ程反映されないが、体調不良が進行すると、皮膚抵抗値の変化が緩やかに増加に転ずるので、「重度体調不良」の推定には有効である。また、皮膚抵抗値は急激に減少する場合は、「興奮(怒り)状態」であることを、かなり高精度に推定することができる。
次に、図57は、姿勢信号波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、図58を用いて説明した姿勢信号値(Vout)をサンプリングし、波形記録するSS201,SS202)。そして、波形解析ルーチンでは、SS203にて直近の一定期間にサンプリングされた姿勢信号値を波形として取得し、SS204で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS205で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS206では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS207で区間別の姿勢信号平均値を演算する。そして、区間毎に、平均姿勢信号値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS209では、各区間の積分振幅Aを平均し、波形振幅の代表値として決定する。また、SS210では、積分振幅Aの分散Σを演算する。
SS211では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の姿勢変化速度が「増」であると判定する。また、SS213では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の姿勢変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS215に進み、監視中の姿勢変化速度が「正常」であると判定する。次に、SS216に進み、積分振幅Aの平均値Anの値を予め定められた閾値と比較して、姿勢移動量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、姿勢移動量は増加傾向にある)。また、SS217では、Aの分散Σの値が閾値以上になっている場合は、姿勢移動が増減傾向にあると判定する。
姿勢の変化は、基本被特定状態(「体調不良」、「集中力散漫」及び「興奮状態」)の相違に応じて顕著に異なる傾向を示すので、それらを相互識別する上で特に有効なパラメータである。正常であれば、運転中のユーザーは適度に姿勢を保ちながら運転に必要な緊張感を持続される。他方、体調不良が生ずると、辛さを和らげようとして時折姿勢を変える仕草が目立つようになり、姿勢移動量は微増傾向となる。しかし、体調不良がさらに進行すると(あるいは、極度の眠気に襲われた場合)、姿勢が不安定になってぐらつくようになり、姿勢移動は増減傾向となる。このときの姿勢移動は、体のコントロールが利かない不安定なものなので、姿勢移動の速度は大幅に減少する。また、集中力が散漫になっている場合も、姿勢移動はだらしなく増減するが、体のコントロールは利く状態であるから、姿勢移動速度はそれほど減少しない点に違いがある。他方、興奮状態にある場合は、落ち着きがなくなったり、いらいらしたりして姿勢移動は急増し、移動速度も大きくなる。
図60は、視線角度波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS252で顔画像を撮影し、その画像中にて瞳孔位置と、顔中心位置とを特定し、SS253で、該顔中心位置に対する瞳孔の正面方向からのぶれを演算して、視線角度θを求めることができる。そして、波形解析ルーチンでは、SS254にて直近の一定期間にサンプリングされた視線角度値を波形として取得し、SS255で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS256で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS257では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS258で区間別の視線角度平均値を演算する。そして、SS259では、区間毎に、平均視線角度値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS260では、各区間の積分振幅Aを平均し、波形振幅の代表値Anとして決定する。また、SS261では、積分振幅Aの分散Σを演算する。
SS262では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば監視中の視線角度θの変化速度が「増」であると判定する。また、SS264では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の視線角度θの変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS266に進み、監視中の視線角度θの変化速度が「正常」であると判定する。次に、SS267に進み、積分振幅Aの平均値Anの値を予め定められた閾値と比較して、視線角度θの変化量を「変化小」、「微増」および「急増」のいずれかに判定する(平均値Anが大きいほど、視線角度θの変化量は増加傾向にある)。また、SS268では、Aの分散Σの値が閾値以上になっている場合は、視線角度θの変化が増減傾向にある状態、つまり「変調」状態(いわゆる、目がきょろきょろした状態)にあると判定する。
まず、視線角度θは、集中力が散漫になった場合に移動量が急増し、また、きょろきょろと変調を来たすようになるので、該集中力散漫と推定する上での有力な決め手となる。また、体調不良が生ずると、その不良の程度に応じて視線移動量が減少するので、体調不良の推定にも有効である。また、興奮状態でも視線移動量は減少するが、体調不良時は、視界に変化が起きた場合に視線がついてゆきにくくなり、移動速度も減少するのに対し、興奮状態では、視界の変化等に鋭敏に反応してこれを睨みつけるなど、時折生ずる視線移動の速度は非常に大きいので、互いに識別することができる。
図61は、瞳孔径変化解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS302でアイリスカメラ527(図1)によりユーザーのアイリスを撮影し、SS303では、その画像上にて瞳孔径dを決定する。そして、解析ルーチンでは、SS304にて直近の一定期間にサンプリングされた瞳孔径dを波形として取得する。また、SS305では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS306で区間別の瞳孔径平均値dnを演算する。そして、SS307では、区間毎に、平均瞳孔径値を波形中心線として、積分振幅A1,A2‥を演算し、SS308では、各区間について計算された積分振幅の平均値Anを演算する。また、SS309では、積分振幅Aの分散Σを演算する。
SS310では瞳孔径平均値dnが閾値d0より大きくなっているかどうかを調べ、大きくなっていればSS311に進み、「瞳孔開」と判定する。また、大きくなっていなければSS312に進み、瞳孔径変化波形の積分振幅Aの分散Σが閾値Σ0よりも大きいかどうかを調べ、大きければ「瞳孔径変動」と判定する。また、大きくなければ「正常」と判定する。
図51に示すように、瞳孔径dは、ユーザーの精神状態に応じて顕著に変化し、特に、特有の瞳孔開状態があるか否かに基づいて、ユーザーが興奮状態にあるか否かを高精度に推定することができる。また、瞳孔径が変動する場合は、集中力散漫であると推定することができる。
また、本発明においては、運転者のステアリング操作状態も、その運転者の精神ないし肉体状態を推定するための生体状態パラメータとして使用する。ただし、ステアリングのサンプリング及び評価は直線走行時に限るようにし、右左折時やレーン変更時など、操舵角度が必然的に大きくなることが予め予測される期間は、ステアリング操作の監視・評価は行なわないことが望ましい(正常なのに、ステアリングが不安定と判定されてしまう惧れがある)。例えば、ウィンカー点灯操作があった場合は、そのウィンカー点灯期間と、操舵操作が予想される前後の一定期間(例えば、点灯前の約5秒、点灯後の約10秒))については、評価の対象外とするとよい。
図62は、操舵角度波形解析処理のフローチャートの一例を示すものであり、サンプリングルーチンでは、一定時間間隔で定められたサンプリングタイミングが到来する毎に、SS352で、操舵角センサ547の出力により現在の操舵角度φを読み取る(例えば、直進中立状態でφ=0°とし、左右いずれかへの触れ角として定義する(例えば右方向の角度を正、左方向の角度を負とする)。そして、操舵精度解析ルーチンでは、SS353にて直近の一定期間にサンプリングされた操舵角度値を波形として取得し、SS354で該波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、SS355で、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算する。また、SS356では、図53に示すように、波形を一定数の区間σ1,σ2‥に分割し、SS357で区間別の操舵角度平均値を演算する。そして、SS358では、区間毎に、平均操舵角度値を波形中心線として、積分振幅A1,A2‥を演算する。そして、SS359では、積分振幅Aの分散Σを演算する。
SS360では、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていればSS361に進み、監視中の操舵角度φの変化速度が「増」であると判定する。また、SS362では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば監視中の操舵角度φの変化速度が「減」であると判定する。また、fu0≧f≧fL0ならばSS364に進み、監視中の操舵角度φの変化速度が「正常」であると判定する。次に、SS365に進み、操舵角度φの変化波形の積分振幅Aの分散Σが閾値Σ0よりも大きいかどうかを調べ、大きければ操舵誤差が「増」と判定する(SS366)。また、大きくなければ「正常」と判定する(SS367)。
また、操舵誤差に関しては、上記のような操舵角度による検出だけでなく、図1の走行モニタカメラ546によるモニタリング画像から検出することもできる。走行モニタカメラ546は、例えば自動車の正面中央(例えば、フロントグリルの中央など)に取り付けることができ、図63に示すように、走行方向前方の視界を撮影するものである。自動車に対するカメラの取付位置が定まれば、撮影視野上での走行方向における車幅中心位置(自動車側基準位置)も定まり、例えば路肩線、中央線あるいはレーン分離線を画像上で識別することにより、自身が走行中のレーン中心位置を画像上で特定することができる。そして、上記の車幅中心位置のレーン中心位置からのずれを求めれば、自分の運転する自動車がレーンの中央をキープできているかどうかをモニタリングすることができる。図64は、その処理の流れの一例を示すフローチャートであり、SS401では走行モニター画像のフレームを取得し、SS402では、上記のごとく路肩線、中央線あるいはレーン分離線を示す白線(あるいは追い越し禁止の橙線)のレーン側エッジ線を周知の画像処理により抽出し、それぞれレーン幅位置として特定する。そして、SS403では、そのエッジ線間距離を二分する位置をレーン中心位置として演算する。他方、SS404では、上記画像フレーム上に、車幅中心位置をプロットし、上記のレーン中心位置からの道路幅員方向におけるずれ量ηを演算する。この処理を、予め定められた時間間隔で取り込まれる画像フレームに対して繰り返し、ずれ量ηの時間変化波形として記録する(SS405→SS401)。
この場合の操舵精度の解析処理は、例えば図65に示すような流れにより行なうことができる。すなわち、SS451では、直近一定期間の波形の中心線に対する積分振幅Aを演算し、また、SS453では、レーン中心位置からのずれ量η自身の平均値ηnを演算する。SS454では、積分振幅Aを予め定められている閾値A0と比較し、この閾値を超えていればSS455に進んで操舵誤差「増」と判定する。Aが大きいということは、ずれ量ηが時間に対して大きく揺らいでいることを意味し、一種のふらつき走行の傾向を示すものである。一方、レーン中央をキープできず、端に寄っていく傾向が続く場合は、SS454で積分振幅Aが閾値A0より小さくなっていても、ずれ量η自体は大きくなり、異常と判定するべきである。従って、この場合はSS456に進み、ずれ量平均値ηnが閾値ηn0を超えていればSS455に進み、操舵誤差「増」と判定する。他方、ずれ量平均値ηnが閾値ηn0より小さければSS457へ進み、「正常」と判定する。
また、操舵速度(操舵に対する反応)については、波形に周知の高速フーリエ変換処理を行なって周波数スペクトラムを求め、そのスペクトラムの中心周波数(あるいはピーク周波数)fを演算して、そのfから傾向を判定することが可能である。この場合、周波数fが上限閾値fu0より大きくなっているかどうかを調べ、大きくなっていれば、操舵速度が「増」であると判定する。また、SS362では、周波数fが下限閾値fL0(>fu0)より小さくなっているかどうかを調べ、小さくなっていれば操舵速度が「減」であると判定する。また、fu0≧f≧fL0ならば、操舵速度が「正常」であると判定する。
図51に示すように、操舵誤差の増大を検知することで、運転者が集中力散漫状態や興奮状態にあることを推定できる。他方、重度の体調不良(居眠り状態を含む)が発生した場合も、正常な操舵が妨げられるので、誤差の増大傾向からこれを推定することができる。他方、体調不良や集中力の散漫化は操舵への反応が遅れがちになり、操舵速度の減少からこれを推定することができる。また、興奮状態では、いらいらして急ハンドルを切りがちになるので、操舵速度の増加からこれを推定することができる。
さて、走行シーンにおいても、図66の流れに従って被特定状態を特定する処理が行なわれる。この場合、参照される生体状態パラメータの数も多くなるので、照合カウンターの得点を「一致度」とみなして、最も得点の高いもの、つまり一致度の最も高いものを、被特定状態として確定させる方法がより有効である。前述のごとく、照合カウンターへの加算は、被照合情報と判定結果とが完全一致せずとも、定められた範囲内で近接した結果が得られた場合は、完全一致の場合よりも低い得点に制限しつつ、これを照合カウンターへ加算するように実施できる。
被特定状態が特定できれば、これに対応するもてなし制御として、非常に多くの具体例を考えることができる。例えば、図2のテーマ「適正な運転環境設定」OBJ441では、図12の機能選択テーブル371に示すように、カーナビ534(映像出力用)、カーオーディオシステム515、エアコン514、車内照明511、ハンドル調整ユニット及びシート調整ユニットがもてなし動作部として選択され、上記のように、運転者(ユーザー)の精神状態や体調に応じて音楽の選曲を変えたり、エアコンの設定温度や、車内の照明色あるいは照明強度を調整したりする。また、ハンドル調整ユニット及びシート調整ユニットは、モータ動作によりハンドルの位置やシートの前後位置あるいは背もたれの角度等を自動で調整するもので、例えば緊張感が薄らいできていると判定された場合は、背もたれを起こしてシートを前に出したり、ハンドル位置を高めたりして運転に集中できるようにする。また、疲れていると判定された場合は、不快感を示すユーザーの動きが静まる向きに、背もたれの角度を微調整したりすることが有効である。
また、上記以外にも、次のような態様がある。
・興奮状態(気分が高ぶりすぎていると判断されたとき、あるいは、怒りやストレスを感じていると判断されたとき):静かで心地よい音楽を演奏し、気持ちを落ち着かせるようにする。また、空調温度を下げ、シートバイブレータ550によりゆっくりした(後述の集中力散漫時よりも周期の長い)リズム振動を発生させ、リラックスさせる。また、後続車から追い越し、割り込み、パッシング、ホーン吹鳴などが関連して運転者の不快な精神状態に陥っていることが想定される場合は、「何よ、失礼ね。でも気にしないで。おとなのあなたが大好きよ。」などと、運転者を落ち着かせるメッセージを音声出力する。また、速度が超過したり(車速検知)、あるいは超過しそうになったとき:「ゆっくり行きましょ‥夜は長いのよ。安全運転のあなたが‥す・て・き。」などと、速度抑制を促すメッセージを音声出力する。
・集中力が散漫化したとき:ハンドルバイブレータ551やシートバイブレータ550にインパルス的な強い振動を発生させ、集中を促す。また、アンモニア発生部549から気付け用の強い臭いを発生させる。
・体調不良(疲労や病気症状(発熱など)が認められる場合):速度抑制などの安全運転や、停車・休憩を促す。踏み切りや赤信号に接近したときに注意情報を音声出力する。最悪の場合、運転の見合わせなどを音声出力やモニター表示により通知する。また、方向発生部からリラックスを促す芳香を発生させる。眠気に関しては、集中力が散漫化したときと同じもてなし動作も有効である。
・気持ちが落ち込んでいる(顔の表情、体温)と判断されたとき:景気のよい音楽を演奏したり、照明を赤系など、刺激的なものに変え、気分を盛り上げる。
より具体的な事例について、運転中に演奏するもてなし用音楽の選曲と、寄り道スポットとなる目的地をカーナビゲーションシステムにより検索する場合とを例にとって説明する。前述の性格種別コードは、特定されたユーザーの性格に対し、適合する性格種別コードを有した音楽ソースを提供する、というように、ユーザーの性格と、選曲される音楽ソースの性格種別コードとが一致する形で利用される。他方、曲モードコードについては、その音楽ソースに付与された曲モードが、特定されたユーザーの精神状態や体調に必ずしも一致適合するように利用されるのではなく、例えば高ぶりすぎた精神状態に対しては、温和・癒し系やヒーリング・α波系の音楽ソースを選択して気持ちを鎮めるなど、ある精神状態を目標値として、ユーザーの精神状態をこれに近づけるように使用される。ユーザーの精神状態高揚度をパラメータ化できる場合、曲モードコードについてもこれに対応付けた序列を設定しておき、該精神状態高揚度パラメータに応じた曲モードコードを選択するように、選曲制御することができる。具体的には、精神状態高揚度パラメータの値が上位となるほどユーザーの精神状態が高揚していると定めたとき、「盛り上げ系」、「爽快系」、「温和・癒し系」、「ヒーリング・α波系」の順で序列を定め、精神状態高揚度パラメータの値が上位となるほど、当該序列の下位に位置する曲モードコードを選択すれば、気持ちが高ぶりすぎている場合はこれを静めるように選曲され、逆に落ち込んでいるときは気分が高揚するように選曲されるよう、曲モードコードを選ぶようにするのである。前者の場合は、気分激昂等に伴うスピードの出し過ぎなどを抑制する効果が得られ、後者の場合は、ユーザーの覚醒を促して運転中の注意力を高める効果が得られるので、いずれも安全運転に寄与する。他方、体調レベルが悪化している場合は、上記の精神状態とは無関係に、ユーザーに疲れを催させるような過激な選曲はなるべく行なわないようにすることが望ましいといえる。
例えば、図34に示すごとく、ユーザーの精神状態を、興奮(怒り)、集中力散漫(不安・緊張)、安定の3レベルに区分したとき、個々の精神状態レベルに対して、図18の曲モードコードを一義的に対応付けておく。本実施形態では、「怒り」には「温和・癒し系」(SF)、「不安・緊張」には「爽快系」(ST)、安定には「盛り上げ・活力アップ系」(AG)が対応付けられている(第一設定)。
なお、カーナビゲーションシステム534を用いて、一定距離以上遠方の目的地に向かうときは、帰りは運転者の疲れの要素が加わるから、行きよりもより運転を落ち着かせるよう、対応させる曲モードコードのレベルを下げるように設定することができる(第二設定)。図34では、帰りについては、「怒り」には「ヒーリング・α波系」(HL)、「不安・緊張」には「温和・癒し系」(SF)、安定には「爽快系」(ST)が対応付けられている。
図35は、処理のフローチャートを示すもので、S501で行きか帰りかを判別し、S502、S503で、曲モードコードを対応するレベル設定とする。S504で、生体状態検出部の検出状態を読み取り、S505,S506で精神状態を推定する。「安定状態」の場合はS507の処理、「緊張・不安」の場合はS508の処理、「怒り」の場合はS509の処理となる。各々の精神状態に対応する選曲で音楽演奏を行なう(性格種別は前述の方法で別に判定し、その性格種別に対応する音楽ソース群の中で、精神状態に対応する選曲を行なう)。なお、音楽演奏とともに、室内照明やエアコンの調整も、各精神状態に対応した形態で制御を行なう。例えば、「安定状態」の「行き」の場合は、盛り上げ系音楽(AG)の演奏に加え、赤系照明を使用し、室内温度も多少高めに設定する。「帰り」は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。
「行き」で「緊張・不安」の場合は、リラックスさせるために、爽快(あるいは安定)系音楽の演奏に加え、照明は落ち着いたアンバー系とし、室内温度が行きよりは少し低く設定する。「帰り」は、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、室内温度はさらに若干下げた設定とする。そして、「行き」で「怒り」の場合は、早急にクールダウンさせる必要があるので、癒し系音楽(SF)の演奏に加え、白色系照明を使用し、エアコンを利かせて室内温度をさらに下げる。「帰り」は、音楽をヒーリング系(HL)とし、青色系の照明に切り替えるが、疲れをいやすために、温度が極端に下がらぬよう、「行き」で「怒り」の場合よりも温度は高めに設定する。
次に、寄り道目的地を検索する場合の例について説明する。使用するのは、図81の目的地データベースである。性格種別コードは、特定されたユーザーの性格に対し、適合する性格種別コードに対応する目的地を紹介する、というように、ユーザーの性格と、検索される目的地の性格種別コードとが一致する形で利用される。サブジャンルについては、その目的地に付与されたサブジャンルの内容が、特定されたユーザーの精神状態や体調に必ずしも一致適合するように利用されるのではなく、例えば高ぶりすぎた精神状態に対しては、リラックス・いやし系の目的地を選択して気持ちを落ち着ける場所に誘導するなど、ある精神状態を目標値として、ユーザーの精神状態をこれに近づけるように使用することも可能である。もちろん、経過時間等の計測によりユーザーの退屈感が助長されていると判断されるとき(つまり、精神エネルギー切れに近づいた場合)に、気分転換のために近隣の観光スポットや娯楽施設等を検索し、出力することも可能であり、体調が良好な場合は、例えば「元気一杯スポット」を、体調がそれほどでもない場合は「リラックス・いやし系スポット」を検索する方法を例示できる。
図96は、元気一杯スポットを検索した場合のモニター110の出力例であり、図98は、リラックス・いやし系スポットを検索した場合のモニター110の出力例である。いずれも、所望の目的地に対応するソフトボタンにタッチすることで、目的地をタッチパネル122から入力・選択することができる。すると、図97あるいは図99に示すごとく、画面が切り替わり、選択した目的地が寄り道スポットとして地図上に表示される(この表示処理の流れは、カーナビゲーションシステムにおいては周知の手法なので、詳細な説明は省略する:「完了(あるいは案内開始)」の選択により確定)。このとき、図81に示すように、目的地データベース21dにおいて各施設(目的地)の内容説明情報を対応付けて記憶しておき、図97あるいは図99に示すように、選んだ目的地に対応する内容説明情報を画面上に出力(あるいは音声出力)することで、目的地確定前にその内容確認ができ、選択の一助とすることができる。
図2に戻り、降車シーンSCN5及び離脱シーンSCN6では、次のようなもてなし動作が可能である。例えば、テーマ「目的地到着の実感を高めて欲しい」(OBJ151、OBJ161、OBJ251、OBJ261)では、目的地に相応しい音楽や照明によりユーザーの到着をねぎらい、また、「さあ、○○ランドにつきました。思いっきり遊んで楽しみましょう」などのメッセージを出力することができる。また、テーマ「忘れ物・降車時確認」(OBJ351)では、車内への忘れ物や、乳幼児の車内への置き去り防止を促すためのメッセージを出力できる(この動作は、携帯電話1を利用して離脱シーンSCN6でも継続できる)。「降車時の安全確保・トラブル回避」(OBJ352)及び楽に降りたい(OBJ451,OBJ551)では、乗車時と同様、ドアアシスト機構541によるドアの開閉操作補助や、障害物とドアとの衝突抑制モード機能を作動させることができる。なお、離脱シーンにおいても、車外用カメラ518の作動により、自動車周辺の交通状態を監視し、ユーザーに対向車や後続車が迫ってきている場合には、携帯電話1を利用して注意を促すメッセージを出力することなどが可能である。
次に、各シーンにおいてもてなし動作が開始された後も、生体状態パラメータの検出と、その波形解析に基づく肉体状態あるいは精神状態のモニタリングは継続され、前述の状態確認処理(図48:δ7あるいはδQ)を行なう。その詳細について、以下に説明する。まず、基本となるもてなし処理は、前述のごとくシーン及びテーマ毎に、図7〜図12に示す機能選択テーブル371により、その優先順位に従い選択される。個々のもてなし動作部の制御適正値は、機能選択テーブル371に対応する制御適性値設定テーブル371aに与えられており、これが制御開始のデフォルト設定値として採用される。一方、δ3の状態適合処理では図51の判定テーブル1601を用い、精神状態あるいは肉体状態が特定される。そして、その特定された精神状態あるいは肉体状態に応じて、図67に示すイメージにより、各もてなし動作部の制御適正値に味付け的な調整(修正)が実行される。デフォルト設定値はユーザーによって異なる値を設定することも可能である。この場合、図73Aに示すように、各ユーザーのデフォルト設定値を、ユーザー特定情報(例えばユーザーID)と対応付けた形で、ユーザー別デフォルト設定データ434として記憶しておき、自動車のユーザーを特定できた場合に、対応するデフォルト設定データを随時読み出して設定すればよい。
機能選択テーブル371と制御適性値設定テーブル371aとは、本来的にはシーン/テーマ別に用意されるものであるが、以下、走行シーンでの具体例をよりわかりやすく説明するために、走行シーンで採用される種々のもてなしテーマから、主要なもてなし動作を抜粋し、対応する制御適性値とともに、図13に、各々総合的な機能選択テーブル372及び制御適性値設定テーブル471aとして示す。
「照明レベル」は、数値が大きいほど照明光量が大きいことを意味する。「照明色」は、設定される数値が図72の発光色インデックスに対応している。「空調設定」は数値が大きいほど設定室温が高いことを意味する。「シート振動」はシートバイブレータの振動出力の振幅と周波数にて規定され、いずれも数値が大きいほど振幅ないし周波数が高いことを意味する(周波数が大きいとインパルス的、周波数が小さいとゆったりした長周期のリラックス振動となる)。「芳香」は、数値が大きいほど芳香発生部からの芳香剤放出量が大きくなることを意味する。「気付け」は、数値が大きいほどアンモニア発生部からのアンモニア放出量が大きくなることを意味する。「楽音レベル」は、数値が大きいほど、カーステレオからの出力音量が大きくなることを意味する。「必要音取り込み」はノイズキャンセラに対する設定値であり、数値が大きいほど、前述の機構により、該部の必要音を高レベルにて取り込む処理が行なわれることを意味する。「警告音出力」は、異常発生時に出力する警告音(カーステレオやブザー等による)の出力音量が大きくなることを意味する。
特に、緊急時や異常発生時(ユーザー自身の体調不良も含む)に対応するため、機能選択テーブル371上では、ノイズキャンセラ(必要音取り込み等のため)、カーオーディオ(警告音出力)及び気付け(アンモニアによる覚醒)の動作優先度が高く設定されることとなる。この設定は、緊急時や異常発生時における一時的なものであること、さらに、ユーザーの応答を待って適性値の変更を行なったのでは、異常/緊急対応に遅れを来たす惧れもあることから、図70に示すように、緊急時あるいは異常発生時のために、専用の制御適性値設定テーブル471bを別途設けておき、通常時の制御適性値設定テーブル471aと随時切り替えて使用することが望ましい。
例えば、緊急用の場合、図13と比較すれば明らかな通り、照明色の設定が、「7」(リラックス系のうす橙色)から「6」(白色)に変更されており、警告表示等の視認性を高めるようにしている。また、外部の必要音の取り込みレベルも高く変更されている(「5」→「6」)。さらに、警告音の出力レベルが高く変更されている(「7」→「9」)。また、異常時の例として重度体調不良が発生した場合の制御適性値設定テーブル471bを例示しているが、ここでは必要音取り込みレベルがさらに大きく設定され(「5」→「8」)、さらに気付け用のアンモニア発生を行なうための設定がなされている(「0」→「7」)。
図13に戻り、制御適性値設定テーブル471aに従い、各もてなし動作部の制御適性値がデフォルトとして設定されると、その設定に従い、もてなし動作が一旦開始される。この場合の処理の流れを図74に示す。SS601では制御適性値設定テーブル471aの内容をリードし、SS602では、該内容に従い各もてなし動作部に制御適性値を設定する。SS603では、その設定値に従いもてなし動作を開始する。
続いて、SS604では、ユーザーへの質問出力処理を行なう。前述のごとく、現在動作中のもてなし動作部に対応するIDと制御方向とを特定し、図73Aの質問データにて対応するものを検索し、出力する。そして、SS605では、質問に対するユーザーからの回答を取得し、内容を解析する。図69に質問の例と回答の入力例を示す。空調、芳香及びカーステレオの楽音レベルに係る質問を例示しており、それぞれ空調の利き(ここでは、夏季を想定)、芳香への嗜好、音量設定に関する質問を行なっている。ユーザーからの回答は
(1)「空調の利きが悪く暑い」こと、
(2)「香りが強くて気に入らない」こと、
(3)「もっと音量を上げて欲しい」こと、
を意味する内容となっている。また、リラックスの度合いについて総合的な感想を取得するための質問もなされており、回答は
(4)「緊張気味で必ずしもリラックスできていない」内容になっている。
SS606では、上記回答内容から、変更すべき制御値を特定する。図69では、空調の設定温度、芳香剤の放出量レベル及びカーステレオの音量が変更対象制御値である。また、総合的なリラックス度の向上に貢献する照明色、照明レベル(光量)及びシート振動の振幅も変更対象制御値として選ばれている。SS607では、回答から特定されたユーザーの志向を充足させる向きに、各制御設定値の変更を行なう。図69では、上記(1)については空調温度設定を下げることで(「4」→「3」)、(2)については芳香剤の放出量を低減することで(「5」→「4」)、(3)については楽音レベルを上げることで(「6」→「7」)、それぞれ対応している。また、(4)については、照明光とシート振動の調整により対応している。具体的には、照明色を白色系(「6」)から落ち着いた暖色系(うす橙:「7」)に変更し、照明レベルを落としている(「7」→「6」)。また、シートバイブレータによる振動の振幅を下げ(「3」→「2」)、ゆったり感を強調している。
上記のごとく質問対話形式で修正した制御適性値群は、その一部又は全てを新たなデフォルト値として登録することができ、次回以降の自動車利用時におけるもてなし動作の初期設定として活用することができる。
さて、本実施形態のシステムの目的は、例えば、「ユーザーが存在するシーンに応じて発生する潜在的/顕在的な要望を、最適な機能を選択、駆動することによって叶える」ものとして集約することができる。しかし、実際は、ユーザーの意識していない状況下で、所定の条件が揃った場合に、想定外のシーンに突入する場合がある。これは、時間(時刻)や外乱等に基づき、ユーザーの状況が変わる(あるいは考えが変わる:思いつきなど)ためである。この場合、この状況の変化を捉えて次に発生するシーンを推定し、このシーンにユーザーを何気なく誘導することができれば効果が高い。
例えば、ユーザーが「空腹感」を催し始めている場合には、ユーザーに「(好みに合った)美味しい食事が食べられる」ことを認識させることにより、システムに準備されたもてなし機能のうち、「満腹実現」のための手段を発動することになる。究極的には、システムそのものが料理を作ってユーザーにサービスするというようなことも考えられるが、現在(あるいは将来到来するあるタイミング)のユーザーの位置を特定し、その位置から所定の距離範囲内に飲食可能施設にユーザーをタイムリーに案内するのが、より現実的な方法といえる。この場合、後述のごとく、もてなしシステムに組み込まれたカーナビゲーションシステムが威力を発揮する。また、ユーザーが疲れや退屈を感じ取っている場合は、気分転換に効果のありそうなスポットに寄り道的に案内するのも効果的な方法である。なお、上記の想定では、最終的にユーザーの顕在化した欲求に結びつく肉体状態や精神状態が、初期段階ではユーザーの認識外となっている可能性も高いので、この場合には、そのような潜在的な肉体状態や精神状態をユーザーに早く気づかせるために、事前に確認する方式を採用することも効果的である。
上記のようなユーザーの状況は、既に説明したごとく、システムが検出ないし取得するユーザーの生体特性情報に基づき判定する。具体的には、前述の方法により生体状態検出部の出力結果を用いて直接解析・推定されるユーザーの肉体状態あるいは精神状態の情報に加え、生体状態検出部を用いずに時刻や経過時間等から推定される肉体状態や精神状態も上記の生体特性情報として採用可能である。
ユーザーの状況は、例えば概念的には図82に示すように系統化することができる。まず、「エネルギー」は、「体の機能」と「心の状態」を維持し、活動の源となる因子であって、食事により補給可能な仮想パラメータであり、補給を行なわない限りは時間と共に一方向的に消耗する。そして、消耗後は補給により回復できる(エネルギー保存の法則の通り、自分で生み出すことはできない)。「ストレス」は、肉体や精神に好ましくない影響を与える外乱要因として把握できる。そして、エネルギー消費や過度のストレス負荷により受けた影響は、「ダメージ」としてユーザーに蓄積されてゆく。そして、図82において、「*」を付与したユーザーの「状況」を生体特性情報から適確に判断することが、ユーザーを快適にもてなす上で特に重要である。
上記の「ストレス」と「ダメージ」は、図51に示すような生体状態検出部の出力結果を用いた解析・推定が可能である。他方、「エネルギー」については、時刻や経過時間等から推定される肉体状態(特に、空腹感)や精神状態(退屈感や倦怠感)として捉えることができる。この、エネルギーは、例えば、図83に示すような供給形態が想定される。つまり、その場所では何に対するエネルギーが供給されるかを以下の属性(体:食/飲、心:情報)で表している。なお、「心のエネルギー」も、「精神的な余裕」という観点から数値により把握することが可能であり、該精神的余裕を増加させる可能性が高い情報(主に娯楽)をユーザーに与えることは、「心のエネルギ−」の供給に相当するものである。また、物を購入することから発生する満足感も心のエネルギー源となりうる。
他方、体のエネルギーを直接支配する因子は飲食であり、基本は前述のごとく、空腹が推定されたときに、カーナビゲーションシステムを用いて速やかに近隣の飲食施設に誘導する機能が重要となる。これに、精神/肉体の状態に基づく相関関係が味付けとして導入されれば、一ランク上のもてなしが可能となる。この場合、相関に応じた飲食施設の傾向対比を定める必要があり(例えば、「こってり⇔あっさり」、「甘い⇔辛い」のようなイメージ)、これを、相反する精神/肉体の状態と結びつけるのである。例えば、「体疲労⇒あっさり、甘い」、「体調良好⇒こってり、辛い」などである。なお、精神状態と食事嗜好の関連性についても心理学的に多くのことが明らかにされているが、「ストレスによる暴飲・暴食」の事例をひくまでもなく、ユーザーの欲求を無制限に充足する方向に導くようなもてなし思想とならないよう、十分に配慮する必要がある。
なお、娯楽情報については「賑やか⇔静か」、「興奮させる⇔落ち着かせる」というような相関が想像できるが、これは前述のごとく、音楽ソースの選択等により効果的に補給可能な「心のエネルギー」であるといえる。他方、場所との相関も絡む情報として、「景色」や「寄り道スポット」を例示できる。一例として、ストレスにより精神的な安定が損なわれたり、あるいは長期の運転経過時間により倦怠や退屈が予想される場合は、目的地へ向うルート近傍(規定距離範囲内)に、景勝地や史跡、名勝などのスポットが存在しないかを検索し、寄り道経路としてユーザーに提案・選択させる方法がありえる。
上記のような思想を考慮したシステムの基本動作を以下に概略フローの形で説明する。図84は、全体フローを示すものであり、SS1101では、既に詳細に説明した方法に基づき、種々の生体状態検出部(センサ)により状態検知を行ない、SS1102で肉体状態あるいは精神状態(被特定状態)を特定する(図66の処理等を参照)。そして、SS1103では、得られた被特定状態に対応するもてなし機能あるいは情報(コンテンツ)を引き当て、作動させる。
次に、エネルギーの推定は、肉体に関しては時刻及び経過時間(さらには、ユーザーのこれまでの活動履歴やスケジュール等も考慮可能)に基づいて行なうことができる。他方、精神的なエネルギーに関しては、例えば視線移動、姿勢移動、表情の変化の頻度が小さくなることで把握することができる。図85は、肉体に関するエネルギー状態を推定するフローである。SS1201では現在時刻を計時手段(例えば、図80のカレンダクロック153等を使用可能である)により計測する。一般的に、食事について言えば決まった時刻に摂取することが多いことから、現在が食事の時刻であるか判定するのである。決められた食事時刻が到来していれば、状態特定処理SS1204以下へ進む。
また、SS1202では、ユーザーが自動車に乗り込んでから経過している時間を判定する。つまり、時間によるエネルギー切れを判定する。決められた時間が経過していれば、状態特定処理SS1204以下へ進む。SS1204では、予め決められたアルゴリズムにより、エネルギーの値を計算し、SS1205で、その値を最新のエネルギーの値として更新する。更新されたエネルギー状態は、図84の状態検知ステップで使用される。なお、ユーザーによっては食事時間に少なからぬ個人差があり(例えば、食生活が不規則であったり、夜勤などで一般の人とは異なる食事リズムになったりしている場合など)、これに対応するために、ユーザーの経時的なエネルギー消費傾向を履歴として蓄積しておけば、今回のエネルギー切れに至るまでの履歴が、記録されている履歴と一致しているか否かをSS1203で比較判定することができ、肉体エネルギー不足の判定精度を向上することができる。
図86に、精神のエネルギーに関する状態を検出するフローを示す。SS1301、SS1302、SS1303にて、視線の移動回数、姿勢移動回数、表情が変わる頻度がそれぞれ所定値以下になったか判定する。これは、落ち込んでくると、精神的には無気力となり、視線は固定され(定まらず)、姿勢自体動作させることもなくなり、表情も一定のものとなりやすいからである。このときの特徴を捉えるために、これらの生体特性情報を用いる。これらのステップで一つでもYESと判定された場合にはSS1304に移り、精神のエネルギー切れとして判定する。さらに、SS1305では、精神のエネルギーの観点による消耗という状態を更新する。なお、上記の処理は、図66のフロー等による精神状態の推定結果を、精神的エネルギーという数値により出力する処理で置き換えることもでき、例えば照合カウンターの数値を用いて予め定められた定義に従い、精神的エネルギーの値を計算するようにしてもよい。なお、精神のエネルギー切れについても、図85のごとく、時刻あるいは経過時間による判定フローを用いる方式に代替可能である(つまり、食事後は満足感から精神エネルギーが増大し、時間の経過により倦怠感や疲労感などが蓄積して、精神エネルギーが減少していくと考えるわけである)。
以上のようにして、心と体のエネルギーの観点による状態を特定した後に、図83に示すような属性と対応させることで、引き当てるべきもてなしコンテンツを探る。精神エネルギー消耗時は娯楽情報、肉体エネルギー消耗時は飲食に誘導するのである。さらに、生体状態検出部による肉体/精神状態の推定結果を参照することで、上記の娯楽情報や飲食施設のジャンルを選択することが可能となる。例えば、飲食施設の場合、体調がよければ肉/こってり系、体調が悪ければ麺類軽め/あっさり系などである。
図87は、肉体エネルギーの管理を行なうための、さらに詳細な処理例を示すものである(エネルギー管理処理:この処理は、一定の時間間隔で、カーナビゲーションシステム534の情報系ECU51が、IG信号がONになるたびに繰り返し行なうものとする)。このエネルギー管理処理SS1401は、ユーザーが自動車を利用開始する際の持ちエネルギーを設定する初期設定処理である。図88にその詳細を示す。まず、SS1501ではイグニッションスイッチがONであるかどうかを確認する。SS1502では、それがその日最初のエンジン始動かどうかを確認する(カレンダクロック153による時刻モニタリングにより可能である)。YesであればSS1503に進み、食事フラグF(食事済み確認情報)と食事管理タイマー(食事完了判定用計時手段)をリセットする。食事フラグFは「0」であれば未食事を、「1」であれば食事済みであることを意味する。
SS1504では、カレンダクロック153から現在時刻Tを取得する。そしてSS1505〜SS1507では、現在時刻Tが朝食コアタイム(5:00〜10:00、朝食基準時刻は、例えば8:00とする)、昼食コアタイム(11:00〜14:00、昼食基準時刻は、例えば12:30とする)、夕食コアタイム(17:00〜22:00、夕食基準時刻は、例えば19:00とする)のいずれかに入っていないかどうかを確認する。つまり、一般人であれば食事を行なう蓋然性の高い時間を、上記のように食事コアタイムとして決めておき、現在時刻Tがその食事コアタイムに入っているかいないかに基づいて、食事案内タイミング到来の判定を行なうようにするのである。
現在時刻Tがいずれの食事コアタイムに入っていない場合は、前回の食事コアタイム内での食事以降は、現在まで食事をしていないものとみなし、SS1508に進んで食事フラグFは「0」とする。そして、SS1509では、前回の食事コアタイムの基準時刻Tを推定食事時刻と定めて、現在時刻までの経過時間ΔT=T−Tを計算する。そして、SS1509では、持ちエネルギーEを、Emax−A・ΔT(Aはエネルギー消耗係数)により計算し、設定する。
Emaxは、ユーザーが空腹状態で満腹するまで食事したときに得られるエネルギーの値として定める。Emaxの設定値自体は任意であってよいが、この場合、単位時間当たりのエネルギー消耗量を示すエネルギー消耗係数Aを、次の食事の直前には予め定められた最小エネルギーEminまで減少するように定める必要がある。例えば、基準時刻12:30に昼食完了後、基準時刻の30分前(食事中時間を意味する)である18:30に夕食をとり始めたと考え、その夕食直前の最小エネルギーEminを0.4Emaxとなるように定めたとき、エネルギー消耗係数Aは、0.1Emaxに定めればよい。なお、Emax、Emin及びAは、朝食→昼食→夕食→朝食のサイクルで、食時間インターバルも、空腹度もそれぞれ異なることから、どの食事間インターバルになっているかに応じて、Emax、Emin及びAの値を各々固有の異なる値に設定することも可能である。
一方、現在時刻Tがいずれかの食事コアタイムに入っていた場合はSS1511に進む。このとき、ユーザーは食事を済ませてから自動車に乗り込んできたのかも知れないし、食事をとらずに、自動車に乗り込み、走り始めたらすぐにどこかで外食しようと考えているのかもしれない。こういうことは、普通、ユーザーに質問で確認しなければわからない事項である(一般社会でも、食事時にもてなすべき来客があれば、「食事はまだですか?」などと聞いて確かめるのが常識であろうし、気遣いというものである)。
そこで、SS1511では、ユーザーに食事済みであるか否かを確認する質問を出力する。この質問は、音声による質問でもよいし、モニター110へ文字等で出力する形でもよい。回答も、音声による直接回答としてもよいし(この場合は、音声認識による回答内容把握が必要である)、タッチパネル122等の入力部からの手入力による回答であってもよい。回答結果が「食事まだ」であれば、SS1513に進んで持ちエネルギーをEminにセットし、SS1514で食事フラグをFM=「0」(未食事)にセットする。また、回答結果が「食事済」であれば、SS1520に進んで持ちエネルギーをEmax(基準時刻の経過分に対応するエネルギー消耗量A・ΔTを減算しておいてもよい)にセットし、SS1521で食事フラグをFM=「1」(食事済み)にセットする。
次に、SS1502で、SS1501で検知したエンジンの始動が、その日最初の始動でなかった場合は、ユーザーが目的地の途上で自動車を一旦駐車し、何らかの所用で自動車を離れて再び戻ってきてエンジンを始動した場合に相当する。この場合、その駐車が食事のための駐車であった可能性もある。もちろん、SS1511と同様に、この場合も食事済かどうかの質問を同様に実施し、回答結果により判定する方法も可能である。しかし、自動車が駐車される度に「食事済みかどうか」を機械的に質問されるのは不快な場合もある。そこで、本実施形態では、SS1515で食事フラグFの内容をリードする。「1」であれば、前回のサイクルで既にSS1521に至る処理が実施されていることを意味し、エネルギーの値も更新済みであるから、何もせずに処理を抜ける。
一方、「0」である場合は、図87の主処理側にて後述するごとく、カーナビゲーションシステム側に食事施設が目的地設定されているはずであり、自動車の現在位置から上記の駐車がその食事施設での駐車か否かを容易に判定できる。そして、食事管理タイマーは、後述のごとく、その食事施設への到着を確認できた段階で計時開始するので、SS1517では、その食事管理タイマーの状態をリードする。SS1518で、その食事管理タイマーの計測時間が、食事完了に対応するT以上の値を示している場合はSS1519に進んで食事管理タイマーをリセットし、SS1520に進んで食事済み判定時の前述の処理を行なう。他方、T未満の値(ゼロを含む)になっているときは、エネルギーの値は更新済みであり、何もせずに処理を抜ける。
図87に戻り、上記のようにして持ちエネルギーの初期設定が終了すれば、SS1402で現在時刻Tを取得し、SS1403では前回時刻T(例えば、前回サイクルで現在時刻Tとして取得された時刻である)を取得する。SS1404では、その時間差δT=T−Tを計算し、SS1405では、持ちエネルギーEからδT間の消耗エネルギー分を減算して更新する。そして、SS1406では食事フラグFをリードする。
SS1407では、既にカーナビゲーションシステムで食事施設の目的地設定が行なわれ、案内開始に移行しているかどうかを確認する。Noの場合は、食事フラグF の値を確認し、「0(未食事)」であればSS1409に進んで、現在時刻Tが前述の食事コアタイム内かを確認する。コアタイム内であればSS1412に進み、現在地から一定距離内にある食事関連施設を目的地データベース上で検索する。次いで、SS1413では、図66の処理による肉体状態の判定結果を取得し、その体調に適合する食事関連施設をリストアップして候補表示する。SS1415では、ユーザーはこれを参照して所望の食事関連施設を選択する。なお、朝食、昼食及び夕食の種別に応じて、食事関連施設を分類しておき、現在の食事コアタイムに適合する食事関連施設を選択して検索することが可能である。
なお、肉体状態を参照せず、近隣の食事スポットをジャンル別に候補出力することも可能である。図89は、この場合の出力例を示すもので、和食/寿司のサブ分類コードで分類された近隣の昼食向けの食事関連施設を検索・出力した結果を示すものである。なお、画面上のソフトボタンにより、ジャンルを変更した場合(洋食・中華、麺類、ファーストフードなどを例示している)の検索結果も出力できるようになっている。対応するソフトボタンにタッチすることで、所望の食事関連施設をタッチパネル122から入力・選択することができる。すると、図90に示すごとく、画面が切り替わり、選択した食事関連施設が経由地として地図上に表示される。また、図91は、夕食向けの食事関連施設を検索・出力した結果を示すものである。
次に、図92は、肉体状態(体調)を考慮した場合の検索例であり、体調良好と判定された場合の「がっつり・こってり系」の昼食向け食事関連施設を検索・出力した結果を示すものである。なお、別の系統に分類される食事関連施設(レディース系、かるーくあっさり系を例示)も念のため参照できるよう、対応するソフトボタンが形成されている。このソフトボタンにより選択することで、対応する分類の食事関連施設の検索リストに切り替わる。また、図93は、体調不良と判定された「かるーく・あっさり系」の昼食向け食事関連施設を検索・出力した結果を示すものである。いずれも、この実施形態では、現在位置から対応施設までの距離に応じ、推定所要時間が合わせて計算され、表示されている(距離を表示するようにしてもよい)。
施設が特に近くに存在する場合、図94に示すように、表示縮尺を拡大して詳細な経路案内画面に切り替えるようにしてもよい。なお、図94では、選んだ施設(目的地)の内容説明情報を画面上に合わせて出力した例にもなっている。他方、図95に示すように、選んだ施設(目的地)が最終目的地へのメインルートからある程度外れている場合は、表示縮尺を拡大して、どの程度の寄り道になるかをメインルートとともに表示することも可能である。なお、図95では、その寄り道を行なった場合のメインルートからの迂回距離に基づいて追加所要時間を計算し、これを合わせて表示した例にもなっている。
一方、SS1407にて(前の処理周期で)既に食事関連施設の目的地設定が既に終了している場合は、以下SS1415までの処理はスキップする。また、SS1408で食事フラグFが「1」(食事済み)の場合、あるいは、SS1409で現在時刻Tcが食事コアタイム外であった場合には、SS1410に進んで現在のエネルギーEの値を確認する。乗り物に乗車中は平常時よりも空腹が進行しやすい傾向にもあるし、昼食から夕食までのインターバルは長く、おやつを取る人も多い。また、夕食後、深夜走行を長く継続する場合も、次の朝食までには長時間あり、夜食を食べたくなることもある。さらに、何らかの理由により食事が不規則になった場合は、食事コアタイム外に食事が必要となることもある。そこで、全体時刻からは推定できない空腹状況を、食事後の経過時間を基本としたエネルギーEの値により判断し、空腹と判定されれば食事施設に導く処理を同様に行なうのである。
本実施形態では、そのエネルギーEの閾値EM 、(E<E)を複数段階に設定しており、SS1410でエネルギーEがより低い側の第一閾値Eよりも小さくなった場合には、SS1412〜SS1415の、本格的な食事関連施設(例えば、サービスエリアも含む)に導く処理を行い、それよりも高い第二閾値Eと上記第一閾値Eとの間の値となった場合(SS1411)は、SS1416にて軽食関連施設(例えば、パーキングエリア、コンビニエンスストア、ハンバーガーショップなどのファーストフードなど)に導く処理を行なう。エネルギーEが食事不要と判定するための閾値(ここでは第二閾値E)よりも高い場合には、食事関連施設に導く処理は特に行なわない。なお、SS1420で現在時刻が食事コアタイム外だった場合は食事フラグFを「0」(未食事)にリセットする。
このようにして施設が目的地として設定されれば、ユーザーは周知のカーナビゲーションプログラム処理による案内表示に基づいて運転を継続する。そして、SS1417では、選んだ施設に到着したかどうかを判定する。到着していればSS1418に進み、食事管理タイマーを起動する(到着していなければSS1418をスキップする)。そして、SS1419でIG信号がONのままであればSS1402に戻り、以下の処理を繰り返す。一方、IG信号がOFFであれば、そのサイクルのエネルギー管理処理を終了する。前述のごとく、食事管理タイマーは食事施設への到着後に起動し、次にエンジン始動されたとき(IG信号がONになったとき)、図88のSS1516〜SS1520の処理により、一定時間以上が経過していれば食事完了と判定されるようになっている。
次に、図75は、状態確認処理と、その確認内容に基づくもてなし動作の調整処理を例示するフローチャートである。前述のごとく、もてなし動作が開始された後も、生体状態パラメータの検出と、その波形解析に基づく肉体状態あるいは精神状態のモニタリングは継続されているので、SS651では最新の状態推定結果をリードする。この処理は、状態特定結果テーブル472の現在の状態を参照することにより行なう。SS652で、状態推定結果が正常状態であれば処理を終了する(すなわち、現在設定されている条件でもてなし動作を継続する)。
一方、正常状態でない場合、つまり、何らかの異常状態となっている場合はSS653に進み、図68に示すもてなし制御量設定テーブル441(もてなし意思決定部2のROMあるいは記憶装置535に記憶されている)を参照して、もてなし動作部の制御量の変更・調整を行なう。もてなし制御量設定テーブル441は、図67のもてなし動作部の制御適正値調整イメージに対応する形で内容が定められている。具体的には、設定値(図13の制御適性値設定テーブル471a参照)に対して、以下のような変更が行なわれる。
推定された状態が「軽度の体調不良(あるいは不快)」の場合。
・「照明光のうち、必要性の低い光を低減して、ユーザーが自動車に接近するときの視認性を向上させるようにする。」→赤系の照明出力を低減する(図72において、白色(「6」)を基準として、青系に向う方向に発光色インデックスを変更する(例えば、「−1」)。
・「指定された必要音(警告音/重要音)を残して、オーディオ出力に対し低音域を主体としたイコライジングを行なう」→必要音取込の設定値を増大させる(例えば、「+3」)。また、図71に示すように、オーディオ設定に関しては音量レベルだけでなく、トーン設定に関しても制御適性値を変更可能としておき、低音の設定値を高温の設定値に対して相対的に増大させる(例えば、低音「+1」、高音「−1」:高音非変更でもよい)。
・「温度及び湿度の一方又は双方を増加させる向きに変更し、不快感を和らげる。」→空調の温度設定を上昇し(例えば「+1」)、加湿器(図13には図示せず)の作動を開始する。
・他のもてなし動作部(例えば、振動、芳香)については設定の現状を維持する。
推定された状態が「重度の体調不良」の場合
・「白色系ないし暖色系にて暗めの照明に設定」→図72において、白色(「6」)を基準として、赤系に向う方向に発光色インデックスを変更する(例えば、「+1」)。また、照明光レベルを低減する(例えば、「-1」)。
・「小音量でゆったり系の曲を流す」→ゆったり系の曲に変更し、音量設定レベルを減少させる(例えば「−1」:状態が改善されなければ、最終的に音量ゼロ、あるいはオーディオ動作停止の設定としてもよい)。
・容態に刺激を与えないよう、空調は現状維持とする。また、不要なもてなし動作は停止する(例えば、シートバイブレータの振動動作)。
・アロマテラピー効果による体調改善を狙い、芳香の出力を増加させる(例えば「+1」)。
なお、重度体調不良の場合、シーンに応じて、ユーザーによる運転操作を回避させるもてなし動作を行なうことも有効である。例えば、接近シーンではドアロックを解除せず、自動車への乗り込み自体を禁ずる、乗車後であれば、運転を取りやめるメッセージを音声等で出力する、また、速度リミッタを動作させて、一定以上の速度が出ないようにする、などの動作を例示できる。
推定された状態が「集中力散漫」の場合。ユーザー(運転者)の覚醒を促す動作で集約される。
・「フラッシュ光や刺激的な波長により、注意を促す」→白色(「6」)を基準として、青系に向う方向に発光色インデックスを変更する(例えば、「−1」)。あるいは、原色主体方向にインデックスを大きく変化させる(赤、青、緑)。照明レベルも増強する(例えば「+1」)。図71に示すように、照明パターンにも設定値を設け、例えば連続点灯からフラッシュ光発生のための断続点灯へ切り替え可能としておく。
・「警告音を出力させる」→警告音を直ちに出力させる。また、その設定音量を増加させる(例えば「+1」)。
・空調は現状維持とするか、あるいは覚醒(眠気低減)のため設定温度を下げる。
・シートバイブレータあるいはハンドルバイブレータにインパルス振動を発生させる。具体的には設定周波数を増大させ(例えば「+3」)、振幅も増大させる(例えば「+3」)。
・芳香剤の放出を停止し(設定値「0」)、気付け用のアンモニアの放出を行なう。
推定された状態が「興奮(怒り、不安定)状態のとき」の場合。ユーザー(運転者)の精神状態を冷却し和らげることに集約される。
・「青系照明の採用」→白色(「6」)を基準として、青系に向う方向に発光色インデックスを変更する(例えば、「−1」)。
・「いやし系等、興奮状態緩和に効果のある曲に変更する」→選曲方法は既に説明済である。
・空調は、精神状態冷却のため設定温度を下げる(例えば。「−1」)。
・「シートバイブレータあるいはハンドルバイブレータの動作を和らげ、ゆったりさせる」→周波数及び振幅とも減少させる(例えば「−1」)。
・方向については現状維持か、アロマテラピー効果による精神安定化を狙い、芳香の出力を増加させる(例えば「+1」)。
図75に戻り、もてなし動作部の制御量の変更・調整は、もてなし制御量設定テーブル441上で、変更に係る具体的指示が存在するパラメータ(制御設定値)についてのみ行なう。そのパラメータが複数存在する場合、全てのパラメータの変更を一括して行ない、もてなし動作に反映するようにしてもよいが、本実施形態では、個々のパラメータの変更による寄与(効果)を分離確認可能とするための、複数のパラメータに係る設定変更を順次的に行なうようにしている。それらパラメータの設定値変更の順序(つまり、もてなし動作の調整の優先順位)は、機能選択テーブル371、372(図7〜図13)に設定された優先順位に従うものとする。
SS654Aでは後述の累積充足度ΣJを初期化する。また、SS654Bでは変更対象となるパラメータの番号Nを初期化する。SS655で、番号Nのパラメータの変更を、もてなし制御量設定テーブル441の指示値に基づいて行ない、SS656で、その変更設定状態にて一定時間もてなし動作を継続する(以下、試行もてなし動作という)。次いで、SS657では、そのもてなし動作に対するユーザーの充足度(「制御充足度」という)を判定する処理に移る。つまり、もてなし動作に対するユーザーの充足度をフィードバック情報として参照しつつ、もてなし制御量の変更が実施される。
図76は、制御充足度の判定処理の一例を示すものである。SS701では、SS656の試行もてなし動作により、推定される状態に変化がないかどうかを調べるため、再び状態特定結果テーブル472(図77)にアクセスし、監視情報の内容を確認する。次いで、SS702では、監視情報の内容を前回の内容(前回の状態特定結果テーブル472の内容を、もてなし意思決定部2のRAMか記憶装置535にバックアップしておけばよい)と比較する。
SS703では、「正常」を示すパラメータの増分値を算出する。具体的には、該増分値νは、図77において、状態判定への寄与が「0」になっているパラメータの増分値Δνの合計(図77の(7)式)として算出する。ただし、より簡便な値として、状態判定への寄与が「0」になっているパラメータの合計個数を算出するようにしてもよい。この増分値νが大きいことは、試行もてなし動作の結果、前回推定された「異常状態」が解消され、前回よりも正常状態に近づいていることを意味する。また、増分値νが小さい場合は、状態がより悪化していることを意味する(その悪化の度合いが大きい場合、該増分値が負数となることもありえる)。
次に、SS704では、現在の状態推定結果(「異常状態」)に肯定寄与しているパラメータの増分値を算出する。具体的には、該増分値μは、図77において、状態判定への寄与が「2」になっているパラメータの増分値Δμの合計(図77の(8)式)として算出する。ただし、より簡便な値として、状態判定への寄与が「2」になっているパラメータの合計個数を算出するようにしてもよい。この増分値μが大きいことは、試行もてなし動作の結果、前回推定された「異常状態」がより悪化していることを意味する。また、増分値μが小さい場合は、「異常状態」が解消方向に向かっていることを意味する(その解消の度合いが大きい場合、該増分値が負数となることもありえる)。
つまり、「異常状態」解消の観点から見れば、増分値μは増分値νとは逆に寄与する。そこで、今回のパラメータの設定変更に伴う充足度Jを、増分値μと増分値νとの双方に基づいて算出する。ここでは、J=ν−μとして算出する(もしμとνとが常に正数に維持されるのであれば、μとνとの比(例えばμ/ν)を代わりに用いることも可能である)。Jが大きいほど、今回のパラメータの設定変更に伴うユーザー状態改善は顕著ということになる。他方、SS706では、この値が負になっていないかどうかを確かめる。Jが負になっている場合は、今回のパラメータの設定変更によりユーザー状態は却って悪化していることになる。そこで、SS707に進み、そのパラメータを設定変更の対象から除外する(以降は、そのパラメータは、例えば前回の値に戻した上、現状維持となるが、そのパラメータが関与するもてなし動作自体を停止する方法もありえる)。
一方、SS706で充足度Jが正だった場合は、今回のパラメータの設定変更がユーザー状態の改善に有効だったことを意味する。基本となる処理は、SS711に進んで充足度Jを累積充足度ΣJに加算する内容となるが、本実施形態では、その前に、当該パラメータに対応するもてなし動作部の操作入力部に対し、ユーザーによるリトライ動作があるかどうかも考慮に入れるようにしている。具体的には、SS708で、当該パラメータに対応するもてなし動作部の操作入力部へのリトライ操作状態をスキャンする。SS709で、そのリトライ操作が確認されなかった場合は上記SS711に進む。
一方、リトライ操作が確認された場合はSS710に進み、リトライ操作が今回のパラメータの設定変更に対し肯定的な操作であった場合は、そのパラメータの次回以降の設定変更の優先度を最上位に設定する。他方、否定的な操作であった場合は、そのパラメータを設定変更の対象から除外する。例えば、空調の設定温度を下げる設定変更を行なったが、ユーザーが温度設定をさらに下げるリトライ操作を行なった場合、空調の設定温度の変更を次回以降の基本サイクルにて最優先する。他方、ユーザーが温度設定を逆に上げる操作を行なった場合は、次回以降の基本サイクルでは空調の設定温度を変更しないようにする。以上で制御充足度判定処理を終わる。
図75に戻り、SS658では、累積充足度ΣJが閾値に達したかどうかを調べ、達していれば処理を終了する。累積充足度ΣJは、例えば、全てのパラメータが「正常状態」となり、かつ、νの値の想定上限値の合計から満点値を算出することができる。累積充足度ΣJの閾値は、この満点を基準として一定比率に達しているかどうかにより定めておくとよい。
一方、累積充足度ΣJが閾値に達していない場合はSS659に進み、次の設定変更対象となるパラメータが存在するかどうかを調べる。存在する場合はパラメータ番号Nを1加算し、SS655に戻って、そのパラメータについてSS658までの処理を同様に繰り返す。対象となるパラメータが存在しない場合は、全ての対象パラメータの設定変更が一巡したことを意味するから、SS654Bに戻ってNを再度初期化して次の基本サイクルに入り、上記と同様の処理を繰り返す。この場合、SS660では、Jの値の大きいものほど、パラメータの調整の優先順位が上がるように変更する。ただし、図76のSS710で、リトライ操作により最上位に設定されたパラメータは、Jの値の大小によらず順位が優先される。SS661では、その優先順位に従い、パラメータ番号がソートされる。これにより、次回の基本サイクルでは、新しい優先順位によりパラメータが調整される。上記図75のもてなし動作の調整処理は、例えば予め定められた時間間隔にて自動的に立ち上がり、適正なもてなし動作が常に安定して継続されるよう、繰り返し実施されるものである。
次に、上記の状態推定処理に影響を及ぼす重要な因子の一つに、各パラメータに対して設定する閾値がある(数1におけるX0:具体的には、図52、図54、図55、図56、図57、図60、図61、図62及び図65のfu0、fL0、A0、α0、I0、N0、An0、Σ0、d0及びηn0)。多数のパラメータの閾値を最適な値に一括して設定するのは困難なこともあり、監視対象となるユーザーの個人差の影響も受けやすい。従って、もてなし動作の調整処理には、必要に応じて上記の閾値を修正する処理を組み込めばさらに望ましい。
図78は、図75の処理に該閾値を修正するためのステップを組み込んだ例を示すフローチャートである。以下、図75との処理との相違点を中心に説明する。この処理では、上記もてなし動作調整処理の基本サイクルを所定数繰り返しても、ユーザーの状態推定結果に一定レベル以上の改善が見られない場合に閾値の修正処理に移行する流れとなっている。まず、SS654Aには、閾値調整用のサイクルカウンタCを初期化する処理が付加されている。以下、SS661までのステップにて、関係するパラメータの調整ステップが一巡し、1サイクル分のもてなし動作の調整処理が完結する。
図75においては、累積充足度ΣJが予め定められたレベル以上に大きくなるまで、このもてなし動作調整処理のサイクルを繰り返すようにしていた。図78の処理では、このサイクルを一定回数繰り返しても充足度ΣJが一定レベル以上に改善していない場合に、SS665の閾値変更処理に移行するようになっている。すなわち、上記サイクルが1回繰り返される毎に閾値調整用のサイクルカウンタCがインクリメントされる(SS662)。SS663でCの値が規定値C0以下であればSS654Bに戻って、次の基本サイクルの処理に移る。また、Cの値が規定値C0より大きくなったらSS664に進み、累積充足度ΣJが一定レベル(SS658における、調整処理の終了判定に係る最終的な累積充足度ΣJの目標値よりは小さく設定される)以上に改善している場合にはSS654Bに戻って次の基本サイクルの処理となる。
他方、SS664で累積充足度ΣJの改善度が不足していた場合は、SS665の閾値変更処理となる。図79は、閾値変更処理の一例を示すものである。閾値変更が必要となるのは、成立していると推定した精神/肉体状態がそもそも誤りであったことに起因している可能性が高い。従って、この状態を抜け出すには、現在推定されている「異常状態」に肯定的に寄与しているパラメータ群については、その寄与率の高いパラメータから優先的に、該寄与率が減少する向きに閾値を変更するのが望ましい。また、同様に、「正常状態」を示すパラメータ群については、その寄与率の低いパラメータから優先的に、該寄与率が増加する向きに閾値を変更するのが望ましい。上記の寄与率としては、既に説明済みの各パラメータの閾値からの偏差ΔμあるいはΔνを使用することができる。
図79においては、SS1701において、「異常状態」に肯定的に寄与しているパラメータ群のうち、Δμの大きい上位n個の閾値を、Δμが減少する向きに一定量修正する処理を行なっている。また、SS1702において、「正常状態」を示すパラメータ群のうち、Δνの小さい下位n個の閾値を、Δνが増加する向きに一定量修正する処理を行なっている。nは1であってもよいし、2以上であってもよい(この場合、該当するパラメータ群の全てとなることを排除しない)。
SS1701とSS1702とは、どちらか一方のみを実施することも可能である。特に、現在推定中の「異常状態」が誤りである状態を解消するには、SS1701を必須として実施することがより望ましいといえ、この場合はSS1702を省略することが可能である。いずれにしろ、SS1701を行なってから図78のもてなし動作調整処理に復帰すると、異常状態判定の根幹をなすパラメータの閾値が変更されて、その優先順位が強制的に下がる形となる。閾値修正の方向性が正しければ、残りのパラメータのうち、真の体調/精神状態が反映されているパラメータには、その優先度が上昇する機会が与えられることとなる。
他方、SS1702は、「正常状態」を示すパラメータ群の閾値修正に係るものである。現在推定されているのは「異常状態」であって、この推定が正しい精神/肉体状態を反映している場合には、「正常状態」を示すパラメータ群は、精神/肉体状態の推定に使用するパラメータとしては、本来的に不適格ということになる。しかし、ここでは、その推定されている「異常状態」が正しい精神/肉体状態を反映していない場合に該当するから、「正常状態」を示すパラメータ群の少なくともいくつかは、真の精神/肉体状態の推定に適合したパラメータである可能性がある。しかし、Δνの小さいパラメータは累積充足度Jへの貢献率が小さく、現在のもてなし動作調整処理において埋没している可能性がある。そこで、「正常状態」を示すパラメータ群のうち、Δνの小さい下位n個の閾値を、Δνが増加する向きに一定量修正する処理を行なうことで、「正常状態」を示す下位パラメータのいくつかについて、その優先順位を上げることができる。
なお、上記のごとく閾値を変更するのに代え(あるいは閾値の変更とともに)、図77に示す重み係数を変更する方法もある。この場合、図79のSS1701において、「異常状態」に肯定的に寄与しているパラメータ群のうち、Δμの大きい上位n個の重み係数を減少方向に一定量修正する処理を行なえばよい。また、SS1702においては、「正常状態」を示すパラメータ群のうち、Δνの小さい下位n個の重み係数を増加方向に一定量修正する処理を行なえばよい。
各閾値のデフォルトデータは、例えば自動車ディーラーサイドで各ユーザーに共通のものを用意し、搭載しておくことができるが、上記の閾値変更処理を経ることで各ユーザーに固有の値にカスタマイズされることになる。そこで、該カスタマイズされた閾値群を、図73Aに示すように、ユーザー特定情報と対応付けてユーザー別精神/体調判定閾値435として記憶しておけば、次回からは、自動車のユーザーが特定された段階で、該ユーザーに対応する閾値群を読み出して、デフォルト値として設定すればよい。前述のユーザー別デフォルト設定データ434とともに、自動車のユーザーが変わった場合にも、そのユーザーに固有の制御デフォルト値及び閾値を用いてもてなし動作が調整されるので、例えば、自動車を複数のユーザーで共用する場合においても、ユーザー毎にもてなし動作が適正化され、どのユーザーも快適に自動車を利用することができる。
また、もてなし意思決定に使用する生体状態検出部(図1:センサ・カメラ群518〜528)を、自動車の複数の座席に対応付けて複数組設け、それぞれの座席に着座するユーザーの精神状態及び肉体状態を独立に検出することもできる。この場合、もてなし意思決定部2は、それら生体状態検出部の組に対応する複数のユーザーの精神状態及び肉体状態に基づいて、もてなし動作部の動作内容を決定することが可能である。この場合、例えば、推定された精神状態及び肉体状態の最も悪い(例えば重度の体調不良など)ユーザーを優先した形で、もてなし動作部の動作内容を決定することが可能である。
また、図73Aに示す、種々のもてなし意思決定用のデータ440のうち、ユーザー毎に固有のデータ(ユーザーID/暗証番号600、生体認証用マスターデータ432、ユーザー別デフォルト設定データ434、ユーザー別精神/体調判定閾値435、ストレス反映操作統計データ405など)については、図1に示すように、記憶装置535等の自動車側の記憶装置以外に、自動車との間で通信可能な管理センター560のデータサーバ561に記憶し、自動車側からの要求に従って随時通信取得して使用するようにしてもよい。このようにすると、成りすまし等により自動車を他人に悪用される、といったセキュリティ上の問題を軽減できる他、ユーザーが、本発明の自動車用ユーザーもてなしシステムのハードウェアインフラ構造を具備した別の自動車に乗り換える場合に、管理センター560から上記ユーザー毎に固有のデータを取得することで、その乗り換え先となる自動車においても、前の自動車と同等のもてなしを受けることができ、より柔軟性に富んだシステム構築が可能となる。
以上、本発明の自動車用ユーザーもてなしシステムの実施形態について説明したが、本発明は当該実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲にて種々の変形を加えることが可能である。
本発明の自動車用もてなし情報提供システムの機能が組み込まれた自動車用ユーザーもてなしシステムの、電気的構成の一例を示すブロック図。 もてなし意思決定テーブルの一例を示す模式図。 シーン決定処理の流れを示すフローチャート。 もてなし主処理の流れを示すフローチャート。 シーンフラグの内容を示す模式図。 テーマ別アプリケーションライブラリの概念を示す図。 機能選択テーブルの第一例を示す図。 機能選択テーブルの第二例を示す図。 機能選択テーブルの第三例を示す図。 機能選択テーブルの第四例を示す図。 機能選択テーブルの第五例を示す図。 機能選択テーブルの第六例を示す図。 いくつかの機能選択テーブルの代表機能を統合して、制御適性値設定テーブルとともに示す図。 携帯電話として構成したユーザー側端末装置の一例を示す外観斜視図。 ユーザー側端末装置の電気的構成の一例を示すブロック図。 車内照明の電気的構成の一例を示すブロック図。 カーオーディオシステムの電気的構成の一例を示すブロック図。 音楽ソースデータベースの内容を示す概念図。 照明装置の点灯制御データの構成例を示す概念図。 選曲実績記憶部の内容を示す概念図。 選曲実績の統計情報の内容を示す概念図。 ストレス反映操作統計記憶部の内容を示す概念図。 ユーザーが自動車に接近する際のもてなし動作の第一例を示す模式図。 同じく第二例を示す模式図。 同じく第三例を示す模式図。 同じく第四例を示す模式図。 同じく第五例を示す模式図。 ユーザーが自動車に接近する際のもてなし動作の処理の流れを示すフローチャート。 性格分析処理の流れを示すフローチャート。 もてなしソース決定処理の一例を示すフローチャート。 音楽による遠距離もてなしモードでの処理の流れを示すフローチャート。 同じく中距離もてなしモードでの処理の流れを示すフローチャート。 同じく近距離もてなしモードでの処理の流れを示すフローチャート。 生体状態検出部からの検出情報を用いた精神状態/体調の推定と、曲モードコードの決定例を示す模式図。 走行中もてなし処理の一例を示すフローチャート。 ユーザー登録情報の内容を示す概念図。 性格種別決定の入力方式の第一例を示す模式図。 性格種別決定の入力方式の第二例を示す模式図。 発光ダイオードを用いた照明装置の一例を示す回路図。 ドアアシスト機構の機械的構成部分の説明図。 ドアアシスト機構の回路図。 障害物用ドア旋回ロック機構の構成例を示す模式図。 図41のドアアシスト機構の、通常時の作用説明図。 ノイズキャンセラの構成例を示す概念ブロック図。 同じくハードウェア構成の一例を示すブロック図。 自動車用ユーザーもてなしシステムにおける、もてなし処理の全体流れを示すフローチャート。 図46に続くフローチャート。 図47に続くフローチャート。 車内におけるカメラの取付位置を例示する模式図。 ハンドルへの種々のセンサ及びもてなし動作部の取付例を示す模式図。 判定テーブルの一例を示す模式図。 血圧変化波形取得とその解析アルゴリズムの一例を示すフローチャート。 波形解析手法をいくつか例示して示す模式図。 体温波形取得とその解析アルゴリズムの一例を示すフローチャート。 皮膚抵抗波形取得とその解析アルゴリズムの一例を示すフローチャート。 表情変化解析アルゴリズムの一例を示すフローチャート。 姿勢信号波形取得とその解析アルゴリズムの一例を示すフローチャート。 姿勢信号波形の生成ハードウェアの一例を示す回路図。 種々の被特定状態のイメージ図。 視線角度波形取得とその解析アルゴリズムの一例を示すフローチャート。 瞳孔径波形取得とその解析アルゴリズムの一例を示すフローチャート。 操舵角度波形取得とその解析アルゴリズムの一例を示すフローチャート。 走行モニター画像のイメージ図。 走行モニタデータ取得処理の一例を示すフローチャート。 走行モニタデータを用いた操舵精度解析処理の一例を示すフローチャート。 状態特定処理の一例を示すフローチャート。 被特定状態ともてなし動作種別との関係を示す図。 もてなし制御量設定テーブルの例を示す図。 質問対話形式によるデフォルト制御設定値の変更例を示す図。 緊急時ないし異常時に使用する制御適性値設定テーブルの例を示す図。 オーディオないし照明に対する制御適性値の詳細設定例を示す図。 RGDフルカラー照明の、各照明光の混合比と発光色及びインデックスの関係を示す図。 もてなし意思決定用のデータの構成例を示す図。 質問用データの構成例を示す図。 質問対話形式によるデフォルト制御設定値の変更処理の流れを示すフローチャート。 もてなし動作調整処理を例示するフローチャート。 制御充足度判定処理の流れを示すフローチャート。 状態特定結果テーブルの内容の一例を示す図。 閾値変更処理を含むもてなし動作調整処理の流れを例示するフローチャート。 閾値変更処理の流れを例示するフローチャート。 もてなし情報提供システムの要部機能を担うカーナビゲーションシステムの電気的構成例を示すブロック図。 目的地データベースの概念図。 ユーザーの状況を、エネルギーとストレスとダメージの3つの観点から整理して示す図。 種々のエネルギー供給形態をまとめて示す図。 状態検知結果に基づいて、もてなし機能あるいは情報(コンテンツ)を引き当て、作動させる主処理の流れを示すフローチャート。 肉体に関するエネルギー状態を推定するフローチャート。 精神に関するエネルギー状態を推定するフローチャート。 肉体に関するエネルギー状態を推定するさらに詳細な処理アルゴリズムを示すフローチャート。 図87に続くフローチャート。 カーナビゲーションシステムにおける目的地検索結果の第一例を示す説明図。 目的地への案内地図画面の第一例を示す説明図。 カーナビゲーションシステムにおける目的地検索結果の第二例を示す説明図。 カーナビゲーションシステムにおける目的地検索結果の第三例を示す説明図。 カーナビゲーションシステムにおける目的地検索結果の第四例を示す説明図。 目的地への案内地図画面の第二例を示す説明図。 目的地への案内地図画面の第三例を示す説明図。 カーナビゲーションシステムにおける目的地検索結果の第五例を示す説明図。 目的地への案内地図画面の第四例を示す説明図。 カーナビゲーションシステムにおける目的地検索結果の第六例を示す説明図。 目的地への案内地図画面の第五例を示す説明図。
符号の説明
2 もてなし意思決定部(もてなし制御部、精神/肉体状態推定手段)
3 もてなし実行制御部(もてなし制御部)
51 情報系ECU(ユーザー生体特性情報取得手段、もてなし情報検索手段)
110 モニター(もてなし情報出力手段)
121 HDD(もてなし情報記憶部)
115 スピーカー(音声出力部、もてなし情報出力手段)
502〜517,534 もてなし動作部
515 カーオーディオシステム
515b、515c 音楽ソースデータベース(もてなし情報記憶部)
515d 操作部(選曲部:生体状態検出部)
535 記憶装置(もてなし情報記憶部、選曲実績記憶部)
521 顔カメラ(生体状態検出部)
523 感圧センサ(生体状態検出部)
519 赤外線センサ(生体状態検出部)
525 体温センサ(生体状態検出部)
524 脈拍センサ(生体状態検出部)
534 カーナビゲーションシステム(自動車用もてなし情報提供装置)

Claims (23)

  1. ユーザーが利用する自動車に設けられ、該ユーザーの性格、精神状態及び肉体状態の少なくともいずれかを反映したユーザー生体特性情報を取得するユーザー生体特性情報取得手段と、
    ユーザーによる前記自動車の利用を補助するための、又は前記ユーザーを楽しませるためのもてなし情報を記憶するもてなし情報記憶部と、
    前記ユーザー生体特性情報と記憶された前記もてなし情報との予め定められた適合関係に基づいて、前記ユーザー生体特性情報取得手段が取得するユーザー生体特性情報に適合するもてなし情報を、前記もてなし情報記憶部上にて検索するもてなし情報検索手段と、
    前記自動車に設けられ、検索された前記もてなし情報を出力するもてなし情報出力手段と、
    を備え、さらに、
    前記もてなし情報記憶部は、ユーザーの性格、精神状態及び肉体状態の少なくともいずれかと関連を有する分類情報と、個々のもてなし情報とを対応付けて記憶したものであり、
    前記ユーザー生体特性情報取得手段は、前記ユーザーの予め定められた生体状態を、当該生体状態を反映した数値パラメータである生体状態パラメータの時間的変化として検出する生体状態検出部と、前記ユーザーの精神的状態又は肉体的状態を、補給を行なわない限りは時間と共に一方向的に消耗するエネルギー値として定め、検出された前記生体状態パラメータの時間的変化に基づいて当該エネルギー値を計算することにより、前記ユーザーの精神的状態又は肉体的状態を推定する精神/肉体状態推定手段とを備え、
    前記もてなし情報検索手段は、推定された精神的状態又は肉体的状態に対応する前記分類情報を見出し、当該分類情報にて分類された、前記エネルギー値を向上させうるもてなし情報を、前記もてなし情報記憶部上にて検索するものであることを特徴とする自動車用もてなし情報提供システム。
  2. 前記生体状態変化検出部は、前記生体状態パラメータの時間的変化波形を検出するものであり、
    前記精神/肉体状態推定手段は、前記波形の振幅情報に基づいて前記ユーザーの肉体的状態を推定するものである請求項1記載の自動車用もてなし情報提供システム。
  3. 前記生体状態変化検出部は、前記生体状態パラメータの時間的変化波形を検出するものであり、
    前記精神/肉体状態推定手段は、前記波形の周波数情報に基づいて前記ユーザーの精神的状態を推定するものである請求項1又は請求項2に記載の自動車用もてなし情報提供システム。
  4. 前記生体状態変化検出部は、前記生体状態パラメータの時間的変化情報として、前記ユーザーの体温の時間的変化状態を検出するものである請求項1ないし請求項3のいずれか1項に記載の自動車用もてなし情報提供システム。
  5. 前記生体状態変化検出部は、前記生体状態パラメータの時間的変化状態として、前記ユーザーの顔の表情及び視線方向の少なくともいずれかの時間的変化状態を取得するものである請求項1ないし請求項4のいずれか1項に記載の自動車用もてなし情報提供システム。
  6. 前記生体状態変化検出部は、前記ユーザーの前記運転中における前記生体状態パラメータの時間的変化を検出するものである請求項1ないし請求項5のいずれか1項に記載の自動車用もてなし情報提供システム。
  7. 前記生体状態変化検出部は、前記生体状態パラメータの時間的変化状態として、血圧、心拍数、体温、皮膚抵抗及び発汗の1又は2以上からなる第一種生体状態パラメータの時間的変化状態を取得するものである請求項6記載の自動車用もてなし情報提供システム。
  8. 前記精神/肉体状態推定手段は、前記第一種生体状態パラメータの波形周波数が一定レベル以上に大きくなった場合に、前記ユーザーの精神状態に異常を来たしていると推定する請求項7記載の自動車用もてなし情報提供システム。
  9. 前記生体状態変化検出部は、前記生体状態パラメータの時間的変化状態として、前記ユーザーの運転中の姿勢、視線方向及び表情の少なくともいずれかからなる第二種生体状態パラメータの時間的変化状態を検出するものである請求項6ないし請求項8のいずれか1項に記載の自動車用もてなし情報提供システム。
  10. 前記精神/肉体状態推定手段は、前記第二種生体状態パラメータの波形振幅が一定レベル以下に小さくなった場合に、前記ユーザーの体調に異常を来たしていると推定する請求項9記載の自動車用もてなし情報提供システム。
  11. 前記精神/肉体状態推定手段は、前記第二種生体状態パラメータの波形周波数が一定レベル以上に大きくなるか、又は一定レベル以下に小さくなった場合に、前記ユーザーの精神に異常を来たしていると推定する請求項9又は請求項10に記載の自動車用もてなし情報提供システム。
  12. 前記生体状態変化検出部は前記生体状態パラメータの時間的変化として、前記ユーザーの瞳孔寸法の時間的変化を検出するものであり、
    前記精神/肉体状態推定手段は、検出された前記瞳孔寸法に予め定められたレベル以上の変動が生じている場合に、前記ユーザーの体調に異常を来たしていると推定する請求項9ないし請求項11のいずれか1項に記載の自動車用もてなし情報提供システム。
  13. 前記精神/肉体状態推定手段は、検出された前記瞳孔寸法が予め定められたレベル以上に拡張している場合に、前記ユーザーの精神状態に異常を来たしていると推定する請求項12記載の自動車用もてなし情報提供システム。
  14. 前記生体状態変化検出部が複数設けられ、前記精神/肉体状態推定手段は、それら複数の生体状態変化検出部が検出する前記生体状態パラメータの時間的変化状態の組み合わせに基づいて、前記ユーザーの精神的状態又は肉体的状態を推定する請求項9ないし請求項13のいずれか1項に記載の自動車用もてなし情報提供システム。
  15. 前記もてなし情報出力手段はカーナビゲーション装置であり、
    前記もてなし情報記憶部は、該カーナビゲーション装置にて目的地設定に使用する目的地データベースとして構成され、ユーザーの性格、精神状態及び肉体状態の少なくともいずれかと関連を有する分類情報と、個々の目的地の特定情報とを対応付けて記憶したものであり、
    前記もてなし情報検索手段は、前記ユーザー生体特性情報取得手段が取得する前記ユーザー生体特性情報に基づいて、当該情報が特定するユーザー生体特性と関連を有する前記分類情報にて分類された目的地を前記目的地データベース上にて検索するものであり、
    前記もてなし情報出力手段は、該検索された目的地を前記カーナビゲーション装置の表示画面上に出力するものである請求項1ないし請求項14のいずれか1項に記載の自動車用もてなし情報提供システム。
  16. 前記ユーザー生体特性情報取得手段は前記ユーザー生体特性情報として該ユーザーの空腹度を反映した空腹度情報を取得するものであり、
    前記もてなし情報検索手段は、前記ユーザー生体特性情報取得手段が取得する前記空腹度情報の内容が予め定められた条件を充足した場合に、前記目的地データベースにて飲食の可能な飲食可能施設の検索を行なう請求項15記載の自動車用もてなし情報提供システム。
  17. 計時手段と、該計時手段が取得する時刻情報に基づいて予め定められた食事時刻の到来を判定する食事時刻判定手段が設けられ、前記ユーザー生体特性情報取得手段は、前記生体状態検出部を用いることなく、該食事時刻到来に係る判定結果を前記空腹度情報として取得する請求項16記載の自動車用もてなし情報提供システム。
  18. 前記ユーザーの食事後の経過時間を計測する食事後経過時間計測手段が設けられ、前記ユーザー生体特性情報取得手段は、前記生体状態検出部を用いることなく、該食事後経過時間を前記空腹度情報として取得する請求項16又は請求項17に記載の自動車用もてなし情報提供システム。
  19. 前記目的地データベースにて前記飲食可能施設の特定情報が、推定される前記肉体状態の良否に対応付けた形で分類され、
    前記もてなし情報検索手段は、前記ユーザー生体特性情報取得手段が取得する前記空腹度情報の内容が予め定められた条件を充足した場合に、前記目的地データベースにて、推定される前記肉体状態に対応した飲食可能施設の検索を行なうものである請求項16ないし請求項18のいずれか1項に記載の自動車用もてなし情報提供システム。
  20. 前記もてなし情報検索手段は、前記ユーザー生体特性情報取得手段が取得する前記空腹度情報の内容が予め定められた条件を充足し、かつ、前記肉体状態が所定レベルよりも悪いと推定される場合に、前記目的地データベースにて、低カロリーないしあっさり系に分類された飲食可能施設の検索を行なう請求項19記載の自動車用もてなし情報提供システム。
  21. 前記自動車のエンジンの始動を検知するエンジン始動検知手段と、
    前記エンジンの始動が検知された場合に、当該エンジン始動直前のエンジン停止中に前記ユーザーが食事を済ませたか否かを判断する食事済み判断手段と、を備え、
    前記精神/肉体状態推定手段は、前記ユーザー生体特性情報取得手段により取得される前記空腹度情報に基づいて、予め決められたアルゴリズムにより、前記エネルギー値として、時間経過に伴い消耗し、かつエンジン停止中に食事を済ませたと判断された場合に補給される前記ユーザーの肉体エネルギー値を計算するものであり、
    前記もてなし情報検索手段は、前記肉体エネルギー値が所定の閾値よりも小さくなった場合に前記ユーザーが空腹状態にあると特定し、前記飲食可能施設を前記目的地データベース上にて検索するものである請求項16ないし請求項20のいずれか1項に記載の自動車用もてなし情報提供システム。
  22. 前記目的地に到着したか否かを判定する目的地到着判定手段と、
    当該目的地に到着した後の経過時間を計測する到着後経過時間計測手段と、
    前記エンジン始動検知手段が検知する前記エンジンの始動がその日最初のエンジン始動であるか否かを判定する手段と、
    前記ユーザーが食事済みであるか否かを示す食事済み確認情報を記憶する食事済み確認情報記憶部と、
    前記食事済み判断手段により直前のエンジン停止中に食事を済ませたと判断された場合に、前記食事済み確認情報を食事済みに更新する食事済み確認情報更新手段とを備え、
    前記食事済み判断手段は、少なくとも、前記目的地に到着し、かつ当該目的地が前記飲食関連施設であり、かつ当該飲食関連施設に到着した後の経過時間が、食事完了に対応する所定の閾時間以上であり、かつ当該飲食関連施設に到着後に検知されたエンジン始動がその日最初のエンジン始動ではなく、かつ当該エンジン始動時に前記食事済み確認情報が食事済みで無いことを示している場合には、当該エンジン始動直前のエンジン停止中に食事を済ませたと判断し、
    前記食事済み確認情報更新手段は、食事済みで無いことを示している前記食事済み確認情報を食事済みに更新するものである請求項21記載の自動車用もてなし情報提供システム。
  23. 前記肉体エネルギー値の前記閾値として、第一閾値と、該第一閾値よりも高い第二の閾値が設定されており、
    前記もてなし情報検索手段は、前記肉体エネルギー値が前記第一閾値よりも小さくなった場合、及び前記肉体エネルギー値が前記第一閾値と前記第二閾値との間の値となった場合には、前記目的地データベースにて、それぞれの場合の肉体エネルギー状態に対応した前記飲食可能施設を検索するものである請求項21又は請求項22に記載の自動車用もてなし情報提供システム。
JP2006035812A 2006-02-13 2006-02-13 自動車用もてなし情報提供システム Expired - Fee Related JP4509042B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006035812A JP4509042B2 (ja) 2006-02-13 2006-02-13 自動車用もてなし情報提供システム
US11/652,107 US8108083B2 (en) 2006-02-13 2007-01-11 Vehicular system which retrieves hospitality information promoting improvement of user's current energy value based on detected temporal change of biological condition
DE102007005627A DE102007005627A1 (de) 2006-02-13 2007-02-05 System zur Bereitstellung von Fahrzeug-Gastserviceinformationen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006035812A JP4509042B2 (ja) 2006-02-13 2006-02-13 自動車用もてなし情報提供システム

Publications (2)

Publication Number Publication Date
JP2007212421A JP2007212421A (ja) 2007-08-23
JP4509042B2 true JP4509042B2 (ja) 2010-07-21

Family

ID=38369772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006035812A Expired - Fee Related JP4509042B2 (ja) 2006-02-13 2006-02-13 自動車用もてなし情報提供システム

Country Status (3)

Country Link
US (1) US8108083B2 (ja)
JP (1) JP4509042B2 (ja)
DE (1) DE102007005627A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331781B2 (ja) 2020-05-28 2023-08-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP2083680B1 (en) 2006-10-25 2016-08-10 Proteus Digital Health, Inc. Controlled activation ingestible identifier
JP4572889B2 (ja) * 2006-11-20 2010-11-04 株式会社デンソー 自動車用ユーザーもてなしシステム
US8301340B2 (en) * 2007-03-21 2012-10-30 GM Global Technology Operations LLC Method and apparatus for jointly controlling multiple devices
US9932033B2 (en) 2007-05-10 2018-04-03 Allstate Insurance Company Route risk mitigation
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US10096038B2 (en) 2007-05-10 2018-10-09 Allstate Insurance Company Road segment safety rating system
JP2009064186A (ja) * 2007-09-05 2009-03-26 Mazda Motor Corp 車両用対話システム
JP5005491B2 (ja) * 2007-10-17 2012-08-22 クラリオン株式会社 車載機、その出力態様設定方法
JP4968532B2 (ja) * 2007-11-22 2012-07-04 株式会社デンソー 自動車用ユーザーもてなしシステム
JP5029434B2 (ja) * 2008-03-11 2012-09-19 トヨタ自動車株式会社 飲酒状態判定装置、及び飲酒運転防止装置
JP5412046B2 (ja) * 2008-03-31 2014-02-12 三菱重工業株式会社 出入車管理システム
US8429225B2 (en) 2008-05-21 2013-04-23 The Invention Science Fund I, Llc Acquisition and presentation of data indicative of an extent of congruence between inferred mental states of authoring users
US9161715B2 (en) * 2008-05-23 2015-10-20 Invention Science Fund I, Llc Determination of extent of congruity between observation of authoring user and observation of receiving user
US8055591B2 (en) * 2008-05-23 2011-11-08 The Invention Science Fund I, Llc Acquisition and association of data indicative of an inferred mental state of an authoring user
US8615664B2 (en) * 2008-05-23 2013-12-24 The Invention Science Fund I, Llc Acquisition and particular association of inference data indicative of an inferred mental state of an authoring user and source identity data
US7904507B2 (en) * 2008-05-23 2011-03-08 The Invention Science Fund I, Llc Determination of extent of congruity between observation of authoring user and observation of receiving user
JP4547721B2 (ja) 2008-05-21 2010-09-22 株式会社デンソー 自動車用情報提供システム
US9192300B2 (en) * 2008-05-23 2015-11-24 Invention Science Fund I, Llc Acquisition and particular association of data indicative of an inferred mental state of an authoring user
US20090292658A1 (en) * 2008-05-23 2009-11-26 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Acquisition and particular association of inference data indicative of inferred mental states of authoring users
US8086563B2 (en) * 2008-05-23 2011-12-27 The Invention Science Fund I, Llc Acquisition and particular association of data indicative of an inferred mental state of an authoring user
US8001179B2 (en) * 2008-05-23 2011-08-16 The Invention Science Fund I, Llc Acquisition and presentation of data indicative of an extent of congruence between inferred mental states of authoring users
US8005894B2 (en) 2008-05-23 2011-08-23 The Invention Science Fund I, Llc Acquisition and presentation of data indicative of an extent of congruence between inferred mental states of authoring users
US8082215B2 (en) * 2008-05-23 2011-12-20 The Invention Science Fund I, Llc Acquisition and particular association of inference data indicative of inferred mental states of authoring users
US9101263B2 (en) * 2008-05-23 2015-08-11 The Invention Science Fund I, Llc Acquisition and association of data indicative of an inferred mental state of an authoring user
JP4609527B2 (ja) * 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
DE102008035104A1 (de) * 2008-06-19 2009-12-24 GM Global Technology Operations, Inc., Detroit Lenkrad für ein Kraftfahrzeug
JP2010009413A (ja) * 2008-06-27 2010-01-14 Toyota Infotechnology Center Co Ltd 情報提供システム、情報提供方法
JP2010014542A (ja) * 2008-07-03 2010-01-21 Denso Corp 車載処理装置および車載処理装置用のプログラム
CA2730275C (en) 2008-07-08 2019-05-21 Proteus Biomedical, Inc. Ingestible event marker data framework
JP5540537B2 (ja) * 2009-03-24 2014-07-02 株式会社オートネットワーク技術研究所 制御装置、制御方法及びコンピュータプログラム
CN102449437B (zh) * 2009-06-10 2015-04-01 三菱电机株式会社 导航装置
JP5035303B2 (ja) * 2009-06-17 2012-09-26 トヨタ自動車株式会社 移動体、これを含むシステム、移動体の動作方法、及びプログラム
WO2011007386A1 (ja) * 2009-07-14 2011-01-20 三菱電機株式会社 ナビゲーション装置
TWI517050B (zh) 2009-11-04 2016-01-11 普羅托斯數位健康公司 供應鏈管理之系統
GB2475871A (en) * 2009-12-03 2011-06-08 Gm Global Tech Operations Inc Navigation based function mapping for a vehicle
KR101303648B1 (ko) * 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
US20110199623A1 (en) * 2010-02-12 2011-08-18 Kabushiki Kaisha Toshiba Image processing apparatus and setting method used in image processing apparatus
WO2011111056A1 (en) * 2010-03-12 2011-09-15 Tata Consultancy Services Limited A system for vehicle security, personalization and cardiac activity monitoring of a driver
US9566441B2 (en) * 2010-04-30 2017-02-14 Medtronic, Inc. Detecting posture sensor signal shift or drift in medical devices
DE102010028580B4 (de) * 2010-05-05 2014-02-27 Bayerische Motoren Werke Aktiengesellschaft Verstellvorrichtung zur ergonomischen Einstellung eines Fahrzeugsitzes mit mehreren verstellbaren Sitzkomponenten
US8983978B2 (en) 2010-08-31 2015-03-17 Apple Inc. Location-intention context for content delivery
WO2012049350A1 (en) * 2010-10-13 2012-04-19 Valkee Oy Modification of parameter values of optical treatment apparatus
CN102479024A (zh) * 2010-11-24 2012-05-30 国基电子(上海)有限公司 手持装置及其用户界面构建方法
US9542847B2 (en) * 2011-02-16 2017-01-10 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
US8483665B2 (en) * 2011-03-31 2013-07-09 Matthew R. Kissinger Mobile device featuring sensor responsive re-notifications
DE112011105431B4 (de) * 2011-07-11 2019-05-29 Toyota Jidosha Kabushiki Kaisha Fahrzeug-Notfallevakuierungsvorrichtung
DE102011084087B4 (de) 2011-10-06 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Verstellvorrichtung zur ergonomischen Einstellung eines Fahrzeugsitzes mit mehreren verstellbaren Sitzkomponenten und/oder zur ergonomischen Einstellung von sitzpositionsabhängigen verstellbaren Fahrzeugkomponenten
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US8925058B1 (en) * 2012-03-29 2014-12-30 Emc Corporation Authentication involving authentication operations which cross reference authentication factors
US8706416B2 (en) * 2012-04-03 2014-04-22 Ford Global Technologies, Llc System and method for determining a vehicle route
US10148374B2 (en) * 2012-04-23 2018-12-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for altering an in-vehicle presentation
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
DE102012210098A1 (de) 2012-06-15 2013-12-19 Robert Bosch Gmbh Verfahren zum Auswählen von Musikstücken
US9141504B2 (en) * 2012-06-28 2015-09-22 Apple Inc. Presenting status data received from multiple devices
US20140024999A1 (en) 2012-07-17 2014-01-23 Elwha LLC, a limited liability company of the State of Delaware Unmanned device utilization methods and systems
US9713675B2 (en) 2012-07-17 2017-07-25 Elwha Llc Unmanned device interaction methods and systems
US20140074480A1 (en) * 2012-09-11 2014-03-13 GM Global Technology Operations LLC Voice stamp-driven in-vehicle functions
US20140092249A1 (en) * 2012-09-28 2014-04-03 Ford Global Technologies, Llc Vehicle perimeter detection system
KR20140066908A (ko) * 2012-11-23 2014-06-03 현대자동차주식회사 차량 제어 시스템
JP5974369B2 (ja) * 2012-12-26 2016-08-23 カルソニックカンセイ株式会社 ブザー出力制御装置およびブザー出力制御方法
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
US20140277833A1 (en) * 2013-03-15 2014-09-18 Mighty Carma, Inc. Event triggered trip data recorder
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP5758428B2 (ja) * 2013-03-19 2015-08-05 シャープ株式会社 電気機器制御装置、電気機器制御システム、プログラム、および電気機器制御方法
JP5940009B2 (ja) * 2013-03-21 2016-06-29 キャンバスマップル株式会社 ナビゲーション装置、及びナビゲーションプログラム
JP2018097874A (ja) * 2013-05-07 2018-06-21 安東 秀夫 ユーザインターフェース装置およびサービス提供方法
EP3005281A4 (en) * 2013-06-04 2017-06-28 Proteus Digital Health, Inc. System, apparatus and methods for data collection and assessing outcomes
JP6170757B2 (ja) * 2013-06-26 2017-07-26 富士通テン株式会社 表示制御装置、表示システム、情報提供方法及びプログラム
KR101511514B1 (ko) * 2013-06-28 2015-04-14 현대엠엔소프트 주식회사 컨텐츠 제공 방법 및 서버
WO2015011527A1 (en) * 2013-07-25 2015-01-29 Desarrollo E Investigación Tecnológica Axon Intelligence Co S.A. System and procedure to recognize, notice and identify a deficiency in the eye-motor function coordination of a motor vehicle driver
DE202013007367U1 (de) 2013-08-14 2014-11-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Audiosystem für ein Fahrzeug
US9103688B2 (en) * 2013-08-21 2015-08-11 Continental Automotive Systems, Inc. Adapting vehicle personality using analyzed driver performance metrics
JP6199714B2 (ja) * 2013-11-29 2017-09-20 株式会社デンソー ストレス評価装置,及びプログラム
KR20150066739A (ko) * 2013-12-09 2015-06-17 경북대학교 산학협력단 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법
US10096067B1 (en) 2014-01-24 2018-10-09 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9355423B1 (en) 2014-01-24 2016-05-31 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US10803525B1 (en) 2014-02-19 2020-10-13 Allstate Insurance Company Determining a property of an insurance policy based on the autonomous features of a vehicle
US10796369B1 (en) 2014-02-19 2020-10-06 Allstate Insurance Company Determining a property of an insurance policy based on the level of autonomy of a vehicle
US10783587B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a driver score based on the driver's response to autonomous features of a vehicle
US9940676B1 (en) 2014-02-19 2018-04-10 Allstate Insurance Company Insurance system for analysis of autonomous driving
US10783586B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a property of an insurance policy based on the density of vehicles
DE102014004599A1 (de) * 2014-03-26 2015-10-01 Constanze Holzhey Verfahren, Vorrichtung oder Computerprogrammprodukt zum Abspielen eines Musikstücks im Fahrzeug.
EP3163468B1 (en) * 2014-06-27 2020-09-02 Sony Corporation Information processing device, information processing method, and program
US9499197B2 (en) * 2014-10-15 2016-11-22 Hua-Chuang Automobile Information Technical Center Co., Ltd. System and method for vehicle steering control
JP6365229B2 (ja) * 2014-10-23 2018-08-01 株式会社デンソー 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム
DE102014118318A1 (de) * 2014-12-10 2016-06-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einem Öffnungsbereich einer Tür eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
JP2016114427A (ja) * 2014-12-12 2016-06-23 アルパイン株式会社 情報提示装置および情報提示方法
WO2016113967A1 (ja) * 2015-01-14 2016-07-21 ソニー株式会社 情報処理システム、および制御方法
DE102015205528B4 (de) * 2015-03-26 2018-04-12 Volkswagen Aktiengesellschaft System zur Komforterkennung eines Insassen
DE102015005234A1 (de) * 2015-04-24 2016-10-27 Audi Ag Während der Fahrt konfigurierbare Kraftfahrzeug-Medienabspieleinrichtung
US9797178B2 (en) 2015-07-29 2017-10-24 Ford Global Technologies, Llc Seal based object detection for vehicle door assist system
US9818246B2 (en) 2015-07-29 2017-11-14 Ford Global Technologies, Llc System and method for gesture-based control of a vehicle door
US9890576B2 (en) 2015-07-29 2018-02-13 Ford Global Technologies, Llc Active door operation based on voice commands
US10030431B2 (en) 2015-07-29 2018-07-24 Ford Global Technologies, Llc Automotive door power assist
US9834974B2 (en) 2015-07-29 2017-12-05 Ford Global Technologies, Llc Automotive door power assist
US10570656B2 (en) 2015-07-29 2020-02-25 Ford Global Technologies, Llc Magnetic object detection for vehicle door assist system
US9676256B2 (en) 2015-07-29 2017-06-13 Ford Global Technologies, Llc Power assist device for a vehicle door
US9777528B2 (en) 2015-07-29 2017-10-03 Ford Global Technologies, Inc. Object detection and method for vehicle door assist system
US10145165B2 (en) 2015-07-29 2018-12-04 Ford Global Technologies, Llc Programmable door power assist
US9879465B2 (en) 2015-07-29 2018-01-30 Ford Global Technologies, Llc Programmable door power assist
US10443287B2 (en) 2015-07-29 2019-10-15 Ford Global Technologies, Llc Door position sensor and system for a vehicle
US10301863B2 (en) 2015-09-14 2019-05-28 Ford Global Technologies, Llc Mounting and aligning a vehicle side door motor within the current bill of process
US10144374B2 (en) * 2015-10-19 2018-12-04 Toyota Motor Engineering & Manufacturing North America, Inc. Automatic settings for vehicle components based on measured anthropometric features
US9764694B2 (en) * 2015-10-27 2017-09-19 Thunder Power Hong Kong Ltd. Intelligent rear-view mirror system
DE102015014144A1 (de) * 2015-11-01 2017-05-04 Wolfram Held Mobiles mit einem Navigationssystem verbundenes Zusatzgerät
US10269075B2 (en) * 2016-02-02 2019-04-23 Allstate Insurance Company Subjective route risk mapping and mitigation
KR101746590B1 (ko) * 2016-02-03 2017-06-13 동서대학교 산학협력단 무구속 생체정보 기반의 산만도 추정 시스템
US10161175B2 (en) 2016-02-29 2018-12-25 Ford Global Technologies, Llc Moving object detection for power door system
US10000961B2 (en) 2016-02-29 2018-06-19 Ford Global Technologies, Llc Temperature control for powered vehicle doors
US10151132B2 (en) 2016-02-29 2018-12-11 Ford Global Technologies, Llc Power Management for vehicle door system
US9813541B2 (en) 2016-02-29 2017-11-07 Ford Global Technologies, Llc Mobile device control for powered door
WO2018057757A1 (en) 2016-09-21 2018-03-29 Apple Inc. Cognitive Load Routing Metric for Vehicle Guidance
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
JP6627787B2 (ja) 2017-01-17 2020-01-08 トヨタ自動車株式会社 ドライバ状態検出装置
DE102017200733A1 (de) * 2017-01-18 2018-07-19 Audi Ag Unterhaltungssystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Unterhaltungssystems
US10392849B2 (en) 2017-01-18 2019-08-27 Ford Global Technologies, Llc Assembly and method to slow down and gently close door
US10442427B2 (en) * 2017-01-23 2019-10-15 GM Global Technology Operations LLC Vehicle dynamics actuator control systems and methods
JP6639429B2 (ja) * 2017-01-27 2020-02-05 Kddi株式会社 ユーザの移動滞在状態に応じて車両を制御する車両制御サーバ、携帯端末及びプログラム
JP6809262B2 (ja) 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
US10150351B2 (en) * 2017-02-08 2018-12-11 Lp-Research Inc. Machine learning for olfactory mood alteration
DE102017111443A1 (de) 2017-05-24 2018-11-29 Burmester Audiosysteme Gmbh Autiosystem und Verfahren zum Auswählen einer Inhaltsauswahl und/oder zum Einstellen einer Soundeinstellung
CN111183322B (zh) * 2017-10-11 2021-12-10 三菱电机株式会社 空气调节用控制器
JP7180065B2 (ja) * 2017-10-20 2022-11-30 株式会社デンソー 車両用制御装置
US10788332B2 (en) * 2017-12-07 2020-09-29 International Business Machines Corporation Route navigation based on user feedback
JP6364634B1 (ja) * 2017-12-21 2018-08-01 メドケア株式会社 食事履歴蓄積システム
JP2019116214A (ja) * 2017-12-27 2019-07-18 パイオニア株式会社 興奮度判定装置
JP2019124977A (ja) * 2018-01-11 2019-07-25 トヨタ自動車株式会社 車載音声出力装置、音声出力制御方法、及び音声出力制御プログラム
JP2019146901A (ja) * 2018-02-28 2019-09-05 株式会社エクォス・リサーチ サービス提供装置およびサービス提供プログラム
CN111867459B (zh) * 2018-03-14 2024-01-09 松下知识产权经营株式会社 晕车症估计系统、移动车辆、晕车症估计方法和晕车症估计程序
WO2019220745A1 (ja) * 2018-05-15 2019-11-21 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
DE102018211973A1 (de) * 2018-07-18 2020-01-23 Bayerische Motoren Werke Aktiengesellschaft Proaktive kontextbasierte Bereitstellung von Diensteempfehlungen in Fahrzeugen
JP7235276B2 (ja) 2018-08-21 2023-03-08 株式会社データ・テック 運行管理装置及びコンピュータプログラム
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
DE102019106557A1 (de) * 2019-03-14 2020-09-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Anwenderschnittstelle zur Erkennung einer Unzufriedenheit eines Anwenders mit einer MMI-Reaktion
WO2020188942A1 (ja) * 2019-03-15 2020-09-24 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
US10759441B1 (en) 2019-05-06 2020-09-01 Cambridge Mobile Telematics Inc. Determining, scoring, and reporting mobile phone distraction of a driver
EP3967063A4 (en) * 2019-05-06 2022-06-15 Cambridge Mobile Telematics, Inc. DETERMINATION, ASSESSMENT AND REPORTING OF DRIVER DISTRACTION BY MOBILE PHONE
CN110504879B (zh) * 2019-07-26 2021-02-12 江苏大学 一种电磁式主动悬架作动器节能抗干扰控制系统
US11365578B2 (en) 2019-08-29 2022-06-21 Ford Global Technologies, Llc Powered hinge assembly for vehicle doors
JP2021157576A (ja) * 2020-03-27 2021-10-07 トヨタ自動車株式会社 サーバ装置、端末装置、及びサービス提供プログラム
JP2021165989A (ja) * 2020-04-08 2021-10-14 トヨタ自動車株式会社 車両、制御装置、プログラム
JP2021169270A (ja) * 2020-04-16 2021-10-28 トヨタ自動車株式会社 車両共同利用システム用の制御装置
DE102020114101A1 (de) 2020-05-26 2021-12-02 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zur Reaktion auf die Feststellung einer erhöhten Körpertemperatur eines Insassen eines Fortbewegungsmittels
DE102020209614A1 (de) 2020-07-30 2022-02-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erzeugen einer Valenzkarte für ein Fahrzeug
JP7264859B2 (ja) * 2020-09-24 2023-04-25 本田技研工業株式会社 ナビゲーションシステム、その検索ルートの推奨方法、およびプログラム
US20230035711A1 (en) * 2021-07-31 2023-02-02 Qualcomm Incorporated Satellite signal environment determination and/or position estimate selection
US20230057766A1 (en) * 2021-08-17 2023-02-23 Ford Global Technologies, Llc Vehicle having imaging device for driver and window monitoring
DE102022003314A1 (de) 2022-09-09 2023-05-04 Mercedes-Benz Group AG Verfahren zur Fahrtfreigabe eines Fahrzeugs für einen Fahrer

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JPH0944800A (ja) * 1995-07-26 1997-02-14 Mitsubishi Electric Corp 車載情報システム
JP2000193473A (ja) * 1998-12-25 2000-07-14 Aisin Aw Co Ltd ナビゲ―ション装置及び記憶媒体
JP2000351339A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 運転装置の制御装置
JP2001194161A (ja) * 2000-01-11 2001-07-19 Alpine Electronics Inc 視線移動検出情報提示装置
JP2001317951A (ja) * 2000-05-01 2001-11-16 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2001357498A (ja) * 2000-06-15 2001-12-26 Mazda Motor Corp 車両用情報提供装置
JP2002056500A (ja) * 2000-08-11 2002-02-22 Denso Corp 搭乗者対応車載装置及び記録媒体
JP2002071373A (ja) * 2000-09-05 2002-03-08 Alpine Electronics Inc ナビゲーション装置の経路誘導方法
JP2005338934A (ja) * 2004-05-24 2005-12-08 Nissan Motor Co Ltd 車両内コミュニケーション装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666953A (en) * 1993-01-10 1997-09-16 Wilk; Peter J. System and associated method for providing information for use in forming medical diagnosis
JPH06150199A (ja) * 1992-11-13 1994-05-31 Mitsubishi Electric Corp 車両予防安全装置
WO1997023254A1 (fr) * 1995-12-25 1997-07-03 Matsushita Electric Works, Ltd. Appareil favorisant la relaxation
ATE418451T1 (de) * 1998-06-18 2009-01-15 Kline & Walker L L C Automatische vorrichtung zur überwachung von auf abstand zu bedienende ausrüstungen und maschinen weltweit anwendbar
JP4156080B2 (ja) 1998-06-30 2008-09-24 株式会社デンソー 要求推定装置
JP2002092029A (ja) 2000-09-20 2002-03-29 Denso Corp ユーザ情報推定装置
EP1328420A4 (en) * 2000-09-21 2009-03-04 American Calcar Inc TECHNIQUE FOR OPERATING A VEHICLE EFFECTIVELY AND SECURELY
US6591188B1 (en) * 2000-11-01 2003-07-08 Navigation Technologies Corp. Method, system and article of manufacture for identifying regularly traveled routes
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
JP2003072488A (ja) * 2001-08-31 2003-03-12 Sony Corp 車載装置、車両及び車両情報の処理方法
JP2003118421A (ja) 2001-10-12 2003-04-23 Pioneer Electronic Corp 生体状態測定装置及び方法、移動体用ナビゲーションシステム及び方法、ライブラリ装置並びにコンピュータプログラム
US6599243B2 (en) * 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases
US20040093155A1 (en) * 2002-11-12 2004-05-13 Simonds Craig John System and method for providing vehicle context information
JP4247055B2 (ja) * 2003-05-21 2009-04-02 株式会社デルタツーリング 運転席用座席システム
US7292152B2 (en) * 2003-06-12 2007-11-06 Temic Automotive Of North America, Inc. Method and apparatus for classifying vehicle operator activity state
JP2005034520A (ja) * 2003-07-18 2005-02-10 Tokai Rika Co Ltd 体調監視システム
US7266430B2 (en) * 2003-12-22 2007-09-04 International Business Machines Corporation Medical applications in telematics
US7465272B2 (en) * 2004-02-12 2008-12-16 Yefim Kriger Vehicle with on-board dieters' self-acquiring overweight preventive system and method
JP4305289B2 (ja) * 2004-06-10 2009-07-29 株式会社デンソー 車両用制御装置およびその装置を備える車両用制御システム
US20060011399A1 (en) * 2004-07-15 2006-01-19 International Business Machines Corporation System and method for controlling vehicle operation based on a user's facial expressions and physical state
JP4604597B2 (ja) 2004-07-30 2011-01-05 トヨタ自動車株式会社 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
US7188012B2 (en) * 2004-08-24 2007-03-06 Ford Global Technologies, Llc Adaptive voice control and vehicle collision warning and countermeasure system
JP4396597B2 (ja) * 2005-08-08 2010-01-13 株式会社デンソー 危険反応地点記録システム及び運転支援システム
US20070158128A1 (en) * 2006-01-11 2007-07-12 International Business Machines Corporation Controlling driver behavior and motor vehicle restriction control
US7821408B2 (en) * 2006-03-17 2010-10-26 Dan Vancil Method and system for physically qualifying commercial overland truck drivers
US7548805B2 (en) * 2006-03-27 2009-06-16 Fujitsu Ten Limited Vehicle control apparatus, vehicle control method and vehicle slip suppressing apparatus
US7468673B2 (en) * 2006-06-23 2008-12-23 Delphi Technologies, Inc. System and method for determining whether a vehicle operator has an impaired cognitive state

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JPH0944800A (ja) * 1995-07-26 1997-02-14 Mitsubishi Electric Corp 車載情報システム
JP2000193473A (ja) * 1998-12-25 2000-07-14 Aisin Aw Co Ltd ナビゲ―ション装置及び記憶媒体
JP2000351339A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 運転装置の制御装置
JP2001194161A (ja) * 2000-01-11 2001-07-19 Alpine Electronics Inc 視線移動検出情報提示装置
JP2001317951A (ja) * 2000-05-01 2001-11-16 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2001357498A (ja) * 2000-06-15 2001-12-26 Mazda Motor Corp 車両用情報提供装置
JP2002056500A (ja) * 2000-08-11 2002-02-22 Denso Corp 搭乗者対応車載装置及び記録媒体
JP2002071373A (ja) * 2000-09-05 2002-03-08 Alpine Electronics Inc ナビゲーション装置の経路誘導方法
JP2005338934A (ja) * 2004-05-24 2005-12-08 Nissan Motor Co Ltd 車両内コミュニケーション装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331781B2 (ja) 2020-05-28 2023-08-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両

Also Published As

Publication number Publication date
DE102007005627A1 (de) 2007-10-11
US8108083B2 (en) 2012-01-31
US20070192038A1 (en) 2007-08-16
JP2007212421A (ja) 2007-08-23

Similar Documents

Publication Publication Date Title
JP4509042B2 (ja) 自動車用もてなし情報提供システム
JP4441887B2 (ja) 自動車用ユーザーもてなしシステム
JP4525925B2 (ja) 自動車用ユーザーもてなしシステム
JP4525926B2 (ja) 自動車用ユーザーもてなしシステム
JP4547721B2 (ja) 自動車用情報提供システム
JP4332813B2 (ja) 自動車用ユーザーもてなしシステム
JP4572889B2 (ja) 自動車用ユーザーもてなしシステム
JP4535272B2 (ja) 自動車用ユーザーもてなしシステム
JP4535274B2 (ja) 自動車用ユーザーもてなしシステム
JP5152570B2 (ja) 自動車用ユーザーもてなしシステム
US8140344B2 (en) Vehicular user hospitality system
JP4621983B2 (ja) 自動車用ユーザーもてなしシステム
JP2008017227A (ja) 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP6083441B2 (ja) 車両用乗員感情対応制御装置
JP6115577B2 (ja) 車両用乗員感情対応制御装置
JP4535273B2 (ja) 自動車用ユーザーもてなしシステム
JP2009040368A (ja) 自動車用情報提供装置
JP6213489B2 (ja) 車両用乗員感情対応制御装置
JP2016137200A (ja) 車両用乗員感情対応制御装置
JP4968532B2 (ja) 自動車用ユーザーもてなしシステム
JP2016137202A (ja) 車両用乗員感情対応制御装置
JP2016137201A (ja) 車両用乗員感情対応制御装置
CN111762176A (zh) 用于调整至少部分自动化驾驶的车辆的驾驶策略的方法和设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4509042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100427

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees