JPH11250395A - Agent device - Google Patents

Agent device

Info

Publication number
JPH11250395A
JPH11250395A JP6441498A JP6441498A JPH11250395A JP H11250395 A JPH11250395 A JP H11250395A JP 6441498 A JP6441498 A JP 6441498A JP 6441498 A JP6441498 A JP 6441498A JP H11250395 A JPH11250395 A JP H11250395A
Authority
JP
Japan
Prior art keywords
agent
program
driver
data
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6441498A
Other languages
Japanese (ja)
Other versions
JP3965538B2 (en
Inventor
Tomoki Kubota
智氣 窪田
Koji Hori
孝二 堀
Manabu Matsuda
松田  学
Kazuhide Adachi
和英 足立
Koji Mukai
康二 向井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AQUEOUS Research KK
AQUEOUS RESERCH KK
Original Assignee
AQUEOUS Research KK
AQUEOUS RESERCH KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AQUEOUS Research KK, AQUEOUS RESERCH KK filed Critical AQUEOUS Research KK
Priority to JP6441498A priority Critical patent/JP3965538B2/en
Priority claimed from US09/119,238 external-priority patent/US6249720B1/en
Publication of JPH11250395A publication Critical patent/JPH11250395A/en
Application granted granted Critical
Publication of JP3965538B2 publication Critical patent/JP3965538B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To make graspable plural pieces of information and to make easily obtainable them by making a personified agent appear within a vehicle, making a subagent appear separately from the agent in a recognizable way in accordance with situations judgment to perform explanation action about the action of the agent. SOLUTION: A personalized agent is caused to appear inside a vehicle by an image. The agent judges the state of affairs of the vehicle including the vehicle itself, a driver, a fellow passenger, an opposite vehicle, etc., and capes with various variations of the driver and the vehicle based on the vehicle state of affairs at each point of time. For instance, when a main agent E appears, a help agent H is caused to appear as a subagent in accordance with the degree of familiarization of the driver to the agent E. The agent H explains the action of the agent E such as teaching of results that are estimated according to a correspondence method and response to proposals of the agent E to the driver.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、車両内に出現し、
経路案内や各種装置の作動等について運転者を補助する
エージェント装置に係り、複数の情報を把握容易に提供
するエージェント装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention appears in a vehicle,
The present invention relates to an agent device that assists a driver in route guidance, operation of various devices, and the like, and relates to an agent device that easily provides a plurality of pieces of information.

【0002】[0002]

【従来の技術】従来より、車両内において、車両の位置
や状態等の状況、及びこれらの状況に対応する警告や経
路誘導等の情報を、ディスプレイに人間の表情や動作と
して表示して運転者等に伝達する技術が知られている
(特開平9−102098号公報)。この従来技術は、
情報が視覚的に表現されるため一見して把握しやすい利
点がある。
2. Description of the Related Art Conventionally, in a vehicle, a situation such as a position and a state of the vehicle, and information such as a warning and a route guidance corresponding to the situation are displayed on a display as a human expression or a motion, and the driver is displayed on the display. And the like (Japanese Patent Laid-Open No. 9-102098). This prior art,
Since the information is represented visually, there is an advantage that it is easy to grasp at a glance.

【0003】[0003]

【発明が解決しようとする課題】しかし、上述の従来技
術では、伝達すべき情報の数が経時的に変化する場合や
複数の情報がそれぞれ異なる期間で変化する場合に、そ
れらの経時的変化が認識されにくい等の問題点があり、
情報がより一層把握し易い技術が求められている。
However, according to the above-described prior art, when the number of pieces of information to be transmitted changes over time or when a plurality of pieces of information change in different periods, the change over time does not occur. There are problems such as difficulty in recognition
There is a need for a technology that makes it easier to grasp information.

【0004】本発明は、車両等において、複数の情報を
把握容易に提供するエージェント装置を提供することを
目的とする。
[0004] It is an object of the present invention to provide an agent device for easily providing a plurality of pieces of information in a vehicle or the like.

【0005】[0005]

【課題を解決するための手段】請求項1に記載した発明
では、擬人化されたエージェントを車両内に出現させる
エージェント出現手段と、車両の状況を判断する状況判
断手段と、この状況判断手段により判断された状況か
ら、前記エージェントの行為を決定するエージェント行
為決定手段と、このエージェント行為決定手段で決定さ
れた行為を前記エージェント出現手段により出現される
エージェントに行わせるエージェント制御手段と、前記
状況判断手段により判断された状況から、前記エージェ
ントの出現下において擬人化されたサブエージェントの
出現の要否を判断する要否判断手段と、前記要否判断手
段の判断に基づいて前記サブエージェントを前記エージ
ェントとは別個に認識可能に出現させるサブエージェン
ト出現手段と、前記状況判断手段により判断された状況
から、サブエージェントの行為を決定するサブエージェ
ント行為決定手段と、前記サブエージェント行為決定手
段で決定された行為を前記サブエージェント出現手段に
より出現されるサブエージェントに行わせるサブエージ
ェント制御手段とをエージェント装置に具備させて前記
目的を達成する。請求項2に記載した発明では、請求項
1に記載したエージェント装置において、前記サブエー
ジェントは、前記エージェントの行為についての解説行
為を行うエージェント装置を提供することにより前記目
的を達成する。請求項3に記載した発明では、請求項1
に記載したエージェント装置において、前記サブエージ
ェントは、一連の前記エージェントの行為についてその
一部を短絡するエージェント装置を提供することにより
前記目的を達成する。請求項4に記載した発明では、請
求項1から3のうちのいずれか1項に記載のエージェン
ト装置において、前記状況判断手段は、運転者の指向を
取得する指向取得手段を備え、前記要否判断手段は、前
記運転者の指向を前記車両の状況として、サブエージェ
ントの出現の要否を判断するエージェント装置を提供す
ることにより前記目的を達成する。請求項5に記載した
発明では、請求項4に記載のエージェント装置におい
て、前記指向取得手段が、運転者の指向として運転者の
エージェントに対する習熟度を取得し、前記要否判断手
段は、前記習熟度を前記車両の状況として、サブエージ
ェントの要否を判断するエージェント装置を提供するこ
とにより前記目的を達成する。請求項6に記載した発明
では、請求項1から請求項5のうちのいずれか1項に記
載のエージェント装置において、前記状況判断手段によ
る所定状況を記憶することで学習する学習手段を具備
し、前記要否判断手段は、前記学習手段による学習結果
を前記車両の状況として、前記サブエージェントの要否
を判断するエージェント装置を提供することにより前記
目的を達成する。請求項7に記載した発明では、請求項
1から請求項6のうちのいずれか1項に記載のエージェ
ント装置において、前記状況判断手段による所定状況を
記憶することで学習する学習手段を具備し、前記エージ
ェント行為決定手段及び前記サブエージェント行為決定
手段のうち少なくとも1つは、前記学習結果を車両の前
記状況として、エージェント又はサブエージェントの行
為を決定するエージェント装置を提供することにより前
記目的を達成する。請求項8に記載した発明では、請求
項1から請求項7のうちのいずれか1項に記載のエージ
ェント装置において、画像表示手段を備え、前記エージ
ェント出現手段が、前記画像表示手段に対し、エージェ
ントを画像表示させるエージェント表示手段を含み、前
記サブエージェント出現手段が、前記画像表示手段に対
し、サブエージェントを、前記エージェントと視覚的に
識別可能に画像表示させるサブエージェント表示手段を
含むエージェント装置を提供することにより前記目的を
達成する。請求項9に記載した発明では、請求項1から
請求項8のうちのいずれか1項に記載のエージェント装
置において、音声出力装置を備え、前記エージェント出
現手段が、前記音声出力装置に対し、エージェントの音
声を出力させるエージェント音声出力手段を含み、前記
サブエージェント出現手段が、前記音声出力装置に対
し、前記エージェントと聴覚的に識別可能なサブエージ
ェントの音声を出力させるサブエージェント音声出力手
段を含むエージェント装置を提供することにより前記目
的を達成する。
According to the first aspect of the present invention, an agent appearance means for causing an anthropomorphized agent to appear in a vehicle, a situation judgment means for judging a situation of the vehicle, and the situation judgment means. Agent action determining means for determining the action of the agent from the determined situation; agent control means for causing the agent appearing by the agent appearance means to perform the action determined by the agent action determining means; Means for judging the necessity of appearance of an anthropomorphic subagent under the appearance of the agent from the situation judged by the means; and the subagent based on the judgment of the necessity judgment means. Sub-agent appearance means for appearing separately and recognizable separately from the Sub-agent action determining means for determining a sub-agent action from the situation determined by the situation determining means, and causing the sub-agent appearing by the sub-agent appearing means to perform the action determined by the sub-agent action determining means. The above object is achieved by providing an agent device with a subagent control unit. According to a second aspect of the present invention, in the agent device according to the first aspect, the subagent achieves the object by providing an agent device that performs a commentary action on the action of the agent. In the invention described in claim 3, claim 1
The sub-agent achieves the object by providing an agent device that short-circuits a part of a series of actions of the agent. According to a fourth aspect of the present invention, in the agent device according to any one of the first to third aspects, the situation determining means includes a direction obtaining means for obtaining a direction of the driver, and The determination means achieves the above object by providing an agent device that determines whether or not a sub-agent needs to appear with the driver's orientation as the situation of the vehicle. According to a fifth aspect of the present invention, in the agent device according to the fourth aspect, the direction acquiring means acquires a degree of proficiency of the driver with respect to the agent as the direction of the driver, and the necessity determining means determines the degree of skill of the driver. The object is achieved by providing an agent device that determines whether or not a subagent is necessary, with the degree being the situation of the vehicle. According to a sixth aspect of the present invention, in the agent device according to any one of the first to fifth aspects, the agent device further comprises a learning unit that learns by storing a predetermined situation by the situation judging unit, The necessity determination unit achieves the object by providing an agent device that determines the necessity of the subagent based on the learning result of the learning unit as a situation of the vehicle. In the invention described in claim 7, the agent device according to any one of claims 1 to 6, further comprising a learning unit that learns by storing a predetermined situation by the situation determination unit, At least one of the agent action determining means and the sub-agent action determining means achieves the object by providing an agent device that determines an action of an agent or a sub-agent using the learning result as the situation of the vehicle. . According to an eighth aspect of the present invention, in the agent apparatus according to any one of the first to seventh aspects, an image display unit is provided, and the agent appearance unit is provided with an agent for the image display unit. An agent display means for displaying an image of the sub-agent, wherein the sub-agent appearance means provides the image display means with a sub-agent display means for displaying an image of the sub-agent so as to be visually distinguishable from the agent. By doing so, the above object is achieved. According to a ninth aspect of the present invention, in the agent device according to any one of the first to eighth aspects, a voice output device is provided, and the agent appearance unit is configured to output an agent to the voice output device. An agent including an agent voice output unit that outputs a voice of the subagent, wherein the subagent appearance unit includes a subagent voice output unit that outputs, to the voice output device, a voice of a subagent that is audibly distinguishable from the agent. The object is achieved by providing a device.

【0006】[0006]

【発明の実施の形態】以下、本発明のエージェント装置
における好適な実施の形態について、図1から図13を
参照して詳細に説明する。 (1)第1の実施形態の概要 本実施形態のエージェント装置では、擬人化されたエー
ジェントを画像(平面的画像、ホログラフィ等の立体的
画像等)により車両内に出現させる。そして、車両自
体、運転者、同乗者、対向車等を含む車両の状況(運転
者の応答や反応等も含む)の判断を行い、各時点での車
両状況に基づいて、エージェントが運転者や車両に対し
て様々なバリエーションをもった対応(行為=行動と音
声)をする。これにより運転者は、自分固有のエージェ
ントを車両内でつき合う(コミュニケーションする)こ
とが可能になり、車両内での環境を快適にすることがで
きる。ここで、本実施形態において擬人化されたエージ
ェントとは、特定の人間、生物、漫画のキャラクター等
との同一性があり、その同一性のある生物が、同一性・
連続性を保つようなある傾向の出力(動作、音声による
応答)を行うものである。また、同一性・連続性は特有
の個性をもつ人格としても表現可能で、電子機器内の一
種の疑似生命体としても捉えることができる。車両内に
出現させるエージェントは、人間と同様に判断する疑似
人格化(仮想人格化)された主体である。ときには、車
両の走行には関係ない範囲での判断ミスも有り、この判
断ミスによる不要な(ドジな)応答をすることもある。
実施形態中において、車両自体や運転者を含む車両の状
況を判断して経路案内や機器の作動等種々の動作を運転
者に代わり行ったりその手助けを行うメインのエージェ
ントは、更に車両の状況や運転者の応答等を学習し、こ
の学習結果を含めた判断により各種行為を行うものとな
っている。従って、同一の車両状況であっても過去の学
習内容等に応じてエージェントのコミュニケーションの
内容は異なる。ときには、車両の走行には関係ない範囲
での判断ミスも有り、この判断ミスによる不要な(ドジ
な)応答をすることもある。そして運転者の応答によ
り、判断ミスか否かを判定し、学習する。また、本実施
形態においては、メインのエージェントの出現時に、運
転者の当該エージェントに対する習熟度に応じて、ヘル
プエージェントをサブエージェントとして出現させる。
ヘルプエージェントとは、メインのエージェントの提案
に対する対応方法や応答により予定される結果の教示等
の、メインのエージェント行為に対する解説を運転者に
行うものである。これらの2つのエージェントは、それ
ぞれ異なる容姿と音声で車内に出現させる。この様に、
状況に応じて2つのエージェントを出現可能とすること
により、1つのエージェントよりもきめ細かく、運転者
の習熟度等の車両状況に即したエージェント行為を実現
することができる。そして、出現時期や機能の異なる2
つのエージェントの容姿及び音声を異ならせることによ
り、運転者は、これら2つのエージェントを容易に識別
し、各エージェントの機能を明確に意識した上で正確に
情報を把握し各エージェントに対応することが可能とな
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the agent device of the present invention will be described below in detail with reference to FIGS. (1) Overview of First Embodiment In the agent device of the present embodiment, an anthropomorphic agent appears in a vehicle as an image (a three-dimensional image such as a two-dimensional image and holography). Then, the state of the vehicle including the vehicle itself, the driver, the passenger, the oncoming vehicle, and the like (including the response and reaction of the driver) is determined, and based on the vehicle state at each time, the agent determines the driver or the driver. Respond to vehicles with various variations (action = action and voice). This allows the driver to interact with (communicate with) his / her own agent in the vehicle, thereby making the environment in the vehicle comfortable. Here, the agent personified in the present embodiment has the same identity as a specific person, creature, cartoon character, etc., and the creature with the same identity,
This is to output a certain tendency (operation, response by voice) that maintains continuity. In addition, identity and continuity can be expressed as a personality having a unique personality, and can be regarded as a kind of pseudo-creature in an electronic device. The agent that appears in the vehicle is a pseudo-personalized (virtual personalized) subject that is judged in the same manner as a human. Occasionally, there is a misjudgment in a range not related to the running of the vehicle, and an unnecessary (burst) response may be made due to the misjudgment.
In the embodiment, the main agent that performs various operations such as route guidance and operation of the device on behalf of the driver by judging the status of the vehicle including the vehicle itself and the driver, and assists the driver further, The learning of the driver's response and the like are performed, and various actions are performed based on the judgment including the learning result. Therefore, even in the same vehicle situation, the communication content of the agent differs depending on the past learning content and the like. Occasionally, there is a misjudgment in a range not related to the running of the vehicle, and an unnecessary (burst) response may be made due to the misjudgment. Then, based on the driver's response, it is determined whether or not there is a determination error, and learning is performed. Further, in this embodiment, when the main agent appears, the help agent appears as a sub-agent according to the driver's proficiency level with respect to the agent.
The help agent gives the driver a comment on the main agent action such as a method of responding to the proposal of the main agent and a result to be expected by a response. These two agents appear in the vehicle with different appearances and sounds. Like this
By allowing two agents to appear according to the situation, it is possible to realize an agent action that is more detailed than one agent and that is suited to the vehicle situation such as the driver's proficiency. And 2 that differ in appearance time and function
By making the appearances and sounds of the two agents different, the driver can easily identify these two agents, grasp the information accurately and respond to each agent with a clear awareness of the function of each agent. It becomes possible.

【0007】(2)実施形態の詳細 図1は、本実施形態におけるエージェント装置の構成を
示すブロック図である。本実施形態では、コミュニケー
ション機能全体を制御する全体処理部1を備えている。
この全体処理部1は、設定した目的地までの経路を探索
して音声や画像表示により案内するナビゲーション処理
部10、車両の状況や運転者による過去の応対等を学習
して適切な会話や制御を行うエージェント処理部11、
ナビゲーション処理部10とエージェント処理部11に
対するI/F部12、エージェント画像や地図画像等の
画像出力や入力画像を処理する画像処理部13、エージ
ェント音声や経路案内音声等の音声出力や入力される音
声を制御する音声制御部14、及び車両や運転者に関す
る各種状況の検出データを処理する状況情報処理部15
を有している。
(2) Details of Embodiment FIG. 1 is a block diagram showing a configuration of an agent device according to this embodiment. In the present embodiment, an overall processing unit 1 that controls the entire communication function is provided.
The overall processing unit 1 searches for a route to a set destination and guides the user by voice or image display. The navigation processing unit 10 learns the situation of the vehicle and past responses by the driver and performs appropriate conversation and control. Agent processing unit 11 for performing
An I / F unit 12 for the navigation processing unit 10 and the agent processing unit 11, an image processing unit 13 for processing an image output such as an agent image and a map image and an input image, and outputting and inputting a voice such as an agent voice and a route guidance voice. Voice control unit 14 for controlling voice, and situation information processing unit 15 for processing detection data of various situations relating to the vehicle and the driver
have.

【0008】ナビゲーション処理部10とエージェント
処理部11は、データ処理及び各部の動作の制御を行う
CPU(中央処理装置)と、このCPUにデータバスや
制御バス等のバスラインで接続されたROM、RAM、
タイマ等を備えている。両処理部10、11はネットワ
ーク接続されており、互いの処理データを取得すること
ができるようになっている。ROMはCPUで制御を行
うための各種データやプログラムが予め格納されたリー
ドオンリーメモリであり、RAMはCPUがワーキング
メモリとして使用するランダムアクセスメモリである。
The navigation processing unit 10 and the agent processing unit 11 include a CPU (central processing unit) for controlling data processing and operation of each unit, a ROM connected to the CPU by a bus line such as a data bus and a control bus, and the like. RAM,
A timer and the like are provided. The two processing units 10 and 11 are connected to a network, and can acquire processing data of each other. The ROM is a read-only memory in which various data and programs for controlling by the CPU are stored in advance, and the RAM is a random access memory used by the CPU as a working memory.

【0009】本実施形態のナビゲーション処理部10と
エージェント処理部11は、CPUがROMに格納され
た各種プログラムを読み込んで各種処理を実行するよう
になっている。なお、CPUは、記録媒体駆動装置23
にセットされた外部の記録媒体からコンピュータプログ
ラムを読み込んで、エージェント記憶装置29やナビゲ
ーションデータ記憶装置30、図示しないハードディス
ク等のその他の記憶装置に格納(インストール)し、こ
の記憶装置から必要なプログラム等をRAMに読み込ん
で(ロードして)実行するようにしてもよい。また、必
要なプログラム等を記録媒体駆動装置23からRAMに
直接読み込んで実行するようにしてもよい。
In the navigation processing unit 10 and the agent processing unit 11 of the present embodiment, the CPU reads various programs stored in the ROM and executes various processes. The CPU is a recording medium driving device 23.
A computer program is read from an external recording medium set in the storage device and stored (installed) in another storage device such as an agent storage device 29, a navigation data storage device 30, or a hard disk (not shown). May be read (loaded) into the RAM and executed. Further, a necessary program or the like may be directly read from the recording medium driving device 23 into the RAM and executed.

【0010】ナビゲーション処理部10には、現在位置
検出装置21とナビゲーションデータ記憶装置30が接
続され、エージェント処理部11にはエージェントデー
タ記憶装置29が接続され、I/F部12には入力装置
22と記憶媒体駆動装置23と通信制御装置24が接続
され、画像処理部13には表示装置27と撮像装置28
が接続され、音声制御部14には音声出力装置25とマ
イク26が接続され、状況情報処理部15には状況セン
サ部40が接続されている。
The navigation processing unit 10 is connected to a current position detecting device 21 and a navigation data storage device 30, the agent processing unit 11 is connected to an agent data storage device 29, and the I / F unit 12 is connected to an input device 22. , A storage medium driving device 23 and a communication control device 24, and a display device 27 and an imaging device 28
Is connected to the voice control unit 14, a voice output device 25 and a microphone 26 are connected, and the status information processing unit 15 is connected to a status sensor unit 40.

【0011】現在位置検出装置21は、車両の絶対位置
(緯度、経度による)を検出するためのものであり、人
工衛星を利用して車両の位置を測定するGPS(Global
Positioning System)受信装置211と、方位センサ2
12と、舵角センサ213と、距離センサ214と、路
上に配置されたビーコンからの位置情報を受信するビー
コン受信装置215等が使用される。GPS受信装置2
11とビーコン受信装置215は単独で位置測定が可能
であるが、GPS受信装置211やビーコン受信装置2
15による受信が不可能な場所では、方位センサ212
と距離センサ214の双方を用いた推測航法によって現
在位置を検出するようになっている。方位センサ212
は、例えば、地磁気を検出して車両の方位を求める地磁
気センサ、車両の回転角速度を検出しその角速度を積分
して車両の方位を求めるガスレートジャイロや光ファイ
バジャイロ等のジャイロ、左右の車輪センサを配置しそ
の出力パルス差(移動距離の差)により車両の旋回を検
出することで方位の変位量を算出するようにした車輪セ
ンサ、等が使用される。舵角センサ213は、ステアリ
ングの回転部に取り付けた光学的な回転センサや回転抵
抗ボリューム等を用いてステアリングの角度αを検出す
る。距離センサ214は、例えば、車輪の回転数を検出
して計数し、または加速度を検出して2回積分するもの
等の各種の方法が使用される。
The current position detecting device 21 is for detecting the absolute position (depending on the latitude and longitude) of the vehicle, and uses a GPS (Global Positioning System) for measuring the position of the vehicle using artificial satellites.
Positioning System) Receiver 211 and bearing sensor 2
12, a steering angle sensor 213, a distance sensor 214, a beacon receiver 215 for receiving position information from a beacon arranged on the road, and the like. GPS receiver 2
11 and the beacon receiving device 215 can perform position measurement independently, but the GPS receiving device 211 and the beacon receiving device 2
In a place where reception by the receiver 15 is impossible, the direction sensor 212
The current position is detected by dead reckoning navigation using both the distance sensor 214 and the distance sensor 214. Orientation sensor 212
For example, a gyro such as a gas rate gyro or an optical fiber gyro that detects a geomagnetism and obtains the azimuth of the vehicle, detects a rotational angular velocity of the vehicle and integrates the angular velocity to obtain the azimuth of the vehicle, and a left and right wheel sensor. And a wheel sensor that detects the turning of the vehicle based on the output pulse difference (movement distance difference) to calculate the azimuth displacement is used. The steering angle sensor 213 detects the steering angle α by using an optical rotation sensor, a rotation resistance volume, or the like attached to a rotating part of the steering. As the distance sensor 214, for example, various methods such as a method of detecting and counting the number of rotations of a wheel, or a method of detecting acceleration and integrating twice are used.

【0012】入力装置22は、ナビゲーション処理にお
ける走行開始時の現在地(出発地点)や目的地(到達地
点)、情報提供局へ渋滞情報等の情報の請求を発信した
い車両の所定の走行環境(発信条件)、携帯電話6のタ
イプ(型式)などを入力するためのものである。また、
入力装置22は、本実施形態によるエージェントの問い
合わせ等に対して運転者が応答するための1つの手段で
もある。入力装置22には、タッチパネル(スイッチと
して機能)、キーボード、マウス、ライトペン、ジョイ
スティック、赤外線等によるリモコン、音声認識装置な
どの各種の装置が使用可能である。また、赤外線等を利
用したリモコンと、リモコンから送信される各種信号を
受信する受信部を備えてもよい。リモコンには、画面上
に表示されたカーソルの移動操作等を行うジョイスティ
ックの他、メニュー指定キー(ボタン)、テンキー等の
各種キーが配置される。
The input device 22 is used to transmit a request for information such as traffic congestion information or the like to a current location (departure point) or destination (arrival point) at the start of traveling in the navigation process, or to an information providing station. Condition), the type (model) of the mobile phone 6, and the like. Also,
The input device 22 is also one means for the driver to respond to an agent inquiry or the like according to the present embodiment. As the input device 22, various devices such as a touch panel (functioning as a switch), a keyboard, a mouse, a light pen, a joystick, a remote controller using infrared rays, and a voice recognition device can be used. Further, a remote control using infrared rays or the like and a receiving unit for receiving various signals transmitted from the remote control may be provided. On the remote controller, various keys such as a menu designation key (button) and a numeric keypad are arranged in addition to a joystick for moving a cursor displayed on the screen.

【0013】記録媒体駆動装置23は、ナビゲーション
処理部10やエージェント処理部11が各種処理を行う
ためのコンピュータプログラムを外部の記録媒体から読
み込むのに使用される駆動装置である。記録媒体に記録
されているコンピュータプログラムには、各種のプログ
ラムやデータ等が含まれる。ここで、記録媒体とは、コ
ンピュータプログラムが記録される記録媒体をいい、具
体的には、フロッピーディスク、ハードディスク、磁気
テープ等の磁気記録媒体、メモリチップやICカード等
の半導体記録媒体、CD−ROMやMO、PD(相変化
書換型光ディスク)等の光学的に情報が読み取られる記
録媒体、紙カードや紙テープ、文字認識装置を使用して
プログラムを読み込むための印刷物等の用紙(および、
紙に相当する機能を持った媒体)を用いた記録媒体、そ
の他各種方法でコンピュータプログラムが記録される記
録媒体が含まれる。
The recording medium driving device 23 is a driving device used by the navigation processing unit 10 and the agent processing unit 11 to read a computer program for performing various processes from an external recording medium. The computer program recorded on the recording medium includes various programs and data. Here, the recording medium refers to a recording medium on which a computer program is recorded, and specifically, a magnetic recording medium such as a floppy disk, a hard disk, and a magnetic tape; a semiconductor recording medium such as a memory chip and an IC card; Recording media such as ROM, MO, and PD (phase change rewritable optical disk) for optically reading information, paper cards and paper tapes, and paper such as printed materials for reading programs using a character recognition device (and
A recording medium using a medium having a function equivalent to paper) and a recording medium on which a computer program is recorded by various methods are included.

【0014】記録媒体駆動装置23は、これらの各種記
録媒体からコンピュータプログラムを読み込む他に、記
録媒体がフロッピーディスクやICカード等のように書
き込み可能な記録媒体である場合には、ナビゲーション
処理部10やエージェント処理部11のRAMや記憶装
置29、30のデータ等をその記録媒体に書き込むこと
が可能である。例えば、ICカードにメインのエージェ
ントの機能及びヘルプエージェントの機能に関する学習
内容(学習項目データ、応答データ、習熟度データ等)
を記憶させ、他の車両を運転する場合でもこの記憶させ
たICカードを使用することで、自分の好みに合わせて
(過去の応対の状況に応じて)学習されたエージェント
とコミュニケーションすることが可能になる。これによ
り、車両毎のエージェントではなく、運転者に固有のエ
ージェントを車両内に出現させることが可能になる。
In addition to reading computer programs from these various recording media, the recording medium driving device 23 includes a navigation processing unit 10 if the recording medium is a writable recording medium such as a floppy disk or an IC card. And data in the RAM of the agent processing unit 11 and the storage devices 29 and 30 can be written to the recording medium. For example, learning contents (learning item data, response data, proficiency data, etc.) relating to the function of the main agent and the function of the help agent in the IC card
By using the stored IC card even when driving another vehicle, it is possible to communicate with the agent learned according to his / her preference (according to past response situations). become. As a result, it is possible to cause an agent unique to the driver to appear in the vehicle instead of an agent for each vehicle.

【0015】通信制御装置24は、各種無線通信機器か
らなる携帯電話が接続されるようになっている。通信制
御部24は、電話回線による通話の他、道路の混雑状況
や交通規制等の交通情報に関するデータなどを提供する
情報提供局との通信や、車内での通信カラオケのために
使用するカラオケデータを提供する情報提供局との通信
を行うことができるようになっている。また、通信制御
装置24を介して、各エージェントの機能に関する学習
データ等を送受信することも可能である。
The communication control device 24 is adapted to be connected to a portable telephone comprising various wireless communication devices. The communication control unit 24 communicates with an information providing station that provides data related to traffic information such as traffic congestion conditions and traffic regulations in addition to telephone calls, and karaoke data used for communication karaoke in the vehicle. Can be communicated with an information providing station that provides the information. Further, it is also possible to transmit and receive learning data and the like regarding the function of each agent via the communication control device 24.

【0016】音声出力装置25は、車内に配置された複
数のスピーカで構成され、音声制御部14で制御された
音声、例えば、音声による経路案内を行う場合の案内音
声や、エージェントの行動にあわせた音声や音が出力さ
れるようになっている。この音声出力装置25は、オー
ディオ用のスピーカと兼用するようにしてもよい。な
お、音声制御装置14は、運転者のチューニング指示の
入力に応じて、音声出力装置25から出力する音声の音
色やアクセント等を制御することが可能である。マイク
26は、音声制御部14における音声認識の対象となる
音声、例えば、ナビゲーション処理における目的地等の
入力音声や、エージェントとの運転者の会話(応答等)
等を入出力する音声入力手段として機能する。このマイ
ク26は、通信カラオケ等のカラオケを行う際のマイク
と兼用するようにしてもよく、また、運転者の音声を的
確に収集するために指向性のある専用のマイクを使用す
るようにしてもよい。音声出力装置25とマイク26と
でハンズフリーユニットを形成させて、携帯電話を介さ
ずに、電話通信における通話を行えるようにしてもよ
い。
The voice output device 25 is composed of a plurality of speakers arranged in the vehicle. The voice output device 25 controls the voice controlled by the voice control unit 14, for example, a guidance voice for performing route guidance by voice, or an action of an agent. Voices and sounds are output. The audio output device 25 may also be used as an audio speaker. Note that the voice control device 14 can control the tone color, accent, and the like of the voice output from the voice output device 25 in response to the driver's input of a tuning instruction. The microphone 26 is a voice to be subjected to voice recognition in the voice control unit 14, for example, an input voice of a destination or the like in a navigation process, or a conversation (a response or the like) of a driver with an agent.
It functions as a voice input means for inputting / outputting data. The microphone 26 may be used also as a microphone for performing karaoke such as a communication karaoke, or a dedicated microphone having directivity may be used in order to accurately collect the voice of the driver. Is also good. The audio output device 25 and the microphone 26 may form a hands-free unit so that a telephone call can be made without using a mobile phone.

【0017】表示装置27には、ナビゲーション処理部
10の処理による経路案内用の道路地図や各種画像情報
が表示されたり、エージェント処理部11によるメイン
のエージェント及びヘルプエージェントの各種行動(動
画)が表示されたりするようになっている。また、撮像
装置28で撮像された車両内外の画像も画像処理部13
で処理された後に表示されるようになっている。表示装
置27は、液晶表示装置、CRT等の各種表示装置が使
用される。なお、この表示装置5は、例えばタッチパネ
ル等の、前記入力装置2としての機能を兼ね備えたもの
とすることができる。
On the display device 27, a road map and various image information for route guidance by the processing of the navigation processing unit 10 are displayed, and various actions (moving images) of the main agent and the help agent by the agent processing unit 11 are displayed. Or to be done. The images inside and outside the vehicle captured by the image capturing device 28 are also stored in the image processing unit 13.
It is displayed after being processed by. As the display device 27, various display devices such as a liquid crystal display device and a CRT are used. Note that the display device 5 may have a function as the input device 2 such as a touch panel, for example.

【0018】撮像装置28は、画像を撮像するためのC
CD(電荷結合素子)を備えたカメラで構成されてお
り、運転者を撮像する車内カメラの他、車両前方、後
方、右側方、左側方を撮像する各車外カメラが配置され
ている。撮像装置28の各カメラにより撮像された画像
は、画像処理部13に供給され、画像認識等の処理が行
われ、各認識結果をエージェント処理部11によるプロ
グラム番号の決定に使用するようになっている。
The image pickup device 28 has a C for picking up an image.
It is composed of a camera equipped with a CD (Charge Coupled Device). In addition to an in-vehicle camera for imaging the driver, an out-of-vehicle camera for imaging the front, rear, right and left sides of the vehicle are arranged. An image captured by each camera of the imaging device 28 is supplied to the image processing unit 13, where processing such as image recognition is performed, and each recognition result is used by the agent processing unit 11 to determine a program number. I have.

【0019】エージェントデータ記憶装置29は、本実
施形態によるメインのエージェントの機能及びヘルプエ
ージェントの機能を実現するために必要な各種データ
(プログラムを含む)が格納される記憶装置である。こ
のエージェントデータ記憶装置29には、例えば、フロ
ッピーディスク、ハードディスク、CD−ROM、光デ
ィスク、磁気テープ、ICカード、光カード等の各種記
録媒体と、その駆動装置が使用される。この場合、例え
ば、学習項目データ292と応答データ294、習熟度
データ295を持ち運びが容易なICカードやフロッピ
ーディスクで構成し、その他のデータをハードディスク
で構成するというように、複数種類の異なる記録媒体と
駆動装置で構成し、駆動装置としてそれらの駆動装置を
用いるようにしてもよい。
The agent data storage device 29 is a storage device for storing various data (including programs) necessary for realizing the function of the main agent and the function of the help agent according to the present embodiment. As the agent data storage device 29, for example, various recording media such as a floppy disk, hard disk, CD-ROM, optical disk, magnetic tape, IC card, and optical card, and a drive device thereof are used. In this case, for example, the learning item data 292, the response data 294, and the proficiency data 295 are composed of a portable IC card or a floppy disk, and the other data is composed of a hard disk. And a driving device, and these driving devices may be used as the driving device.

【0020】エージェントデータ記憶装置29には、エ
ージェントプログラム290、プログラム選択テーブル
291、学習項目データ292、応答データ293、図
4及び図13に例示したエージェント及びヘルプエージ
ェントの容姿や行動を画像表示するための画像データ2
94、ヘルプエージェントプログラム295、ヘルプエ
ージェントプログラム対応テーブル296、習熟度デー
タ297、その他のデータが格納されている。学習項目
データ292、応答データ293、及び習熟度データ2
97は、運転者の運転操作や応答によってエージェント
が学習した結果を格納するデータである。従って、学習
項目データ292、応答データ293、及び習熟度デー
タ297は、各運転者毎にそのデータが格納・更新(学
習)されるようになっている。画像データ294に格納
される容姿としては、人間(男性、女性)的な容姿であ
る必要はなく、例えば、ひよこや犬、猫、カエル、ネズ
ミ等の動物自体の容姿や人間的に図案化(イラスト化)
した動物の容姿であってもよく、更にロボット的な容姿
や、特定のキャラクタの容姿等であってもよい。またエ
ージェントの年齢としても一定である必要がなく、エー
ジェントの学習機能として、最初は子供の容姿とし、時
間の経過と共に成長していき容姿が変化していく(大人
の容姿に変化し、更に老人の容姿に変化していく)よう
にしてもよい。画像データ294には、これらの各種メ
インのエージェント及びヘルプエージェントの容姿の画
像が格納されており、運転者の好みによって入力装置2
2等からメインのエージェント及びヘルプエージェント
の容姿を個別に選択することとができるようになってい
る。選択されたメインのエージェント及びヘルプエージ
ェントの容姿は、運転者に対応して記憶され、起動時に
読み出されるようになっている。また、メインのエージ
ェント及びヘルプエージェントの容姿は、入力装置22
等から適宜変更可能となっている。
The agent data storage device 29 is used to display the agent program 290, the program selection table 291, the learning item data 292, the response data 293, and the appearances and actions of the agents and help agents illustrated in FIGS. Image data 2
94, a help agent program 295, a help agent program correspondence table 296, proficiency level data 297, and other data are stored. Learning item data 292, response data 293, and proficiency level data 2
Reference numeral 97 denotes data for storing a result learned by the agent based on a driver's driving operation or response. Accordingly, the learning item data 292, response data 293, and proficiency level data 297 are stored and updated (learned) for each driver. The appearance stored in the image data 294 does not need to be a human (male, female) appearance. For example, the appearance of an animal itself such as a chick, a dog, a cat, a frog, a mouse, or a human figure ( Illustration)
The appearance of an animal may be used, or the appearance of a robot or the appearance of a specific character may be used. Also, the age of the agent does not need to be constant, and as a learning function of the agent, the appearance of the child is initially changed, and the appearance changes as time elapses. May be changed). The image data 294 stores images of the appearances of these various main agents and help agents, and the input device 2 according to the driver's preference.
The appearances of the main agent and the help agent can be individually selected from the second class. The appearances of the selected main agent and help agent are stored corresponding to the driver, and are read out at the time of activation. The appearance of the main agent and the help agent is indicated by the input device 22.
It can be changed appropriately from the above.

【0021】エージェントプログラム290には、メイ
ンのエージェントの機能を実現するためのエージェント
処理プログラムや、エージェントと運転者とがコミュニ
ケーションする場合の細かな行動を表示装置27に画像
表示すると共にその行動に対応した会話を音声出力装置
25から出力するためのコミュニケーションプログラム
がプログラム番号順に格納されている。このエージェン
トプログラム290には、各プログラム番号の音声に対
して複数種類の音声データが格納されており、運転者は
前記メインのエージェントの容姿の選択と併せて音声を
入力装置22等から選択することができるようになって
いる。メインのエージェントの音声としては、男性の音
声、女性の音声、子供の音声、機械的な音声、動物的な
音声、特定の声優や俳優の音声、特定のキャラクタの音
声等があり、これらの中から適宜運転者が選択する。な
お、この音声と前記容姿の選択は、適時変更することが
可能である。
In the agent program 290, an agent processing program for realizing the function of the main agent, and detailed actions when the agent and the driver communicate with each other are displayed on the display device 27 and corresponding to the actions. A communication program for outputting the conversation from the audio output device 25 is stored in the order of the program number. The agent program 290 stores a plurality of types of voice data for the voice of each program number, and the driver selects the voice from the input device 22 or the like together with the appearance of the main agent. Is available. The voices of the main agent include male voices, female voices, child voices, mechanical voices, animal voices, voices of specific voice actors and actors, voices of specific characters, etc. The driver appropriately selects from the above. The selection of the voice and the appearance can be changed as needed.

【0022】プログラム選択テーブル291は、エージ
ェントプログラム290に格納されているコミュニケー
ションプログラムを選択するためのテーブルである。図
2はプログラム選択テーブル291を表したものであ
り、図3はプログラム選択テーブル291で選択される
各プログラム番号に対応した、エージェントの行為(行
動と発声)内容を表したものである。この図2、図3で
示されているプログラム番号は、エージェントプログラ
ム290に格納されている各コミュニケーションプログ
ラムの番号と一致している。
The program selection table 291 is a table for selecting a communication program stored in the agent program 290. FIG. 2 shows the program selection table 291, and FIG. 3 shows the action (action and utterance) of the agent corresponding to each program number selected in the program selection table 291. The program numbers shown in FIGS. 2 and 3 correspond to the numbers of the respective communication programs stored in the agent program 290.

【0023】図4は、図2、図3のプログラム番号00
001〜00002により表示装置27に表示されるメ
インのエージェントの「かしこまってお辞儀」行動につ
いての数画面を表したものである。この図4に示すよう
に、メインのエージェントEは、口元を引き締めると共
に手を膝に当てながら、お辞儀をすることでかしこまっ
たお辞儀であることが表現されている。この行動と共に
メインのエージェントEが話す言葉(発声)は、車両状
況や学習状況等によって変えられる。
FIG. 4 shows the program number 00 of FIGS.
It shows several screens of the main agent displayed on the display device 27 by 001 to 00002 regarding the “smart and bow” action. As shown in FIG. 4, it is expressed that the main agent E bows while tightening his mouth and putting his hand on his knee while bowing. Along with this action, the words (utterances) spoken by the main agent E can be changed depending on the vehicle situation, learning situation, and the like.

【0024】エンジンの冷却水温度が低い場合には、エ
ンジンの調子に合わせて行動「眠そうに…」が選択され
る。眠そうな表現として、瞼が下がった表情にしたり、
あくびや伸びをした後に所定の行動(お辞儀等)をした
り、最初に目をこすったり、動きや発声を通常よりもゆ
っくりさせたりすることで表すことができる。これらの
眠そうな表現は、常に同一にするのではなく、行動回数
等を学習することで適宜表現を変更する。例えば、3回
に1回は目をこすり(A行動)、10回に1回はあくび
をするようにし(B行動)、それ以外では瞼を下がった
表情(C行動)にする。これらの変化は、行動Bや行動
Cの付加プログラムを行動Aの基本プログラムに組み合
わせることで実現される。そして、どの行動を組み合わ
せるかについては、基本となる行動Aのプログラム実行
回数を学習項目として計数しておき、回数に応じて付加
プログラムを組み合わせるようにする。また、行動「元
気よく」を表現する場合には、音声の抑揚を大きくした
り、メインのエージェントEを走りながら画面に登場さ
せたりすることで表現する。
When the temperature of the cooling water of the engine is low, the action "sleepy ..." is selected according to the condition of the engine. As a sleepy expression, a facial expression with eyelids lowered,
After yawning or stretching, it can be represented by performing a predetermined action (bowing or the like), rubbing the eyes first, or making the movement or utterance slower than usual. These sleepy expressions are not always the same, but the expressions are appropriately changed by learning the number of actions and the like. For example, the eyes are rubbed once every three times (A action), yawn once every ten times (B action), and the facial expression with the eyelid lowered (C action) otherwise. These changes are realized by combining the additional program of the action B or the action C with the basic program of the action A. As for which action is to be combined, the number of program executions of the basic action A is counted as a learning item, and an additional program is combined according to the number of times. When expressing the action “energically”, the expression is expressed by increasing the intonation of the voice or by causing the main agent E to appear on the screen while running.

【0025】図2に表示された各項目は、各プログラム
番号を選択するための選択条件を表したもので、状態セ
ンサ40により検出される車両や運転者の各種状況から
決定される項目(時間、起動場所、冷却水温等)と、学
習項目データ292や応答データ293に格納されてい
る学習内容から決定される項目(今日のIG ON回
数、前回終了時からの経過時間、通算起動回数等)があ
る。プログラム選択テーブル291中で、これら全項目
を満足するプログラムは必ず一義的に決定するようにな
っている。なお、テーブル中で「○」印は、そのプログ
ラム番号が選択されるために満たす必要がある項目を示
し、「−」印はそのプログラムの選択には考慮されない
項目を示している。
Each item displayed in FIG. 2 represents a selection condition for selecting each program number, and is an item (time) determined from various conditions of the vehicle and the driver detected by the state sensor 40. , Start location, cooling water temperature, etc.) and items determined from the learning contents stored in the learning item data 292 and response data 293 (today's IG ON count, elapsed time since last end, total start count, etc.) There is. In the program selection table 291, a program that satisfies all these items is always uniquely determined. In the table, “○” indicates items that must be satisfied in order for the program number to be selected, and “−” indicates items that are not considered in the selection of the program.

【0026】図2、図3では、イグニッションをONに
した場合のコミュニケーション(挨拶)に関連する行為
と選択条件について記載しているが、その他各種行為
(行動と発声)を規定するプログラムを選択するための
プログラム番号と選択条件も種々規定されている。例え
ば、急ブレーキが踏まれたことを条件として、メインの
エージェントが「しりもち」をついたり、「たたら」を
踏んだりする行動とったり、驚き声をだすようなプログ
ラムも規定されている。メインのエージェントによる各
行動の選択は急ブレーキに対する学習によって変化する
ようにし、例えば、最初の急ブレーキから3回目までは
「しりもち」をつき、4回目から10回目までは「たた
ら」を踏み、10回目以降は「片足を一歩前にだすだけ
で踏ん張る」行動を取るようにし、メインのエージェン
トが急ブレーキに対して段階的に慣れるようにする。そ
して、最後の急ブレーキから1週間の間隔があいた場合
には、1段階後退するようにする。
FIGS. 2 and 3 show the actions and selection conditions related to communication (greeting) when the ignition is turned on, but select a program that defines other various actions (actions and utterances). Various program numbers and selection conditions are also defined. For example, a program is provided in which the main agent takes on the action of “swiping” or stepping on “tatara” on condition that a sudden brake is applied, or makes a surprise voice. The selection of each action by the main agent is changed by learning for sudden braking. For example, from the first sudden braking, "SHIRIMOTI" is used for the third time, and "Tatara" is pressed from the fourth to the tenth time. After the 10th time, take the action of "stepping on one foot just one step forward" and let the main agent gradually adjust to the sudden braking. Then, if there is an interval of one week from the last sudden braking, the vehicle is moved backward by one step.

【0027】図1における、学習項目データ292、応
答データ293は共にエージェントの学習により格納、
更新されるデータであり、その内容がそれぞれ図5、図
6に概念的に示されている。学習項目データ292に
は、図5に示すように、プログラム選択テーブル291
(図2)の選択条件を決定する通算起動回数、前回終了
日時、今日のイグニッションON回数、前5回の給油時
残量等が格納され、選択条件により選択されたプログラ
ムを起動するか否か(お休みするか否か)を決定するた
めのお休み回数/日時、デフォルト値、その他のデータ
が格納される。
In FIG. 1, both the learning item data 292 and the response data 293 are stored by learning of the agent.
The data to be updated, the contents of which are conceptually shown in FIGS. 5 and 6, respectively. The learning item data 292 includes a program selection table 291 as shown in FIG.
(FIG. 2) The total number of startups for determining the selection conditions, the previous end date and time, the number of ignitions ON today, the last five refueling remaining times, and the like are stored, and whether or not to start the program selected according to the selection conditions. The number of rests / date and time, a default value, and other data for determining whether to take a rest or not are stored.

【0028】通算起動回数には、イグニッションを起動
した通算回数が格納され、イグニッションがONされる
毎にカウントアップされる。前回終了日時には、イグニ
ッションをOFFにする毎にその日時が格納される。今
日のイグニッションON回数には、その日におけるイグ
ニッションONの回数と、1日の終了時間が格納され
る。イグニッションがONされる毎にカウントアップさ
れるが、1日が終了するとデータが”0”に初期化され
る。1日の終了時間はデフォルト値として24:00が
格納されている。この時間はユーザ(運転者)の生活パ
ターンによって変更することが可能である。時間が変更
された場合には、変更後の時間が格納される。
The total number of activations stores the total number of times the ignition has been activated, and is counted up each time the ignition is turned on. The last end date and time is stored each time the ignition is turned off. The number of ignition ONs today stores the number of ignition ONs on that day and the end time of the day. The count is incremented every time the ignition is turned on. When one day is over, the data is initialized to "0". As the end time of one day, 24:00 is stored as a default value. This time can be changed according to the life pattern of the user (driver). When the time is changed, the time after the change is stored.

【0029】前5回の給油残量には、燃料(ガソリン)
を給油する直前に検出された燃料の残量が格納され、新
たに給油される毎に各データが左側にシフトされ(最も
古い最左のデータが削除される)今回給油直前の残量が
一番右側に格納される。このデータは、後述する燃料検
出センサ415の検出値G1が、全5回分の給油残量の
平均値G2以下(G1≦G2)になった場合に、エージ
ェントEが表示装置27に現れて給油を促す行動が表示
装置27に表示され、「おなかが減ったなあ!ガソリン
がほしいな!」等の音声が音声出力装置25から出力さ
れる。
Fuel (gasoline)
The remaining fuel amount detected immediately before refueling is stored. Each time fuel is newly refueled, each data is shifted to the left (the oldest leftmost data is deleted). Stored on the right. This data indicates that when the detection value G1 of the fuel detection sensor 415, which will be described later, becomes equal to or less than the average value G2 (G1 ≦ G2) of the refueling remaining amount for all five times, the agent E appears on the display device 27 and refuels. The prompting action is displayed on the display device 27, and a voice such as “I am hungry! I want gasoline!” Is output from the voice output device 25.

【0030】お休み回数/日時には、該当するコミュニ
ケーションプログラムが選択されたとしても実行せずに
お休みした回数等が各プログラム番号毎に格納される。
このお休み回数/日時は、例えば後述するエアコンの停
止を提案するエージェントの行為(プログラム番号00
123)のように、学習項目としてお休み項目が設定さ
れているエージェント行為について格納される。エージ
ェントの提案や会話に対する運転者の応答が、拒否(拒
絶)であった場合や無視(又は無応答)であった場合、
コミュニケーションプログラムに応じて選択的に「お休
み」が設定される。
In the number of rests / date and time, the number of rests without executing even if the corresponding communication program is selected is stored for each program number.
The number of times of sleep / date and time is, for example, the action of an agent (program number 00
As in the case of 123), an agent action in which a sleep item is set as a learning item is stored. If the driver's response to the agent's proposal or conversation is rejected (rejected) or ignored (or no response)
“Closed” is selectively set according to the communication program.

【0031】デフォルト値には、時間、回数、温度、車
速、日時等の各項目に対する初期設定値が格納されてお
り、前記した1日の終了時間のように学習項目の中で変
更された値を初期値に戻す場合に使用される。学習項目
データ292に格納されるその他のデータとしては、例
えば、運転者やその関係者の誕生日(これはユーザ入力
項目である)、祭日とその言われ、クリスマスイブ(1
2月24日)、バレンタインデー(2月14日)、ホワ
イトデー(3月14日)等のイベント日などが格納され
る。各イベント日に応じた特別メニューのコミュニケー
ションプログラムも用意されており、例えば、クリスマ
スイブにはサンタクロースに変装したエージェントが現
れる。
The default value stores an initial set value for each item such as time, number of times, temperature, vehicle speed, date and time, and the value changed in the learning item like the end time of the day described above. Used to reset to the initial value. Other data stored in the learning item data 292 include, for example, the birthday of the driver or his / her related person (this is a user input item), a holiday, and Christmas Eve (1).
Event dates such as February 24), Valentine's Day (February 14), and White Day (March 14) are stored. There is also a special menu communication program for each event day. For example, an agent disguised as Santa Claus appears on Christmas Eve.

【0032】図6の応答データ293には、エージェン
トの行為に対するユーザの応答の履歴が、ユーザ応答を
学習項目とする各コミュニケーションプログラム番号毎
に格納される。ユーザ応答データ293は、図6(A)
のコミュニケーションプログラム番号00123、00
125のように最新の応答日時と応答内容が所定回分
(プログラム番号00123は2回分)格納されるもの
と、プログラム番号00124のように最新の応答内容
のみが1回分格納される(従って応答がある毎に更新さ
れる。)ものと、最新の応答内容のみが所定回分格納さ
れるものと、最新の日時と応答内容が一回分格納される
ものと、最新の日時だけが1回分または所定回分格納さ
れるもの等がある。図6(A)中に表示された記号A、
B、Cは応答内容を表すもので、同図(B)に示すよう
に、記号Aが無視された場合、記号Bが拒絶された場
合、記号Cが受容された場合を表す。運転者の応答内容
については、マイク26から入力される運転者の音声に
対する音声認識の結果や、入力装置による入力結果から
判断される。なお、本実施形態では運転者の応答を無
視、拒絶、受容の3パターンに分類しているが、「強く
拒絶」、「怒られた」、「喜ばれた」を新たに加えるよ
うにしてもよい。この場合、新たに加えた応答により、
学習項目データ292(例えば、お休み回数等)や応答
データ293を追加変更する。
The response data 293 of FIG. 6 stores the history of the user's response to the agent's action for each communication program number whose user response is a learning item. The user response data 293 is as shown in FIG.
Communication program number 00123,00
125, the latest response date and time and response content are stored for a predetermined number of times (program number 00123 is twice), and only the latest response content is stored for one time, such as program number 00124 (accordingly, there is a response). Is updated every time.), Only the latest response content is stored for a predetermined number of times, the latest date and time and response content are stored once, and only the latest date and time is stored once or for a predetermined number of times. Some are done. The symbol A displayed in FIG.
B and C represent the contents of the response, as shown in FIG. 4B, when the symbol A is ignored, when the symbol B is rejected, and when the symbol C is accepted. The content of the driver's response is determined from the result of voice recognition for the driver's voice input from the microphone 26 and the input result from the input device. In the present embodiment, the response of the driver is classified into three patterns of ignoring, rejecting, and accepting. However, “strongly rejecting”, “angry”, and “pleased” may be newly added. Good. In this case, the newly added response
The learning item data 292 (for example, the number of rests) and the response data 293 are additionally changed.

【0033】ヘルプエージェントプログラム295は、
メインのエージェントのコミュニケーションプログラム
実行時に、運転者にエージェントへの応答方法や応答に
より予定される結果の教示等の、エージェント行為に関
する解説を行うヘルプエージェント機能を実現するため
のヘルプエージェント処理プログラム、ヘルプエージェ
ントが運転者に対して解説を行う場合の細かな行動を表
示装置27に画像表示するとともにその行動に対応した
会話を音声出力装置25から出力するためのヘルプコミ
ュニケーションプログラムがプログラム番号順に格納さ
れている。
The help agent program 295 is
Help agent processing program and help agent for implementing a help agent function that provides explanations about agent actions, such as teaching the driver how to respond to the agent and the results expected from the response when the main agent communication program is executed A help communication program for displaying detailed actions on the display device 27 and outputting a conversation corresponding to the actions from the voice output device 25 in the case of giving a comment to the driver is stored in the order of the program number. .

【0034】このヘルプエージェントプログラム295
には、各プログラム番号の音声に対して複数種類の音声
データが格納されており、運転者により入力装置22等
から、メインのエージェントの音声と容易に聞き分けら
れる複数の音声のうちから選択されるようになってい
る。例えば、メインのエージェントの音声が女性の音声
の場合には、ヘルプエージェントの音声は男性の音声
等、メインのエージェントの音声とヘルプエージェント
の音声が容易に聞き分けられるものが候補として挙げら
れ、このうちから選択される。このヘルプエージェント
の音声と前記容姿は、適宜変更可能となっている。ま
た、前記メインのエージェントの容姿及び音声、ヘルプ
エージェントの容姿及び音声は、特に運転者からの選択
が無い場合には、メインのエージェントとヘルプエージ
ェントの間で互いに良好に識別可能なそれぞれの容姿及
び音声が自動的に選択され設定されるようになってい
る。
This help agent program 295
Stores a plurality of types of voice data for the voices of the respective program numbers, and selects from the input device 22 or the like from among a plurality of voices that can be easily distinguished from the voice of the main agent by the driver. It has become. For example, if the voice of the main agent is a female voice, the voice of the help agent may be a male voice or the like, in which the voice of the main agent and the voice of the help agent can be easily distinguished from each other. Is selected from The voice of the help agent and the appearance can be changed as appropriate. In addition, the appearance and voice of the main agent and the appearance and voice of the help agent are particularly distinguishable from each other between the main agent and the help agent, unless otherwise selected by the driver. Audio is automatically selected and set.

【0035】ヘルプエージェントプログラム対応テーブ
ル296は、エージェントプログラム290に格納され
ているコミュニケーションプログラムのうちの応答プロ
グラム(運転者等からの応答が予定されるプログラム)
と、この応答プログラムについて実行されるヘルプエー
ジェントプログラムの対応、及び、該ヘルプエージェン
トプログラムが実行されるための習熟度閾値を示すテー
ブルである。図7はヘルプエージェントプログラム対応
テーブル296を表したものであり、図8はヘルプエー
ジェントプログラム対応テーブル296で選択される各
プログラム番号に対応した、ヘルプエージェントの行為
(行動と発声)内容を表したものである。この図7、図
8で示されているプログラム番号は、ヘルプエージェン
トプログラム295に格納されている各コミュニケーシ
ョンプログラムの番号と一致している。
The help agent program correspondence table 296 is a response program (a program to which a response from a driver or the like is scheduled) among communication programs stored in the agent program 290.
5 is a table showing correspondence between help agent programs to be executed for the response program, and proficiency thresholds for executing the help agent program. FIG. 7 shows a help agent program correspondence table 296, and FIG. 8 shows help agent actions (actions and utterances) corresponding to each program number selected in the help agent program correspondence table 296. It is. The program numbers shown in FIGS. 7 and 8 match the numbers of the respective communication programs stored in the help agent program 295.

【0036】例えば、プログラム番号00123のエー
ジェントプログラム(エアコンの停止を提案するプログ
ラム)が起動される場合、このエージェントプログラム
に対する運転者の習熟度が50以下だと、プログラム番
号50010のヘルプエージェントプログラムが起動さ
れ、表示装置27にエージェントを指さしたヘルプエー
ジェントが表示され、「リサがエアコンを停めて前の窓
を半分開けてくれますよ。」との音声が音声出力装置2
5から出力される。また同じプログラム番号00123
のエージェントプログラムが起動されても、運転者の習
熟度が50よりも大きい場合には、ヘルプエージェント
は出現しない。本実施形態においては、エージェントの
コミュニケーションプログラムのうちで、経路案内シス
テムの目的地設定プログラム等、応答を求める応答コミ
ュニケーションプログラムについて、それぞれヘルプエ
ージェントによるコミュニケーションプログラムが対応
して決められている。
For example, when an agent program of program number 00123 (a program that proposes to stop the air conditioner) is started, if the driver's proficiency with this agent program is 50 or less, a help agent program of program number 50010 is started. Then, a help agent pointing to the agent is displayed on the display device 27, and a voice saying, "Lisa stops the air conditioner and opens the front window halfway."
5 is output. Also the same program number 00123
Even if the agent program is started, if the driver's proficiency level is higher than 50, no help agent appears. In the present embodiment, among the communication programs of the agents, the communication programs by the help agent are determined correspondingly to the response communication programs for requesting the response such as the destination setting program of the route guidance system.

【0037】習熟度データ297には、各エージェント
プログラムに対するヘルプエージェントプログラムを選
択・起動させる場合に参照される習熟度を求めるための
データと、これらのデータに基づいて求められた習熟度
が格納されている。この習熟度データ297は、エージ
ェントプログラムのうちの応答プログラムについて、運
転者毎に、プログラム番号順に格納されており、学習に
より格納、更新される。
The proficiency level data 297 stores data for determining a proficiency level that is referred to when selecting and starting a help agent program for each agent program, and a proficiency level determined based on these data. ing. The proficiency level data 297 is stored for each driver in the order of program number for the response program among the agent programs, and is stored and updated by learning.

【0038】図9は、習熟度データの内容を概念的に示
す図である。この図9に示すように、習熟度データ29
7には、各エージェントプログラムの起動フラグ、前5
回の応答時間、応答平均時間、応答最短時間、応答取り
消し回数、及びこれらの各値から求められる習熟度が、
エージェントプログラムのプログラム番号毎に格納され
る。起動フラグは、各エージェントプログラムが起動さ
れたときにフラグ1をたて、習熟度を算出し習熟度デー
タとして学習されるとフラグ0に設定される。前5回の
応答時間は、起動したエージェントプログラムに対する
前5回それぞれについての運転者の応答までの時間であ
る。また、応答平均時間は、前5回の応答時間の平均値
であり、応答最短時間は、前5回の応答時間のうちの最
小値である。応答取り消し回数は、プログラム起動中の
応答の取り消し回数である。
FIG. 9 is a diagram conceptually showing the contents of the proficiency level data. As shown in FIG.
7 is a start flag of each agent program;
Response time, average response time, minimum response time, number of response cancellations, and the proficiency determined from these values are
Stored for each program number of the agent program. The activation flag is set to a flag 1 when each agent program is activated, and is set to a flag 0 when the proficiency is calculated and learned as proficiency data. The response times of the last five times are times until the driver responds to the activated agent program for each of the five previous times. The average response time is the average value of the previous five response times, and the minimum response time is the minimum value of the five previous response times. The number of response cancellations is the number of times a response is canceled while the program is running.

【0039】習熟度は、それぞれ通算起動回数0の時
(初期値)は、例えば30となっており、所定の式によ
り、エージェントプログラムが起動された場合、応答平
均時間が基準時間を下回った場合、操作最短時間が基準
時間を下回った場合には各項目毎に規定されている所定
値分加算されて高くなり、応答平均時間が基準時間より
も大きい場合、操作最短時間が基準時間よりも大きい場
合、及び取り消し操作のあった場合には各項目毎に規定
されている所定値分減算されて低くなるよう算出され
る。
The proficiency level is, for example, 30 when the total number of activations is 0 (initial value), and when the agent program is activated by a predetermined formula, when the average response time falls below the reference time. When the shortest operation time is shorter than the reference time, the value is increased by adding a predetermined value specified for each item, and when the response average time is longer than the reference time, the shortest operation time is longer than the reference time. In this case, and in the case where a cancel operation is performed, the value is calculated to be lower by subtracting a predetermined value defined for each item.

【0040】図10は、ナビゲーションデータ記憶装置
30(図1)に格納されるデータファイルの内容を表し
たものである。図10に示すように、ナビゲーションデ
ータ記憶装置30には経路案内等で使用される各種デー
タファイルとして、通信地域データファイル301、描
画地図データファイル302、交差点データファイル3
03、ノードデータファイル304、道路データファイ
ル305、探索データファイル306、写真データファ
イル307が格納されるようになっている。このナビゲ
ーションデータ記憶装置30は、例えば、フロッピーデ
ィスク、ハードディスク、CD−ROM、光ディスク、
磁気テープ、ICカード、光カード等の各種記録媒体
と、その駆動装置が使用される。なお、ナビゲーション
データ記憶装置30は、複数種類の異なる記録媒体と駆
動装置で構成するようにしてもよい。例えば、検索デー
タファイル46を読み書き可能な記録媒体(例えば、フ
ラッシュメモリ等)で、その他のファイルをCD−RO
Mで構成し、駆動装置としてそれらの駆動装置を用いる
ようにする。
FIG. 10 shows the contents of the data file stored in the navigation data storage device 30 (FIG. 1). As shown in FIG. 10, various data files used for route guidance and the like are stored in the navigation data storage device 30 as a communication area data file 301, a drawn map data file 302, an intersection data file 3 and the like.
03, a node data file 304, a road data file 305, a search data file 306, and a photograph data file 307. The navigation data storage device 30 includes, for example, a floppy disk, a hard disk, a CD-ROM, an optical disk,
Various recording media, such as a magnetic tape, an IC card, and an optical card, and their driving devices are used. Note that the navigation data storage device 30 may be configured by a plurality of different recording media and drive devices. For example, a storage medium (for example, a flash memory or the like) capable of reading and writing the search data file 46, and other files are stored in a CD-RO
M, and these drive devices are used as drive devices.

【0041】通信地域データファイル301には、通信
制御装置24に接続され又は無接続で車内において使用
される携帯電話が、車内から通信できる地域を表示装置
5に表示したり、その通信できる地域を経路探索の際に
使用するための通信地域データが、携帯電話のタイプ別
に格納されている。この携帯電話のタイプ別の各通信地
域データには、検索しやすいように番号が付されて管理
され、その通信可能な地域は、閉曲線で囲まれる内側に
より表現できるので、その閉曲線を短い線分に分割して
その屈曲点の位置データによって特定する。なお、通信
地域データは、通信可能地を大小各種の四角形エリアに
分割し、対角関係にある2点の座標データによりデータ
化するようにしてもよい。通信地域データファイル30
1に格納される内容は、携帯電話の使用可能な地域の拡
大や縮小に伴って、更新できるのが望ましく、このため
に、携帯電話と通信制御装置24を使用することによ
り、情報提供局との間で通信を行なって、通信地域デー
タファイル301の内容を最新のデータと更新できるよ
うに構成されている。なお、通信地域データファイル3
01をフロッピーディスク、ICカード等で構成し、最
新のデータと書換えを行うようにしても良い。描画地図
データファイル302には、表示装置27に描画される
描画地図データが格納されている。この描画地図データ
は、階層化された地図、例えば最上位層から日本、関東
地方、東京、神田といった階層ごとの地図データが格納
されている。各階層の地図データは、それぞれ地図コー
ドが付されている。
In the communication area data file 301, a mobile phone connected to or not connected to the communication control device 24 and used in the vehicle displays an area where communication is possible from the inside of the vehicle on the display device 5, and displays an area where the communication is possible. Communication area data for use in route search is stored for each type of mobile phone. Each communication area data for each type of mobile phone is numbered and managed so that it can be easily searched, and the area where communication is possible can be represented by the inside surrounded by a closed curve. And is specified by the position data of the inflection point. Note that the communication area data may be obtained by dividing a communicable area into various large and small square areas and converting the data into two pieces of diagonal coordinate data. Communication area data file 30
It is desirable that the contents stored in 1 can be updated in accordance with the expansion or contraction of the area where the mobile phone can be used. For this purpose, by using the mobile phone and the communication control device 24, it is possible to update the information providing station. Are configured to communicate with each other to update the contents of the communication area data file 301 with the latest data. The communication area data file 3
01 may be constituted by a floppy disk, an IC card, or the like, and may be rewritten with the latest data. The drawing map data file 302 stores drawing map data to be drawn on the display device 27. The rendered map data stores hierarchical maps, for example, map data for each layer, such as Japan, the Kanto region, Tokyo, and Kanda, from the highest layer. Map data of each layer is provided with a map code.

【0042】交差点データファイル303には、各交差
点を特定する交差点番号、交差点名、交差点の座標(緯
度と経度)、その交差点が始点や終点になっている道路
の番号、および信号の有無などが交差点データとして格
納されている。ノードデータファイル304には、各道
路における各地点の座標を指定する緯度、経度などの情
報からなるノードデータが格納されている。すなわち、
このノードデータは、道路上の一地点に関するデータで
あり、ノード間を接続するものをアークと呼ぶと、複数
のノード列のそれぞれの間をアークで接続することによ
って表現される。道路データファイル305には、各道
路を特定する道路番号、始点や終点となる交差点番号、
同じ始点や終点を持つ道路の番号、道路の太さ、進入禁
止等の禁止情報、後述の写真データの写真番号などが格
納されている。交差点データファイル303、ノードデ
ータファイル304、道路データファイル305にそれ
ぞれ格納された交差点データ、ノードデータ、道路デー
タからなる道路網データは、経路探索に使用される。
The intersection data file 303 includes an intersection number specifying each intersection, an intersection name, coordinates of the intersection (latitude and longitude), a number of a road at which the intersection is a start point and an end point, and the presence or absence of a signal. It is stored as intersection data. The node data file 304 stores node data including information such as latitude and longitude specifying coordinates of each point on each road. That is,
The node data is data relating to one point on a road. When a node connecting nodes is called an arc, the node data is expressed by connecting each of a plurality of node arrays with an arc. The road data file 305 includes a road number specifying each road, an intersection number serving as a start point and an end point,
The table stores numbers of roads having the same start point and end point, road thickness, prohibition information such as prohibition of entry, and a photograph number of photograph data to be described later. The road network data including the intersection data, the node data, and the road data stored in the intersection data file 303, the node data file 304, and the road data file 305, respectively, is used for route search.

【0043】探索データファイル306には、経路探索
により生成された経路を構成する交差点列データ、ノー
ド列データなどが格納されている。交差点列データは、
交差点名、交差点番号、その交差点の特徴的風景を写し
た写真番号、曲がり角、距離等の情報からなる。また、
ノード列データは、そのノードの位置を表す東経、北緯
などの情報からなる。写真データファイル307には、
各交差点や直進中に見える特徴的な風景等を撮影した写
真が、その写真番号と対応してディジタル、アナログ、
またはネガフィルムの形式で格納されている。
The search data file 306 stores intersection row data, node row data, and the like that constitute a route generated by the route search. The intersection column data is
The information includes information such as an intersection name, an intersection number, a photograph number of a characteristic scene of the intersection, a corner, a distance, and the like. Also,
The node string data includes information indicating the position of the node, such as east longitude and north latitude. The photo data file 307 contains
Photos taken at each intersection and characteristic scenery seen while traveling straight ahead are digital, analog,
Or stored in negative film format.

【0044】図11は、状況センサ部40を構成する各
種センサを表したものである。図11に示すように状況
センサ部40は、イグニッションセンサ401、車速セ
ンサ402、アクセルセンサ403、ブレーキセンサ4
04、サイドブレーキ検出センサ405、シフト位置検
出センサ406、ウィンカー検出センサ407、ワイパ
ー検出センサ408、ライト検出センサ409、シート
ベルト検出センサ410、ドア開閉検出センサ411、
同乗者検出センサ412、室内温度検出センサ413、
室外温度検出センサ414、燃料検出センサ415、水
温検出センサ416、ABS検出センサ417、エアコ
ンセンサ418、体重センサ419、前車間距離センサ
420、後車間距離センサ421、体温センサ422、
心拍数センサ423、発汗センサ424、脳波センサ4
25、アイトレーサー426、赤外線センサ427、そ
の他のセンサ(タイヤの空気圧低下検出センサ、ベルト
類のゆるみ検出センサ、窓の開閉状態センサ、クラクシ
ョンセンサ、室内湿度センサ、室外湿度センサ、油温検
出センサ、油圧検出センサ等)428等の車両状況や運
転者状況、車内状況等を検出する各種センサを備えてい
る。これら各種センサは、それぞれのセンシング目的に
応じた所定の位置に配置されている。なお、これらの各
センサは独立したセンサとして存在しない場合には、他
のセンサ検出信号から間接的にセンシングする場合を含
む。例えば、タイヤの空気圧低下検出センサは、車輪速
センサの信号の変動により間接的に空気圧の低下を検出
する。
FIG. 11 shows various sensors constituting the situation sensor unit 40. As shown in FIG. 11, the situation sensor unit 40 includes an ignition sensor 401, a vehicle speed sensor 402, an accelerator sensor 403, and a brake sensor 4.
04, a side brake detection sensor 405, a shift position detection sensor 406, a turn signal detection sensor 407, a wiper detection sensor 408, a light detection sensor 409, a seat belt detection sensor 410, a door open / close detection sensor 411,
A passenger detection sensor 412, an indoor temperature detection sensor 413,
Outdoor temperature detection sensor 414, fuel detection sensor 415, water temperature detection sensor 416, ABS detection sensor 417, air conditioner sensor 418, weight sensor 419, front inter-vehicle distance sensor 420, rear inter-vehicle distance sensor 421, body temperature sensor 422,
Heart rate sensor 423, sweat sensor 424, brain wave sensor 4
25, eye tracer 426, infrared sensor 427, and other sensors (tire air pressure drop detection sensor, belt looseness detection sensor, window open / closed state sensor, horn sensor, indoor humidity sensor, outdoor humidity sensor, oil temperature detection sensor, Various sensors such as a hydraulic pressure detection sensor 428 and the like for detecting a vehicle condition, a driver condition, a vehicle interior condition, and the like are provided. These various sensors are arranged at predetermined positions according to the respective sensing purposes. Note that the case where these sensors do not exist as independent sensors includes the case where sensing is performed indirectly from other sensor detection signals. For example, a tire pressure drop detection sensor indirectly detects a drop in air pressure based on a change in a signal from a wheel speed sensor.

【0045】イグニッションセンサ401は、イグニッ
ションのONとOFFを検出する。車速センサ402
は、例えば、スピードメータケーブルの回転角速度又は
回転数を検出して車速を算出するもの等、従来より公知
の車速センサを特に制限なく用いることができる。アク
セルセンサ403は、アクセルペダルの踏み込み量を検
出する。ブレーキセンサ404は、ブレーキの踏み込み
量を検出したり、踏み込み力や踏む込む速度等から急ブ
レーキがかけられたか否かを検出する。サイドブレーキ
検出センサ405は、サイドブレーキがかけられている
か否かを検出する。シフト位置検出センサ406は、シ
フトレバー位置を検出する。ウィンカー検出センサ40
7は、ウィンカの点滅させている方向を検出する。ワイ
パー検出センサ408は、ワイパーの駆動状態(速度
等)を検出する。ライト検出センサ409は、ヘッドラ
ンプ、テールランプ、フォグランプ、ルームランプ等の
各ランプの点灯状態を検出する。シートベルト検出セン
サ410は、運転者、及び同乗者(補助席、後部座席)
がシートベルトを着用しているか否かを検出する。着用
していない場合には適宜(嫌われない程度に)エージェ
ントが現れ、警告、注意、コメント等(学習により程度
を変更する)を行う。
The ignition sensor 401 detects ON and OFF of the ignition. Vehicle speed sensor 402
For example, a conventionally known vehicle speed sensor such as one that detects the rotational angular velocity or the number of rotations of a speedometer cable to calculate the vehicle speed can be used without any particular limitation. The accelerator sensor 403 detects the amount of depression of the accelerator pedal. The brake sensor 404 detects the amount of depression of the brake, and detects whether or not sudden braking has been applied based on the depression force, the depression speed, and the like. The side brake detection sensor 405 detects whether the side brake is applied. The shift position detection sensor 406 detects a shift lever position. Turn signal detection sensor 40
7 detects the blinking direction of the blinker. The wiper detection sensor 408 detects a drive state (speed or the like) of the wiper. The light detection sensor 409 detects a lighting state of each lamp such as a head lamp, a tail lamp, a fog lamp, and a room lamp. The seatbelt detection sensor 410 is used for a driver and a passenger (assistant seat, rear seat).
Detects whether the user is wearing a seat belt. If not worn, an agent appears as appropriate (to the extent that it is not disliked) and gives warnings, cautions, comments, etc. (changes the level by learning).

【0046】ドア開閉検出センサ411は、ドアの開閉
状態を検出し、いわゆる半ドアの場合には、エージェン
トがその旨を知らせる。ドア開閉検出センサ411は、
運転席ドア、助手席ドア、後部運転席側ドア、後部助手
席側ドア等の、車種に応じた各ドア毎の開閉を検出でき
るようになっている。同乗者検出センサ412は、助手
席や後部座席に同乗者が乗っているか否かを検出するセ
ンサで、撮像装置28で撮像された車内の画像から検出
し、または、補助席等に配置された圧力センサや、体重
計により検出する。室内温度検出センサ413は室内の
気温を検出し、室外温度検出センサ414は車両外の気
温を検出する。燃料検出センサ415は、ガソリン、軽
油等の燃料の残量を検出する。給油時直前における過去
5回分の検出値が学習項目データ292に格納され、そ
の平均値になった場合にエージェントが給油時期である
ことを知らせる。
The door open / close detection sensor 411 detects the open / closed state of the door, and in the case of a so-called half-door, the agent notifies that fact. The door open / close detection sensor 411 is
The opening and closing of each door, such as a driver's door, a passenger's seat door, a rear driver's seat side door, and a rear passenger's seat side door, can be detected according to the vehicle type. The passenger detection sensor 412 is a sensor that detects whether or not a passenger is in the passenger seat or the rear seat. The passenger detection sensor 412 detects the passenger from an image in the vehicle captured by the imaging device 28, or is disposed in an auxiliary seat or the like. It is detected by a pressure sensor or a weight scale. The indoor temperature detection sensor 413 detects the indoor temperature, and the outdoor temperature detection sensor 414 detects the air temperature outside the vehicle. The fuel detection sensor 415 detects the remaining amount of fuel such as gasoline and light oil. The detected values for the past five times immediately before refueling are stored in the learning item data 292, and when the average value is reached, the agent informs that it is time to refuel.

【0047】水温検出センサ416は、冷却水の温度を
検出する。イグニッションON直後において、この検出
温度が低い場合には、エージェントが眠そうな行為をす
る場合が多い。逆に水温が高すぎる場合にはオーバーヒ
ートする前に、エージェントが「だるそう」な行動と共
にその旨を知らせる。ABS検出センサ417は、急ブ
レーキによるタイヤのロックを防止し操縦性と車両安定
性を確保するABSが作動したか否かを検出する。エア
コンセンサ418は、エアコンの操作状態を検出する。
例えば、エアコンのON・OFF、設定温度、風量等が
検出される。体重センサ419は、運転者の体重を検出
するセンサである。この体重から、または、体重と撮像
装置28の画像から運転者を特定し、その運転者との関
係で学習したエージェントを出現させるようにする。す
なわち、特定した運転者に対してエージェントが学習し
た、学習項目データ292と応答データ293を使用す
ることで、その運転者専用のエージェントを出現させる
ようにする。尚、運転者の特定は、IDコードの取得や
指紋、声紋等からするようにしてもよい。前車間距離セ
ンサ420は車両前方の他車両や障害物との距離を検出
し、後車間距離センサ421は後方の他車両や障害物と
の距離を検出する。
The water temperature detection sensor 416 detects the temperature of the cooling water. If the detected temperature is low immediately after the ignition is turned on, the agent often performs a sleepy action. On the other hand, if the water temperature is too high, the agent informs the user of the "sloppy" behavior along with overheating before overheating. The ABS detection sensor 417 detects whether or not the ABS that operates to prevent the tire from being locked due to the sudden braking and to ensure the maneuverability and the vehicle stability is operated. The air conditioner sensor 418 detects an operation state of the air conditioner.
For example, ON / OFF of an air conditioner, a set temperature, an air volume, and the like are detected. The weight sensor 419 is a sensor that detects the weight of the driver. The driver is identified from the weight or from the weight and the image of the imaging device 28, and an agent learned in relation to the driver is caused to appear. That is, by using the learning item data 292 and the response data 293 learned by the agent for the specified driver, an agent dedicated to the driver is made to appear. Note that the driver may be specified by acquiring an ID code, fingerprint, voiceprint, or the like. The front inter-vehicle distance sensor 420 detects the distance to another vehicle or obstacle in front of the vehicle, and the rear inter-vehicle distance sensor 421 detects the distance to another vehicle or obstacle behind.

【0048】体温センサ422、心拍数センサ423、
発汗センサ424は、それぞれ運転者の体温、心拍数、
発汗状態を検出するセンサで、例えば、ハンドル表面に
各センサを配置し運転者の手の状態から検出する。また
は、体温センサ422として、赤外線検出素子を使用し
たサーモグラフィーにより運転者の各部の温度分布を検
出するようにしても良い。脳波センサ425は、運転者
の脳波を検出するセンサで、例えばα波やβ波等を検出
して運転者の覚醒状態等を調べる。アイトレーサー42
6は、ユーザの視線の動きを検出し、通常運転中、車外
の目的物を捜している、車内目的物をさがしている、覚
醒状態等を判断する。赤外線センサ427は、ユーザの
手の動きや顔の動きを検出する。
A body temperature sensor 422, a heart rate sensor 423,
The perspiration sensor 424 provides the driver's body temperature, heart rate,
A sensor that detects the state of sweating, for example, by arranging each sensor on the handle surface and detecting from the state of the driver's hand. Alternatively, the temperature distribution of each part of the driver may be detected by thermography using an infrared detecting element as the body temperature sensor 422. The electroencephalogram sensor 425 detects a driver's electroencephalogram, and detects, for example, an α-wave or a β-wave to check the driver's arousal state. Eye tracer 42
6 detects the movement of the user's line of sight and determines during normal driving, searching for an object outside the vehicle, searching for an object in the vehicle, awake state, and the like. The infrared sensor 427 detects movement of the user's hand or face.

【0049】次に、以上のように構成された本実施形態
の動作について説明する。図12は本実施形態によるエ
ージェント処理のメインの動作を表したフローチャート
である。エージェント処理部11は、イグニッションが
ONされたことがイグニッションセンサ401で検出さ
れると、まず最初に初期設定を行う(ステップ11)。
初期設定としては、RAMのクリア、各処理用のワーク
エリアをRAMに設定、プログラム選択テーブル291
(図2)及びヘルプエージェントプログラム対応テーブ
ル(図7)のRAMへのロード、フラグの0設定、等の
処理が行われる。なお、本実施形態のエージェント処理
では、その処理の開始をイグニッションONとしたが、
例えばドア開閉検出センサ411によりいずれかのドア
の開閉が検出された場合に処理を開始するようにしても
よい。
Next, the operation of the present embodiment configured as described above will be described. FIG. 12 is a flowchart showing the main operation of the agent process according to the present embodiment. When the ignition sensor 401 detects that the ignition has been turned on, the agent processing unit 11 first performs initialization (step 11).
Initial settings include clearing the RAM, setting a work area for each process in the RAM, and selecting the program selection table 291.
Processing such as loading the RAM (FIG. 2) and the help agent program correspondence table (FIG. 7) into the RAM, setting a flag to 0, and the like are performed. In the agent processing of the present embodiment, the start of the processing is set to ignition ON,
For example, the process may be started when the door opening / closing detection sensor 411 detects any door opening / closing.

【0050】次にエージェント処理部11は、状況情報
処理部15に状況センサ部40の各センサから供給され
る検出値や、撮像装置28で撮像した画像の処理結果
や、現在位置検出装置21で検出した車両の現在位置等
のデータを取得して、RAMの所定エリアに格納し、格
納したデータから、運転者の特定や車両の状態等の、現
在状況の把握を行う(ステップ12)。例えば、水温検
出センサ416で検出された冷却水の温度がt1である
場合、エージェント処理部11は、この温度t1をRA
Mに格納すると共に、t1が所定の閾値t2以下であれ
ば、車両の現在の状態として冷却水温(図2参照)は低
い状態であると把握する。現在の状況としては、他にマ
イク26からの入力に基づいて音声認識した運転者の要
求、例えば、「○○○番に電話をしてくれ。」や「この
辺のレストランを表示してくれ」や「CDをかけてく
れ」等の要求も現在の状況として把握される。この場
合、認識した音声に含まれるワード「CD」「かけて」
等がプログラム選択テーブル291(図2)の選択条件
(横軸項目)になる。
Next, the agent processing unit 11 detects the values supplied from the sensors of the situation sensor unit 40 to the situation information processing unit 15, the processing results of the image captured by the imaging device 28, and the current position detection device 21. Data such as the detected current position of the vehicle is acquired and stored in a predetermined area of the RAM, and from the stored data, the current situation such as the identification of the driver and the state of the vehicle is grasped (step 12). For example, when the temperature of the cooling water detected by the water temperature detection sensor 416 is t1, the agent processing unit 11 converts this temperature t1 into RA
M, and if t1 is equal to or less than a predetermined threshold value t2, it is determined that the cooling water temperature (see FIG. 2) is low as the current state of the vehicle. As the current situation, there are other requests from the driver who have performed voice recognition based on the input from the microphone 26, for example, "Please call the number XX." Or "Please display the restaurants around here." And the request of "play CD" are also grasped as the current situation. In this case, the words "CD" and "Kake" included in the recognized voice
Are the selection conditions (horizontal axis items) of the program selection table 291 (FIG. 2).

【0051】さらにエージェント処理部11は、エージ
ェントデータ記憶装置29の学習項目データ292と応
答データ293をチェックすることで、エージェントが
これまでに学習してきた状態(学習データ)を把握する
(ステップ13)。
Further, the agent processing section 11 checks the learning item data 292 and the response data 293 in the agent data storage device 29 to grasp the state (learning data) that the agent has learned so far (step 13). .

【0052】エージェント処理部11は、把握した現在
の状況とチェックした学習データとから、図2に示した
プログラム選択テーブル291によって、現在の状況で
起動可能なコミュニケーションプログラム(の番号)が
あるか否かを判断し、該当プログラムが無ければ(ステ
ップ14;N)、ステップ12に戻って新たな状態を把
握する。一方、起動可能なコミュニケーションプログラ
ムがある場合(ステップ14;Y)、そのプログラム番
号を決定する。そして、決定したプログラム番号に対す
る運転者の応答履歴を応答データ293から確認し、当
該プログラム番号のコミュニケーションプログラムの起
動を、お休みすべき状態か否かを確認する(ステップ1
5)。
The agent processing unit 11 determines, based on the grasped current situation and the checked learning data, whether or not there is a communication program (number) that can be started in the current situation, based on the program selection table 291 shown in FIG. If there is no corresponding program (step 14; N), the process returns to step 12 to grasp a new state. On the other hand, if there is a communication program that can be started (step 14; Y), the program number is determined. Then, the driver's response history to the determined program number is confirmed from the response data 293, and it is confirmed whether the activation of the communication program of the program number should be rested (step 1).
5).

【0053】コミュニケーションプログラムがお休み状
態の場合(ステップ15;Y)には、ステップ44に移
行する。
When the communication program is in a rest state (step 15; Y), the process proceeds to step 44.

【0054】コミュニケーションプログラムがお休み状
態ではない場合(ステップ15;N)、エージェント処
理部11は決定したプログラム番号に対応するコミュニ
ケーションプログラムを起動し、図4に示された各エー
ジェントの行為(行動と音声)に従った画像を表示装置
27に表示し音声を音声出力装置25から出力する。更
に、エージェント処理部11は、エージェントデータ記
憶装置29の習熟度データ297をチェックし、起動さ
れたコミュニケーションプログラムに対する運転者の習
熟度を把握する(ステップ17)。また、習熟度データ
297の起動フラグをフラグ1に設定する。そして、ヘ
ルプエージェントプログラム対応テーブル296を参照
して、運転者の習熟度と、起動したコミュニケーション
プログラムのプログラム番号とから、起動するヘルプエ
ージェントプログラム(の番号)があるかどうかを判断
する(ステップ18)。当該ヘルプエージェントプログ
ラムがなければ(ステップ18;N)、そのまま、マイ
ク26からの入力に基づく音声認識結果や入力装置22
からの入力結果から、起動されたコミュニケーションプ
ログラムによるエージェントの行為に対する運転者の応
答と、エージェントの行為が出力されてから運転者の応
答を取得するまでの時間とを、取得する(ステップ4
1)。
If the communication program is not in the resting state (step 15; N), the agent processing section 11 activates the communication program corresponding to the determined program number, and performs the action (action and action) of each agent shown in FIG. The image according to the sound is displayed on the display device 27, and the sound is output from the sound output device 25. Further, the agent processing unit 11 checks the proficiency level data 297 in the agent data storage device 29, and grasps the proficiency level of the driver with respect to the started communication program (step 17). Further, the activation flag of the skill level data 297 is set to the flag 1. Then, referring to the help agent program correspondence table 296, it is determined from the driver's proficiency level and the program number of the activated communication program whether or not there is a help agent program to be activated (step 18). . If the help agent program does not exist (step 18; N), the speech recognition result based on the input from the microphone 26 or the input device 22
From the input result from the driver, the response of the driver to the agent's action by the activated communication program and the time from the output of the agent's action to the acquisition of the driver's response are obtained (step 4).
1).

【0055】ヘルプエージェントプログラムがある場合
には(ステップ18;Y)、該当するプログラム番号の
ヘルプエージェントプログラムを起動し、図8に示され
たヘルプエージェントの行為(行動と音声)に従った画
像をエージェントとともに表示装置27に表示し音声を
音声出力装置25から出力する(ステップ19)。これ
によって、エージェントプログラムに対して運転者の習
熟度が低い場合にヘルプエージェントが出現し、ヘルプ
エージェントによってエージェントの機能に対する理解
が深まり、エージェントへの応答等のコミュニケーショ
ンをスムーズにとることが可能になる。そして、マイク
26からの入力に基づく音声認識結果や入力装置22へ
の入力結果から、起動されたコミュニケーションプログ
ラムによるエージェントの行為に対する運転者の応答
と、エージェントの行為が出力されてから運転者の応答
を取得するまでの時間とを、取得する(ステップ4
1)。
If there is a help agent program (step 18; Y), the help agent program of the corresponding program number is started, and an image according to the action (action and voice) of the help agent shown in FIG. The voice is displayed on the display device 27 together with the agent and is output from the voice output device 25 (step 19). As a result, a help agent appears when the driver's proficiency with the agent program is low, the help agent deepens the understanding of the agent function, and can smoothly communicate the response to the agent and the like. . Then, based on the speech recognition result based on the input from the microphone 26 and the input result to the input device 22, the driver's response to the agent's action by the activated communication program and the driver's response after the agent's action is output And the time until it is obtained (step 4
1).

【0056】次にエージェント処理部11は、ステップ
16で起動したコミュニケーションプログラムが制御対
象プログラムか否かを判断する(ステップ42)。ここ
で制御対象プログラムか否かは各プログラム毎に規定さ
れており、例として、「ラジオの電源を入れましょうか
?」や、お昼時にお腹が鳴る音を検出した場合に「食堂
の案内をしましょうか?」といったように、エージェン
トが処理可能な行為(電源ON、飲食店案内等)の提案
をする場合のコミュニケーションプログラム等が制御対
象プログラムとして規定されている。
Next, the agent processing section 11 determines whether or not the communication program started in step 16 is a control target program (step 42). Here, whether or not to control the program is defined for each program. For example, "Let's turn on the radio?" For example, a communication program or the like when an agent proposes an action that can be processed (power ON, restaurant guidance, etc.) is defined as a control target program.

【0057】制御対象プログラムでない場合(ステップ
42;N)にはステップ23に移行し、制御対象プログ
ラムである場合(ステップ42;Y)、ステップ20で
取得した運転者の応答に応じた制御を行う(ステップ4
3)。例えば、上記ラジオの電源を入れる提案コミュニ
ケーションに対して、「入れて」「OK」「はい」等の
提案を受容する応答が認識された場合であれば、エージ
ェント処理部11は応答に応じた制御として、エージェ
ントに返事をする行為(行為と音声)をさせると共にラ
ジオの電源をONにする。
If the program is not a control target program (step 42; N), the process proceeds to step 23. If the program is a control target program (step 42; Y), control is performed according to the driver's response obtained in step 20. (Step 4
3). For example, if a response for accepting a proposal such as “put on”, “OK”, or “yes” is recognized in response to the proposal communication for turning on the radio, the agent processing unit 11 performs control according to the response. , The agent performs an act of replying (act and voice) and turns on the power of the radio.

【0058】そして、エージェント処理部11は、今回
のコミュニケーションプログラムに関するデータを蓄積
する(ステップ44)。データの蓄積としては、例え
ば、コミュニケーションプログラムの起動がお休みであ
る場合には(ステップ15;Y)、学習項目データ29
2の該当プログラム番号のお休み回数/日時欄をカウン
トアップさせる。ただし、学習項目データ292のお休
み回数/日時欄に格納されている回数をKa回とし、当
該プログラム番号に対する前回までの応答データ293
の履歴から決まるお休み回数をKb回とした場合、Ka
=Kb−1であれば、今回のお休みで規定回数休んだこ
とになる。そこで、学習項目データ292及び応答デー
タ293の当該プログラム番号欄の(該当する位置に格
納されている)データをクリアする。
Then, the agent processing section 11 accumulates data relating to the current communication program (step 44). As the accumulation of data, for example, if the activation of the communication program is absent (step 15; Y), the learning item data 29
The number of rests / date / time column of the corresponding program number of 2 is counted up. However, the number of times stored in the number of rests / date and time column of the learning item data 292 is set to Ka times, and the response data 293 up to the previous time for the program number is used.
Assuming that the number of rests determined from the history of
If = Kb-1, it means that this rest has taken a specified number of rests. Therefore, the data (stored at the corresponding position) in the program number column of the learning item data 292 and the response data 293 is cleared.

【0059】その他の場合(ステップ42;Nの場合、
ステップ43の後)のデータの蓄積としては、ステップ
12で把握した現在状況の中に学習項目があれば学習項
目データ292の値を更新し、エージェントプログラム
のプログラム番号が応答内容を履歴として格納すべきプ
ログラム番号であればステップ41で取得した応答内容
を応答データ293(図6)に格納する。この応答の履
歴も、各プログラム番号毎に規定された所定回数分のデ
ータが既に格納されている場合には、最も古いデータを
廃棄して新しいデータを格納する。更に、その他の場合
(ステップ42;Nの場合、ステップ43の後)には、
起動フラグが1となっている習熟度データ297(図
9)を書き換える。このとき、ステップ41で取得した
応答時間をもとに、前5回の応答時間は最も古いデータ
を破棄して新しいデータを格納し、この前5回の応答時
間から応答平均時間、応答最短時間を算出する。また、
応答取り消し回数は、応答取り消しが無かった場合には
0を格納する。そして、所定の式により習熟度を求め、
この習熟度を格納し、起動フラグを0に設定する。
In other cases (step 42; in the case of N,
As data accumulation after step 43), if there is a learning item in the current situation grasped in step 12, the value of the learning item data 292 is updated, and the program number of the agent program stores the response content as a history. If the program number is a power number, the contents of the response acquired in step 41 are stored in response data 293 (FIG. 6). As for the response history, if data for a predetermined number of times specified for each program number has already been stored, the oldest data is discarded and new data is stored. Further, in other cases (step 42; in the case of N, after step 43),
The skill level data 297 (FIG. 9) whose activation flag is 1 is rewritten. At this time, based on the response time obtained in step 41, the previous five response times discard the oldest data and store new data, and calculate the average response time and the shortest response time from the last five response times. Is calculated. Also,
The response cancellation count stores 0 when there is no response cancellation. Then, the proficiency is determined by a predetermined formula,
This skill level is stored, and the activation flag is set to 0.

【0060】以上のプログラム決定・コミュニケーショ
ン・学習の各処理が終了すると、エージェント処理部1
1は、ステップ11でRAMに初期設定したフラグ領域
にフラグ1が立っているか否かを確認する(ステップ4
5)。フラグが立っていない場合には(ステップ45;
N)、イグニッションセンサ401によりイグニッショ
ンOFFが検出されたか否かを判断し(ステップ4
6)、検出されていない場合(ステップ46;N)には
ステップ12に戻って新たな状態を把握する。一方、イ
グニッションOFFが検出された場合(ステップ46;
Y)、RAMのフラグ領域にフラグ1を立て(ステップ
47)た後にステップ12に戻り、後処理を行う。すな
わち、現在状況や学習データに応じたお別れの行為(行
動と音声)をエージェントにさせると共に、消し忘れの
ライト類の消灯等の制御、及び当該後処理に対する学習
(ステップ44)の後、フラグが1なので(ステップ4
5;Y)、エージェント処理を終了する。
When the above-described processing of program determination, communication, and learning is completed, the agent processing unit 1
1 checks whether the flag 1 is set in the flag area initialized in the RAM in step 11 (step 4).
5). If the flag is not set (step 45;
N), it is determined whether or not the ignition sensor 401 detects the ignition OFF (step 4).
6) If not detected (step 46; N), return to step 12 to grasp a new state. On the other hand, when ignition OFF is detected (step 46;
Y) After setting the flag 1 in the flag area of the RAM (step 47), the process returns to step 12 to perform post-processing. That is, the agent makes the farewell action (action and voice) according to the current situation and the learning data, controls the turning off of lights that are forgotten to be turned off, and learns the post-processing (step 44). Is 1 (Step 4
5; Y), the agent process ends.

【0061】次に、以上説明したエージェント処理によ
る、具体的な行為例について説明する。図13は、車両
走行中における具体的なエージェント処理の内容を概念
的に表したものである。この図13(A)に示すよう
に、エージェント処理部11は、現在状況として、エア
コンセンサ418で検出された状態が「ON」、室内温
度検出センサ413と室外温度検出センサ414で検出
された室温T1と室外温T2を取得する。また、各プロ
グラム番号の応答データ293をチェックすることで、
プログラム番号0123に対する前2回の運転者応答が
C(受容)なので、閾値T3、T4の値としてデフォル
ト値(T3=2度、T4=24度)が学習項目データ2
92から読み出される。この閾値T3とT4とから、室
温と室外温の関係、(T1−T2)≦T3が「Ye
s」、室外温T2と閾値T4との関係T2≦T4が「Y
es」、等の状況が最終的に把握される(図13
(A))。
Next, a specific example of an action by the above-described agent processing will be described. FIG. 13 conceptually shows the contents of a specific agent process while the vehicle is running. As shown in FIG. 13A, the agent processing unit 11 determines that the state detected by the air conditioner sensor 418 is “ON” and the room temperature detected by the indoor temperature detection sensor 413 and the outdoor temperature detection sensor 414 T1 and outdoor temperature T2 are acquired. Also, by checking the response data 293 of each program number,
Since the previous two driver responses to the program number 0123 are C (acceptance), the default values (T3 = 2 degrees, T4 = 24 degrees) are set as the learning item data 2 as the threshold values T3 and T4.
92. From the threshold values T3 and T4, the relationship between the room temperature and the outdoor temperature, (T1-T2) ≦ T3, is determined as “Ye”.
s ”, and the relationship T2 ≦ T4 between the outdoor temperature T2 and the threshold T4 is“ Y ”.
es "and the like are finally grasped (FIG. 13
(A)).

【0062】以上の処理から、エージェント処理部11
は、プログラム選択テーブル291からプログラム番号
00123のコミュニケーションプログラムを最終的に
選択し(ステップ14)、お休み対象で無いことを確認
(ステップ15;N)したうえで、当該番号のコミュニ
ケーションプログラムを起動する(ステップ16)。
From the above processing, the agent processing unit 11
Finally selects the communication program of the program number 00123 from the program selection table 291 (step 14), confirms that it is not a sleep target (step 15; N), and then starts the communication program of the number. (Step 16).

【0063】更に、エージェント処理部11は、エージ
ェントデータ記憶装置29の習熟度データ297をチェ
ックして起動されたコミュニケーションプログラムに対
する運転者の習熟度を取得し(ステップ17)、ヘルプ
エージェントプログラム対応テーブル296から、起動
すべきヘルプエージェントプログラムの有無を取得する
(ステップ18)。図13(A)に示すように、運転者
の習熟度は25なので、図7に示すヘルプエージェント
プログラム対応テーブル296のコミュニケーションプ
ログラム00123番の欄から、起動したコミュニケー
ションプログラムに対して起動すべきプログラム番号5
0010があることを取得し、該当するヘルプエージェ
ントプログラムを起動させる(ステップ19)。
Further, the agent processing section 11 checks the proficiency level data 297 in the agent data storage device 29 to acquire the proficiency level of the driver for the started communication program (step 17), and obtains a help agent program correspondence table 296. Then, the presence or absence of a help agent program to be started is obtained (step 18). As shown in FIG. 13A, since the driver's proficiency level is 25, the program number to be started for the started communication program is shown in the column of communication program 00123 in the help agent program correspondence table 296 shown in FIG. 5
It obtains that there is 0010, and starts the corresponding help agent program (step 19).

【0064】そして、プログラム番号00123のコミ
ュニケーションプログラム及びプログラム番号5001
0のヘルプエージェントプログラムの起動により、図1
3(B)に示すように、表示装置27にはエージェント
とヘルプエージェントの画像が複数表示(または動画が
表示)されると共に、音声出力装置25からはエージェ
ントの「外は涼しくなりましたよ。外気を入れてみませ
んか?」といった音声が出力され、続いて、ヘルプエー
ジェントの「リサが、エアコンを停めて前の窓を半分だ
け開けてくれますよ。」といった音声が出力される。
Then, the communication program of the program number 00123 and the program number 5001
0 by launching the help agent program
As shown in FIG. 3 (B), a plurality of images of the agent and the help agent are displayed (or a moving image is displayed) on the display device 27, and the voice output device 25 displays the message “The outside has cooled down. "Why don't you put in?" Is output, followed by the help agent's voice "Lisa stops the air conditioner and opens half the front window."

【0065】続いて、エージェント処理部11は、運転
者の応答を取得する(ステップ41)。そして、プログ
ラム番号00123は制御対象プログラムなので(ステ
ップ42;Y)、受容であれば応答に応じた制御として
エアコンの電源をOFFにすると共に、運転席側と助手
席側の窓を1/2だけ開ける制御を行う(ステップ4
3)。
Subsequently, the agent processing section 11 obtains the driver's response (step 41). Since the program number 00123 is the control target program (step 42; Y), if it is accepted, the power supply of the air conditioner is turned off as a control corresponding to the response, and the windows on the driver's seat side and the passenger's seat side are reduced by half. Control to open (Step 4
3).

【0066】応答に応じた制御の後、エージェント処理
部11は、図13(C)に示すように、運転者の応答が
無視であればA、拒絶であればB、受容であればCを、
応答日時と共にプログラム番号0123に対応する応答
データ293に格納する。この場合、前々回の応答デー
タが削除され、前回の応答と今回の応答が応答データ2
93の格納内容になる。格納した応答内容が無視Aであ
れば、次回の閾値T3、T4は1度づつ下げた値(T3
−1=1度、T4−1=23度)が使用され、1回休む
ことになる。格納した応答内容が拒絶Bであれば、次回
の閾値T3、T4は1度づつ下げた値(T3−1=1
度、T4−1=23度)が使用され、5回休むことにな
る。なお、1回休む場合の閾値としては下げた後の温度
T3=T3−1、T4=T4−1が使用される。格納し
た応答内容が受容Cであれば、前回使用した閾値T3、
T4と同一の値が使用される。
After the control according to the response, as shown in FIG. 13 (C), the agent processing section 11 sets A if the driver's response is ignored, B if rejected, and C if accepted. ,
It is stored in the response data 293 corresponding to the program number 0123 together with the response date and time. In this case, the response data two times before is deleted, and the previous response and the current response are response data 2
93. If the stored response content is “ignore A”, the next threshold values T3 and T4 are reduced by one at a time (T3
(-1 = 1 degree, T4-1 = 23 degrees), and one rest. If the stored response content is rejection B, the next threshold values T3 and T4 are reduced by one at a time (T3-1 = 1).
Degrees, T4-1 = 23 degrees), and rest five times. In addition, as the threshold value in the case of one rest, the temperatures T3 = T3-1 and T4 = T4-1 after the temperature are lowered are used. If the stored response content is acceptance C, the previously used threshold T3,
The same value as T4 is used.

【0067】また、エージェント処理部11は、プログ
ラム番号00123に対応する習熟度データ297の、
前5回の応答時間に格納されている最も古い応答時間デ
ータを廃棄し、今回の応答時間(表示装置27にエージ
ェントが表示されてから運転者の応答を取得するまでに
かかった時間)を格納する。更に、この前5回の応答時
間のデータから、応答平均時間、応答最短時間、習熟度
を算出し、それぞれ対応する場所に格納し直す。
Further, the agent processing unit 11 stores the proficiency level data 297 corresponding to the program number 00123 in the
The oldest response time data stored in the previous five response times is discarded, and the current response time (the time taken from when the agent is displayed on the display device 27 to when the driver's response is obtained) is stored. I do. Furthermore, the average response time, the minimum response time, and the proficiency are calculated from the data of the last five response times, and stored in the corresponding locations.

【0068】続いて、エージェント処理部11が取得し
た現在状況は上述と同様であり、運転者の習熟度が大き
くなった場合(習熟度が習熟度閾値を越えた場合、ここ
では習熟度=57とする)についてのエージェント処理
を説明する。この場合も、エージェント処理部11は、
プログラム選択テーブル291からプログラム番号00
123のコミュニケーションプログラムを最終的に選択
し(ステップ14)、お休み対象で無いことを確認(ス
テップ15;N)したうえで、当該番号のコミュニケー
ションプログラムを起動する(ステップ16)。
Subsequently, the current situation acquired by the agent processing unit 11 is the same as described above, and when the proficiency of the driver increases (when the proficiency exceeds the proficiency threshold, here, the proficiency = 57) ) Will be described. Also in this case, the agent processing unit 11
Program number 00 from program selection table 291
The communication program 123 is finally selected (step 14), and after confirming that it is not the object of rest (step 15; N), the communication program of the number is activated (step 16).

【0069】そして、エージェント処理部11は、エー
ジェントデータ記憶装置29の習熟度データ297をチ
ェックし、起動されたコミュニケーションプログラムに
対する運転者の習熟度を取得し(ステップ17)、ヘル
プエージェントプログラム対応テーブル296から、起
動すべきヘルプエージェントプログラムの有無を取得す
る(ステップ18)。運転者の習熟度は57なので、図
7に示すヘルプエージェントプログラム対応テーブル2
96から、起動したコミュニケーションプログラムに対
して起動すべきプログラムが無いこととなる。
Then, the agent processing section 11 checks the proficiency level data 297 in the agent data storage device 29, acquires the proficiency level of the driver with respect to the activated communication program (step 17), and obtains a help agent program correspondence table 296. Then, the presence or absence of a help agent program to be started is obtained (step 18). Since the proficiency level of the driver is 57, the help agent program correspondence table 2 shown in FIG.
From 96, there is no program to be started for the started communication program.

【0070】従って、プログラム番号00123のコミ
ュニケーションプログラムのみが起動され、表示装置2
7にはエージェントのみの画像が表示(または動画が表
示)されると共に、その時の学習態度に応じて、音声出
力装置25からはエージェントの「外の方が涼しいみた
いよ。外気を入れましょうよ!」といった音声が出力さ
れる。その後は、上述の場合と同様に運転者の応答を取
得し(ステップ41)、応答に応じて制御を行い(ステ
ップ43)、応答データ293及び習熟度データ297
を書き換える。
Therefore, only the communication program of the program number 00123 is activated and the display device 2
7, an image of only the agent is displayed (or a moving image is displayed), and according to the learning attitude at that time, from the audio output device 25, the agent says, "It looks like the outside is cooler. "!" Thereafter, the driver's response is acquired in the same manner as described above (step 41), control is performed according to the response (step 43), and the response data 293 and the proficiency level data 297 are obtained.
Is rewritten.

【0071】この様に、本実施形態では、エージェント
プログラムが起動されると、運転者の習熟度が低い場合
には、このエージェントの行為を解説するヘルプエージ
ェントが出現し、運転者のエージェントへの応答等のコ
ミュニケーションを容易にする。運転者の習熟度が高い
場合には、ヘルプエージェントは出現せず、効率的なエ
ージェントとのコミュニケーションを可能とする。そし
て、本実施形態によると、機能や出現状況の異なるエー
ジェントとヘルプエージェントとを個別に表示、音声出
力するので、運転者にとって紛らわしくなく、容易にこ
れらのエージェントを識別し情報を把握することができ
る。
As described above, in this embodiment, when the agent program is started, if the driver's proficiency is low, a help agent for explaining the action of the agent appears, and the driver's agent is notified to the agent. Facilitate communication such as responses. If the driver's proficiency is high, no help agent appears and efficient communication with the agent is enabled. According to the present embodiment, agents and help agents having different functions and appearances are individually displayed and output as voices, so that it is not confusing for a driver and these agents can be easily identified and information can be grasped. .

【0072】次に、本発明のエージェント装置の第2の
実施形態について説明する。 (3)第2実施形態の概要 第1の実施形態のエージェント装置では、運転者の習熟
度に応じてサブエージェントとしてヘルプエージェント
が出現するが、本実施形態のエージェント装置では、運
転者の指向に応じて各種のサブエージェントが出現する
ようになっている。このサブエージェントとしては、運
転者の習熟度が高いときに出現するショートカットエー
ジェント等が挙げられる。このショートカットエージェ
ントは、エージェントにより一定の手順を踏んで行われ
る操作について、運転者が習熟した場合に、エージェン
トの行為を一部短絡し手順をその先へ進めることができ
るようにするものである。尚、上述の第1の実施形態と
同様の構成については同一の符号を付し、説明は省略す
る。
Next, a second embodiment of the agent device of the present invention will be described. (3) Overview of Second Embodiment In the agent device of the first embodiment, a help agent appears as a subagent according to the driver's proficiency level. Various subagents appear accordingly. Examples of the subagent include a shortcut agent that appears when the driver has a high level of proficiency. This shortcut agent allows the driver to learn a certain operation performed by the agent according to a certain procedure and, when the driver is familiar with the operation, partially short-circuit the agent's action and proceed with the procedure. Note that the same components as those in the above-described first embodiment are denoted by the same reference numerals, and description thereof is omitted.

【0073】(4)第2実施形態の詳細 図14は、本実施形態のエージェント装置の構成を示す
ブロック図である。この図14に示されるように、本実
施形態のエージェント装置では、エージェントデータ記
憶装置29には、ヘルプエージェントプログラム及びヘ
ルプエージェントプログラム対応テーブルは格納されて
おらず、これらに代えて、指向エージェントプログラム
395、指向エージェントプログラム対応テーブル39
6、指向データ397、及び最多選択プログラムデータ
398が格納されている。また、画像データ294は、
図23に例示したメインのエージェントE及びショート
カットエージェントSの容姿や行動を画像表示するため
のデータが格納されている。
(4) Details of the Second Embodiment FIG. 14 is a block diagram showing the configuration of the agent device of this embodiment. As shown in FIG. 14, in the agent device of the present embodiment, the agent data storage device 29 does not store the help agent program and the help agent program correspondence table. , Oriented agent program correspondence table 39
6, orientation data 397, and most-selected program data 398 are stored. The image data 294 is
Data for displaying images and appearances of the main agent E and the shortcut agent S illustrated in FIG. 23 are stored.

【0074】指向エージェントプログラム395は、運
転者の指向に応じてメインのエージェントに加えて出現
する指向エージェント機能を実現する指向エージェント
処理プログラム、指向エージェントの細かな行動を表示
装置27に画像表示するとともにその行動に対応した会
話を音声出力装置25から出力するためのコミュニケー
ションプログラムがプログラム番号順に格納されてい
る。指向エージェント処理プログラムには、運転者の習
熟度に応じてメインのエージェントの行為を短絡するシ
ョートカットエージェント機能を実現するためのショー
トカットエージェント処理プログラム等が含まれてい
る。
The directional agent program 395 is a directional agent processing program for realizing a directional agent function that appears in addition to the main agent in accordance with the driver's direction. Communication programs for outputting a conversation corresponding to the action from the audio output device 25 are stored in the order of the program numbers. The directional agent processing program includes a shortcut agent processing program for realizing a shortcut agent function for short-circuiting the action of the main agent according to the driver's skill level.

【0075】この指向エージェントプログラム395に
は、各プログラム番号の音声に対して複数種類の音声デ
ータが格納されており、メインのエージェントの音声と
容易に聞き分けられる複数の音声のなかから運転者によ
り入力装置22等で選択されるようになっている。例え
ば、メインのエージェントと指向エージェントの容姿が
ともに女性である場合、メインのエージェントの音声に
比べて指向エージェントの音声は高い声等、容易に聞き
分けられるものが候補として挙げられ、このうちから選
択される。この指向エージェントの音声と前記容姿は、
適宜変更可能となっている。また、前記メインのエージ
ェントの容姿及び音声、指向エージェントの容姿及び音
声は、特に運転者からの選択が無い場合には、エージェ
ントと指向エージェントの間で互いに良好に識別可能な
それぞれの容姿及び音声が自動的に選択され設定される
ようになっている。
The directional agent program 395 stores a plurality of types of voice data with respect to the voice of each program number, and is input by the driver from a plurality of voices which can be easily distinguished from the voice of the main agent. The selection is made by the device 22 or the like. For example, if the main agent and the directional agent are both female, the directional agent's voice is higher in voice than the main agent's voice. You. The voice of this directional agent and the appearance are
It can be changed as needed. In addition, the appearance and voice of the main agent and the appearance and voice of the directional agent are, unless particularly selected by the driver, the respective appearances and voices that can be well distinguished between the agent and the directional agent. It is automatically selected and set.

【0076】指向エージェントプログラム対応テーブル
396は、指向エージェントプログラム395に格納さ
れているコミュニケーションプログラムを選択するため
のテーブルである。指向エージェントプログラム対応テ
ーブル396には、エージェントプログラムのプログラ
ム番号に対応して、このエージェントプログラムに対応
する指向エージェントプログラムのプログラム番号と、
この指向エージェントプログラムが起動されるための指
向閾値その他の条件を示す各項目が、格納されている。
この図15、図16に示されているエージェントプログ
ラム番号及びショートカットエージェントプログラム番
号は、それぞれ、エージェントプログラム295及び指
向エージェントプログラム395に格納されている各コ
ミュニケーションプログラムの番号と一致している。
The directional agent program correspondence table 396 is a table for selecting a communication program stored in the directional agent program 395. In the directional agent program correspondence table 396, the program number of the directional agent program corresponding to the agent program,
Each item indicating a pointing threshold and other conditions for starting the pointing agent program is stored.
The agent program number and the shortcut agent program number shown in FIGS. 15 and 16 correspond to the numbers of the respective communication programs stored in the agent program 295 and the oriented agent program 395, respectively.

【0077】図15は指向エージェントプログラム対応
テーブル396の一部であるショートカットエージェン
トプログラム対応テーブルを表したものであり、図16
はショートカットエージェントプログラム対応テーブル
で選択される各プログラム番号に対応した、ショートカ
ットエージェントの行為(行動と発声)内容を表したも
のである。
FIG. 15 shows a shortcut agent program correspondence table which is a part of the oriented agent program correspondence table 396, and FIG.
Represents the action (action and utterance) of the shortcut agent corresponding to each program number selected in the shortcut agent program correspondence table.

【0078】図15に示すショートカットエージェント
プログラム対応テーブルには、エージェントプログラム
に対応して、習熟度閾値、最多選択プログラム番号、シ
ョートカットエージェント(指向エージェント)プログ
ラム番号が格納される。習熟度閾値は、ユーザ指向とし
ての各エージェントプログラムに対する習熟度の、閾値
を表しており、運転者の習熟度がこの習熟度閾値以上と
なった場合に、ショートカットエージェントプログラム
が起動される。最多選択プログラム番号は、最多選択プ
ログラムデータ398から検出されるものであり、この
最多選択プログラム番号によって、各エージェントプロ
グラムに対応するショートカットエージェントのプログ
ラムが決定される。
The shortcut agent program correspondence table shown in FIG. 15 stores a skill level threshold, a most frequently selected program number, and a shortcut agent (directed agent) program number corresponding to the agent program. The proficiency threshold indicates a threshold of the proficiency of each agent program as a user-oriented program. When the proficiency of the driver becomes equal to or more than the proficiency threshold, the shortcut agent program is activated. The most-selected program number is detected from the most-selected program data 398, and the program of the shortcut agent corresponding to each agent program is determined by the most-selected program number.

【0079】例えば、経路案内システムにおいて目的地
を設定する方法を選択するエージェントプログラム(プ
ログラム番号00550)が起動されている場合、この
エージェントプログラムに対する運転者の習熟度が70
以上の時であって、最多選択プログラムのプログラム番
号が00580(ジャンル選択画面を表示し、応答待機
するプログラム)の場合には、プログラム番号8001
0のショートカットエージェントプログラムが起動され
る。
For example, when an agent program (program number 00550) for selecting a method of setting a destination in the route guidance system is activated, the driver's proficiency in this agent program is 70.
At this time, if the program number of the most frequently selected program is 5580 (a program for displaying the genre selection screen and waiting for a response), the program number 8001
0 shortcut agent program is started.

【0080】尚、指向エージェントプログラム対応テー
ブル396には、ショートカットエージェントプログラ
ム対応テーブルのみでなく、エージェントプログラム
と、このエージェントプログラムに対応するショートカ
ットエージェントプログラム以外の指向エージェントプ
ログラムとの対応テーブルも格納されている。この対応
テーブルにも、上記ショートカットエージェントプログ
ラム対応テーブルと同様に、エージェントプログラム及
び対応する指向エージェントプログラムのプログラム番
号、この指向エージェントプログラムが起動されるため
の指向閾値その他の条件が格納されている。
The directional agent program correspondence table 396 stores not only a shortcut agent program correspondence table but also a correspondence table between an agent program and a directional agent program other than the shortcut agent program corresponding to the agent program. . In this correspondence table, similarly to the shortcut agent program correspondence table, the program numbers of the agent program and the corresponding directional agent program, the directional threshold for starting the directional agent program, and other conditions are stored.

【0081】指向データ397には、運転者の指向を表
す指向値と、この指向値を取得するもととなる各項目の
データが格納されている。図17は、指向データ397
に格納されるデータの各項目を、エージェントシステム
やその他の関連システム等に関する項目であるシステム
状況、現在時刻や記念日等に相当するかどうか等の時間
状況、性別や年齢趣味等の運転者状況、車両状況、及び
天気等の外部状況に大別して示す表である。この各項目
のデータは、運転者自らの入力により取得したり、エー
ジェントによりまとめて又は必要に応じて問いかけてそ
の応答として取得したり、また、運転者の車両の操作や
外部機器等から取得する。
The directional data 397 stores a directional value indicating the driver's directivity and data of each item from which the directional value is obtained. FIG. 17 shows the orientation data 397.
Each item of data stored in the system status is an item related to the agent system or other related systems, the time status such as whether it corresponds to the current time or anniversary, the driver status such as gender and age hobby It is a table roughly divided into external conditions such as vehicle status, weather, and the like. The data of each item is obtained by the driver's own input, collected by the agent collectively or as needed as a response, or obtained from the driver's vehicle operation, external equipment, etc. .

【0082】各運転者の指向値は、これらの各項目のデ
ータのうちの1つ又は複数から取得される。尚、この指
向値としては、上記第1の実施形態と同様の習熟度が含
まれており、指向データ397には上記第1の実施形態
と同様の習熟度データ297が含まれている。習熟度デ
ータ297の応答時間には、同時に出現するショートカ
ットエージェントへ応答した場合の応答時間も含めて格
納される。
The directional value of each driver is obtained from one or more of the data of these items. It should be noted that the directivity value includes the proficiency similar to that of the first embodiment, and the directional data 397 includes the proficiency data 297 similar to that of the first embodiment. The response time of the proficiency level data 297 includes the response time when responding to the shortcut agent that appears at the same time.

【0083】図18は、最多選択プログラムデータ39
8の内容を概念的に示す図である。この最多選択プログ
ラムデータ398は、習熟度が指向値として用いられる
場合に使用される。最多選択プログラムデータ398に
は、ショートカットエージェントが短絡する短絡先のエ
ージェントプログラムを選択するためのデータが格納さ
れている。本実施形態のショートカットエージェント
は、複数層の階層構造の項目選択行為を行うエージェン
ト(以下項目選択エージェント)において、第n階層に
おいて、第n+1階層での項目選択行為を可能に、エー
ジェント行為を短絡するものである。
FIG. 18 shows the most frequently selected program data 39.
8 is a diagram conceptually showing the content of No. 8. FIG. The most frequently selected program data 398 is used when the proficiency level is used as a directivity value. The most-selected program data 398 stores data for selecting the short-circuited agent program to which the shortcut agent is short-circuited. The shortcut agent according to the present embodiment is an agent that performs an item selecting action in a hierarchical structure of a plurality of layers (hereinafter, an item selecting agent). Things.

【0084】この図18に示すように、最多選択プログ
ラムデータ398には、各項目選択エージェントのプロ
グラム番号毎に、ショートカットエージェントを起動さ
せていない時に、項目選択エージェントについての応答
により選択され起動されたその1つ下の階層のエージェ
ントプログラム(選択エージェントプログラム)のプロ
グラム番号が、前5回分格納される。また、この、前5
回分の選択エージェントプログラムのうち最も多く選択
・起動されたエージェントプログラム(最多選択エージ
ェントプログラム)のプログラム番号が格納される。こ
の最多選択プログラムデータ398は、学習により格
納、更新され、ショートカットエージェントプログラム
を起動させる場合に参照される。
As shown in FIG. 18, the most frequently selected program data 398 contains, for each program number of each item selection agent, a program selected by a response to the item selection agent and activated when the shortcut agent is not activated. The program numbers of the agent program (selected agent program) in the next lower hierarchy are stored for the previous five times. Also, this 5
Stores the program number of the agent program that has been selected and activated the most (of the most selected agent programs) among the selected agent programs for the times. The most frequently selected program data 398 is stored and updated by learning, and is referred to when starting the shortcut agent program.

【0085】次に、以上のように構成された本実施形態
の動作について説明する。図19は、本実施形態による
エージェント処理のメイン動作を表したフローチャート
である。本実施形態においても、前記第1の実施形態と
同様に、エージェント処理部11は、イグニッションが
ONされたことがイグニッションセンサ401で検出さ
れると、上述の第1の実施形態と同様に、初期設定(ス
テップ11)、現在状況の把握(ステップ12)、学習
項目データ、応答データのチェック(ステップ13)、
コミュニケーションプログラムの有無検知(ステップ1
4)、コミュニケーションプログラムをお休みすべき状
態か否かの確認(ステップ15)を行う。そしてコミュ
ニケーションプログラムをお休みすべき状態の場合(ス
テップ15;Y)にはそのままステップ44に移行し、
お休みすべき状態でない場合(ステップ15;N)に
は、コミュニケーションプログラムを起動する(ステッ
プ16)。
Next, the operation of the present embodiment configured as described above will be described. FIG. 19 is a flowchart showing the main operation of the agent process according to the present embodiment. Also in the present embodiment, similarly to the first embodiment, when the ignition sensor 401 detects that the ignition has been turned on, the agent processing unit 11 performs the initial processing similar to the above-described first embodiment. Setting (step 11), grasp of current situation (step 12), check of learning item data and response data (step 13),
Communication program presence / absence detection (Step 1)
4) Check whether the communication program is in a state of rest (step 15). If the communication program is in a state of rest (step 15; Y), the process directly proceeds to step 44,
If it is not in a state to take a rest (step 15; N), the communication program is started (step 16).

【0086】コミュニケーションプログラムの起動(ス
テップ16)に続いて、本実施形態のエージェント処理
部11は、指向データ397から運転者の各項目の指向
値を読み取り、指向エージェントプログラム対応テーブ
ル396の指向閾値と比較する(ステップ27)。そし
て、運転者の指向値が指向閾値以上の場合(ステップ2
7;Y)には、指向エージェントプログラム対応テーブ
ル396に基づいて、運転者の指向に応じた指向エージ
ェント処理を行う(ステップ28)。
Following the activation of the communication program (step 16), the agent processing unit 11 of this embodiment reads the directivity value of each item of the driver from the directivity data 397, A comparison is made (step 27). Then, when the driver's directivity value is equal to or more than the directivity threshold value (step 2).
7; Y), a pointing agent process corresponding to the driver's pointing is performed based on the pointing agent program correspondence table 396 (step 28).

【0087】指向閾値の比較(ステップ27)と指向エ
ージェント処理(ステップ28)の例としては次のよう
なものがある。例えば、指向データ397のうちの「今
日の日付」と「家族の生年月日」のデータから家族の誕
生日までの日数Yを求め、(その年の年間日数−Y)の
値を指向値として取得し、家族の誕生日の一週間前(指
向閾値)になると(ステップ27;Y)、バースデーケ
ーキを持った指向エージェントを表示し「○○ちゃんの
お誕生日まであと一週間よ。お誕生日プレゼントの用意
は済んだ?」との音声を出力する(ステップ28)。ま
た、運転者の生年月日及び渋滞状況のデータから取得し
た指向値に基づいて、渋滞時に運転者のその日の運勢を
知らせる処理がある。また、運転者のひいきのプロ野球
チームのデータと、そのプロ野球チームのゲームのラジ
オ放送開始時による指向値に基づいて、その放送が開始
される旨及び対戦相手を知らせるとともに、ラジオの電
源を入れるか否かを問い合わせる処理を行う。この場
合、ラジオ放送予定のデータ(放送開始時間と対戦チー
ム)は、運転者が入力装置22から入力し、又は、通信
制御装置24から取得するようにする。車両位置データ
と運転者が興味を持っている名所や旧跡のデータに基づ
いて指向値を取得し、車両の近辺にある名所や旧跡をガ
イドする処理、運転者の運転歴のデータと車両位置に基
づく指向値を取得し、運転歴の短い運転者に対して「こ
こら辺は道が狭いから気を付けてね。」等のアドバイス
をする処理が挙げられる。また、指向エージェント処理
としては、詳細を後述するように、カーナビゲーション
システムに対する習熟度を指向値として取得し、習熟度
の大きい場合には目的地等の選択の階層メニューを短絡
するショートカットエージェント処理も含まれる。
The following are examples of the comparison of the pointing threshold (step 27) and the pointing agent processing (step 28). For example, the number of days Y until the family's birthday is obtained from the data of “today's date” and “family's birth date” in the directional data 397, and the value of (the number of days in the year−Y) is used as the directional value. One week before the birthday of the family (directivity threshold) (step 27; Y), the directional agent with the birthday cake is displayed and "One week is left until XX's birthday. Are you ready for the day present? "(Step 28). Further, there is a process of notifying the driver's fortune of the day at the time of traffic jam based on the directional value acquired from the data of the driver's birth date and traffic congestion status. Further, based on the data of the professional baseball team favored by the driver and the directivity value at the start of the radio broadcast of the game of the professional baseball team, the fact that the broadcast is to be started and the opponent are notified, and the power of the radio is turned on. A process for inquiring whether or not to insert is performed. In this case, the data of the radio broadcast schedule (broadcast start time and opponent team) is input by the driver from the input device 22 or acquired from the communication control device 24. Obtains a directional value based on vehicle position data and data on landmarks and historic spots that the driver is interested in, guides the landmarks and historic spots near the vehicle, and processes driver's driving history data and vehicle position. For example, there is a process of acquiring a directivity value based on the information and giving an advice to a driver with a short driving history such as "Be careful because the road is narrow here." As the directional agent processing, as will be described in detail later, there is also a shortcut agent processing that acquires a proficiency level for a car navigation system as a directional value, and short-circuits a hierarchical menu for selecting a destination or the like when the proficiency level is high. included.

【0088】上述のような指向エージェント処理後は、
起動されたコミュニケーションプログラムに対する運転
者からの応答を取得する(ステップ41)。運転者の指
向値が指向閾値よりも小さい場合(ステップ27;N)
には、指向エージェントプログラムを起動することな
く、そのまま応答を取得する(ステップ41)。
After the directional agent processing as described above,
A response from the driver to the activated communication program is obtained (step 41). When the driver's pointing value is smaller than the pointing threshold (step 27; N)
, A response is obtained as it is without activating the directional agent program (step 41).

【0089】以降、前述の第1の実施形態と同様に、エ
ージェントプログラムが制御対象プログラムかどうかの
判断(ステップ42)からエンドまでの処理を行う。
Thereafter, in the same manner as in the first embodiment, the processing from the determination (step 42) as to whether the agent program is the control target program to the end is performed.

【0090】尚、データの蓄積に際して、ショートカッ
トエージェントにより短絡され起動されなかったエージ
ェントプログラムについては、エージェントプログラム
の学習項目データ292のお休み回数/日時はカウント
アップせず、応答データ293についても書き換えは行
わず、習熟度データ297の前5回の応答時間、最多選
択プログラムデータ398の前5回の次に選択されたエ
ージェントプログラムについても書き換えは行わないも
のとする。
In the case of an agent program which is short-circuited by a shortcut agent and is not activated when data is stored, the number of rests / date and time in the learning item data 292 of the agent program is not counted up, and the response data 293 is not rewritten. No rewriting is performed for the response time five times before the proficiency level data 297 and the agent program selected next to the five times before the most frequently selected program data 398.

【0091】次に、以上説明したエージェント処理によ
る、具体的な行為例として、指向エージェントがショー
トカットエージェントである場合について説明する。
Next, as a specific example of the action performed by the above-described agent processing, a case where the directional agent is a shortcut agent will be described.

【0092】図20は、カーナビゲーションを行う際に
運転者からの入力によりメニューを設定する場合のメニ
ュー設定の階層構造を表した説明図であり、図21は、
図20の階層構造におけるショートカットエージェント
の行為を表した説明図である。この図20に示すよう
に、このカーナビゲーションシステムにおいて、例え
ば、目的地を現在地近傍の飲食店地図又はリストから検
索して設定する場合には、通常は、まず、目的地を設定
するモードである目的地設定モードを選択し(第1階
層)、目的地の選択をジャンルから選択するジャンル選
択モードを選択し(第2階層)、ジャンル別リストから
飲食店を選択して(第3階層)、現在地近傍の飲食店地
図またはリストを表示させ、目的地となる飲食店を指定
する。この後、ナビゲーション処理部10により飲食店
への経路案内が行われる。
FIG. 20 is an explanatory diagram showing a hierarchical structure of menu setting when a menu is set by an input from a driver when performing car navigation. FIG.
FIG. 21 is an explanatory diagram showing actions of a shortcut agent in the hierarchical structure of FIG. 20. As shown in FIG. 20, in this car navigation system, for example, when a destination is searched for and set from a restaurant map or a list near the current location and set, it is usually a mode for setting the destination first. A destination setting mode is selected (first level), a genre selection mode for selecting a destination from genres is selected (second level), and a restaurant is selected from a genre list (third level). A map or list of restaurants near the current location is displayed, and a restaurant serving as a destination is specified. Thereafter, the navigation processor 10 provides route guidance to restaurants.

【0093】そして、本実施形態においては、ショート
カットエージェントにより、図21に示すように、目的
地設定モード(第1階層)を選択した後は、直接飲食店
を選択して現在地近傍の飲食店地図またはリスト(第3
階層)を表示させることができ、続いて目的地となる飲
食店を指定できる。
In this embodiment, after the destination setting mode (first level) is selected by the shortcut agent as shown in FIG. 21, a restaurant is directly selected and a restaurant map near the current location is selected. Or list (third
Hierarchy) can be displayed, and subsequently, a restaurant serving as a destination can be designated.

【0094】まず、エージェントプログラムに対する運
転者の習熟度が高い場合(ここでは、習熟度=75とす
る)について説明する。本実施形態においては、マイク
からの音声入力等によりカーナビゲーションシステムが
起動されると、エージェント処理部11は、まず、目的
地の設定とシステムに関する設定のいずれの設定を行う
かのモード選択(第1階層)のための処理を行う。この
とき、プログラム番号00540番のエージェントプロ
グラムを起動する(ステップ16)。このプログラムに
より、表示装置27には、メインのエージェントが徒歩
で現れ、音声出力装置25からは、「すぐに道案内をし
ましょうか、それともシステム設定をしますか」との音
声が出力される。そして、このエージェントプログラム
に対応するショートカットエージェントプログラムが無
いため(ステップ27;N)、そのまま応答を待って待
機する。
First, a case where the driver's proficiency in the agent program is high (here, the proficiency = 75) will be described. In the present embodiment, when the car navigation system is activated by a voice input from a microphone or the like, the agent processing unit 11 first selects a destination setting or a system setting (second mode). (One layer). At this time, the agent program of program number 5540 is started (step 16). With this program, the main agent appears on the display device 27 on foot, and the voice output device 25 outputs a voice saying "Do you want to give directions immediately or do system settings?" . Then, since there is no shortcut agent program corresponding to this agent program (step 27; N), it waits for a response as it is.

【0095】そして、マイクから「道案内」との音声入
力を取得する等、目的地設定モードが選択されると(ス
テップ41)、このエージェントプログラムは制御対象
プログラムではないため(ステップ42;N)、エージ
ェント処理部11は、データの蓄積(ステップ44)等
の処理の後、プログラム番号00550番のエージェン
トプログラム(目的地を設定する方法を選択するプログ
ラム)を起動する(ステップ16)。これにより、経路
案内メニューの第2階層に移行し、表示装置27のメイ
ンのエージェントはアップショットの表示に変わり、音
声出力装置25から「目的地の設定方法を選んでね。ジ
ャンル別に探しますか、電話番号を入れますか、それと
も地名を探しますか。」との音声が流れる。続いてエー
ジェントは、目的地設定方法の入力に対して待機する。
When the destination setting mode is selected (step 41), for example, by obtaining a voice input of "road guidance" from the microphone (step 41), this agent program is not a control target program (step 42; N). After processing such as data accumulation (step 44), the agent processing unit 11 activates an agent program of program number 00550 (a program for selecting a method for setting a destination) (step 16). As a result, the display shifts to the second level of the route guidance menu, the main agent of the display device 27 changes to the display of the up-shot, and the voice output device 25 asks "Please select a destination setting method. Do you want to enter a phone number or a place name? " Subsequently, the agent waits for the input of the destination setting method.

【0096】また、エージェント処理部11は、指向デ
ータ397から運転者の各項目の指向値を読み取り、指
向エージェントプログラム対応テーブル396の指向閾
値と比較する(ステップ27)。指向値のうち習熟度に
ついては、習熟度=75である。そして、ショートカッ
トエージェントプログラム対応テーブル296(図1
5)を参照すると、習熟度が、起動されているエージェ
ントプログラム550番の習熟度閾値よりも大きいので
(ステップ27;Y)、エージェント処理部11は、指
向エージェント処理としてのショートカットエージェン
ト処理を行う(ステップ28)。
The agent processing section 11 reads the directivity value of each item of the driver from the directivity data 397 and compares it with the directivity threshold value of the directivity agent program correspondence table 396 (step 27). The skill level among the directivity values is 75. Then, the shortcut agent program correspondence table 296 (FIG. 1)
Referring to 5), since the proficiency is larger than the proficiency threshold of the activated agent program 550 (step 27; Y), the agent processing unit 11 performs a shortcut agent process as a directional agent process (step 27; Y). Step 28).

【0097】図22は、指向エージェント処理(ステッ
プ28)としてのショートカットエージェント処理の行
程を表すフローチャートである。この図22に示される
ように、ショートカットエージェント処理においては、
エージェント処理部11は、最多選択プログラムデータ
398からプログラム番号00550番のエージェント
プログラムに対する最多選択エージェントプログラムの
プログラム番号00580(ジャンル選択画面を表示
し、ジャンル選択を促すプログラムのプログラム番号)
を取得する(ステップ281)。最多選択プログラムデ
ータ398において、プログラム番号00550番のエ
ージェントプログラムに対する最多選択エージェントプ
ログラムが00580番であるということは、この運転
者は、前5回の操作においては、00550番のプログ
ラムを起動させた第2階層において、ジャンル別選択、
電話番号入力、及び地名入力の3つの中からジャンル別
選択を選びその結果プログラム番号00580番のプロ
グラム(ジャンル選択画面を表示し、ジャンル選択を促
すプログラム)が起動された場合が最も多かったことに
なる。
FIG. 22 is a flowchart showing the process of the shortcut agent process as the directional agent process (step 28). As shown in FIG. 22, in the shortcut agent process,
The agent processing unit 11 selects the program number 00580 of the most-selected agent program from the most-selected program data 398 for the agent program with the program number 00550 (the program number of the program for displaying the genre selection screen and prompting the genre selection).
Is obtained (step 281). In the most-selected program data 398, the most-selected agent program for the agent program with the program number 00550 is No. 5580, which means that the driver started the No. 5550 program in the previous five operations. In two levels, selection by genre,
The selection by genre was selected from the three choices of telephone number input and place name input. As a result, the program with program number 00580 (a program for displaying a genre selection screen and prompting for genre selection) was most often activated. Become.

【0098】そして、エージェント処理部11は、ショ
ートカットエージェントプログラム対応テーブル396
において、起動したエージェントプログラムのプログラ
ム番号00550と最多選択エージェントプログラムの
プログラム番号00580とに対応するショートカット
エージェントプログラムのプログラム番号80010と
を取得する(ステップ282)。次に、エージェント処
理部11は、このプログラム番号80010のショート
カットエージェントプログラムを起動する(ステップ2
83)。このショートカットエージェントプログラムに
より、図22に示すように、表示装置27には、メイン
のエージェントEのアップショットに並んで、ショート
カットエージェントSのロングショットが表示され、音
声出力装置25からは、前述したエージェントEの音声
に続いて、「すぐにジャンルを入れることもできるの
よ。」とのショートカットエージェントSの音声が流れ
る。続いて、ショートカットエージェントは、ジャンル
の入力に対して応答待機する。
Then, the agent processing section 11 executes the shortcut agent program correspondence table 396.
, A program number 80010 of the shortcut agent program corresponding to the program number 00550 of the activated agent program and the program number 5580 of the most frequently selected agent program is acquired (step 282). Next, the agent processing unit 11 activates the shortcut agent program of the program number 80010 (step 2).
83). With this shortcut agent program, as shown in FIG. After the voice of E, the voice of the shortcut agent S, "You can enter the genre immediately." Subsequently, the shortcut agent waits for a response to the genre input.

【0099】運転者から、例えば「飲食店」等と、ショ
ートカットエージェントSに応答して直接ジャンルを指
定した入力を取得すると、ショートカットエージェント
がこの応答を認識する。そして、この情報をもとに、エ
ージェント処理部11がプログラム番号00550番の
エージェントプログラムは応答を取得しないまま終了さ
せ、プログラム番号00600のエージェントプログラ
ム(「飲食店」との応答を認識した後のエージェントプ
ログラム)を起動し、以降このエージェントプログラム
から順にエージェント行為が行われ、車両位置の検出、
表示装置27への車両の現在位置近辺の飲食店地図の表
示、この地図による運転者から目的地となる飲食店の指
定を得る。従って、運転者は、ショートカットエージェ
ントに応答することにより、第2階層における操作(目
的地設定方法の選択)を省略して第3階層へ移行するこ
とができる。
When the driver directly receives an input specifying a genre in response to the shortcut agent S, for example, "restaurant" or the like, the shortcut agent recognizes this response. Then, based on this information, the agent processing unit 11 terminates the agent program with the program number 00550 without acquiring the response, and terminates the agent program with the program number 60600 (the agent program after recognizing the response to “restaurant”). Program), and agent actions are performed in order from this agent program.
A display of a restaurant map near the current position of the vehicle is displayed on the display device 27, and designation of a restaurant serving as a destination is obtained from the driver based on the map. Therefore, by responding to the shortcut agent, the driver can skip the operation (selection of the destination setting method) in the second hierarchy and shift to the third hierarchy.

【0100】一方、運転者から、「ジャンル選択」等の
メインのエージェントに対する応答を取得した場合に
は、エージェントプログラムによりこれが認識されてか
ら取得した応答に合わせた第3階層へ移行する。例え
ば、「ジャンル選択」との応答を取得した場合には、エ
ージェント処理部11は、第3階層として表示装置27
にジャンル別リストを表示し、「ジャンルを選択して
ね。」とのエージェント音声を出力する。そして、「飲
食店」との入力を取得すると、プログラム番号0060
0番のエージェントプログラムを起動して車両の現在位
置を検出し、現在位置近辺の飲食店地図を表示する。運
転者は、メインのエージェントに対して、例えば「電話
番号」や「地名」等と応答することにより、ショートカ
ットによるショートカット先とは異なるジャンル選択以
外の目的地選択方法を選択することができる。
On the other hand, when a response to the main agent such as "select genre" is obtained from the driver, the process shifts to the third level according to the obtained response after the agent program recognizes the response. For example, when a response to “select genre” is obtained, the agent processing unit 11 sets the display device 27 as the third level.
And displays an agent voice saying "Please select a genre." Then, when the input of “restaurant” is obtained, the program number 0060
Activate the No. 0 agent program to detect the current position of the vehicle and display a restaurant map near the current position. The driver can select a destination selection method other than the genre selection different from the shortcut destination by the shortcut by responding to the main agent with, for example, “phone number” or “place name”.

【0101】運転者のエージェントプログラムに対する
習熟度が習熟度閾値70よりも小さい場合(ステップ2
7;N)には、エージェント処理部11はショートカッ
トエージェントプログラムを起動することなく、第2階
層において、図23に示すように、メインのエージェン
トEの表示及び音声出力のみを行って目的地の設定方法
を取得し、以降ジャンル選択、飲食店地図の表示等の下
の階層へ移行する。
When the driver's proficiency in the agent program is smaller than the proficiency threshold 70 (step 2)
7; N), the agent processing section 11 sets only the display and voice output of the main agent E on the second hierarchy without setting the shortcut agent program, as shown in FIG. After the method is acquired, the process proceeds to the lower hierarchy such as genre selection and display of a restaurant map.

【0102】そして、表示装置27に飲食店地図を表示
した後は、メインのエージェント処理にリターンし、表
示した地図により運転者から目的地となる飲食店の指定
を応答として取得し(ステップ41)、以降、制御対象
プログラムとして(ステップ42;Y)応答に応じた制
御(経路案内)を行い(ステップ43)、最多選択プロ
グラムデータ398を含むデータの蓄積(ステップ4
4)等、上述の第1の実施形態と同様の処理を行う。
After the restaurant map is displayed on the display device 27, the process returns to the main agent process, and the driver specifies the restaurant serving as the destination from the displayed map as a response (step 41). Thereafter, control (route guidance) according to the response is performed as the control target program (Step 42; Y) (Step 43), and data including the most frequently selected program data 398 is stored (Step 4).
4) The same processing as in the first embodiment is performed.

【0103】この様に、本実施形態では、エージェント
プログラムが起動されると、運転者の習熟度が高い場合
にはショートカットエージェントが出現してエージェン
トの行為を短絡可能とし、運転者のエージェントへの応
答等のコミュニケーションを効率化し短時間での操作を
可能とする。そして、運転者の習熟度が低い場合には、
ショートカットエージェントは出現せず、操作の統一感
を保持することにより運転者が体系だったシステムとし
てのメニューの階層構造を把握し易いようになってい
る。本実施形態によると、ショートカットエージェント
は、メインのエージェントとともに出現するので、一旦
習熟度の大きくなった運転者が長期間使用せずにいたた
めに操作を忘れた場合であっても、メインのエージェン
トの案内に従ってメニュー階層通りに操作したり、日常
的に使用しないメニュー(ショートカット先以外のメニ
ュー)を選択することを、容易に行うことができる。
As described above, in the present embodiment, when the agent program is started, if the driver's proficiency is high, a shortcut agent appears and the agent's action can be short-circuited. Communication such as response is made more efficient and operation can be performed in a shorter time. And if the driver's proficiency is low,
Shortcut agents do not appear, and maintaining a sense of unity of operation makes it easier for the driver to grasp the hierarchical structure of the menu as a systematic system. According to the present embodiment, the shortcut agent appears together with the main agent. Therefore, even if the driver who has once mastered the skill has not used it for a long time and has forgotten the operation, the main agent can be used. , The user can easily operate according to the menu hierarchy or select a menu that is not used daily (a menu other than the shortcut destination).

【0104】本実施形態によると、機能及び出現状況の
異なるエージェントとショートカットエージェントとを
個別に表示、音声出力するので、運転者にとって紛らわ
しくなく、容易にこれらのエージェントを識別し情報を
把握することができる。本実施形態によると、最多選択
プログラムデータ398に過去に選択され起動されたプ
ログラムが使用履歴として記憶され、頻繁に使用する項
目(最多選択プログラム)が取得され、これに基づいて
ショートカットエージェントによるショートカット先が
決定されるので、運転者に合わせた効率的なショートカ
ット機能が実現される。
According to the present embodiment, since agents and shortcut agents having different functions and appearances are individually displayed and output as voices, it is not confusing for the driver, and these agents can be easily identified and information can be grasped. it can. According to this embodiment, the programs selected and activated in the past are stored as the use history in the most-selected program data 398, and frequently used items (most-selected programs) are obtained. Is determined, an efficient shortcut function suitable for the driver is realized.

【0105】尚、本発明は上述の実施形態に限定される
ものではなく、本発明の趣旨を逸脱しない限りにおいて
適宜変更可能である。上述の各実施形態においてはサブ
エージェントは、ヘルプエージェントやショートカット
エージェント等、起動されているメインのエージェント
との関連を有するであるが、これに限られるものではな
く、メインのエージェントとサブエージェントとは相互
に関連のないものとすることもできる。例えば、エージ
ェントとサブエージェントのうちの一方は経路案内を行
い、他方は車両の状態を報知するようにしてもよい。例
えば、一方が経路案内を行っている途中で他方が「お腹
が空いたよ〜。ガソリンがほしいなあ。」と出現する。
そして目的地に到着して、経路案内をしていたエージェ
ントは終了しても、車両の状態を報知するエージェント
は給油をしなければそのまま表示されて泣き顔になって
いく等とすることができる。
Note that the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the spirit of the present invention. In each of the above embodiments, the subagent has a relationship with the activated main agent such as a help agent or a shortcut agent, but is not limited to this. They may not be related to each other. For example, one of the agent and the subagent may provide route guidance, and the other may notify the state of the vehicle. For example, while one is performing route guidance, the other appears "I am hungry. I want gasoline."
Then, even if the agent that has provided the route guidance arrives at the destination and ends, the agent that informs the state of the vehicle can be displayed as it is and become a crying face unless refueling.

【0106】上述の各実施形態においてはヘルプエージ
ェントやショートカットエージェント等のサブエージェ
ントの出現は、各プログラム毎に判断されるが、これに
限られるものではなく、カーナビゲーション、空調等の
システム毎や、または運転者毎に判断し、必要と判断さ
れた場合にはそのシステム起動中や運転者の操作中を通
して出現するようにしてもよい。サブエージェントは一
度に複数出現してもよく、ヘルプエージェントとショー
トカットエージェントの両方を習熟度に応じて出現可能
とすることもできる。サブエージェントも運転者からの
応答等を取得する行為を行うものとし、この応答等から
学習することによりサブエージェントの行為が決定され
るようにしてもよい。
In each of the above embodiments, the appearance of subagents such as a help agent and a shortcut agent is determined for each program. However, the present invention is not limited to this. For each system such as car navigation and air conditioning, Alternatively, it may be determined for each driver, and when it is determined that it is necessary, it may appear during the activation of the system or during the operation of the driver. A plurality of subagents may appear at one time, and both the help agent and the shortcut agent may be able to appear according to their proficiency. The sub-agent may also perform an act of acquiring a response or the like from the driver, and the action of the sub-agent may be determined by learning from the response or the like.

【0107】第1の実施形態においては、習熟度に応じ
てヘルプの出現・非出現が決定されているが、習熟度以
外の指向からヘルプエージェントの行為(出現非出現を
含む)を決定してもよい。例えば、ラジオのプロ野球放
送をもとに運転者にプロ野球のゲーム経過を知らせるメ
インのエージェントに対して、野球に詳しくない人には
ルールや用語の解説を行う等とすることができる。上記
第2の実施形態では、ショートカットエージェントは、
第n階層において、第n+1階層での項目選択行為を可
能に、エージェント行為を短絡するものであるが、ショ
ートカットエージェントを、第n階層から第n+2以上
の階層での操作を可能にエージェント行為を短絡するも
のとすることもできる。上記第2の実施形態では、ショ
ートカットエージェントは、メインのエージェントに対
して短絡のみを行って以降のエージェント行為は再びメ
インのエージェントが行うようになっているが、ショー
トカットエージェントに対する応答を取得した以降は、
メインのエージェントに戻らず、ショートカットエージ
ェントがそのままエージェント行為を行うようにしても
よい。
In the first embodiment, the appearance / non-appearance of the help is determined according to the proficiency level. However, the action of the help agent (including the appearance / non-appearance) is determined from the orientation other than the proficiency level. Is also good. For example, for a main agent who informs a driver of the progress of a professional baseball game based on a radio professional baseball broadcast, rules and terms can be explained to those who are not familiar with baseball. In the second embodiment, the shortcut agent is
In the n-th hierarchy, the agent action can be short-circuited so as to enable the item selection action in the (n + 1) -th hierarchy. It can also be done. In the second embodiment, the shortcut agent short-circuits the main agent only, and the subsequent agent action is performed again by the main agent. However, after the response to the shortcut agent is obtained, ,
Instead of returning to the main agent, the shortcut agent may perform the agent action as it is.

【0108】[0108]

【発明の効果】以上説明したように、本発明に係るエー
ジェント装置によれば、機能や出現状況の異なるエージ
ェントとサブエージェントとを個別に出現させるので、
運転者にとって紛らわしくなく、これらのエージェント
を明確に識別し容易に情報を把握することができる。
As described above, according to the agent device of the present invention, agents and subagents having different functions and different appearances appear individually.
It is not confusing for the driver and these agents can be clearly identified and the information can be easily grasped.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態のエージェント装置の
構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an agent device according to a first embodiment of the present invention.

【図2】図1の実施形態におるプログラム選択テーブル
の内容を概念的にあらわした説明図である。
FIG. 2 is an explanatory diagram conceptually showing the contents of a program selection table in the embodiment of FIG. 1;

【図3】図1の実施形態において、各プログラム番号に
対応するエージェントの行為(行動と音声)を表した説
明図である。
FIG. 3 is an explanatory diagram showing an action (action and voice) of an agent corresponding to each program number in the embodiment of FIG.

【図4】図1の実施形態におけるプログラム番号000
01〜00002の起動により表示装置に表示されるエ
ージェントの「かしこまってお辞儀」行動についての数
画面を表した説明図である。
FIG. 4 is a program number 000 in the embodiment of FIG.
It is explanatory drawing showing several screens about an agent's "cleverly bowing" action displayed on the display device by activation of 01 to 00002.

【図5】図1の実施形態における学習項目データの内容
を概念的に表した説明図である。
FIG. 5 is an explanatory diagram conceptually showing contents of learning item data in the embodiment of FIG. 1;

【図6】図1の実施形態における応答データの内容を概
念的に表した説明図である。
FIG. 6 is an explanatory diagram conceptually showing the contents of response data in the embodiment of FIG. 1;

【図7】図1の実施形態におけるナビゲーションデータ
記憶装置に格納されるヘルプエージェントプログラム対
応テーブルの内容を概念的に表した説明図である。
FIG. 7 is an explanatory diagram conceptually showing contents of a help agent program correspondence table stored in the navigation data storage device in the embodiment of FIG. 1;

【図8】図1の実施形態において、各プログラム番号に
対応するヘルプエージェント行為(行動及び音声)を表
した説明図である。
FIG. 8 is an explanatory diagram showing a help agent action (action and voice) corresponding to each program number in the embodiment of FIG.

【図9】図1の実施形態における習熟度データの内容を
概念的に表した説明図である。
FIG. 9 is an explanatory diagram conceptually showing the contents of proficiency level data in the embodiment of FIG. 1;

【図10】図1の実施形態におけるナビゲーションデー
タ記憶装置に格納されるデータファイルの内容を概念的
に表した説明図である。
FIG. 10 is an explanatory diagram conceptually showing the contents of a data file stored in the navigation data storage device in the embodiment of FIG. 1;

【図11】図1の実施形態における状況センサ部を構成
する各種センサを表した説明図である。
FIG. 11 is an explanatory diagram showing various sensors constituting a situation sensor unit in the embodiment of FIG. 1;

【図12】図1の実施形態によるエージェント処理のメ
イン動作を表したフローチャートである。
FIG. 12 is a flowchart illustrating a main operation of an agent process according to the embodiment of FIG. 1;

【図13】図1の実施形態において、車両走行中におけ
る具体的なエージェント処理の内容を概念的に表したも
のである。
FIG. 13 is a diagram conceptually showing specific contents of an agent process while the vehicle is running in the embodiment of FIG. 1;

【図14】本発明の第2の実施形態のエージェント装置
の構成を示すブロック図である。
FIG. 14 is a block diagram illustrating a configuration of an agent device according to a second embodiment of this invention.

【図15】図14の実施形態における指向エージェント
プログラム対応テーブルの内容を概念的に表した説明図
である。
FIG. 15 is an explanatory diagram conceptually showing the contents of a directional agent program correspondence table in the embodiment of FIG. 14;

【図16】図14の実施形態において、各プログラム番
号に対応するショートカットエージェントの行為(行動
と音声)を表した説明図である。
FIG. 16 is an explanatory diagram showing actions (action and voice) of a shortcut agent corresponding to each program number in the embodiment of FIG.

【図17】図14の実施形態において、指向データに格
納されるデータの各項目を示す表である。
FIG. 17 is a table showing each item of data stored in directional data in the embodiment of FIG. 14;

【図18】図14の実施形態における最多選択プログラ
ムデータの内容を概念的に表した説明図である。
FIG. 18 is an explanatory diagram conceptually showing the contents of most frequently selected program data in the embodiment of FIG. 14;

【図19】図14の実施形態によるエージェント処理の
メイン動作を表したフローチャートである。
FIG. 19 is a flowchart showing a main operation of an agent process according to the embodiment of FIG. 14;

【図20】図14の実施形態において、カーナビゲーシ
ョンを行う際に運転者からの入力によりメニューを設定
する場合のメニュー設定の階層構造を表した説明図であ
る。
20 is an explanatory diagram showing a hierarchical structure of menu setting when a menu is set by an input from a driver when performing car navigation in the embodiment of FIG. 14;

【図21】図20の階層構造におけるショートカットエ
ージェントの行為を表した説明図である。
21 is an explanatory diagram showing actions of a shortcut agent in the hierarchical structure of FIG.

【図22】図14の実施形態による指向エージェント処
理の動作を表したフローチャートである。
FIG. 22 is a flowchart showing the operation of a directional agent process according to the embodiment of FIG.

【図23】図14の実施形態において、ショートカット
エージェントが出現する場合の画面表示及び音声出力を
表す説明図である。
FIG. 23 is an explanatory diagram showing screen display and audio output when a shortcut agent appears in the embodiment of FIG. 14;

【図24】図14の実施形態において、ショートカット
エージェントが出現しない場合の画面表示及び音声出力
を表す説明図である。
24 is an explanatory diagram showing screen display and audio output when no shortcut agent appears in the embodiment of FIG. 14;

【符号の説明】[Explanation of symbols]

1 全体処理部 10 ナビゲーション処理部 11 エージェント処理部 12 I/F部 13 画像処理部 14 音声制御部 15 状況情報処理部 21 現在位置検出装置 22 入力装置 23 記憶媒体駆動装置 24 通信制御装置 25 音声出力装置 26 マイク 27 表示装置 28 撮像装置 29 エージェントデータ記憶装置 30 ナビゲーションデータ記憶装置 40 状況センサ部 DESCRIPTION OF SYMBOLS 1 Whole processing part 10 Navigation processing part 11 Agent processing part 12 I / F part 13 Image processing part 14 Voice control part 15 Situation information processing part 21 Current position detection device 22 Input device 23 Storage medium drive device 24 Communication control device 25 Voice output Device 26 Microphone 27 Display device 28 Imaging device 29 Agent data storage device 30 Navigation data storage device 40 Status sensor unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 足立 和英 東京都千代田区外神田2丁目19番12号 株 式会社エクォス・リサーチ内 (72)発明者 向井 康二 東京都千代田区外神田2丁目19番12号 株 式会社エクォス・リサーチ内 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Kazuhide Adachi 2--19-12 Sotokanda, Chiyoda-ku, Tokyo Inside Equos Research Co., Ltd. (72) Inventor Koji Mukai 2--19, Sotokanda, Chiyoda-ku, Tokyo No. 12 Inside Equos Research Co., Ltd.

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 擬人化されたエージェントを車両内に出
現させるエージェント出現手段と、 車両の状況を判断する状況判断手段と、 この状況判断手段により判断された状況から、前記エー
ジェントの行為を決定するエージェント行為決定手段
と、 このエージェント行為決定手段で決定された行為を前記
エージェント出現手段により出現されるエージェントに
行わせるエージェント制御手段と、 前記状況判断手段により判断された状況から、前記エー
ジェントの出現下において擬人化されたサブエージェン
トの出現の要否を判断する要否判断手段と、 前記要否判断手段の判断に基づいて前記サブエージェン
トを前記エージェントとは別個に認識可能に出現させる
サブエージェント出現手段と、 前記状況判断手段により判断された状況から、サブエー
ジェントの行為を決定するサブエージェント行為決定手
段と、 前記サブエージェント行為決定手段で決定された行為を
前記サブエージェント出現手段により出現されるサブエ
ージェントに行わせるサブエージェント制御手段とを具
備することを特徴とするエージェント装置。
1. An agent appearance means for causing an anthropomorphized agent to appear in a vehicle; a situation judgment means for judging a situation of the vehicle; and an action of the agent is determined from the situation judged by the situation judgment means. Agent action determining means, agent controlling means for causing an agent appearing by the agent appearing means to perform the action determined by the agent action determining means, from the situation determined by the situation determining means, And a sub-agent appearance means for making the sub-agent appear recognizable separately from the agent based on the judgment of the necessity judgment means. From the situation determined by the situation determining means, Subagent action determining means for determining the action of the agent, and subagent control means for causing the subagent appearing by the subagent appearance means to perform the action determined by the subagent action determining means. Characteristic agent device.
【請求項2】 前記サブエージェントは、前記エージェ
ントの行為についての解説行為を行うことを特徴とする
請求項1に記載のエージェント装置。
2. The agent device according to claim 1, wherein the sub-agent performs a commentary action on the action of the agent.
【請求項3】 前記サブエージェントは、一連の前記エ
ージェントの行為についてその一部を短絡することを特
徴とする請求項1に記載のエージェント装置。
3. The agent apparatus according to claim 1, wherein the sub-agent short-circuits a part of a series of actions of the agent.
【請求項4】 前記状況判断手段は、運転者の指向を取
得する指向取得手段を備え、 前記要否判断手段は、前記運転者の指向を前記車両の状
況として、サブエージェントの出現の要否を判断するこ
とを特徴とする請求項1から請求項3のうちのいずれか
1項に記載のエージェント装置。
4. The situation determination means includes a direction acquisition means for acquiring a driver's orientation, and the necessity determination means determines whether or not the appearance of a sub-agent is required by setting the driver's orientation as the vehicle situation. The agent device according to any one of claims 1 to 3, wherein the agent device determines:
【請求項5】 前記指向取得手段が、運転者の指向とし
て運転者のエージェントに対する習熟度を取得し、 前記要否判断手段は、前記習熟度を前記車両の状況とし
て、サブエージェントの要否を判断することを特徴とす
る請求項4に記載のエージェント装置。
5. The direction acquisition means acquires a degree of proficiency of the driver with respect to the agent as the direction of the driver, and the necessity determination means determines whether or not a subagent is necessary by setting the degree of proficiency as the situation of the vehicle. The agent device according to claim 4, wherein the determination is performed.
【請求項6】 前記状況判断手段による所定状況を記憶
することで学習する学習手段を具備し、 前記要否判断手段は、前記学習手段による学習結果を前
記車両の状況として、前記サブエージェントの要否を判
断することを特徴とする請求項1から請求項5のうちの
いずれか1項に記載のエージェント装置。
6. A learning means for learning by storing a predetermined situation by the situation judging means, wherein the necessity judging means judges a result of the learning by the learning means as a situation of the vehicle, The agent device according to any one of claims 1 to 5, wherein a determination is made as to whether or not the agent device is in question.
【請求項7】 前記状況判断手段による所定状況を記憶
することで学習する学習手段を具備し、 前記エージェント行為決定手段及び前記サブエージェン
ト行為決定手段のうち少なくとも1つは、前記学習結果
を車両の前記状況として、エージェント又はサブエージ
ェントの行為を決定することを特徴とする請求項1から
請求項6のうちのいずれか1項に記載のエージェント装
置。
7. A learning means for learning by storing a predetermined situation by the situation judging means, wherein at least one of the agent action determining means and the sub-agent action determining means transmits the learning result to a vehicle. 7. The agent device according to claim 1, wherein an action of an agent or a subagent is determined as the situation.
【請求項8】 画像表示手段を備え、 前記エージェント出現手段が、前記画像表示手段に対
し、エージェントを画像表示させるエージェント表示手
段を含み、 前記サブエージェント出現手段が、前記画像表示手段に
対し、サブエージェントを、前記エージェントと視覚的
に識別可能に画像表示させるサブエージェント表示手段
を含むことを特徴とする請求項1から請求項7のうちの
いずれか1項に記載のエージェント装置。
8. An image display means, wherein the agent appearance means includes an agent display means for displaying an image of an agent on the image display means, and the sub-agent appearance means comprises a sub-agent for the image display means. The agent device according to any one of claims 1 to 7, further comprising a sub-agent display unit that displays an image of the agent so as to be visually distinguishable from the agent.
【請求項9】 音声出力装置を備え、 前記エージェント出現手段が、前記音声出力装置に対
し、エージェントの音声を出力させるエージェント音声
出力手段を含み、 前記サブエージェント出現手段が、前記音声出力装置に
対し、前記エージェントと聴覚的に識別可能なサブエー
ジェントの音声を出力させるサブエージェント音声出力
手段を含むことを特徴とする請求項1から請求項8のう
ちのいずれか1項に記載のエージェント装置。
9. An audio output device, wherein the agent appearance means includes an agent audio output means for outputting an agent voice to the audio output device, and wherein the subagent appearance means is provided for the audio output device. The agent device according to any one of claims 1 to 8, further comprising: a sub-agent voice output unit configured to output a voice of a sub-agent that is audibly distinguishable from the agent.
JP6441498A 1998-02-27 1998-02-27 Agent device Expired - Fee Related JP3965538B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6441498A JP3965538B2 (en) 1998-02-27 1998-02-27 Agent device

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP6441498A JP3965538B2 (en) 1998-02-27 1998-02-27 Agent device
US09/119,238 US6249720B1 (en) 1997-07-22 1998-07-21 Device mounted in vehicle
DE69836846T DE69836846T2 (en) 1997-07-22 1998-07-22 In the motor vehicle built-in device
EP98113679A EP0893308B1 (en) 1997-07-22 1998-07-22 Device mounted in vehicle
JP2005098226A JP2005293587A (en) 1997-07-22 2005-03-30 Agent device
JP2005098224A JP3918850B2 (en) 1997-07-22 2005-03-30 Agent device
JP2005098225A JP3891202B2 (en) 1997-07-22 2005-03-30 Agent device
JP2005098227A JP2005313886A (en) 1997-07-22 2005-03-30 Agent apparatus
JP2005098223A JP2005313885A (en) 1997-07-22 2005-03-30 Agent apparatus
JP2008156559A JP4353310B2 (en) 1997-07-22 2008-06-16 In-vehicle device

Publications (2)

Publication Number Publication Date
JPH11250395A true JPH11250395A (en) 1999-09-17
JP3965538B2 JP3965538B2 (en) 2007-08-29

Family

ID=13257619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6441498A Expired - Fee Related JP3965538B2 (en) 1998-02-27 1998-02-27 Agent device

Country Status (1)

Country Link
JP (1) JP3965538B2 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231398A (en) * 1999-01-18 2000-08-22 Thomson Multimedia Sa Device provided with voice and manual user interface and method for supporting voice command learning of this device
JP2001265457A (en) * 2000-02-04 2001-09-28 Robert Bosch Gmbh Device for manually operating unit of automobile and method for using the same
JP2002041276A (en) * 2000-07-24 2002-02-08 Sony Corp Interactive operation-supporting system, interactive operation-supporting method and recording medium
US6411898B2 (en) 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
US6437689B2 (en) 2000-03-23 2002-08-20 Honda Giken Kogyo Kabushiki Kaisha Agent apparatus
US6476714B2 (en) 2000-02-08 2002-11-05 Honda Giken Kogyo Kabushiki Kaisha Vehicle's communication apparatus
WO2003042002A1 (en) * 2001-11-13 2003-05-22 Kabushiki Kaisha Equos Research Data creation apparatus
JP2003271892A (en) * 2002-03-18 2003-09-26 Nippon Telegraph & Telephone East Corp Automatic scenario production system, automatically scenario producing method, computer program, and recording medium with the program recorded thereon
JP2004028702A (en) * 2002-06-24 2004-01-29 Equos Research Co Ltd On-vehicle equipment, data creation device, and data creation program
JP2004042793A (en) * 2002-07-12 2004-02-12 Nippon Seiki Co Ltd Information providing device for vehicle
WO2005018996A1 (en) * 2003-08-21 2005-03-03 Nippon Seiki Co., Ltd. Vehicle information providing device
US7242312B2 (en) 2002-05-29 2007-07-10 Yamaha Hatsudoki Kabushiki Kaisha Product state display system, and program and recording medium for the same
JP2008026916A (en) * 2002-05-29 2008-02-07 Yamaha Motor Co Ltd Product state indicating system, program for product state indicating system, recording medium for product state indicating system
WO2008044325A1 (en) * 2006-10-13 2008-04-17 Frepar Networks Kabushiki Kaisha Information providing system
US7539575B2 (en) 2003-11-27 2009-05-26 Pioneer Corporation Navigation system
JP2009297892A (en) * 2000-09-19 2009-12-24 Toyota Motor Corp Robot mounted on movable body and movable body mounted with the same
JP2010531478A (en) * 2007-04-26 2010-09-24 フォード グローバル テクノロジーズ、リミテッド ライアビリティ カンパニー Emotional advice system and method
JP2012013443A (en) * 2010-06-29 2012-01-19 Toyota Motor Corp Control device
WO2013038440A1 (en) * 2011-09-13 2013-03-21 三菱電機株式会社 Navigation apparatus
JP2015028566A (en) * 2013-07-30 2015-02-12 株式会社デンソー Response control system, on-vehicle device and center
JP2018195167A (en) * 2017-05-19 2018-12-06 トヨタ自動車株式会社 Information providing apparatus and information providing method
WO2020022294A1 (en) * 2018-07-27 2020-01-30 ソニー株式会社 Information processing system, information processing method, and recording medium
US11276313B2 (en) 2017-05-31 2022-03-15 Fujitsu Limited Information processing device, drive assist system, and drive assist method

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231398A (en) * 1999-01-18 2000-08-22 Thomson Multimedia Sa Device provided with voice and manual user interface and method for supporting voice command learning of this device
JP2001265457A (en) * 2000-02-04 2001-09-28 Robert Bosch Gmbh Device for manually operating unit of automobile and method for using the same
US6476714B2 (en) 2000-02-08 2002-11-05 Honda Giken Kogyo Kabushiki Kaisha Vehicle's communication apparatus
US6437689B2 (en) 2000-03-23 2002-08-20 Honda Giken Kogyo Kabushiki Kaisha Agent apparatus
US6411898B2 (en) 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
JP2002041276A (en) * 2000-07-24 2002-02-08 Sony Corp Interactive operation-supporting system, interactive operation-supporting method and recording medium
JP2009297892A (en) * 2000-09-19 2009-12-24 Toyota Motor Corp Robot mounted on movable body and movable body mounted with the same
WO2003042002A1 (en) * 2001-11-13 2003-05-22 Kabushiki Kaisha Equos Research Data creation apparatus
JP2003271892A (en) * 2002-03-18 2003-09-26 Nippon Telegraph & Telephone East Corp Automatic scenario production system, automatically scenario producing method, computer program, and recording medium with the program recorded thereon
CN100397472C (en) * 2002-05-29 2008-06-25 雅马哈发动机株式会社 Product state indicating system, program for product state indicating system, recording medium for product state indicating system
US7242312B2 (en) 2002-05-29 2007-07-10 Yamaha Hatsudoki Kabushiki Kaisha Product state display system, and program and recording medium for the same
JP2008026916A (en) * 2002-05-29 2008-02-07 Yamaha Motor Co Ltd Product state indicating system, program for product state indicating system, recording medium for product state indicating system
JP4523957B2 (en) * 2002-05-29 2010-08-11 ヤマハ発動機株式会社 Product status display system, product status display system program, and product status display system recording medium
JP2004028702A (en) * 2002-06-24 2004-01-29 Equos Research Co Ltd On-vehicle equipment, data creation device, and data creation program
JP2004042793A (en) * 2002-07-12 2004-02-12 Nippon Seiki Co Ltd Information providing device for vehicle
WO2005018996A1 (en) * 2003-08-21 2005-03-03 Nippon Seiki Co., Ltd. Vehicle information providing device
JP2005067317A (en) * 2003-08-21 2005-03-17 Nippon Seiki Co Ltd Information providing device for vehicle
US7539575B2 (en) 2003-11-27 2009-05-26 Pioneer Corporation Navigation system
WO2008044325A1 (en) * 2006-10-13 2008-04-17 Frepar Networks Kabushiki Kaisha Information providing system
US9189879B2 (en) 2007-04-26 2015-11-17 Ford Global Technologies, Llc Emotive engine and method for generating a simulated emotion for an information system
JP2010531478A (en) * 2007-04-26 2010-09-24 フォード グローバル テクノロジーズ、リミテッド ライアビリティ カンパニー Emotional advice system and method
US9811935B2 (en) 2007-04-26 2017-11-07 Ford Global Technologies, Llc Emotive advisory system and method
US8812171B2 (en) 2007-04-26 2014-08-19 Ford Global Technologies, Llc Emotive engine and method for generating a simulated emotion for an information system
US9495787B2 (en) 2007-04-26 2016-11-15 Ford Global Technologies, Llc Emotive text-to-speech system and method
US9292952B2 (en) 2007-04-26 2016-03-22 Ford Global Technologies, Llc Task manager and method for managing tasks of an information system
JP2012013443A (en) * 2010-06-29 2012-01-19 Toyota Motor Corp Control device
JPWO2013038440A1 (en) * 2011-09-13 2015-03-23 三菱電機株式会社 Navigation apparatus and method
US9514737B2 (en) 2011-09-13 2016-12-06 Mitsubishi Electric Corporation Navigation apparatus
WO2013038440A1 (en) * 2011-09-13 2013-03-21 三菱電機株式会社 Navigation apparatus
JP2015028566A (en) * 2013-07-30 2015-02-12 株式会社デンソー Response control system, on-vehicle device and center
JP2018195167A (en) * 2017-05-19 2018-12-06 トヨタ自動車株式会社 Information providing apparatus and information providing method
US11276313B2 (en) 2017-05-31 2022-03-15 Fujitsu Limited Information processing device, drive assist system, and drive assist method
WO2020022294A1 (en) * 2018-07-27 2020-01-30 ソニー株式会社 Information processing system, information processing method, and recording medium
US11327637B2 (en) 2018-07-27 2022-05-10 Sony Corporation Information processing system, information processing method, and recording medium for updating virtual agent user interface

Also Published As

Publication number Publication date
JP3965538B2 (en) 2007-08-29

Similar Documents

Publication Publication Date Title
JP3891202B2 (en) Agent device
JP3873386B2 (en) Agent device
JP3965538B2 (en) Agent device
JP4085500B2 (en) Vehicle status grasping device, agent device, and vehicle control device
JP4193300B2 (en) Agent device
JPH11259446A (en) Agent device
JP5019145B2 (en) Driver information collection device
JP4258585B2 (en) Destination setting device
JPH11259271A (en) Agent device
JP4380541B2 (en) Vehicle agent device
JP4441939B2 (en) Destination setting device
JP6173477B2 (en) Navigation server, navigation system, and navigation method
JP2000020888A (en) Agent device
JP4936094B2 (en) Agent device
JP4253918B2 (en) Agent device
JP2000181500A (en) Speech recognition apparatus and agent apparatus
JP2000186942A (en) Agent mental model preparing method, and agent device
JPH11272640A (en) Agent device
JP4207350B2 (en) Information output device
JP4284733B2 (en) Agent device
JP4032492B2 (en) Agent device
JP2000203465A (en) Information recording device
JP2004037953A (en) On-vehicle device, and device and program for data creation
JP2003106846A (en) Agent apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070515

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100608

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130608

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140608

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees