JP4353310B2 - 車載装置 - Google Patents
車載装置 Download PDFInfo
- Publication number
- JP4353310B2 JP4353310B2 JP2008156559A JP2008156559A JP4353310B2 JP 4353310 B2 JP4353310 B2 JP 4353310B2 JP 2008156559 A JP2008156559 A JP 2008156559A JP 2008156559 A JP2008156559 A JP 2008156559A JP 4353310 B2 JP4353310 B2 JP 4353310B2
- Authority
- JP
- Japan
- Prior art keywords
- agent
- driver
- situation
- data
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
- B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- User Interface Of Digital Computer (AREA)
- Instrument Panels (AREA)
- Instructional Devices (AREA)
- Air-Conditioning For Vehicles (AREA)
- Air Conditioning Control Device (AREA)
Description
また、車両に搭載したアマチュア無線機や携帯電話等の無線通信機器を使用して、車両外の知人等との会話を楽しむことで、走行環境を向上させるようにした車両もある。
一方、携帯電話等による場合には会話をすることができるが、コール待ち、ダイヤル等によって通話相手を捜さなければならなかった。たとえ、通話相手が見つかったとしても、車両の状況といった運転者の一方的な都合にあわせた、適切な会話をしてくれるわけではなかった。
このように、従来の車両には、車両の過去の状態などの履歴・運転者の状態に応じて、擬人化されたエージェントが存在しないため、車両が愛着のわかないただの乗り物としての道具でしか役割を持たない場合もあった。
(2)請求項2記載の発明では、前記提案に対する運転者の受け入れ状態は、提案に対する無視、拒絶、受容のいずれかであることを特徴とする請求項1に記載の車載装置を提供する。
(3)請求項3記載の発明では、前記状況検出手段は、車両状況として燃料残量を検出し、前記学習手段は、給油直前に前記状況検出手段で検出した燃料残量を記憶することで学習し、前記提案手段は、前記学習した燃料残量に基づく所定の燃料残量を前記状況検出手段で検出した場合に、前記運転者に対して給油の提案を行う、ことを特徴とする請求項1又は請求項2に記載の車載装置を提供する。
(4)請求項4記載の発明では、前記状況検出手段は、更に、前記運転者の所定の状況を検出し、前記提案手段は、前記状況検出手段で前記運転者の所定の状況を検出した場合、前記運転者に対して食事の案内をするか否かの提案を行う、ことを特徴とする請求項1又は請求項2に記載の車載装置を提供する。
(1)実施形態の概要
本実施形態のエージェント装置では、擬人化されたエージェントを画像(平面的画像、ホログラフィ等の立体的画像等)により車両内に出現させる。そして、車両自体、運転者、同乗者、対向車等を含む車両の状況の判断と学習(状況の学習だけでなく運転者の応答や反応等も含む)をし、各時点での車両状況とそれまでの学習結果に基づいて、エージェントが運転者や車両に対して様々なバリエーションをもった対応(行為=行動と音声)をする。
これにより運転者は、自分固有のエージェントを車両内でつき合う(コミュニケーションする)ことが可能になり、車両内での環境を快適にすることができる。
ここで、車両内に出現させるエージェントは、人間と同様に判断し学習する疑似人格化(仮想人格化)された主体である。従って、同一の車両状況であっても過去の学習内容等に応じてエージェントのコミュニケーションの内容は異なる。ときには、車両の走行には関係ない範囲での判断ミスも有り、この判断ミスによる不要な(ドジな)応答をすることもある。そして運転者の応答により、判断ミスか否かを判定し、学習する。
エージェントとして画像表示される容姿としては、人間的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。
エージェントの容姿や音声については、複数の容姿、複数の音声の中から選択することが可能である。
図1は、本実施形態におけるエージェント装置の構成を示すブロック図である。
本実施形態では、コミュニケーション機能全体を制御する全体処理部1を備えている。この全体処理部は、設定した目的地までの経路を探索して音声や画像表示により案内するナビゲーション処理部10、車両の状況や運転者による過去の応対等を学習して適切な会話や制御を行うエージェント処理部11、ナビゲーション処理部10とエージェント処理部11に対するI/F部12、エージェント画像や地図画像等の画像出力や入力画像を処理する画像処理部13、エージェント音声や経路案内音声等の音声出力や入力される音声を制御する音声制御部14、及び車両や運転者に関する各種状況の検出データを処理する状況情報処理部15を有している。
ROMはCPUで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、RAMはCPUがワーキングメモリとして使用するランダムアクセスメモリである。
GPS受信装置211とビーコン受信装置215は単独で位置測定が可能であるが、GPS受信装置211やビーコン受信装置215による受信が不可能な場所では、方位センサ212と距離センサ214の双方を用いた推測航法によって現在位置を検出するようになっている。
方位センサ212は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差(移動距離の差)により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ213は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ214は、例えば、車輪の回転数を検出して計数し、または加速度を検出して2回積分するもの等の各種の方法が使用される。
入力装置22には、タッチパネル(スイッチとして機能)、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、音声認識装置などの各種の装置が使用可能である。また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。リモコンには、画面上に表示されたカーソルの移動操作等を行うジョイスティックの他、メニュー指定キー(ボタン)、テンキー等の各種キーが配置される。
ここで、記録媒体とは、コンピュータプログラムが記録される記録媒体をいい、具体的には、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやICカード等の半導体記録媒体、CD−ROMやMO、PD(相変化書換型光ディスク)等の光学的に情報が読み取られる記録媒体、紙カードや紙テープ、文字認識装置を使用してプログラムを読み込むための印刷物等の用紙(および、紙に相当する機能を持った媒体)を用いた記録媒体、その他各種方法でコンピュータプログラムが記録される記録媒体が含まれる。
例えば、ICカードにエージェント機能に関する学習内容(学習項目データ、応答データ)を記憶させる、他の車両を運転する場合でもこの記憶させたICカードを使用することで、自分の好みに合わせて(過去の応対の状況に応じて)学習されたエージェントとコミュニケーションすることが可能になる。これにより、車両毎のエージェントではなく、運転者に固有のエージェントを車両内に出現させることが可能になる。
また、通信制御装置24を介して、エージェント機能に関する学習データを送受信することも可能である。
マイク26は、音声制御部14における音声認識の対象となる音声、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話(応答等)等を入出力する音声入力手段として機能する。このマイク26は、通信カラオケ等のカラオケを行う際のマイクと兼用するようにしてもよく、また、運転者の音声を的確に収集するために指向性のある専用のマイクを使用するようにしてもよい。
音声出力装置25とマイク26とでハンズフリーユニットを形成させて、携帯電話を介さずに、電話通信における通話を行えるようにしてもよい。
表示装置27は、液晶表示装置、CRT等の各種表示装置が使用される。
なお、この表示装置5は、例えばタッチパネル等の、前記入力装置2としての機能を兼ね備えたものとすることができる。
この場合、例えば、学習項目データ292と応答データを持ち運びが容易なICカードやフレキシブルディスクで構成し、その他のデータをハードディスクで構成するというように、複数種類の異なる記録媒体と駆動装置で構成し、駆動装置としてそれらの駆動装置を用いるようにしてもよい。
学習項目データ292及び応答データ293は、運転者の運転操作や応答によってエージェントが学習した結果を格納するデータである。従って、学習項目データ292と応答データ293は、各運転者毎にそのデータが格納・更新(学習)されるようになっている。
画像データ294に格納される容姿としては、人間(男性、女性)的な容姿である必要はなく、例えば、ひよこや犬、猫、カエル、ネズミ等の動物自体の容姿や人間的に図案化(イラスト化)した動物の容姿であってもよく、更にロボット的な容姿や、特定のキャラクタの容姿等であってもよい。またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく(大人の容姿に変化し、更に老人の容姿に変化していく)ようにしてもよい。画像データ294には、これらの各種エージェントの容姿の画像が格納されており、運転者の好みによって入力装置22等から選択することができるようになっている。
このエージェントプログラム290には、各プログラム番号の音声に対して複数種類の音声データが格納されており、運転者は前記エージェントの容姿の選択と併せて音声を入力装置22等から選択することができるようになっている。エージェントの音声としては、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、これらの中から適宜運転者が選択する。なお、この音声と前記容姿の選択は、適時変更することが可能である。
図2はプログラム選択テーブル291を表したものであり、図3はプログラム選択テーブル291で選択される各プログラム番号に対応した、エージェントの行為(行動と発声)内容を表したものである。
この図2、図3で示されているプログラム番号は、エージェントプログラム290に格納されている各コミュニケーションプログラムの番号と一致している。
この図4に示されるように、エージェントEは、口元を引き締めると共に手を膝に当てながら、お辞儀をすることでかしこまったお辞儀であることが表現されている。この行動と共にエージェントEが話す言葉(発声)は、車両状況や学習状況等によって変えられる。
例えば、3回に1回は目をこすり(A行動)、10回に1回はあくびをするようにし(B行動)、それ以外では瞼を下がった表情(C行動)にする。これらの変化は、行動Bや行動Cの付加プログラムを行動Aの基本プログラムに組み合わせることで実現される。そして、どの行動を組み合わせるかについては、基本となる行動Aのプログラム実行回数を学習項目として計数しておき、回数に応じて付加プログラムを組み合わせるようにする。
また、行動「元気よく」を表現する場合には、音声の抑揚を大きくしたり、エージェントEを走りながら画面に登場させたりすることで表現する。
プログラム選択テーブル中で、これら全項目を満足するプログラムは必ず一義的に決定するようになっている。なお、テーブル中で「○」印は、そのプログラム番号が選択されるために満たす必要がある項目を示し、「ー」印はそのプログラムの選択には考慮されない項目を示している。
例えば、急ブレーキが踏まれたことを条件として、エージェントが「しりもち」をついたり、「たたら」を踏んだりする行動をとったり、驚き声をだすようなプログラムも規定されている。エージェントによる各行動の選択は急ブレーキに対する学習によって変化するようにし、例えば、最初の急ブレーキから3回目までは「しりもち」をつき、4回目から10回目までは「たたら」を踏み、10回目以降は「片足を一歩前にだすだけで踏ん張る」行動を取るようにし、エージェントが急ブレーキに対して段階的に慣れるようにする。そして、最後の急ブレーキから1週間の間隔があいた場合には、1段階後退するようにする。
学習項目データ292には、図5に示されるように、プログラム選択テーブル291(図2)の選択条件を決定する通算起動回数、前回終了日時、今日のイグニッションON回数、前5回の給油時残量等が格納され、選択条件により選択されたプログラムを起動するか否か(お休みするか否か)を決定するためのお休み回数/日時、デフォルト値、その他のデータが格納される。
前回終了日時には、イグニッションをOFFにする毎にその日時が格納される。
今日のイグニッションON回数には、その日におけるイグニッションONの回数と、1日の終了時間が格納される。イグニッションがONされる毎にカウントアップされるが、1日が終了するとデータが”0”に初期化される。1日の終了時間はデフォルト値として24:00が格納されている、この時間はユーザ(運転者)の生活パターンによって変更することが可能である。時間が変更された場合には、変更後の時間が格納される。
このデータは、後述する燃料検出センサ415の検出値G1が、全5回分の給油残量の平均値G2以下(G1≦G2)になった場合に、エージェントEが表示装置27に現れて給油を促す行動が表示装置27に表示され、「おなかが減ったなあ!ガソリンがほしいな!」等の音声が音声出力装置25から出力される。
エージェントの提案や会話に対する運転者の応答が、拒否(拒絶)であった場合や無視(又は無応答)であった場合、コミュニケーションプログラムに応じて選択的に「お休み」が設定される。
学習項目データ292に格納されるその他のデータとしては、例えば、運転者やその関係者の誕生日(これはユーザ入力項目である)、祭日とその言われ、クリスマス、バレンタインデー、ホワイトデー等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、クリスマスイブにはサンタクロースに変装したエージェントが現れる。
図6(A)中に表示された記号A、B、Cは応答内容を表すもので、同図(B)に示すように、記号Aが無視された場合、記号Bが拒絶された場合、記号Cが受容された場合を表す。運転者の応答内容については、マイク26から入力される運転者の音声に対する音声認識の結果や、入力装置による入力結果から判断される。
なお、本実施形態では運転者の応答を無視、拒絶、受容の3パターンに分類しているが、「強く拒絶」、「怒られた」、「喜ばれてた」を新たに加えるようにしてもよい。この場合、新たに加えた応答により、学習項目データ292(例えば、お休み回数等)や応答データ293のを追加変更する。
図7に示されるように、ナビゲーションデータ記憶装置30には経路案内等で使用される各種データファイルとして、通信地域データファイル301、描画地図データファイル302、交差点データファイル303、ノードデータファイル304、道路データファイル305、探索データファイル306、写真データファイル307が格納されるようになっている。
このナビゲーションデータ記憶装置4は、例えば、フレキシブルディスク、ハードディスク、CD−ROM、光ディスク、磁気テープ、ICカード、光カード等の各種記録媒体と、その駆動装置が使用される。
なお、ナビゲーションデータ記憶装置4は、複数種類の異なる記録媒体と駆動装置で構成するようにしてもよい。例えば、検索データファイル46を読み書き可能な記録媒体(例えば、フラッシュメモリ等)で、その他のファイルをCD−ROMで構成し、駆動装置としてそれらの駆動装置を用いるようにする。
通信地域データファイル301に格納される内容は、携帯電話の使用可能な地域の拡大や縮小に伴って、更新できるのが望ましく、このために、携帯電話と通信制御装置24を使用することにより、情報提供局との間で通信を行なって、通信地域データファイル301の内容を最新のデータと更新できるように構成されている。なお、通信地域データファイル301をフレキシブルディスク、ICカード等で構成し、最新のデータと書換えを行うようにしても良い。
描画地図データファイル302には、表示装置27に描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
ノードデータファイル304には、各道路における各地点の座標を指定する緯度、経度などの情報からなるノードデータが格納されている。すなわち、このノードデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼ぶと、複数のノード列のそれぞれの間をアークで接続することによって表現される。
道路データファイル305には、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などが格納されている。
交差点データファイル303、ノードデータファイル304、道路データファイル305にそれぞれ格納された交差点データ、ノードデータ、道路データからなる道路網データは、経路探索に使用される。
写真データファイル307には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。
図8に示すように状況センサ部40は、イグニッションセンサ401、車速センサ402、アクセルセンサ403、ブレーキセンサ404、サイドブレーキ検出センサ405、シフト位置検出センサ406、ウィンカー検出センサ407、ワイパー検出センサ408、ライト検出センサ409、シートベルト検出センサ410、ドア開閉検出センサ411、同乗者検出センサ412、室内温度検出センサ413、室外温度検出センサ414、燃料検出センサ415、水温検出センサ416、ABS検出センサ417、エアコンセンサ418、体重センサ419、前車間距離センサ420、後車間距離センサ421、体温センサ422、心拍数センサ423、発汗センサ424、脳波センサ425、アイトレーサー426、赤外線センサ427、その他のセンサ(タイヤの空気圧低下検出センサ、ベルト類のゆるみ検出センサ、窓の開閉状態センサ、クラクションセンサ、室内湿度センサ、室外湿度センサ、油温検出センサ、油圧検出センサ等)428等の車両状況や運転者状況、車内状況等を検出する各種センサを備えている。
これら各種センサは、それぞれのセンシング目的に応じた所定の位置に配置されている。
なお、これらの各センサは独立したセンサとして存在しない場合には、他のセンサ検出信号から間接的にセンシングする場合を含む。例えば、タイヤの空気圧低下検出センサは、車輪速センサの信号の変動により間接的に空気圧の低下を検出する。
車速センサ402は、例えば、スピードメータケーブルの回転角速度又は回転数を検出して車速を算出するもの等、従来より公知の車速センサを特に制限なく用いることができる。
アクセルセンサ403は、アクセルペダルの踏み込み量を検出する。
ブレーキセンサ404は、ブレーキの踏み込み量を検出したり、踏み込み力や踏む込む速度等から急ブレーキがかけられたか否かを検出する。
サイドブレーキ検出センサ405は、サイドブレーキがかけられているか否かを検出する。
シフト位置検出センサ406は、シフトレバー位置を検出する。
ウィンカー検出センサ407は、ウィンカの点滅させている方向を検出する。
ワイパー検出センサ408は、ワイパーの駆動状態(速度等)を検出する。
ライト検出センサ409は、ヘッドランプ、テールランプ、フォグランプ、ルームランプ等の各ランプの点灯状態を検出する。
シートベルト検出センサ410は、運転者、及び同乗者(補助席、後部座席)がシートベルトを着用しているか否かを検出する。着用していない場合には適宜(嫌われない程度に)エージェントが現れ、警告、注意、コメント等(学習により程度を変更する)を行う。
同乗者検出センサ412は、助手席や後部座席に同乗者が乗っているか否かを検出するセンサで、撮像装置28で撮像された車内の画像から検出し、または、補助席等に配置された圧力センサや、体重計により検出する。
室内温度検出センサ413は室内の気温を検出し、室外温度検出センサ414は車両外の気温を検出する。
燃料検出センサ415は、ガソリン、軽油等の燃料の残量を検出する。給油時直前における過去5回分の検出値が学習項目データ292に格納され、その平均値になった場合にエージェントが給油時期であることを知らせる。
ABS検出センサ417は、急ブレーキによるタイヤのロックを防止し操縦性と車両安定性を確保するABSが作動したか否かを検出する。
エアコンセンサ418は、エアコンの操作状態を検出する。例えば、エアコンのON・OFF、設定温度、風量等が検出される。
体重センサ419は、運転者の体重を検出するセンサである。この体重から、または、体重と撮像装置28の画像から運転者を特定し、その運転者との関係で学習したエージェントを出現させるようにする。すなわち、特定した運転者に対してエージェントが学習した、学習項目データ292と応答データ293を使用することで、その運転者専用のエージェントを出現させるようにする。
前車間距離センサ420は車両前方の他車両や障害物との距離を検出し、後車間距離センサ421は後方の他車両や障害物との距離を検出する。
脳波センサ425は、運転者の脳波を検出するセンサで、例えばα波やβ波等を検出して運転者の覚醒状態等を調べる。
アイトレーサー426は、ユーザの視線の動きを検出し、通常運転中、車外の目的物を捜している、車内目的物をさがしている、覚醒状態等を判断する。
赤外線センサ427は、ユーザの手の動きや顔の動きを検出する。
図9は本実施形態によるエージェント処理のメイン動作を表したフローチャートである。
エージェント処理部11は、イグニッションがONされたことがイグニッションセンサ401で検出されると、まず最初に初期設定を行う(ステップ11)。初期設定としては、RAMのクリア、各処理用のワークエリアをRAMに設定、プログラム選択テーブル291(図2)のRAMへのロード、フラグの0設定、等の処理が行われる。なお、本実施形態のエージェント処理では、その処理の開始をイグニッションONとしたが、例えばドア開閉検出センサ411によりいずれかのドアの開閉が検出された場合に処理を開始するようにしてもよい。
現在の状況としては、他にマイク26からの入力に基づいて音声認識した運転者の要求、例えば、「○○○番に電話をしてくれ。」や「この辺のレストランを表示してくれ」や「CDをかけてくれ」等の要求も現在の状況として把握される。この場合、認識した音声に含まれるワード「CD」「かけて」等がプログラム選択テーブル291(図2)の選択条件(横軸項目)になる。
一方、起動可能なコミュニケーションプログラムがある場合(ステップ14;Y)、そのプログラム番号を決定する。そして、決定したプログラム番号に対する運転者の応答履歴を応答データ293から確認し、当該プログラム番号のコミュニケーションプログラムの起動を、お休みすべき状態か否かを確認する(ステップ15)。
次にエージェント処理部11は、ステップ16で起動したコミュニケーションプログラムが制御対象プログラムか否かを判断する(ステップ18)。ここで制御対象プログラムか否かは各プログラム毎に規定されており、例として、「ラジオの電源を入れましょうか?」や、お昼時にお腹が鳴る音を検出した場合に「食堂の案内をしましょうか?」といったように、エージェントが処理可能な行為の提案をする場合のコミュニケーションプログラム等が制御対象プログラムとして規定されている。
データの蓄積としては、例えば、コミュニケーションプログラムの起動がお休みである場合には(ステップ15;Y)、学習項目データ292の該当プログラム番号の回数欄をカウントアップさせる。ただし、学習項目データ292のお休み回数/日時欄に格納されている回数をKa回とし、当該プログラム番号に対する前回までの応答データ293の履歴から決まるお休み回数をKb回とした場合、Ka=Kb−1であれば、今回のお休みで規定回数休んだことになるの。そこで、学習項目データ292及び応答データ293の当該プログラム番号欄の(該当する位置に格納されている)データをクリアする。
その他の場合(ステップ18;Nの場合、ステップ19の後)には、ステップ12で把握した現在状況の中に学習項目があれば学習項目データ292の値を更新し、応答内容を履歴として格納すべきプログラム番号であればステップ17で取得した応答内容を応答データ293(図7)に格納する。この応答の履歴も各プログラム番号毎に規定された所定回数分のデータが既に格納されている場合には、最も古いデータを廃棄して新しいデータを格納する。
フラグが立っていない場合には(ステップ21;N)、イグニッションセンサ401によりイグニッションOFFが検出されたか否かを判断し(ステップ22)、検出されていない場合(ステップ22;N)にはステップ12に戻って新たな状態を把握する。
一方、イグニッションOFFが検出された場合(ステップ22;Y)、RAMのフラグ領域にフラグ1を立て(ステップ23)た後にステップ12に戻り、後処理を行う。すなわち、フラグ1を現在状況や学習データに応じたお別れの行為(行動と音声)をエージェントにさせると共に、消し忘れのライト類の消灯等の制御、及び当該後処理に対する学習(ステップ20)の後、フラグが1なので(ステップ21;Y)、エージェント処理を終了する。
図10は、イグニッションON後における具体的なエージェント処理の内容を概念的に表したものである。
この図10(A)に示すように、エージェント処理部11は、現在状況として、イグニッションセンサ401で検出された状態が「ON」、現在位置検出装置21で検出された現在位置(緯度、経度)から求めた現在位置が「その他」(自宅、休憩場所以外)、等の状況を把握(ステップ12)したものとする。
また、学習項目データ292と応答データ293についてチェックした学習データとしては、今日のイグニッションON回数が「2日目」前回終了日時が「1997.7.12 10:05」、通算起動回数が「30回」であるとチェック(ステップ13)したものとする。
プログラム番号00004のコミュニケーションプログラムの起動により、図3に示すエージェント行為(行動と発声)が、図10(B)に示すように、行われる。すなわち、表示装置27にはエージェントが図4に示すように「かしこまってお辞儀」をする連続行動の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「また私、リサが御供いたします。よろしくお願いします。」といった音声が出力される。
この図11(A)に示すように、エージェント処理部11は、現在状況として、エアコンセンサ418で検出された状態が「ON」、室内温度検出センサ413と室外温度検出センサ414で検出された室温T1と室外温T2を取得する。また、各プログラム番号の応答データ293をチェックすることで、プログラム番号0123に対する前2回の運転者応答がC(受容)なので、閾値T3、T4の値としてデフォルト値(T3=2度、T4=24度)が学習項目データ292から読み出される。
この閾値T3とT4とから、室温と室外温の関係、(T1−T2)≦T3が「Yes」、室外温T2と閾値T4との関係T2≦T4が「Yes」、等の状況が最終的に把握される(図11(A))。
プログラム番号00123のコミュニケーションプログラムの起動により、図11(B)に示すような行為をエージェントがする。すなわち、表示装置27にはエージェントが現れてほほえむ連続動作の画像が複数枚表示(または動画が表示)されると共に、音声出力装置25からは「外は涼しくなりましたよ。外気を入れてみませんか?」といった音声が出力される。
そして、プログラム番号00123は制御対象プログラムなので(ステップ18;Y)、受容であれば応答に応じた制御としてエアコンの電源をOFFにすると共に、運転席側と助手席側の窓を1/2だけ開ける制御を行う(ステップ19)。
応答に応じた制御の後、エージェント処理部11は、エージェントの学習として、図11(C)に示すように、運転者の応答が無視であればA、拒絶であればB、受容であればCを、応答日時と共にプログラム番号0123に対応する応答データ293に格納する。この場合、前々回の応答データが削除され、前回の応答と今回の応答が応答データ293の格納内容になる。
そして、格納した応答内容が無視Aであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、1回休むことになる。格納した応答内容が拒絶Bであれば、次回の閾値T3、T4は1度づつ下げた値(T3−1=1度、T4−1=23度)が使用され、5回休むことになる。なお、1回休む場合の閾値としては下げた後の温度T3=T3−1、T4=T4−1が使用される。
格納した応答内容が受容Cであれば、前回使用した閾値T3、T4と同一の値が使用される。
また運転者は、エージェントに対して怒ったり、笑ったり、相談したりでき、またエージェントから積極的になされる提案に対してもその時々の気分で応答することができる。そして、これらの運転者の行為を適切に判断、学習してエージェントがコミュニケーションをとるので、エージェントに対して親しみを感じ、その車両に対する愛着を増すことができる。
すなわち、現在の車両・運転者の状況だけでなく、過去の履歴等に基づく学習結果から擬人化されたエージェントが状況に合わせた行為をし、運転者とのコミュニケーションをはかることができる。
従って、運転者はエージェントとの会話をしたり、エージェントに窓の開閉、CDやラジオの制御、走行道路や施設の詳細な案内といった各種の制御をしてもらうことができ、車内での運転環境を快適にすることができる。
(1)擬人化されたエージェントを車両内に出現させるエージェント出現手段と、
車両の状況を判断する状況判断手段と、
この状況判断手段による所定状況を記憶することで学習する学習手段と、
この学習手段による学習結果と前記状況判断手段により判断された状況とから、エージェントの行為を決定する行為決定手段と、
この行為決定手段で決定された行為を前記エージェント出現手段により出現されるエージェントに行わせるエージェント制御手段と、を具備することを特徴とするエージェント装置。
(2) 前記状況判断手段は、現在または過去の状況を判断する手段であることを特徴とする上記(1)記載のエージェント装置。
(3) 前記状況判断手段は、車両の現在位置を検出する現在位置現在検出手段であることを特徴とする上記(1)記載のエージェント装置。
(4) 前記状況判断手段は、車両各部の状況を検出する車載センサであることを特徴とする上記(1)記載のエージェント装置。
(5) 前記状況判断手段は、車両外部の環境を検出するセンサであることを特徴とする上記(1)記載のエージェント装置。
(6) 前記学習手段は、前記状況手段が同一の状況を検出する回数により予め定められた学習結果を出力することを特徴とする上記(1)記載のエージェント装置。
(7) 前記エージェント出現手段は、画像表示手段と、画像表示手段に対し、特定のエージェントを画像表示するエージェント表示手段を含むことを特徴とする上記(1)記載のエージェント装置。
(8) 前記特定のエージェントは、複数のエージェントの中から選択されることを特徴とする上記(7)記載のエージェント装置。
(9) 前記エージェント出現手段は、音声出力装置と、該音声出力装置に対し、特定のエージェントの音声を出力するエージェント音声出力手段を含むことを特徴とする上記(1)記載のエージェント装置。
(10) 前記音声出力手段は、複数のエージェント音声の中から選択された音声を出力することを特徴とする上記(9)記載のエージェント装置。
(11) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、エージェントの行動を画像表示手段に画像表示する上記(1)記載のエージェント装置。
(12) 前記エージェント制御手段は、前記行為決定手段で決定された行為に対応して、音声出力手段から出力される音声の音色を制御する上記(1)記載のエージェント装置。
(13) 前記学習手段は、さらに、運転者の指示内容及び応答内容の少なくとも一方を学習対象として記憶する記憶手段を備えたことを特徴とする上記(1)記載のエージェント装置。
(14) さらに運転者の操作を入力するスイッチを備え、前記記憶手段は該スイッチ入力の時間及び場所を記憶することを特徴とする上記(13)記載のエージェント装置。
(15) 前記学習手段は、前記エージェント制御手段により実行された行為に対応した運転者の操作があったか否かを判別する判別手段を備えることを特徴とする上記(1)記載のエージェント装置。
10 ナビゲーション処理部
11 エージェント処理部
12 I/F部
13 画像処理部
14 音声制御部
15 状況情報処理部
21 現在位置検出装置
22 入力装置
23 記憶媒体駆動装置
24 通信制御装置
25 音声出力装置
26 マイク
27 表示装置
28 撮像装置
29 エージェントデータ記憶装置
30 ナビゲーションデータ記憶装置
40 状況センサ部
Claims (4)
- 提案に対する運転者の受け入れ状態を含め、車両の状況を検出する状況検出手段と、
当該状況検出手段により検出した状況を記憶することで学習する学習手段と、
当該学習手段による学習結果と前記状況検出手段により検出された状況に応じて、運転者に対する提案を行う提案手段と、
前記提案に対する運転者の受け入れ状態についての学習結果から、前記提案手段による前記提案を行うか否かを制御する制御手段と、
を具備することを特徴とする車載装置。 - 前記提案に対する運転者の受け入れ状態は、提案に対する無視、拒絶、受容のいずれかであることを特徴とする請求項1に記載の車載装置。
- 前記状況検出手段は、車両状況として燃料残量を検出し、
前記学習手段は、給油直前に前記状況検出手段で検出した燃料残量を記憶することで学習し、
前記提案手段は、前記学習した燃料残量に基づく所定の燃料残量を前記状況検出手段で検出した場合に、前記運転者に対して給油の提案を行う、
ことを特徴とする請求項1又は請求項2に記載の車載装置。 - 前記状況検出手段は、更に、前記運転者の所定の状況を検出し、
前記提案手段は、前記状況検出手段で前記運転者の所定の状況を検出した場合、前記運転者に対して食事の案内をするか否かの提案を行う、
ことを特徴とする請求項1又は請求項2に記載の車載装置。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21249197A JP3873386B2 (ja) | 1997-07-22 | 1997-07-22 | エージェント装置 |
JP6441498A JP3965538B2 (ja) | 1998-02-27 | 1998-02-27 | エージェント装置 |
JP8262698A JPH11259446A (ja) | 1998-03-12 | 1998-03-12 | エージェント装置 |
JP10082710A JPH11259271A (ja) | 1998-03-13 | 1998-03-13 | エージェント装置 |
JP09538698A JP4032492B2 (ja) | 1998-03-23 | 1998-03-23 | エージェント装置 |
JP10095387A JPH11272640A (ja) | 1998-03-23 | 1998-03-23 | エージェント装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005098226A Division JP2005293587A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008290714A JP2008290714A (ja) | 2008-12-04 |
JP4353310B2 true JP4353310B2 (ja) | 2009-10-28 |
Family
ID=27550977
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005098224A Expired - Fee Related JP3918850B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098223A Pending JP2005313885A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098225A Expired - Fee Related JP3891202B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098226A Pending JP2005293587A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098227A Pending JP2005313886A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2008156559A Expired - Fee Related JP4353310B2 (ja) | 1997-07-22 | 2008-06-16 | 車載装置 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005098224A Expired - Fee Related JP3918850B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098223A Pending JP2005313885A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098225A Expired - Fee Related JP3891202B2 (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098226A Pending JP2005293587A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
JP2005098227A Pending JP2005313886A (ja) | 1997-07-22 | 2005-03-30 | エージェント装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6249720B1 (ja) |
EP (1) | EP0893308B1 (ja) |
JP (6) | JP3918850B2 (ja) |
DE (1) | DE69836846T2 (ja) |
Families Citing this family (168)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
DE19952854C1 (de) * | 1999-11-03 | 2001-08-09 | Bosch Gmbh Robert | Assistenzvorrichtung in einem Fahrzeug |
JP4163839B2 (ja) * | 2000-02-08 | 2008-10-08 | 本田技研工業株式会社 | 車両用コミニュケーション装置 |
DE10008226C2 (de) * | 2000-02-22 | 2002-06-13 | Bosch Gmbh Robert | Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung |
KR20010113919A (ko) | 2000-03-09 | 2001-12-28 | 요트.게.아. 롤페즈 | 소비자 전자 시스템과의 대화 방법 |
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
JP2002077755A (ja) * | 2000-08-29 | 2002-03-15 | Sharp Corp | エージェントインタフェース装置 |
US6580973B2 (en) * | 2000-10-14 | 2003-06-17 | Robert H. Leivian | Method of response synthesis in a driver assistance system |
US7565230B2 (en) * | 2000-10-14 | 2009-07-21 | Temic Automotive Of North America, Inc. | Method and apparatus for improving vehicle operator performance |
US6909947B2 (en) | 2000-10-14 | 2005-06-21 | Motorola, Inc. | System and method for driver performance improvement |
US6925425B2 (en) | 2000-10-14 | 2005-08-02 | Motorola, Inc. | Method and apparatus for vehicle operator performance assessment and improvement |
US20020151297A1 (en) * | 2000-10-14 | 2002-10-17 | Donald Remboski | Context aware wireless communication device and method |
US6591168B2 (en) * | 2001-08-31 | 2003-07-08 | Intellisist, Inc. | System and method for adaptable mobile user interface |
EP1246142A1 (en) * | 2001-03-30 | 2002-10-02 | Nokia Corporation | Download of audio files to a detachable memory for playing in separate terminal |
JP2002304188A (ja) | 2001-04-05 | 2002-10-18 | Sony Corp | 単語列出力装置および単語列出力方法、並びにプログラムおよび記録媒体 |
JP2003004455A (ja) * | 2001-06-15 | 2003-01-08 | Mitsubishi Electric Corp | 車載用ナビゲーション装置 |
DE10132948B4 (de) * | 2001-07-06 | 2015-10-08 | Volkswagen Ag | Vorrichtung zur Einstellung einer Spracheinheit |
US20050107929A1 (en) * | 2001-09-01 | 2005-05-19 | Bayerische Motoren Werke Ag | Method, device and computer product for updating data of a control device |
US7107081B1 (en) | 2001-10-18 | 2006-09-12 | Iwao Fujisaki | Communication device |
US7127271B1 (en) | 2001-10-18 | 2006-10-24 | Iwao Fujisaki | Communication device |
US7466992B1 (en) | 2001-10-18 | 2008-12-16 | Iwao Fujisaki | Communication device |
US6731925B2 (en) * | 2001-10-24 | 2004-05-04 | Mouhamad Ahmad Naboulsi | Safety control system for vehicles |
US8301108B2 (en) | 2002-11-04 | 2012-10-30 | Naboulsi Mouhamad A | Safety control system for vehicles |
US20030096593A1 (en) * | 2001-10-24 | 2003-05-22 | Naboulsi Mouhamad Ahmad | Safety control system for vehicles |
JP2003139838A (ja) * | 2001-10-30 | 2003-05-14 | Mitsui & Co Ltd | Gps測位システム |
DE10153987B4 (de) * | 2001-11-06 | 2018-05-30 | Daimler Ag | Informationssystem in einem Fahrzeug |
EP1462317A4 (en) * | 2001-11-13 | 2009-10-28 | Equos Research Kk | APPARATUS FOR CREATING DATA |
US6804602B2 (en) * | 2002-04-02 | 2004-10-12 | Lockheed Martin Corporation | Incident-aware vehicular sensors for intelligent transportation systems |
AU2003236356A1 (en) * | 2002-04-09 | 2003-10-20 | Matsushita Electric Industrial Co., Ltd. | Speech providing system, server, client machine, information providing management server, and voice providing method |
EP1504276B1 (en) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
JP2003329477A (ja) * | 2002-05-15 | 2003-11-19 | Pioneer Electronic Corp | ナビゲーション装置及び対話型情報提供プログラム |
WO2003100760A1 (fr) * | 2002-05-29 | 2003-12-04 | Yamaha Hatsudoki Kabushiki Kaisha | Systeme d'indication de l'etat de produits, programme pour systeme d'indication de l'etat de produits, support d'enregistrement pour systeme d'indication de l'etat de produits |
US7552140B2 (en) | 2002-07-25 | 2009-06-23 | Temic Automotive Of North America, Inc. | Smart owner's manual |
US20060100880A1 (en) * | 2002-09-20 | 2006-05-11 | Shinichi Yamamoto | Interactive device |
DE10253502A1 (de) | 2002-11-16 | 2004-05-27 | Robert Bosch Gmbh | Vorrichtung zur Projektion eines Objekts in einem Raum eines Fahrzeugs |
US6978199B2 (en) * | 2003-01-15 | 2005-12-20 | Daimlerchrysler Corporation | Method and apparatus for assisting vehicle operator |
US8229512B1 (en) | 2003-02-08 | 2012-07-24 | Iwao Fujisaki | Communication device |
JP3882768B2 (ja) * | 2003-02-28 | 2007-02-21 | 株式会社デンソー | 数値情報通知機能を有する車載機 |
US8241128B1 (en) | 2003-04-03 | 2012-08-14 | Iwao Fujisaki | Communication device |
KR20040091788A (ko) * | 2003-04-22 | 2004-11-02 | 현대자동차주식회사 | 고속도로 자율주행 시스템 및 그의 제어방법 |
US7162029B2 (en) * | 2003-05-29 | 2007-01-09 | Cirrus Logic, Inc. | Gain or input volume controller and method utilizing a modified R2R ladder network |
JP2005067317A (ja) * | 2003-08-21 | 2005-03-17 | Nippon Seiki Co Ltd | 車両用情報提供装置 |
JP2005077372A (ja) * | 2003-09-03 | 2005-03-24 | Denso Corp | 音声認識装置、ナビゲーション装置及びプログラム |
US8990688B2 (en) | 2003-09-05 | 2015-03-24 | Samsung Electronics Co., Ltd. | Proactive user interface including evolving agent |
US7881934B2 (en) * | 2003-09-12 | 2011-02-01 | Toyota Infotechnology Center Co., Ltd. | Method and system for adjusting the voice prompt of an interactive system based upon the user's state |
US8090402B1 (en) | 2003-09-26 | 2012-01-03 | Iwao Fujisaki | Communication device |
US7917167B1 (en) | 2003-11-22 | 2011-03-29 | Iwao Fujisaki | Communication device |
KR100906136B1 (ko) * | 2003-12-12 | 2009-07-07 | 닛본 덴끼 가부시끼가이샤 | 정보 처리용 로봇 |
US7222019B2 (en) * | 2004-01-14 | 2007-05-22 | Yamaha Hatsudoki Kabushiki Kaisha | Vehicle image display apparatus and vehicle having the same |
US8041348B1 (en) | 2004-03-23 | 2011-10-18 | Iwao Fujisaki | Communication device |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
JP2006154926A (ja) * | 2004-11-25 | 2006-06-15 | Denso Corp | キャラクタ表示を利用した電子機器操作システム及び電子機器 |
JP4580230B2 (ja) * | 2004-12-27 | 2010-11-10 | クラリオン株式会社 | ナビゲーション装置 |
GB2421828A (en) * | 2004-12-29 | 2006-07-05 | Yedidia Emanuel Meshulam | Traffic hazard management system for a vehicle, that sends and receives data from sensors and other vehicles relating to the traffic hazards |
US7813771B2 (en) * | 2005-01-06 | 2010-10-12 | Qnx Software Systems Co. | Vehicle-state based parameter adjustment system |
JP4371057B2 (ja) * | 2005-01-11 | 2009-11-25 | トヨタ自動車株式会社 | 車両用エージェント装置、エージェントシステム及びエージェント制御方法 |
US20060262103A1 (en) * | 2005-04-08 | 2006-11-23 | Matsushita Electric Industrial Co., Ltd. | Human machine interface method and device for cellular telephone operation in automotive infotainment systems |
JP4237737B2 (ja) * | 2005-08-04 | 2009-03-11 | 株式会社日本自動車部品総合研究所 | 車両搭載機器の自動制御装置、およびその装置を搭載した車両 |
EP1948481B1 (de) | 2005-11-11 | 2010-02-17 | Volkswagen AG | Informationseinrichtung, vorzugsweise in einem kraftfahrzeug, und verfahren zur information über fahrzeugdaten, insbesondere fahrzeugfunktionen und deren bedienung |
JP2007153076A (ja) * | 2005-12-02 | 2007-06-21 | Denso Corp | 空調機器制御装置 |
DE102006049965A1 (de) * | 2006-02-11 | 2007-10-18 | Volkswagen Ag | Vorrichtung und Verfahren zur interaktiven Informationsausgabe und/oder Hilfestellung für den Benutzer eines Kraftfahrzeugs |
JP4895313B2 (ja) * | 2006-04-28 | 2012-03-14 | パナソニック株式会社 | ナビゲーション装置およびその方法 |
WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
US8065080B2 (en) * | 2006-10-31 | 2011-11-22 | At&T Intellectual Property I, Lp | Location stamping and logging of electronic events and habitat generation |
DE102007007982A1 (de) * | 2007-02-17 | 2008-10-09 | Volkswagen Ag | Informationseinrichtung und Verfahren zum Bereitstellen von Informationen in einem Kraftfahrzeug mit verbesserter Bedienbarkeit |
EP2140341B1 (en) * | 2007-04-26 | 2012-04-25 | Ford Global Technologies, LLC | Emotive advisory system and method |
US7890089B1 (en) | 2007-05-03 | 2011-02-15 | Iwao Fujisaki | Communication device |
US7982620B2 (en) * | 2007-05-23 | 2011-07-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for reducing boredom while driving |
EP2018034B1 (en) * | 2007-07-16 | 2011-11-02 | Nuance Communications, Inc. | Method and system for processing sound signals in a vehicle multimedia system |
US8676273B1 (en) | 2007-08-24 | 2014-03-18 | Iwao Fujisaki | Communication device |
JP5228716B2 (ja) * | 2007-10-04 | 2013-07-03 | 日産自動車株式会社 | 情報提示システム |
US8639214B1 (en) | 2007-10-26 | 2014-01-28 | Iwao Fujisaki | Communication device |
DE102007053213A1 (de) | 2007-11-06 | 2009-05-07 | Navigon Ag | Verfahren zum Betrieb eines Navigationssystems |
US8543157B1 (en) | 2008-05-09 | 2013-09-24 | Iwao Fujisaki | Communication device which notifies its pin-point location or geographic area in accordance with user selection |
DE102008027827A1 (de) * | 2008-06-11 | 2009-12-17 | Volkswagen Ag | Audiovisuelles Assistenzsystem |
DE102008028512A1 (de) | 2008-06-16 | 2009-12-17 | Audi Ag | Kommunikationssystem und Verfahren zur Darstellung von Informationen bei einer Kommunikation |
US8340726B1 (en) | 2008-06-30 | 2012-12-25 | Iwao Fujisaki | Communication device |
US8452307B1 (en) | 2008-07-02 | 2013-05-28 | Iwao Fujisaki | Communication device |
DE102008045123B4 (de) | 2008-09-01 | 2023-06-07 | Volkswagen Ag | Assistenz- und Informationsvorrichtung in einem Kraftfahrzeug sowie Verfahren zum Ausgeben von Informationen |
DE102008045125B4 (de) | 2008-09-01 | 2023-06-29 | Volkswagen Ag | Verfahren und Assistenzsystem zum Vermitteln von zur Laufzeit zusammengestellten Assistenzinformationen |
DE102008045128B4 (de) | 2008-09-01 | 2024-06-27 | Volkswagen Ag | Informationsvermittlungseinrichtung in einem Fahrzeug zum grafischen Ausgeben von Information unter Verwendung eines an einen Zustand angepassten animierten anthropomorphen Charakters (Avatar) |
US9741147B2 (en) * | 2008-12-12 | 2017-08-22 | International Business Machines Corporation | System and method to modify avatar characteristics based on inferred conditions |
US20100235078A1 (en) * | 2009-03-12 | 2010-09-16 | Microsoft Corporation | Driving directions with maps and videos |
JP2010247799A (ja) | 2009-04-20 | 2010-11-04 | Denso Corp | 車載装置の制御システム |
US8150695B1 (en) | 2009-06-18 | 2012-04-03 | Amazon Technologies, Inc. | Presentation of written works based on character identities and attributes |
WO2011007386A1 (ja) * | 2009-07-14 | 2011-01-20 | 三菱電機株式会社 | ナビゲーション装置 |
JP2011024353A (ja) * | 2009-07-16 | 2011-02-03 | Aisin Aw Co Ltd | 案内装置、案内方法、及び案内プログラム |
US20110040707A1 (en) * | 2009-08-12 | 2011-02-17 | Ford Global Technologies, Llc | Intelligent music selection in vehicles |
US8649533B2 (en) * | 2009-10-02 | 2014-02-11 | Ford Global Technologies, Llc | Emotive advisory system acoustic environment |
US20110093158A1 (en) * | 2009-10-21 | 2011-04-21 | Ford Global Technologies, Llc | Smart vehicle manuals and maintenance tracking system |
US20110099507A1 (en) * | 2009-10-28 | 2011-04-28 | Google Inc. | Displaying a collection of interactive elements that trigger actions directed to an item |
JP5278292B2 (ja) * | 2009-11-27 | 2013-09-04 | 株式会社デンソー | 情報提示装置 |
US8909414B2 (en) * | 2009-12-14 | 2014-12-09 | Volkswagen Ag | Three-dimensional corporeal figure for communication with a passenger in a motor vehicle |
US20110172873A1 (en) * | 2010-01-08 | 2011-07-14 | Ford Global Technologies, Llc | Emotive advisory system vehicle maintenance advisor |
US8400332B2 (en) * | 2010-02-09 | 2013-03-19 | Ford Global Technologies, Llc | Emotive advisory system including time agent |
US20110298808A1 (en) * | 2010-06-02 | 2011-12-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Animated Vehicle Attendance Systems |
US10115392B2 (en) * | 2010-06-03 | 2018-10-30 | Visteon Global Technologies, Inc. | Method for adjusting a voice recognition system comprising a speaker and a microphone, and voice recognition system |
US8620549B2 (en) * | 2010-09-14 | 2013-12-31 | GM Global Technology Operations LLC | Vehicle safety systems and methods |
DE102010055795A1 (de) | 2010-12-23 | 2012-06-28 | Continental Automotive Gmbh | Verfahren zur Ausgabe von Informationen |
US8666603B2 (en) | 2011-02-11 | 2014-03-04 | Sitting Man, Llc | Methods, systems, and computer program products for providing steering-control feedback to an operator of an automotive vehicle |
US8773251B2 (en) | 2011-02-10 | 2014-07-08 | Sitting Man, Llc | Methods, systems, and computer program products for managing operation of an automotive vehicle |
US8902054B2 (en) | 2011-02-10 | 2014-12-02 | Sitting Man, Llc | Methods, systems, and computer program products for managing operation of a portable electronic device |
JP5857330B2 (ja) * | 2011-05-17 | 2016-02-10 | 株式会社ユピテル | システム及びプログラム |
CN103842773B (zh) | 2011-09-13 | 2017-05-17 | 三菱电机株式会社 | 导航装置 |
JP2013063747A (ja) * | 2011-09-20 | 2013-04-11 | Aisin Seiki Co Ltd | 車両情報表示システム |
DE102011121110A1 (de) * | 2011-12-14 | 2013-06-20 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Sprachdialogsystems in einem Fahrzeug und dazugehöriges Sprachdialogsystem |
CN103287367A (zh) * | 2012-02-24 | 2013-09-11 | 绿晁科技股份有限公司 | 用于交通工具的应用系统 |
US20130311528A1 (en) * | 2012-04-25 | 2013-11-21 | Raanan Liebermann | Communications with a proxy for the departed and other devices and services for communicaiton and presentation in virtual reality |
CN102874259B (zh) * | 2012-06-15 | 2015-12-09 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种汽车驾驶员情绪监视及车辆控制系统 |
JP5658327B2 (ja) * | 2012-07-10 | 2015-01-21 | シャープ株式会社 | 電気機器 |
DE102012015002B4 (de) * | 2012-07-28 | 2016-09-15 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum unterstützten Einparken |
WO2014020835A1 (ja) * | 2012-07-31 | 2014-02-06 | 日本電気株式会社 | エージェント制御システム、方法およびプログラム |
KR20140054909A (ko) * | 2012-10-30 | 2014-05-09 | 팅크웨어(주) | 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법 |
US9266018B2 (en) | 2012-11-08 | 2016-02-23 | Audible, Inc. | Customizable in-vehicle gaming system |
JPWO2014073612A1 (ja) * | 2012-11-08 | 2016-09-08 | 日本電気株式会社 | 会話文生成装置、会話文生成方法及び会話文生成プログラム |
WO2014073613A1 (ja) * | 2012-11-08 | 2014-05-15 | 日本電気株式会社 | 会話文生成装置、会話文生成方法及び会話文生成プログラム |
US20140172238A1 (en) * | 2012-12-15 | 2014-06-19 | Dean A. Craine | Motor Vehicle Driver and Passenger Identification System and Method |
JP5854030B2 (ja) * | 2012-12-21 | 2016-02-09 | 株式会社デンソー | 車両用情報提供装置 |
JP6105321B2 (ja) * | 2013-02-21 | 2017-03-29 | 富士通テン株式会社 | 通信装置、通信システム、通信方法、及び、プログラム |
DE102013006173A1 (de) * | 2013-04-10 | 2014-10-16 | Audi Ag | Verfahren und Vorrichtung zur proaktiven Dialogführung |
CN104210423A (zh) * | 2013-06-05 | 2014-12-17 | 大陆汽车投资(上海)有限公司 | 以动画的形式表现车辆信息的方法和装置 |
USRE49014E1 (en) | 2013-06-19 | 2022-04-05 | Panasonic Intellectual Property Corporation Of America | Voice interaction method, and device |
US9400564B2 (en) | 2013-09-17 | 2016-07-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interactive vehicle window display system with a safe driving reminder system |
US9807196B2 (en) | 2013-09-17 | 2017-10-31 | Toyota Motor Sales, U.S.A. | Automated social network interaction system for a vehicle |
US9387824B2 (en) | 2013-09-17 | 2016-07-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interactive vehicle window display system with user identification and image recording |
US9340155B2 (en) * | 2013-09-17 | 2016-05-17 | Toyota Motor Sales, U.S.A., Inc. | Interactive vehicle window display system with user identification |
US20150161913A1 (en) * | 2013-12-10 | 2015-06-11 | At&T Mobility Ii Llc | Method, computer-readable storage device and apparatus for providing a recommendation in a vehicle |
DE102014205489B4 (de) * | 2014-03-25 | 2021-10-28 | Conti Temic Microelectronic Gmbh | Verfahren und System zur Bereitstellung einer Rundumsicht unter Einbeziehung von nicht sichtbaren Objekten |
US20150294085A1 (en) * | 2014-04-14 | 2015-10-15 | Elwha LLC, a limited company of the State of Delaware | Devices, systems, and methods for automated enhanced care rooms |
US20150294086A1 (en) * | 2014-04-14 | 2015-10-15 | Elwha Llc | Devices, systems, and methods for automated enhanced care rooms |
US20150294067A1 (en) * | 2014-04-14 | 2015-10-15 | Elwha Llc | Devices, systems, and methods for automated enhanced care rooms |
US9158962B1 (en) | 2014-05-07 | 2015-10-13 | Lytx, Inc. | Passive driver identification |
CN105761532B (zh) * | 2014-12-19 | 2018-03-02 | 大陆汽车投资(上海)有限公司 | 动态语音提示方法及车载系统 |
DE102014019158B3 (de) * | 2014-12-19 | 2016-04-07 | Audi Ag | Verfahren zum Steuern einer Klimatisierungsvorrichtung eines Kraftfahrzeugs, Klimatisierungsvorrichtung sowie Kraftfahrzeug |
DE102014019157B4 (de) * | 2014-12-19 | 2020-02-13 | Audi Ag | Verfahren und Einstellen von fahrdynamischen Eigenschaften eines Fahrzeugs und Fahrzeug zum Durchführen eines entsprechenden Verfahrens |
DE102014019192A1 (de) * | 2014-12-19 | 2016-06-23 | Audi Ag | Darstellung des Online-Status einer hypriden Sprachbedienung |
US10226702B2 (en) * | 2015-05-25 | 2019-03-12 | International Business Machines Corporation | Vehicle entertainment system |
MY194457A (en) | 2016-01-19 | 2022-11-30 | Nissan Motor | Display device control method and display device |
JP6860010B2 (ja) | 2016-05-06 | 2021-04-14 | ソニー株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
DE102016214477A1 (de) * | 2016-08-04 | 2018-02-08 | Bayerische Motoren Werke Aktiengesellschaft | Anordnung, Fortbewegungsmittel und Verfahren zur Definition einer Farbe in einem Fortbewegungsmittel |
GB2571027B (en) * | 2016-11-24 | 2022-08-10 | Groove X Inc | Autonomously acting robot that changes pupil |
DE102016225222A1 (de) * | 2016-12-16 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Beeinflussung eines Interaktionsablaufs |
WO2018189841A1 (ja) | 2017-04-12 | 2018-10-18 | 川崎重工業株式会社 | 車両の会話情報出力装置、及び会話情報出力方法 |
US11124139B2 (en) | 2017-04-12 | 2021-09-21 | Kawasaki Jukogyo Kabushiki Kaisha | Vehicle conversation information output device and conversation information output method |
JP6907954B2 (ja) | 2017-05-09 | 2021-07-21 | 株式会社デンソー | 空調制御装置 |
JP6860068B2 (ja) | 2017-05-31 | 2021-04-14 | 富士通株式会社 | 運転支援装置、運転支援システムおよび運転支援方法 |
JP6639444B2 (ja) * | 2017-06-07 | 2020-02-05 | 本田技研工業株式会社 | 情報提供装置及び情報提供方法 |
JP6561095B2 (ja) | 2017-09-01 | 2019-08-14 | 本田技研工業株式会社 | 補給レコメンドシステム及び方法 |
EP3483855A1 (en) * | 2017-11-10 | 2019-05-15 | Volvo Car Corporation | Method and system for handling vehicle feature information |
CN112203902B (zh) * | 2018-04-20 | 2024-02-06 | 日产自动车株式会社 | 设备控制装置以及控制设备的控制方法 |
WO2020022294A1 (ja) * | 2018-07-27 | 2020-01-30 | ソニー株式会社 | 情報処理システム、情報処理方法、および、記録媒体 |
JP7230964B2 (ja) * | 2018-08-06 | 2023-03-01 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法、並びにプログラム |
DE102018123155A1 (de) * | 2018-09-20 | 2020-03-26 | HELLA GmbH & Co. KGaA | Verfahren für eine Benutzer-Fahrzeug-Schnittstelle und Benutzer-Fahrzeug-Schnittstelle |
JP2020060830A (ja) * | 2018-10-05 | 2020-04-16 | 本田技研工業株式会社 | エージェント装置、エージェント提示方法、およびプログラム |
DE102018217126A1 (de) * | 2018-10-08 | 2020-04-09 | Audi Ag | Verfahren zum Anzeigen von Informationen auf einer Anzeigeeinheit mit einem nutzeridentifizierenden Avatar, sowie Kraftfahrzeug |
DE102018127105A1 (de) * | 2018-10-30 | 2020-04-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Beeinflussung eines Gemütszustands eines Benutzers eines Fahrzeuges |
JP2020080503A (ja) * | 2018-11-14 | 2020-05-28 | 本田技研工業株式会社 | エージェント装置、エージェント提示方法、およびプログラム |
JP2020135110A (ja) * | 2019-02-14 | 2020-08-31 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP7211856B2 (ja) * | 2019-03-11 | 2023-01-24 | 本田技研工業株式会社 | エージェント装置、エージェントシステム、サーバ装置、エージェント装置の制御方法、およびプログラム |
CN110682876B (zh) * | 2019-09-26 | 2021-12-28 | 坤泰车辆系统(常州)有限公司 | 车辆自动驾驶方法、系统、存储介质及自动驾驶汽车 |
CN111736700A (zh) * | 2020-06-23 | 2020-10-02 | 上海商汤临港智能科技有限公司 | 基于数字人的车舱交互方法、装置及车辆 |
JP7469467B2 (ja) * | 2020-03-30 | 2024-04-16 | 上海臨港絶影智能科技有限公司 | デジタルヒューマンに基づく車室インタラクション方法、装置及び車両 |
CN112026687B (zh) * | 2020-07-15 | 2022-04-08 | 华人运通(上海)云计算科技有限公司 | 一种车内身心调适运动前后的状态检测装置及方法 |
CN113091223B (zh) * | 2021-03-05 | 2022-10-04 | 江苏惠新知识产权服务有限公司 | 基于放置位置进行机器学习的物联网空气净化方法及系统 |
CN113357754A (zh) * | 2021-05-28 | 2021-09-07 | 青岛海尔科技有限公司 | 运行状态的显示方法及装置、存储介质、电子装置 |
DE102022130958A1 (de) | 2022-11-23 | 2024-05-23 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Anpassen eines digitalen Identifikationsobjekts in Abhängigkeit eines Verhaltens eines Nutzers eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6091269A (ja) * | 1983-10-26 | 1985-05-22 | Sawafuji Electric Co Ltd | 自動車の運行管理装置 |
JPS6093582A (ja) * | 1983-12-29 | 1985-05-25 | 澤藤電機株式会社 | 自動車の運行管理装置 |
JPH03215891A (ja) * | 1990-01-21 | 1991-09-20 | Sony Corp | 情報入力装置 |
JP3185225B2 (ja) * | 1991-01-10 | 2001-07-09 | 三菱電機株式会社 | コミュニケーション装置及びコミュニケーション方法 |
JPH05142994A (ja) * | 1991-03-08 | 1993-06-11 | Oki Electric Ind Co Ltd | 車載ナビゲーシヨン装置 |
JPH05272983A (ja) * | 1991-03-22 | 1993-10-22 | Oki Electric Ind Co Ltd | 車載ナビゲーション装置 |
JP3273800B2 (ja) * | 1991-11-11 | 2002-04-15 | 茂 近藤 | 自動車運転解析診断方法及び装置 |
JPH05196632A (ja) * | 1992-01-18 | 1993-08-06 | Toyota Motor Corp | 運転技量判定装置 |
DE69325316T2 (de) * | 1992-07-23 | 2000-03-30 | Aisin Aw Co., Ltd. | Fahrzeugnavigationssystem |
JPH06195594A (ja) * | 1992-12-24 | 1994-07-15 | Fujitsu Ten Ltd | ガソリンスタンド表示装置 |
JP3440503B2 (ja) * | 1993-09-13 | 2003-08-25 | マツダ株式会社 | 自動車の経路誘導装置 |
JP3263521B2 (ja) * | 1994-03-31 | 2002-03-04 | 富士通テン株式会社 | ナビゲーション装置の車両位置表示方法 |
US5555502A (en) | 1994-05-11 | 1996-09-10 | Geo Ventures | Display and control apparatus for the electronic systems of a motor vehicle |
JPH0973382A (ja) * | 1995-09-04 | 1997-03-18 | Fujitsu Ltd | コンピュータシステム |
JP3263286B2 (ja) * | 1995-09-07 | 2002-03-04 | 松下電器産業株式会社 | 車載ナビゲーション装置 |
JPH09102098A (ja) * | 1995-10-03 | 1997-04-15 | Honda Motor Co Ltd | 車両用情報表示装置 |
JPH09126789A (ja) * | 1995-10-27 | 1997-05-16 | Matsushita Electric Ind Co Ltd | 走行位置表示装置 |
JP3651516B2 (ja) * | 1996-04-26 | 2005-05-25 | 株式会社エクォス・リサーチ | 車両制御装置 |
JP3873386B2 (ja) * | 1997-07-22 | 2007-01-24 | 株式会社エクォス・リサーチ | エージェント装置 |
-
1998
- 1998-07-21 US US09/119,238 patent/US6249720B1/en not_active Expired - Lifetime
- 1998-07-22 DE DE69836846T patent/DE69836846T2/de not_active Expired - Lifetime
- 1998-07-22 EP EP98113679A patent/EP0893308B1/en not_active Expired - Lifetime
-
2005
- 2005-03-30 JP JP2005098224A patent/JP3918850B2/ja not_active Expired - Fee Related
- 2005-03-30 JP JP2005098223A patent/JP2005313885A/ja active Pending
- 2005-03-30 JP JP2005098225A patent/JP3891202B2/ja not_active Expired - Fee Related
- 2005-03-30 JP JP2005098226A patent/JP2005293587A/ja active Pending
- 2005-03-30 JP JP2005098227A patent/JP2005313886A/ja active Pending
-
2008
- 2008-06-16 JP JP2008156559A patent/JP4353310B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE69836846D1 (de) | 2007-02-22 |
JP2005293587A (ja) | 2005-10-20 |
JP3891202B2 (ja) | 2007-03-14 |
JP2008290714A (ja) | 2008-12-04 |
JP2005265852A (ja) | 2005-09-29 |
JP3918850B2 (ja) | 2007-05-23 |
EP0893308A2 (en) | 1999-01-27 |
EP0893308B1 (en) | 2007-01-10 |
EP0893308A3 (en) | 2000-09-13 |
JP2005249802A (ja) | 2005-09-15 |
JP2005313885A (ja) | 2005-11-10 |
US6249720B1 (en) | 2001-06-19 |
JP2005313886A (ja) | 2005-11-10 |
DE69836846T2 (de) | 2007-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4353310B2 (ja) | 車載装置 | |
JP3873386B2 (ja) | エージェント装置 | |
JP3965538B2 (ja) | エージェント装置 | |
JP4085500B2 (ja) | 車両状況把握装置、エージェント装置、および、車両制御装置 | |
JP4193300B2 (ja) | エージェント装置 | |
JPH11259446A (ja) | エージェント装置 | |
JP5019145B2 (ja) | 運転者情報収集装置 | |
JPH11259271A (ja) | エージェント装置 | |
JP4380541B2 (ja) | 車両用エージェント装置 | |
JP4258585B2 (ja) | 目的地設定装置 | |
JP4441939B2 (ja) | 目的地設定装置 | |
JP2000020888A (ja) | エージェント装置 | |
JP4936094B2 (ja) | エージェント装置 | |
JP2000181500A (ja) | 音声認識装置及びエ―ジェント装置 | |
JP4253918B2 (ja) | エージェント装置 | |
JPH11272640A (ja) | エージェント装置 | |
JP4207350B2 (ja) | 情報出力装置 | |
JP4284733B2 (ja) | エージェント装置 | |
JP2000186942A (ja) | エ―ジェントメンタルモデル作成装置、及びエ―ジェント装置 | |
JP4032492B2 (ja) | エージェント装置 | |
JP2004045616A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2000203465A (ja) | 情報記録装置 | |
JP2004037953A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム | |
JP2003106846A (ja) | エージェント装置 | |
JP2004053251A (ja) | 車載装置、データ作成装置、及びデータ作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090720 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |