JP5530106B2 - 運転行動誘導システム - Google Patents
運転行動誘導システム Download PDFInfo
- Publication number
- JP5530106B2 JP5530106B2 JP2009024929A JP2009024929A JP5530106B2 JP 5530106 B2 JP5530106 B2 JP 5530106B2 JP 2009024929 A JP2009024929 A JP 2009024929A JP 2009024929 A JP2009024929 A JP 2009024929A JP 5530106 B2 JP5530106 B2 JP 5530106B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- risk
- driving
- utterance
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、ドライバの運転行動がより適切な方向に変化するように誘導を行う運転行動誘導システムに関する。
自動車等の移動体においては、円滑な移動や事故の未然防止、燃費低減等を目的として、ドライバの運転技術や安全状態等を積極的に向上させるようとする技術が開発されており、これらの技術に関して各種提案がなされている。
例えば、特許文献１（特開２００２−５５５９８号公報）では、ある時点での運転状況をもとに、予め定められた規範となる運転操作計画を読み出した上で、ドライバに運転操作の指示を与える技術が提案されている。
同様の技術は、特許文献２（特開２００８−５８４５９号公報）においても提案されている。特許文献２では、ドライバの運転操作と模範運転操作との比較によってアドバイスを生成する手法を採用している。
また、特許文献３（特開２００８−７７５０２号公報）では、出発地から目的地までの車両運動データから算出した危険運転の程度を過去のデータと比較することで、今回の運転の方が安全運転と判断される場合には、その旨をドライバに教示する技術が提案されている。
さらに、特許文献４（特開２００８−１０２７７７号公報）では、ドライバの安全運転度の変化をモニタすることで、個々のドライバにとって有効な警告方法を選択する技術が提案されている。
しかしながら、特許文献１に開示されているような規範となる運転操作は、比較的自分の運転スタイルが確立されていない初心運転者に対する一つの方針として示すのには適している場合もあるが、一般的なドライバの場合、各個人が自分の運転個性を有しているのが普通である。
このため、特許文献１のように規範ではあっても画一的な運転操作を指示されると、ドライバが違和感を感じて指示に従うことに抵抗を覚え、その効果が減じてしまう虞がある。特許文献２もまた、画一的な模範運転との比較であるが故に、特許文献１と同様の問題が生じる虞がある。
また、特許文献３の技術では、教示が目的地に着いた後に行われるため、運転中にドライバをリアルタイムに安全方向に誘導することは困難である。
さらに、特許文献４の技術では、安全度の評価にはドライバの状態を検出した情報のみを用いており、車外の走行環境とドライバの関連性は考慮されていない。そのため、特許文献４の技術では、ドライバを常に最大限の安全状態に誘導することを暗に示しているが、実際の運転では、走行環境中の注意すべき場所に注意すべきタイミングで適切な注意を向けることが安全状態である。従って、外部環境を考慮しない安全度の向上は、ドライバに過度の負担を強いることになり、現実的な解決策とはいえない。
本発明は上記事情に鑑みてなされたもので、外部環境を考慮しながらドライバそれぞれの個人特性に応じた最適な運転行動へと誘導を行う運転行動誘導システムを提供することを目的としている。
上記目的を達成するため、本発明による運転行動誘導システムは、移動体を運転するドライバの状態を推定して該ドライバの運転行動に対する誘導を行う運転行動誘導システムであって、上記移動体の外部環境をセンシングして取得した外部環境の特徴量とリスクの教師情報との相関関係から学習的に算出されるリスクレベルを外部環境リスクとして認識する外部環境認識部と、上記外部環境リスクに依存して遷移するドライバの内部状態をドライバの運転操作の特徴量に基づいて推定し、推定した内部状態に相当するリスクレベルを、上記外部環境リスクに対してドライバが把握しているドライバ把握リスクとして算出するドライバ状態推定部と、上記ドライバ把握リスクと上記外部環境リスクとの大小関係に基づいて、ドライバの運転行動がより安全方向に変化するようドライバに与える警告レベルを決定するドライバ誘導部と、上記ドライバ把握リスクと上記外部環境リスクの認識結果との大小関係を一定期間評価することで安全運転度を計算する運転評価部とを備え、上記ドライバ誘導部は、上記警告レベルに応じた警告をドライバに対して出力する前後一定区間の上記安全運転度を比較し、警告後一定期間の上記安全運転度が警告前一定期間の上記安全運転度よりも高い場合には、上記安全運転度が高くなった警告レベルの選択頻度を高くするよう、上記警告レベルを決定するためのパラメータを更新することを特徴とする。
本発明によれば、外部環境を考慮しながらドライバそれぞれの個人特性に応じた最適な運転行動へと誘導を行うことができ、ドライバを安全運転へと誘導して予防安全性を向上することができる。
以下、図面を参照して本発明の実施の形態を説明する。
本発明による運転行動誘導システムは、自動車等の移動体を運転する際に、外部環境を考慮しながらドライバそれぞれの個人特性に応じた最適な運転行動へ変化するよう、誘導刺激を与えるシステムである。ドライバの運転行動をより適切な方向へ誘導するための誘導刺激は、ドライバの聴覚、視覚、嗅覚、触覚のうちの少なくとも一つの感覚器官を対象として提示する。
本発明による運転行動誘導システムは、自動車等の移動体を運転する際に、外部環境を考慮しながらドライバそれぞれの個人特性に応じた最適な運転行動へ変化するよう、誘導刺激を与えるシステムである。ドライバの運転行動をより適切な方向へ誘導するための誘導刺激は、ドライバの聴覚、視覚、嗅覚、触覚のうちの少なくとも一つの感覚器官を対象として提示する。
例えば、円滑な移動や事故の未然防止を目的として本システムを用いる場合には、ドライバの運転技術や安全状態等を積極的に向上させるような誘導刺激を与えることにより、予防安全性を向上することが可能となる。また、燃料消費率の低減を目的として本システムを用いる場合には、ドライバをより燃料消費率の少ない運転へと誘導する誘導刺激を与えることにより、燃料消費の効率性を向上することが可能となる。
このような運転行動誘導システムは、単一のコンピュータシステム或いはネットワーク等を介して接続された複数のコンピュータシステムで構成されている。コンピュータによって実現される運転行動誘導システムの機能は、図１に示される。
すなわち、運転行動誘導システム１は、カメラやレーダー等のセンシングデバイスによる外界情報と自車の車両情報とに基づいて、車両周囲の外部環境を認識する外部環境認識部２、ドライバの運転操作と認識した外部環境との対応関係から、ドライバが把握している外部環境に対して通常最も行う確率が高い運転行動をモデルパラメータとして学習し、学習されたモデルと現在の操作データ・車外環境との関連性からドライバの内部状態（外部環境の把握状態）を推定するドライバ状態推定部３、ドライバの内部状態（ドライバが把握している外部環境）と運転操作、ドライバ挙動、外部環境情報を入力として、ドライバの運転行動の適切度を評価し、その評価結果を運転評価情報（運転適切度情報）として出力する運転評価部４、ドライバの内部状態と運転操作、ドライバ挙動、外部環境情報を入力として、ドライバがシステムからの誘導刺激を受け入れられる状況かどうかを評価し、その評価結果をシステムからの誘導刺激に対するドライバの受容度情報として出力するドライバ受容度評価部５、ドライバの内部状態、外部環境情報、ドライバ受容度情報、運転適切度情報に基づいて、ドライバに対する誘導刺激（音声・音響・香り・振動・その他）を決定し、誘導刺激提示装置７に出力するドライバ誘導部６を主要機能部として備えている。
ドライバ誘導部６は、更に、図２に示すように、ドライバの内部状態（ドライバが把握している外部環境）と外部環境情報との一致度合いに応じて誘導刺激の種類や内容、出力タイミング等を決定する誘導刺激決定部６ａ、ドライバの受容度情報に基づいて誘導刺激の出力中止若しくは出力タイミングの変更を判断する誘導実施可否判断部６ｂ、誘導刺激の種類・内容・強度・質・出力タイミング、パターン等を決定するためのパラメータ（誘導パラメータ）を、ドライバの運転評価情報（運転適切度情報）に基づいてより適切な運転行動に誘導できるように更新する誘導パラメータ更新部６ｃを備えている。ドライバ誘導部６は、誘導実施可否判断部６ｂの判断結果に応じて、誘導刺激提示装置７に誘導刺激を出力・提示する提示デバイスの選択や出力指示情報を出力する。
誘導刺激提示装置７は、ドライバの運転行動を適切な方向に変化させるための誘導刺激を生成する各種提示デバイスを備えている。これらの提示デバイスとしては、音声や警報音等の聴覚刺激を生成・出力する聴覚提示部７ａ、画像・文字による表示や警告灯等の視覚刺激を生成・出力する視覚提示部７ｂ、覚醒作用や緊張緩和作用のある芳香等の嗅覚刺激を生成・出力する嗅覚提示部７ｃ、振動や風等の触覚刺激を生成・出力する触覚提示部７ｄが備えられている。誘導刺激提示装置７は、ドライバ誘導部６からの指示により各提示部７ａ〜７ｄが単独或いは複数で動作し、適切な運転行動への誘導刺激をドライバに与える。
尚、ドライバ誘導部６には、ドライバの手動入力により、特定の誘導刺激の禁止・制限・強化を選択的に行うことが可能なように、操作スイッチ等からなる操作部６ｄが備えられている。この操作部６ｄは、ドライバの手動入力によって特定の刺激の禁止・制限・強化を行う余地を残しておくためのものである。予めドライバの意思によって刺激をカスタマイズすることが可能となる他、耳の不自由な方がドライバの場合等には、聴覚への刺激を禁止し、視覚・嗅覚・触覚の刺激を予め強化する等の設定が可能となる。
以下では、本運転行動誘導システム１を、移動体としての自動車を運転する際に、個々のドライバの運転行動がより安全方向に変化するように誘導する安全運転誘導システムとして適用する例について説明する。
すなわち、安全運転誘導システムとしての運転行動誘導システム１は、事故に繋がる虞のある危険の度合いや人・車・構造物に対する危険情報等の車両周囲の外部環境に含まれるリスク（外部環境リスク）を認識すると共に、この外部環境リスクに対するドライバの運転特性を学習・評価し、ドライバの運転行動がより安全方向に変化するように誘導刺激を与える。
概略的には、外部環境に含まれるリスクとドライバの内部状態（ドライバが把握しているリスク）との一致度合い及びそのときのドライバの運転操作状態に基づいて、ドライバの運転適切度を安全運転度として評価する。その上で、誘導刺激に対するドライバの受容度に応じて、システムから誘導刺激をドライバに提示する。本実施の形態においては、誘導刺激提示装置７の聴覚提示部７ａによる音声出力（発話）による聴覚情報を安全行動への誘導刺激としてドライバに与える例について説明する。
以下、運転行動誘導システム１の各部の機能について、外部環境認識部２による［外部環境リスクの認識処理］、ドライバ状態推定部３による［ドライバ内部状態の推定処理］、運転評価部４による［安全運転度の評価処理］、ドライバ受容度評価部５による［ドライバ受容度の評価処理］、ドライバ誘導部６による［誘導刺激の提示処理］に項目分けして説明する。
［外部環境リスクの認識処理］
先ず、外部環境認識部２は、車載カメラから得られる画像の特徴量と、そのときのリスクレベルとの関連性を学習することにより、車外環境の状態を単一のスカラ値（若しくはベクトル）へ縮退変換し、外部環境のリスクレベルを認識する。
先ず、外部環境認識部２は、車載カメラから得られる画像の特徴量と、そのときのリスクレベルとの関連性を学習することにより、車外環境の状態を単一のスカラ値（若しくはベクトル）へ縮退変換し、外部環境のリスクレベルを認識する。
この画像特徴量からのリスクレベルの認識は、例えば、本出願人による特願２００７−７７６２５号において提案されたオンラインリスク学習システムの技術を採用することができる。この技術は、特願２００７−７７６２５号に詳述されているように、アクセルの急激な戻し操作やブレーキ踏込みといったイベントにより、Ｎ次元ベクトルの画像特徴量（エッジ情報、動き情報、色情報等）を１次元の状態に変換する。この１次元の状態と車両情報（ドライバの操作情報）から作成された教師情報との相関関係から環境に含まれるリスクを学習・認識するものである。
尚、本実施の形態では、画像特徴量から抽出したリスクレベルを用いる例について説明するが、リスクレベルとしては、これに限定されるものではない。例えば、車間距離等からリスクレベルを抽出するようにしても良い。この場合、車間距離が大きいほどリスクレベルが低くなるように設定する。逆に、車間距離が小さくなるほどリスクレベルが高くなるように設定する。
［ドライバ内部状態の推定処理］
ドライバ状態推定部３は、センサからのデータ或いは車内ネットワーク（図示せず）を介して取得したアクセル・ブレーキ・ステアリング等のドライバの操作データを、その測定頻度の特徴に応じて量子化する。そして、量子化した操作特徴量とリスクレベルとの関連性を学習によって獲得することで、ドライバの内部状態を推定する。
ドライバ状態推定部３は、センサからのデータ或いは車内ネットワーク（図示せず）を介して取得したアクセル・ブレーキ・ステアリング等のドライバの操作データを、その測定頻度の特徴に応じて量子化する。そして、量子化した操作特徴量とリスクレベルとの関連性を学習によって獲得することで、ドライバの内部状態を推定する。
すなわち、運転操作データは、そのままでは情報量が非常に多く、リスクとの関連を学習するには扱いが困難である。このため、観測されるデータの分布（出現傾向）を考慮して適切に量子化を行う。これにより、データに含まれる情報量が失われることを防止しつつ、特徴を学習するための統計的処理を可能とする。
観測データの量子化は、閾値を用いたデータ分割やデータ縮退によって行うことができる。例えば、自己組織化マップ（SOM;Self-Organizing Maps）を用いて運転操作データを量子化することができる。ＳＯＭは、生物の大脳皮質のうち視覚野等をモデル化したニューラルネットワークの一種であり、Ｍ次元に並べられたユニットが、それぞれベクトル値（通常入力との結線の重みと呼ばれる）を持ち、入力に対して勝者ユニットをベクトルの距離を基準として決定する。
そして、勝者ユニット及びその周辺のユニットの参照ベクトル値を、入力ベクトルに近づくように更新してゆく。これを繰り返すことで、全体が入力データの分布を最適に表現できるように競合学習する。この競合学習に基づいて入力情報の次元を圧縮すると共に、データの特徴に応じてクラスタリングや可視化を行うことができる。
尚、入力データの縮退は、Ｓ０Ｍを用いた教師無し競合学習の他、教師有り競合学習であるベクトル量子化（LVQ;Learning Vector Quantization）モデルを用いることも可能である。
更に、ドライバ状態推定部３は、操作特徴量とリスクレベルとの関連性をモデル学習によって獲得する。その上で、ドライバの内部状態を、確率的計算を用いて推定する。人間の行動は、図３（ａ）に示すように、安心、緊張、不安、焦り、怒りといった心的状態と、その遷移に応じて変化する。この変化は必ずしも確定的ではなく、確率的な行動として表現することができる。同様に、ドライバの運転行動は、図３（ｂ）に示すように、先行車への追従、追越、駐車、車線変更、合流といったシーンと、その遷移に対して、確率的な操作出力となって現れる。
従って、モデル学習においては、人間行動の確率的振る舞いを表すための規範モデルとして、確率的状態遷移モデルの一種である隠れマルコフモデル（HMM;Hidden Markov Model）を用いてドライバの内部状態をモデル化する。ＨＭＭは、対象の内部状態（ステート）が確率的な条件分岐によって遷移することと、遷移したステートによって異なる確率で外部に信号が出力されることを想定したモデルである。
ＨＭＭを用いたモデルでは、ドライバが意識しているリスクレベルを推定するタスクにおいては、図３（ｃ）に示すように、現在意識しているリスクレベルがＨＭＭのステートに相当し、そのときに観測される運転操作データが外部に出力される信号に相当する。図３（ｃ）においては、便宜上リスクレベルを５段階として各ステートに１〜５の番号を付与した場合を例示している。番号１は、ドライバが外部環境のリスクが最も低いと認識している状態を示している。番号５は、ドライバが外部環境のリスクが最も高いと認識している状態を示している。
このように、運転操作データを離散化してデータの出現傾向を求め、ドライバの内部状態を確率的モデルとして近似することで、実際の運転における操作データのように、外部環境から確定的に導出することのできない情報の扱いを適切に行うことが可能となる。但し、推定時に観測される操作データがどのステートから出力されたのかを推定するためには、状態遷移確率と操作出力確率の２つの確率計算を行う必要がある。
このため、モデル学習の際には、先ず外部環境認識部２から伝達されたスカラ値を基に、統計的手法によって状態遷移確率を計算する。次に、量子化された操作特徴量データを基に、ステート毎の操作特徴量の観測確率分布（操作出力確率）を計算する。例えば、舵角・アクセル開度・ブレーキ圧力、更に、操作の反映である速度・ヨーレート・加速度等をそれぞれ適宜離散化し、各離散値毎の観測回数をカウントして統計的に確率を計算する。
＜状態遷移確率の計算＞
一般に、自動車の運転を想定する場合、車を運転する度に故意ではないにも拘わらず必ず事故を起こしてしまうドライバが存在するとは考えにくい。言い換えれば、巨視的にはドライバは適宜走行環境のリスクレベルに対応した運転操作を行っていると見なすことができる。このような前提の元に、ある程度長い時間範囲のデータを集めて統計的に処理した場合、ＨＭＭにおけるドライバの内部状態の遷移は、走行環境のリスクレベルの遷移に依存していると仮定することができる。
一般に、自動車の運転を想定する場合、車を運転する度に故意ではないにも拘わらず必ず事故を起こしてしまうドライバが存在するとは考えにくい。言い換えれば、巨視的にはドライバは適宜走行環境のリスクレベルに対応した運転操作を行っていると見なすことができる。このような前提の元に、ある程度長い時間範囲のデータを集めて統計的に処理した場合、ＨＭＭにおけるドライバの内部状態の遷移は、走行環境のリスクレベルの遷移に依存していると仮定することができる。
従って、遷移確率の計算は、以下の（１−１）〜（１−５）の手順に従って実施し、学習時のリスクレベルの遷移確率を求めることで、ドライバ内部状態の遷移確率を算出する。
（１−１）状態遷移モデルの駆動周波数を定義（例えば、３Ｈｚ）
（１−２）内部状態のステート数を定義（例えば、１０ステート）
（１−３）リスクレベルをステート数分に離散化
（１−４）各ステート間の遷移回数をカウント
（１−５）各ステート間の統計的な遷移確率を計算
（１−１）状態遷移モデルの駆動周波数を定義（例えば、３Ｈｚ）
（１−２）内部状態のステート数を定義（例えば、１０ステート）
（１−３）リスクレベルをステート数分に離散化
（１−４）各ステート間の遷移回数をカウント
（１−５）各ステート間の統計的な遷移確率を計算
尚、単純な例では、ステート遷移の時間ステップを一定値に固定し、ドライバの内部状態は環境状態の遷移に同期して遷移するとすれば、計算が簡便になる。或いは、特定のスカラ値範囲に停留する時間長に応じてステートを別途定義することも可能である。
＜出力信号確率の計算＞
あるステートに遷移した状態における、操作データ特徴の出力確率の学習には、前述したＳＯＭを用いる。計測された操作データをＳＯＭユニット番号に次元圧縮並びに量子化する。そして各ユニット番号が観測される回数をカウントする。これにより、統計的な出力信号確率を算出する。ステート毎に得られる各ユニットの出力確率が異なることは、リスクレベルによって操作傾向が変わることをモデル化している。これにより、ステート別の出力確率を得ることができる。
あるステートに遷移した状態における、操作データ特徴の出力確率の学習には、前述したＳＯＭを用いる。計測された操作データをＳＯＭユニット番号に次元圧縮並びに量子化する。そして各ユニット番号が観測される回数をカウントする。これにより、統計的な出力信号確率を算出する。ステート毎に得られる各ユニットの出力確率が異なることは、リスクレベルによって操作傾向が変わることをモデル化している。これにより、ステート別の出力確率を得ることができる。
以上の状態遷移確率と出力確率が学習によって獲得されると、次に、両者の情報を用いてドライバの内部状態を推定する。この内部状態は、最尤系列推定による手法や前向きアルゴリズム（forward algorithm)を用いた手法で推定することができる。システムの条件等に応じて適切な手法を適宜選択する。最尤系列推定による手法では、ドライバの内部状態が離散的な数値で表現されるステート番号で出力される。前向きアルゴリズムでは、ドライバの内部状態がステート番号を連続的な数値で緻密に表現した期待値で出力される。
＜最尤系列推定による内部状態の推定＞
最尤系列推定は、現在観測されている操作データがどのステートから出力されているとするのが最も尤もらしいかを推定（最尤推定）する手法である。遷移系列を計算する際の最も尤もらしい系列とは、発生する確率が最大となる系列を特定することに相当する。ここでは、ＨＭＭに対する最尤系列推定手法の一つであるビタビ・アルゴリズム（Viterbi algorithm）を用いる。この手法では、計測された操作データの時系列データからドライバの内部状態の遷移系列を計算し、得られたステート遷移系列に沿ってドライバの内部状態が遷移していると推定する。
最尤系列推定は、現在観測されている操作データがどのステートから出力されているとするのが最も尤もらしいかを推定（最尤推定）する手法である。遷移系列を計算する際の最も尤もらしい系列とは、発生する確率が最大となる系列を特定することに相当する。ここでは、ＨＭＭに対する最尤系列推定手法の一つであるビタビ・アルゴリズム（Viterbi algorithm）を用いる。この手法では、計測された操作データの時系列データからドライバの内部状態の遷移系列を計算し、得られたステート遷移系列に沿ってドライバの内部状態が遷移していると推定する。
ビタビ・アルゴリズムは、状態遷移確率と出力信号確率を元に、時系列観測データの先頭から、順次、各時間ステップにおいてそれぞれのステートに存在する最大確率を計算する手法である。このアルゴリズムは、動的計画法に類似した計算手法を用いるために計算量が少ないという特徴を持っている。
ビタビ・アルゴリズムでは、観測データの最後まで計算を行った結果、最終ステップでの最大確率を持つステートを、そのステップでの推定内部状態として確定する。次に、そこから１ステップずつ過去にさかのぼるバックトラックという操作を行い、最大の状態遷移確率を持つステートを確定していく。最終的には，すべての時間ステップにおいて存在する確率が最も高いステートを特定する。そして、確定したそれらのステートを最尤系列として推定する。尚、確率計算の始めのステップでは、ＨＭＭの状態遷移確率から求められる事前確率を、各ステートへの存在確率として用いる。
詳細には、以下の（２−１）〜（２−４）のステップに従って逐次計算を行うことで、最尤系列を推定する。但し、π：事前確率、δ：状態存在確率、φ：バックトラック、ａ：状態遷移確率、ｂ：出力信号確率、Ｐ：推定確率、ｑ：推定状態系列、ｏ：零ベクトルとし、各変数の添字1は、初期値であることを示す。
（２−１）各状態ｉ＝１，…，Ｎに対して、変数の初期化を行う。
δ1(i)＝π1ｂ1(ｏ1)
φ1(i)＝０
（２−２）各時刻ｔ＝１，…,Ｔ−１、各状態ｊ＝１，…，Ｎについて、以下の再帰計算を実行する。
δt+1(j)＝ｍａｘi［δt(i)ａij］ｂj(ｏt+1)
φt+1(j)＝ａｒｇｍａｘi［δt(i)ａij］
（２−３）再帰計算の終了
Ｐ＝ｍａｘiδT(i)
ｑT＝ａｒｇｍａｘiδT(i)
（２−４）バックトラックによる最適状態遷移系列の復元（Ｔ＝Ｔ−１，…，１に対して以下を実行）
ｑT＝φt+1(ｑt+1)
（２−１）各状態ｉ＝１，…，Ｎに対して、変数の初期化を行う。
δ1(i)＝π1ｂ1(ｏ1)
φ1(i)＝０
（２−２）各時刻ｔ＝１，…,Ｔ−１、各状態ｊ＝１，…，Ｎについて、以下の再帰計算を実行する。
δt+1(j)＝ｍａｘi［δt(i)ａij］ｂj(ｏt+1)
φt+1(j)＝ａｒｇｍａｘi［δt(i)ａij］
（２−３）再帰計算の終了
Ｐ＝ｍａｘiδT(i)
ｑT＝ａｒｇｍａｘiδT(i)
（２−４）バックトラックによる最適状態遷移系列の復元（Ｔ＝Ｔ−１，…，１に対して以下を実行）
ｑT＝φt+1(ｑt+1)
以上の計算では、ビタビ・アルゴリズムはバックトラックを用いる特性上、時間的に後の事象を確定してから過去方向にステートを確定させることになる。つまり、そのままではオンラインでのリアルタイム状態推定に適用することには難がある。そこで、オンライン状態推定を行う場合には、全ての時間ステップをビタビ・アルゴリズムにおける最終ステップとして扱う。そして、各ステップにおける最大存在確率を持つステートを推定ステートとして出力する。
＜前向きアルゴリズムによる内部状態の推定＞
以上のビタビ・アルゴリズムに対して、オンラインでの適用や推定精度の向上をより強く意図する場合には、前向きアルゴリズムを用いて内部状態を推定する。前向きアルゴリズムは、イベントと各ステートとのトレリス上を前向きに辿る手法である。具体的には、以下の（３−１），（３−２）のステップに従って逐次計算を行うことで、前向き確率（状態存在確率）αを計算する。尚、以下の式中において、π：事前確率、ａ：状態遷移確率、ｂ：出力信号確率、ｏ：零ベクトルとし、各変数の添字1は初期値であることを示す。
（３−１）各状態ｉ＝１，…，Ｎに対して、前向き確率の初期化を行う。
α1(i)＝π1ｂ1(ｏ1)
（３−２）各時刻ｔ＝１，…,Ｔ−１、各状態ｊ＝１，…，Ｎについて、前向き確率を再帰的に計算する。尚、再帰計算におけるΣはｊ＝１〜Ｎについての総和である。
αt+1(j)＝［Σαt(i)ａij］ｂj(ｏt+1)
以上のビタビ・アルゴリズムに対して、オンラインでの適用や推定精度の向上をより強く意図する場合には、前向きアルゴリズムを用いて内部状態を推定する。前向きアルゴリズムは、イベントと各ステートとのトレリス上を前向きに辿る手法である。具体的には、以下の（３−１），（３−２）のステップに従って逐次計算を行うことで、前向き確率（状態存在確率）αを計算する。尚、以下の式中において、π：事前確率、ａ：状態遷移確率、ｂ：出力信号確率、ｏ：零ベクトルとし、各変数の添字1は初期値であることを示す。
（３−１）各状態ｉ＝１，…，Ｎに対して、前向き確率の初期化を行う。
α1(i)＝π1ｂ1(ｏ1)
（３−２）各時刻ｔ＝１，…,Ｔ−１、各状態ｊ＝１，…，Ｎについて、前向き確率を再帰的に計算する。尚、再帰計算におけるΣはｊ＝１〜Ｎについての総和である。
αt+1(j)＝［Σαt(i)ａij］ｂj(ｏt+1)
この前向きアルゴリズムによる状態推定は、時刻ｔ＝０，１，２，３，４，…の各ステップにおいて全ての遷移確率を計算している。これは存在確率の低いステートも考慮した状態推定であることから、高精細な内部状態の推定が可能となる。尚、確率計算の始めのステップでは、ＨＭＭの状態遷移確率から求められる事前確率を、各ステートへの存在確率として用いる。
逐次計算によって求められた各ステートへの状態存在確率αからは、以下に示すように期待値μが計算される。この期待値μがステート番号を離散的な値でなく連続的な数値で緻密に表現したドライバ内部状態として出力される。この期待値μがドライバの意識しているリスクレベルとなる。尚、ｘは確率変数の値（ここではステート番号）であり、Σはｉ＝１〜Ｎの総和である。
μ＝Σｘiαi
μ＝Σｘiαi
＜ドライバの意識しているリスクレベルの出力＞
ドライバ状態推定部３でドライバの内部状態として各ステートへの存在確率から計算されたステートの番号（或いは期待値）は、一次ローパスフィルタ（例えば、カットオフ周波数０．３Ｈｚ）でフィルタリングされて出力される。この出力値がドライバの意識しているリスクレベルに相当する。運転評価部４、ドライバ受容度評価部５、ドライバ誘導部６にこの出力値がドライバ把握リスクとして出力される。
ドライバ状態推定部３でドライバの内部状態として各ステートへの存在確率から計算されたステートの番号（或いは期待値）は、一次ローパスフィルタ（例えば、カットオフ周波数０．３Ｈｚ）でフィルタリングされて出力される。この出力値がドライバの意識しているリスクレベルに相当する。運転評価部４、ドライバ受容度評価部５、ドライバ誘導部６にこの出力値がドライバ把握リスクとして出力される。
［安全運転度の評価処理］
運転評価部４は、ドライバ状態推定部３から出力されるドライバ把握リスクと運転操作、ドライバ挙動、外部環境認識部２から出力される外部環境リスクに基づいて、ドライバの安全運転度を評価する。この運転評価部４の評価結果は、ドライバ誘導部６で参照される。そして、この評価結果に基づいてドライバに対する各種発話出力が安全運転への誘導刺激として与えられる。
運転評価部４は、ドライバ状態推定部３から出力されるドライバ把握リスクと運転操作、ドライバ挙動、外部環境認識部２から出力される外部環境リスクに基づいて、ドライバの安全運転度を評価する。この運転評価部４の評価結果は、ドライバ誘導部６で参照される。そして、この評価結果に基づいてドライバに対する各種発話出力が安全運転への誘導刺激として与えられる。
ドライバの安全運転度は、ドライバ状態推定部３で推定されたステートと、外部環境認識部２から現在得られているスカラ値の属するステートとの対応関係で評価することができる。ドライバ状態推定部３で推定されたステートが外部環境認識部２から現在得られているスカラ値の属するステートと同じであれば、ドライバは環境を適切に認識した上で正常な運転操作を行っていると判断することができる。
また、ドライバ状態推定部３で推定されたステートが外部環境認識部２から現在得られているスカラ値の属するステートと異なる場合もある。推定されるステートのリスクレベルの方が外部環境認識部２から得られるリスクレベルより高い場合には、ドライバが緊張状態にあると判断することができる。逆に、推定されるステートのリスクレベルの方が外部環境認識部２から得られるリスクレベルより低い場合には、ドライバの危険認識度が低い、すなわち安全性が損なわれる可能性の高い運転状態であると判断することができる。
具体的な評価手法としては、予め以下の（３−１）〜（３−５）に示す５段階の状態を領域分けして各領域毎に安全運転点数を定義する。
（３−１）領域Ｒ１（安全運転点数＝１００点）
システムが認識しているリスク（外部環境リスク）とドライバが認識しているリスク（ドライバ把握リスク）との対応状態が良好であり、ドライバがリスクを適切に把握して運転している状態
（３−２）領域Ｒ２（安全運転点数＝８０点）
外部環境リスクよりもドライバ把握リスクの方がやや高く、ドライバが若干の安全過多で運転している状態
（３−３）領域Ｒ３（安全運転点数＝５０点）
外部環境リスクの方がドライバ把握リスクよりもやや高く、ドライバが覚醒度の低下等により、やや不安全の運転をしている状態
（３−４）領域Ｒ４（安全運転点数＝３０点）
外部環境リスクよりドライバ把握リスクの方が異常に高く、ドライバが見間違いや勘違いをしたり、過度に緊張している状態
（３−５）領域Ｒ５（安全運転点数＝０点）
外部環境リスクの方がドライバ把握リスクよりも異常に高く、ドライバが見落としやよそ見をしたり、居眠りをしている状態
（３−１）領域Ｒ１（安全運転点数＝１００点）
システムが認識しているリスク（外部環境リスク）とドライバが認識しているリスク（ドライバ把握リスク）との対応状態が良好であり、ドライバがリスクを適切に把握して運転している状態
（３−２）領域Ｒ２（安全運転点数＝８０点）
外部環境リスクよりもドライバ把握リスクの方がやや高く、ドライバが若干の安全過多で運転している状態
（３−３）領域Ｒ３（安全運転点数＝５０点）
外部環境リスクの方がドライバ把握リスクよりもやや高く、ドライバが覚醒度の低下等により、やや不安全の運転をしている状態
（３−４）領域Ｒ４（安全運転点数＝３０点）
外部環境リスクよりドライバ把握リスクの方が異常に高く、ドライバが見間違いや勘違いをしたり、過度に緊張している状態
（３−５）領域Ｒ５（安全運転点数＝０点）
外部環境リスクの方がドライバ把握リスクよりも異常に高く、ドライバが見落としやよそ見をしたり、居眠りをしている状態
これらの領域は一定期間毎に評価され、以下に示すように、期間内に観測される各領域の点数の期待値が安全運転度として出力される。尚、期間内にドライバの急操作が観測された場合には、安全運転度を減点する。例えば、急ハンドル、急アクセル、急ブレーキが観測された場合、このような操作は無条件に不安全であると判定し、サンプリング周期毎に予め定めた点数（例：１点）を減点する。例えば、急アクセルが５サンプリング周期にわたって観測されたときは、領域Ｒ１〜Ｒ５にかかわらず５点減点する。
［安全運転度］＝１００×［領域Ｒ１の観測確率］＋８０×［領域Ｒ２の観測確率］＋５０×［領域Ｒ３の観測確率］＋３０×［領域Ｒ４の観測確率］＋０×［領域Ｒ５の観測確率］−（急操作による減点）
［安全運転度］＝１００×［領域Ｒ１の観測確率］＋８０×［領域Ｒ２の観測確率］＋５０×［領域Ｒ３の観測確率］＋３０×［領域Ｒ４の観測確率］＋０×［領域Ｒ５の観測確率］−（急操作による減点）
以上の安全運転度の評価は、図４のフローチャートに示すプログラム処理によって実施される。ここで、安全運転度評価のプログラム処理について説明する。
この安全運転度評価のプログラム処理では、先ず、最初のステップＳ１１において、領域カウンタを初期化する。図５に示すように、ドライバ把握リスク値から外部環境リスク値を減算したリスク差をＭとする。そして、このリスク差Ｍを横軸とする範囲を閾値±Ａ，±Ｂで区切って上述の領域Ｒ１〜Ｒ５を定義する。これは、それぞれの領域の出現頻度をカウントするためのものであり、領域Ｒ１〜Ｒ５のそれぞれにカウンタが設けられている。
尚、各領域は、Ｍ＝０を原点とする−Ａ〜＋Ａの範囲が領域Ｒ１、−Ａ〜−Ｂの範囲及び＋Ａ〜＋Ｂの範囲が領域Ｒ２、＋Ｂ以上の範囲が領域Ｒ４、−Ｂ以下の範囲が領域Ｒ５に該当する。
先ず、領域Ｒ１〜Ｒ５カウンタを初期化する。次いで、ステップＳ１２へ進んで現在のリスク差Ｍから領域を判断する。そして、ステップＳ１３〜Ｓ１７の該当するステップで領域カウンタをカウントアップする。次いで、ステップＳ１８へ進み、評価期間が終了したか否かを調べる。評価期間内の場合にはステップＳ１２へ戻る。評価期間を終了した場合、ステップＳ１９へ進んで評価期間内での各領域の観測確率を計算し、ステップＳ２０で、各領域における安全運転点数の期待値を計算する。
その後、ステップＳ２１へ進み、評価期間内に、ドライバの急ハンドル・急ブレーキ・急アクセル等の急操作が観測されたか否かを調べる。急操作が観測されていない場合には、ステップＳ２３へ進み、各領域Ｒ１〜Ｒ５で観測確率に基づいて安全運転度を計算・出力し、急操作が観測されている場合、ステップＳ２２で安全運転点数を例えば所定の一定点数だけ減点する等して減点処理した後、安全運転度を出力する。
以上の運転評価部４の評価結果はドライバ誘導部６へ出力され、ドライバ誘導部６で安全運転への誘導刺激（本実施の形態においては、ドライバに対する発話出力）が決定される。その際、ドライバ誘導部６は、ドライバの誘導刺激に対する受容度を考慮して発話出力を決定する。次に、ドライバの誘導刺激に対する受容度を評価するドライバ受容度評価部５の処理について説明する。
［ドライバ受容度の評価処理］
ドライバ受容度評価部５における受容度の評価は、本実施の形態においては、運転操作データ、車両状態データ、ドライバ内部状態の推定結果を用いている。車両停止時や低速走行時等の緊急を要しない場合、あるいは外部環境リスクが低く且つドライバ把握リスクも低いときには、受容度が高いと評価する。逆に、急ハンドルや急アクセル等の緊急を要する操作を行っているとき、或いはその後の所定期間は、ドライバ把握リスクが高いときには、受容度が低いと評価する。
ドライバ受容度評価部５における受容度の評価は、本実施の形態においては、運転操作データ、車両状態データ、ドライバ内部状態の推定結果を用いている。車両停止時や低速走行時等の緊急を要しない場合、あるいは外部環境リスクが低く且つドライバ把握リスクも低いときには、受容度が高いと評価する。逆に、急ハンドルや急アクセル等の緊急を要する操作を行っているとき、或いはその後の所定期間は、ドライバ把握リスクが高いときには、受容度が低いと評価する。
具体的には、図６のフローチャートに示すプログラム処理により、ドライバの受容度をＡ１，Ａ２，Ａ３，Ａ４，Ａ５の５段階（Ａ１＜Ａ２＜Ａ３＜Ａ４＜Ａ５）で区分する。そして、ドライバの受容度が高いか低いかを評価する。
このため、図５のプログラム処理では、先ず、最初のステップＳ３１において、ドライバが急ハンドルや急アクセル等の操作をした急操作時であるか、或いはその急操作の直後であるか否かを調べる。そして、急操作時或いは急操作直後である場合には、ステップＳ３１からステップＳ３２へ進んでドライバの受容度を最も低い受容度Ａ１とする。急操作時でなく又急操作直後でもない場合には、ステップＳ３１からステップＳ３３へ進んでドライバ把握リスクが閾値ＴＨ１より高いか否かを調べる。
ステップＳ３３において、ドライバ把握リスクが閾値ＴＨ１より高い場合、ステップＳ３４で受容度をＡ２とする。これは、ドライバのリスク認識状態が高く、緊張状態にあると予想されるからである。つまり、システムからの誘導刺激に対するドライバの受容度が受容度Ａ１に次いで低いと考えられるためである。一方、ドライバ把握リスクが閾値ＴＨ１以下の場合には、ステップＳ３３からステップＳ３５へ進み、現在、高速走行時か否かを調べる。
その結果、高速走行時である場合には、ステップＳ３５からステップＳ３６へ進んでドライバの受容度を受容度Ａ３とする。高速走行時でない場合には、ステップＳ３５からステップＳ３７へ進んで通常の車両走行時であるか否かを調べる。車両走行時の場合、ステップＳ３８で受容度Ａ４とする。車両走行時でない場合、ステップＳ３９で最も高い受容度である受容度Ａ５とする。
以上のステップＳ３２，Ｓ３４，Ｓ３６，Ｓ３８，Ｓ３９で受容度をＡ１〜Ａ５の何れかに設定した後は、該当するステップからステップＳ４０へ進み、受容度が一定値以上か否かを調べる。例えば、一定値としてＡ４を選んだとする。この場合は、受容度がＡ４以上の状態を通常の運転状態と判断する。受容度がＡ４未満の状態をドライバがシステムからの誘導刺激を受け入れる余裕度が低い状態、すなわち緊急の状態と判断する。受容度が一定値未満の場合には、ステップＳ４１で受容度が「低い」と判断して対応するフラグ等を出力して本処理を終了する。受容度が一定値以上の場合、ステップＳ４２で受容度が「高い」と判断して対応するフラグ等を出力して本処理を終了する。
この場合、予めドライバの受容度をＡ１，Ａ２，Ａ３，Ａ４，Ａ５の５段階（Ａ１＜Ａ２＜Ａ３＜Ａ４＜Ａ５）で区分する上述の処理を第１の受容度評価処理１とすると、この受容度評価処理１に替えて、図７のフローチャートに示すように、別の第２の受容度評価処理２を採用するようにしても良い。この第２の受容度評価処理２は、現在の受容度を条件に応じて設定値Ｂ１〜Ｂ４だけ減じてゆき、最後に、受容度が一定値以上か否かを調べる処理である。
すなわち、第２の受容度評価処理２では、最初のステップＳ３０で受容度を例えば最も高いＡ５相当の受容度に初期化する。その後、ステップＳ３１で急操作時或いは急操作の直後であるか否かを調べる。急操作時或いは急操作の直後でない場合には、ドライバ把握リスクが閾値ＴＨ1より高いか否かを調べるステップＳ３３へ進む。急操作時或いは急操作の直後である場合、ステップＳ３２’で受容度を設定値Ｂ１だけ低くした後、ステップＳ３３へ進む。そして、ステップＳ３３でドライバ把握リスクが閾値ＴＨ1以下の場合には、高速走行時か否かを調べるステップＳ３５へ進む。ドライバ把握リスクが閾値ＴＨ1より高い場合、ステップＳ３４’で受容度をＢ２だけ低くしてステップＳ３５へ進む。
以後、同様にして、ステップＳ３５の高速走行時の条件、ステップＳ３７の車両走行時の条件に応じて、高速走行時のスップＳ３６’における受容度の設定値Ｂ３の低減処理、車両走行時のステップＳ３８’における受容度の設定値Ｂ４の低減処理を実施する。最後に、ステップＳ４０’で受容度が一定値以上か否かを調べる。受容度が一定値未満の場合、ステップＳ４１で受容度が「低い」と判断して対応するフラグ等を出力する。受容度が一定値以上の場合、ステップＳ４２で受容度が「高い」と判断して対応するフラグ等を出力する。
尚、以上では、ドライバの受容度を、運転操作データ、車両状態データ、ドライバ内部状態の推定結果を用いて評価する例について説明したが、これらの少なくとも一つを用いて評価しても良い。更に、他の評価方法として、車内にモニタカメラを設置してドライバの挙動をモニタしたり、車内にマイクを設置してドライバが発する音声をモニタすることで、ドライバの受容度を評価するようにしても良い。
例えば、車内カメラで撮影した画像からドライバの挙動が安定して前方を見ている状態が継続していると判断される場合には、受容度が高いと評価する。これに対して、ミラーやナビゲーション装置のモニタ画面を頻繁に確認している、不慣れな道の走行等により視線の移動が頻繁に起こっており、運転以外の別の動作をしていると判断される場合には、受容度が低いと評価する。
また、車内マイクで得られる音響データから、ドライバが一人で運転している、ラジオやＴＶ音声を聞いていないと推測される場合には、受容度が高いと評価する。これに対して、同乗者と車内で会話をしている、ラジオやＴＶ音声を聞いていると推測される場合には、受容度が低いと評価する。
［誘導刺激の提示処理］
次に、ドライバ誘導部６は、前述の図２で説明した各機能部により、ドライバに提示する誘導刺激（本実施の形態においては、聴覚による音声出力）を決定し、ドライバの受容度に応じて実際の出力形態を指示する。すなわち、誘導刺激決定部６ａにてドライバ把握リスクと外部環境リスクとのリスク差Ｍに基づいて安全運転への誘導刺激としてドライバに提示する発話のレベル・内容を決定する。そして、誘導実施可否判断部６ｂにて誘導刺激に対するドライバの受容度に応じて発話出力の指示、停止、出力タイミングの変更等を判断して誘導刺激提示装置７に指示する。
次に、ドライバ誘導部６は、前述の図２で説明した各機能部により、ドライバに提示する誘導刺激（本実施の形態においては、聴覚による音声出力）を決定し、ドライバの受容度に応じて実際の出力形態を指示する。すなわち、誘導刺激決定部６ａにてドライバ把握リスクと外部環境リスクとのリスク差Ｍに基づいて安全運転への誘導刺激としてドライバに提示する発話のレベル・内容を決定する。そして、誘導実施可否判断部６ｂにて誘導刺激に対するドライバの受容度に応じて発話出力の指示、停止、出力タイミングの変更等を判断して誘導刺激提示装置７に指示する。
ここで、発話レベルは、ドライバ把握リスクと外部環境リスクとの差に応じた誘導刺激の強弱を示すものである。図８に示すように、発話レベルは、ドライバ把握リスクと外部環境リスクとのリスク差Ｍと、このリスク差Ｍに対して設定される閾値Ｋ１，Ｋ２，Ｋ３（Ｋ１＜Ｋ２＜０＜Ｋ３）とに応じて決定される。これらの閾値Ｋ１，Ｋ２，Ｋ３によって決定される発話レベルは、「ＷＡＲＮ」，「ＣＡＵＴＩＯＮ１」，「ＮＯＲＭ」，「ＣＡＵＴＩＯＮ２」の４段階である。
発話レベル「ＷＡＲＮ」は、Ｍ＜Ｋ１でドライバの認識しているリスクがシステムが認識しているリスクより大幅に小さい場合にドライバに強い警告を与えるレベルである。発話レベル「ＣＡＵＴＩＯＮ１」は、Ｋ１≦Ｍ＜Ｋ２でドライバの認識しているリスクがシステムが認識しているリスクより小さい場合に、ドライバの注意を喚起するレベルである。発話レベル「ＮＯＲＭ」は、Ｋ２≦Ｍ＜Ｋ３でドライバにリスクの確認等を行う通常のレベルである。また、発話レベル「ＣＡＵＴＩＯＮ２」は、Ｍ≧Ｋ３でドライバがリスクを過剰認識気味である場合のレベルである。
そして、これらの４段階の発話レベルに対応して、発話対象の選択や発話内容毎に予め保有している発話語の予約を行う。具体的には、図９〜図１１のフローチャートに示すプログラム処理により、予め保有している発話リスト（例えば図１２に例示するような発話リスト）を参照して発話語を決定し、出力或いは予約処理を行う。
先ず、ドライバ誘導処理の全体について図９のフローチャートを用いて説明する。図９のドライバ誘導処理では、最初のステップＳ５１において、ドライバ把握リスクと外部環境リスクとのリスク差Ｍが閾値Ｋ１未満か否かを調べる。その結果、Ｍ＜Ｋ１の場合には、ステップＳ５２で発話レベルを「ＷＡＲＮ」レベルに決定し、Ｍ≧Ｋ１の場合、ステップＳ５３でリスク差Ｍが閾値Ｋ２未満か否かを調べる。
ステップＳ５３でＭ＜Ｋ２の場合、ステップＳ５４で発話レベルを「ＣＡＵＴＩＯＮ１」に決定する。Ｍ≧Ｋ２の場合には、更にステップＳ５５でリスク差Ｍが閾値Ｋ３未満か否かを調べる。そして、Ｍ＜Ｋ３の場合には、ステップＳ５６で発話レベルを「ＮＯＲＭ」に決定する。Ｍ≧Ｋ３の場合、ステップＳ５７で発話レベルを「ＣＡＵＴＩＯＮ２」に決定する。
発話レベルの決定後の処理は、リスク差Ｍの閾値Ｋ２に対する大小関係によって異なる。Ｍ＜Ｋ２の場合のステップＳ５２での発話レベル「ＷＡＲＮ」の決定後或いはステップＳ５４での発話レベル「ＣＡＵＴＩＯＮ１」の決定後は、ステップＳ５８で図１０のフローチャートに示す発話対象選定処理を実施する。次にステップＳ６０でドライバの受容度が高いか否かを調べる。ステップＳ５８の発話対象選定処理は、詳細は後述するが、歩行者や車両等の対象物の種別とそのリスクが存在する方向に応じて発話の内容を選定する処理である。
一方、Ｍ≧Ｋ２の場合には、発話対象選定処理は実施せず、ステップＳ５６で発話レベル「ＮＯＲＭ」を設定した後、ステップＳ５９で予約語の有無を調べる。予約語がない場合には、本処理を抜ける。予約語がある場合、ドライバの受容度を調べるステップＳ６０へ進む。また、ステップＳ５７で発話レベル「ＣＡＵＴＩＯＮ２」を設定した場合には、そのまま、ドライバの受容度を調べるステップＳ６０へ進む。
ステップＳ６０においてドライバの受容度が高い場合には、ステップＳ６１へ進んで図１１のフローチャートに示す発話語選択処理（詳細は後述する）を実施する。次いで発話リストから該当する発話語を選択する。その後、ステップＳ６２で発話語の出力処理を行って全体の処理を終了する。一方、ドライバの受容度が低い場合には、ステップＳ６０からステップＳ６３へ進み、発話語の予約処理を行って全体の処理を終了する。
次に、以上のドライバ誘導処理におけるステップＳ５８の発話対象選定処理について、図１０のフローチャートを用いて説明する。
発話対象選定処理では、先ず、ステップＳ７１において、外部環境認識部２からの情報により、閾値以上で最大リスク値を持つ対象物の種別が、人、車両、それ以外の何れに該当するかを調べる。
その結果、閾値以上の最大リスク値を持つ対象物が人である場合には、ステップＳ７２で「種別＝人」として特定する。対象物が対向車両や駐車車両等の車両である場合には、ステップＳ７３で「種別＝車」として特定する。また、閾値以上の最大リスク値を持つ対象物が人や車以外の場合、例えば、路側の設置物、立木、人以外の動物等である場合には、ステップＳ７４で種別＝無とする。
ステップＳ７２或いはステップＳ７３で対象物の種別を設定した後は、ステップＳ７６へ進む。このステップでは、該当する対象物（閾値以上で最大リスク値を持つ対象物）が存在するリスク方向が、左右あるいは前の何れであるかを調べる。そして、対象物の方向が左である場合には、ステップＳ７７で方向＝左として特定する。対象物の方向が前である場合、ステップＳ７８で方向＝前として特定する。対象物の方向が右である場合、ステップＳ７９で方向＝右として特定する。
尚、本実施の形態においては、自車両前方の範囲を対象として前方向及び左右方向のリスク方向を調べている。車両後退時のリスクを考慮する場合には、リスク方向が後方であるか否かを調べる。後方をリスク方向として考慮することは、前方向及び左右方向の考慮に加えても良いし、独立して扱っても良い。
対象物の方向を特定した後は、ステップＳ８０へ進む。このステップでは、同方向で他の種別リスクが閾値以上でないか否か、すなわち特定した方向と同方向に閾値以上の他の種別のリスクが存在するか否かを調べる。その結果、特定した方向と同方向に閾値以上の他の種別のリスクが存在しない場合には、ステップＳ８１でリスク方向と対象物の種別を重視した発話を選定して本処理を抜ける。特定した方向と同方向に閾値以上の他の種別のリスクが存在する場合には、ステップＳ８０からステップＳ８２へ進み、リスク方向を重視した発話を選定して本処理を抜ける。
尚、リスク方向と対象物の種別を重視した発話の選定においては、リスク方向と種別との双方を含む発話のみならず、状況によってはリスク方向と種別との何れか一方のみを含む発話となる場合もある。例えば、方向が「前方」で種別が「歩行者」のリスクが存在する場合で、その他の方向に閾値以上の他のリスクが無く、また、他の種別の閾値以上のリスクが存在しない場合は、「前方に人がいます」といった発話ではなく、単に「前方に危険あり」といった発話、もしくは「歩行者の危険あり」といった発話になる場合もある。
以上のステップＳ８１，Ｓ８２における発話選定は、対象物の種別が「人」或いは「車」の場合である。ステップＳ７４において対象物が「種別＝無」に特定されている場合には、リスク方向を調べることなくステップＳ７４からステップＳ７５へ進む。ステップＳ７５では、リスク方向と対象物の種別とを特定しない発話を選定し、本処理を抜ける。
次に、ドライバ誘導処理におけるステップＳ６１における発話語選択処理について、図１１のフローチャートを用いて説明する。
発話語選択処理では、先ず、ステップＳ９１において、発話レベルが「ＷＡＲＮ」であるか否かを調べる。発話レベルが「ＷＡＲＮ」の場合、ステップＳ９１からステップＳ９２へ進んで発話リストを参照し、発話レベル＝ＷＡＲＮに対応する一連の要素（警報発話）の語群の中から該当する発話語を選択して本処理を抜ける。例えば、発話レベル＝ＷＡＲＮで右のリスク方向を重視した発話選定がなされている場合、図１２に示す発話リストの「警報発話」に該当する語群の中から、「右、危ない！」という発話語を選択する。
一方、発話レベルが「ＷＡＲＮ」でない場合、ステップＳ９１からステップＳ９３へ進み、発話レベルが「ＣＡＵＴＩＯＮ１」であるか否かを調べる。そして、発話レベルが「ＣＡＵＴＩＯＮ１」の場合には、ステップＳ９４で発話リストを参照し、発話レベル＝ＣＡＵＴＩＯＮ１に対応する一連の要素（注意発話１）の語群の中から該当する発話語を選択して本処理を抜ける。例えば、発話レベル＝ＣＡＵＴＩＯＮ１で対象別の種別を重視した発話選定がなされている場合、図１２に示す発話リストの「注意発話１」に該当する語群の中から、「歩行者に注意して下さい」という発話語を選択する。
一方、発話レベルが「ＣＡＵＴＩＯＮ１」でない場合には、ステップＳ９３からステップＳ９５へ進んで発話レベルが「ＮＯＲＭ」か否かを調べる。発話レベルが「ＮＯＲＭ」である場合、ステップＳ９６で発話リストを参照し、発話レベル＝ＮＯＲＭに対応する一連の要素（予約発話）の語群の中から該当する発話語を選択して本処理を抜ける。例えば、図１２示す発話リストの「予約発話」に該当する語群の中から、「今の歩行者に気付いていましたか？」という発話語を選択する。
尚、「予約発話」とは、その場での発話を保留し、後ほど発話することを予約しておくものである。この「予約発話」には、決まりきった時間（例えば起動時や終了時）に必ず発話するものも含まれる。例えば、「それでは、ゆとりを持って運転しましょう」（起動時）や、「運転お疲れ様でした〜」（終了時）等も「予約発話」に該当する。
一方、ステップＳ９５において発話レベルが「ＮＯＲＭ」でない場合、ステップＳ９５からステップＳ９７へ進んで発話レベルが「ＣＡＵＴＩＯＮ２」か否かを調べる。そして、発話レベルが「ＣＡＵＴＩＯＮ２」でない場合には本処理を抜ける。発話レベルが「ＣＡＵＴＩＯＮ２」の場合、ステップＳ９８で発話リストを参照し、発話レベル＝ＣＡＵＴＩＯＮ２に対応する一連の要素（注意発話２）の語群の中から該当する発話語を選択して本処理を抜ける。例えば、図１２の発話リストの「注意発話２」に該当する語群の中から、「落ち着いて行きましょう」という発話語を選択する。
尚、発話リストから選択される発話語は、リスト中の一つの要素の発話語に限定されることなく、状況に応じて適宜複数の要素を選択して複合することが可能である。例えば、「歩行者がいます」のみの発話ではなく、「"歩行者がいます" "注意してください"」といった発話の連続を出力する事もありえる。
以上の処理で選択・出力される発話語は、ドライバの安全運転度情報に基づいて誘導パラメータ更新部６ｃにて評価され、効果的に安全運転に誘導できるよう、テキスト等の発話の種類・内容、音量等の発話の強度、音程や発話速度等の発話の質、イントネーション等の発話のパターン、発話の出力タイミング等を決定する誘導パラメータが更新される。すなわち、図１３に示すように、発話語のそれぞれについて、発話前後の一定区間（例えば、３０ｓｅｃ〜５ｍｉｎ）におけるドライバの安全運転度を計算し、発話前後の安全運転度を比較して評価する。そして、評価値の向上が観測された場合には、その発話語の選択頻度を高くするように誘導パラメータを更新する。
誘導パラメータ更新のプログラム処理は、図１４のフローチャートに示される。最初のステップＳ１０１は発話出力を検知する検知ループとして構成される。ステップＳ１０１で発話出力が検知されると、ステップＳ１０２へ進み、発話前の一定区間の安全運転度を計算した安全運転度情報を運転評価部４から取得する。
次に、ステップＳ１０３へ進み、発話後に一定時間が経過したか否かを調べる。そして、一定時間が経過するまでの待ちループを経て一定時間が経過すると、ステップＳ１０３からステップＳ１０４へ進み、発話後の一定区間の安全運転度を計算した安全運転度情報を運転評価部４から取得する。
続くステップＳ１０５では、発話前の一定区間における安全運転度と発話後の一定区間における安全運転度とを比較する。例えば両者の比を評価値として算出する。そして、この評価値から安全運転度が向上しているか否かを調べる。その結果、安全運転度が向上している場合には、ステップＳ１０６で該当発話語の選択優先度を増加させる。安全運転度が向上していない場合、ステップＳ１０７で該当発話語の選択優先度を低下させる。
これは、ある発話語が出力されたことによってその後の安全運転度が向上した場合には、その発話語がその運転者にとって有効な語句（例えば、聞き取りやすい、理解しやすい、説得力がある）であるとみなして、以降の発話出力においてより頻度が高く選択されるようにすることに相当し、また逆に、ある発話語の出力後に運転者の安全運転度が向上していない場合は、その語句はその運転者にとって適切でない語句（例えば、聞き取りにくい、理解しがたい、納得しがたい）であるとみなして、以降の発話出力でより選択頻度が低下するようにすることに相当する。
ただし、実際には、発話語句以外の外部の影響や、図１３に示すように複数の語の影響によってドライバの安全運転度は変化する事が考えられるため、あくまでも選択度を上下させることとに留め、一回の比較で発話の禁止や毎回発話するようにする直接的な変更は避けている。
ステップＳ１０６，Ｓ１０７で発話語の選択優先度を変更した後は、ステップＳ１０１へ戻り、上述の処理を繰り返す。これにより、学習が進行し、安全運転への誘導効果を向上することができる。
尚、語が接近して発話された場合には、複数の語の影響が安全運転度に反映されると考えられる。この場合、安全運転度の比較、評価に影響を与える虞がある。ただし、長期で見れば、同じ語が接近して繰り返し発話される機会は少ないと考えられることから、長時間の学習により、その影響を小さくすることができる。
図１５は、以上の運転行動誘導システム１による発話誘導の出力例を示すものである。図１５においては、外部環境リスクとドライバ把握リスクと応じた誘導発話が▲の記号で示すタイミングで出力される例を示している。これにより、ドライバの運転行動がより安全な方向に変化するように誘導を行っている。
このように、本実施の形態における運転行動誘導システム１は、安全運転誘導システムとして適用した場合、安全運転への誘導刺激の出力を、ドライバの普段の運転を基準としてドライバが現在把握しているリスクを推定した上で、ドライバ個人個人の運転個性を加味した安全運転度を評価している。これにより、万人共通の画一的な運転行動を規範とする技術と比較して、より個々のドライバに適合した違和感の無い効果的な誘導とすることができる。
安全運転度の評価は、外部環境リスクとドライバ把握リスクの対応状態を基にして評価する。このため、常にドライバに完全な覚醒状態を求めるような手法と異なり、あくまでも外部環境のリスクを正しく把握することを安全運転の指標とした現実的な安全運転誘導システムを実現することができる。
しかも、本運転行動誘導システム１による安全運転への誘導は、ドライバが誘導出力を受け入れられる状態であるかを判定し、その上で誘導方法の変更、誘導出力の中止、誘導タイミングの変更等を行うようにしている。従って、ドライバに対して過度の負荷を与えることなく、より効果的に安全運転へ誘導することができる。
また、本運転行動誘導システム１による安全運転への誘導は、誘導出力をリアルタイムに決定し、運転中のドライバに対して常時誘導出力による働きかけを行う。このため、ドライバに対して、走行環境中の注意すべき場所、注意すべきタイミングで、適切な注意を向けさせることができる。すなわち、目的地に到着後の運転が終了した時点でのアドバイスと比較して、ドライバの不安全状態を直接的に遅れなく検知・是正させることが可能となる。
更に、本運転行動誘導システム１による安全運転への誘導は、誘導刺激の種類・内容・強度・質・出力タイミング、パターン等を決定するための誘導パラメータを、安全運転度情報を元に更新するため、個々のドライバにとってより安全運転へ効果的に誘導するシステムへと変化させることができる。
尚、以上の運転行動誘導システムは、安全運転への誘導のみに限定されるものではない。運転行動誘導システムは、その他、ドライバの燃料消費率（燃費）の向上を目指す運転行動への誘導や、ドライバのスキル向上への誘導を行うこともできる。
例えば、「燃費」を動機として誘導する場合は、非効率に燃料を消費することをリスクと捉え、そのリスクを小さくするように誘導する。図１６は、燃費向上への誘導を目的とした発話リストの例である。この発話リストでは、安全運転への誘導発話に対して、「警報発話」、「注意発話」、「予約発話」の各発話語を燃費向上への誘導に適した語句として保持している。更に、燃費向上への誘導を効果的なものとするため、発話リスト中に「その他」の発話語を追加し、「地球に優しい適切な運転です」といった誉め言葉を格納している。
同様に、「速さ」や「踏破性」を動機として、ドライバのスキル向上への誘導を行うことも可能である。従来、このような場合には、直接車両制御を介入させ、ある程度物理的な最適解に達するよう制御する例が多い。しかしながら、強制的な車両制御の介入は、ドライバの運転個性を考慮していないことからドライバに違和感を与え、必ずしも有効ではない。これに対して、本運転行動誘導システムは、ドライバそれぞれの個人特性に応じた最適な運転行動へと誘導を行うことができ、ドライバの能力を効果的に向上させることが可能となる。
このように、本運転行動誘導システムは、安全運転、燃費向上、ドライバのスキル向上等の各種運転行動へ効果的な誘導が可能である。このため、図１７に示すように、ある程度汎用的な用途を想定した発話リストをシステムに保持するようしても良い。
この汎用的な発話リストでは、ドライバの運転行動を「ランク」付けし、対応する発話語を格納している。具体的に安全運転や燃費向上への誘導として適用する場合には、「ランク」を、「安全」、「燃費」等に置き換えて出力することが可能である。これにより、一つのシステムで複数の誘導システムとして機能させる場合に、複数の発話リストを保持する必要がなく、メモリ容量を低減することができる。
１ 運転行動誘導システム
２ 外部環境認識部
３ ドライバ状態推定部
４ 運転評価部
５ ドライバ受容度評価部
６ ドライバ誘導部
６ａ 誘導刺激決定部
６ｂ 誘導実施可否判断部
６ｃ 誘導パラメータ更新部
６ｄ 操作部
７ 誘導刺激提示装置
７ａ 聴覚提示部
７ｂ 視覚提示部
７ｃ 嗅覚提示部
７ｄ 触覚提示部
２ 外部環境認識部
３ ドライバ状態推定部
４ 運転評価部
５ ドライバ受容度評価部
６ ドライバ誘導部
６ａ 誘導刺激決定部
６ｂ 誘導実施可否判断部
６ｃ 誘導パラメータ更新部
６ｄ 操作部
７ 誘導刺激提示装置
７ａ 聴覚提示部
７ｂ 視覚提示部
７ｃ 嗅覚提示部
７ｄ 触覚提示部
Claims (3)
- 移動体を運転するドライバの状態を推定して該ドライバの運転行動に対する誘導を行う運転行動誘導システムであって、
上記移動体の外部環境をセンシングして取得した外部環境の特徴量とリスクの教師情報との相関関係から学習的に算出されるリスクレベルを外部環境リスクとして認識する外部環境認識部と、
上記外部環境リスクに依存して遷移するドライバの内部状態をドライバの運転操作の特徴量に基づいて推定し、推定した内部状態に相当するリスクレベルを、上記外部環境リスクに対してドライバが把握しているドライバ把握リスクとして算出するドライバ状態推定部と、
上記ドライバ把握リスクと上記外部環境リスクとの大小関係に基づいて、ドライバの運転行動がより安全方向に変化するようドライバに与える警告レベルを決定するドライバ誘導部と、
上記ドライバ把握リスクと上記外部環境リスクの認識結果との大小関係を一定期間評価することで安全運転度を計算する運転評価部とを備え、
上記ドライバ誘導部は、上記警告レベルに応じた警告をドライバに対して出力する前後一定区間の上記安全運転度を比較し、警告後一定期間の上記安全運転度が警告前一定期間の上記安全運転度よりも高い場合には、上記安全運転度が高くなった警告レベルの選択頻度を高くするよう、上記警告レベルを決定するためのパラメータを更新することを特徴とする運転行動誘導システム。 - 上記ドライバ誘導部は、上記ドライバ把握リスクと上記外部環境リスクとの大小関係に基づいて、上記ドライバ把握リスクが上記外部環境リスクよりも小さい場合、上記ドライバ把握リスクと上記外部環境リスクとが略一致している場合、上記ドライバ把握リスクが上記外部環境リスクよりも大きい場合の、少なくとも３つの場合に応じた警告レベルを決定することを特徴とする請求項１記載の運転行動誘導システム。
- 上記ドライバの運転操作と車両状態と上記ドライバ把握リスクとのうち、少なくとも一つを用いて上記警告に対するドライバの受容度を評価するドライバ受容度評価部を備え、 上記ドライバ誘導部は、上記ドライバの受容度が所定値よりも低い場合は上記警告を保留するとともに、上記ドライバの受容度が所定値よりも高い場合は上記警告を実施することを特徴とする請求項１又は２に記載の運転行動誘導システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009024929A JP5530106B2 (ja) | 2009-02-05 | 2009-02-05 | 運転行動誘導システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009024929A JP5530106B2 (ja) | 2009-02-05 | 2009-02-05 | 運転行動誘導システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010182085A JP2010182085A (ja) | 2010-08-19 |
| JP5530106B2 true JP5530106B2 (ja) | 2014-06-25 |
Family
ID=42763641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009024929A Expired - Fee Related JP5530106B2 (ja) | 2009-02-05 | 2009-02-05 | 運転行動誘導システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5530106B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5640511B2 (ja) * | 2010-07-12 | 2014-12-17 | マツダ株式会社 | 車両用運転技量育成装置 |
| JP2013069020A (ja) * | 2011-09-21 | 2013-04-18 | Nissan Motor Co Ltd | エコ運転支援装置 |
| SE537647C2 (sv) * | 2012-03-29 | 2015-09-08 | Scania Cv Ab | Förfarande och system för bedömning av förarbeteende vid bromsning av fordon |
| DE102013220176A1 (de) | 2013-10-07 | 2015-04-23 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Bestimmen eines Zustands eines zu überwachenden Objekts |
| JP6703465B2 (ja) * | 2016-09-21 | 2020-06-03 | 株式会社日立製作所 | 運転支援装置、センタ装置 |
| KR101937218B1 (ko) | 2017-02-03 | 2019-01-10 | 자동차부품연구원 | 운전자 수용성 평가 장치 및 방법 |
| WO2018179406A1 (ja) * | 2017-03-31 | 2018-10-04 | 本田技研工業株式会社 | 車載装置、情報管理サーバ、情報管理システム、および方法 |
| EP3633650A4 (en) * | 2017-05-31 | 2020-07-08 | Fujitsu Limited | DRIVING AID DEVICE, DRIVING AID SYSTEM, AND DRIVING AID METHOD |
| EP3517385B1 (en) * | 2018-01-26 | 2022-08-31 | Honda Research Institute Europe GmbH | Method and driver assistance system for assisting a driver in driving a vehicle |
| WO2024202015A1 (ja) * | 2023-03-31 | 2024-10-03 | 本田技研工業株式会社 | 制御装置、車両、制御方法、記憶媒体及びプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3654656B2 (ja) * | 1992-11-18 | 2005-06-02 | 日産自動車株式会社 | 車両の予防安全装置 |
| JP2000247162A (ja) * | 1999-02-26 | 2000-09-12 | Mitsubishi Motors Corp | 車両用運転状態評価装置 |
| JP2001014599A (ja) * | 1999-06-25 | 2001-01-19 | Toshiba Corp | 覚醒度管理装置、覚醒度管理方法および覚醒度管理プログラムを格納するコンピュータ読み取り可能な記録媒体 |
| JP4719960B2 (ja) * | 2000-07-26 | 2011-07-06 | マツダ株式会社 | 車両用警報装置 |
| JP4374211B2 (ja) * | 2002-08-27 | 2009-12-02 | クラリオン株式会社 | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 |
| JP4097519B2 (ja) * | 2002-12-24 | 2008-06-11 | 株式会社豊田中央研究所 | 危険感受度推定装置、安全運転評価装置及び警報装置 |
| JP2008158671A (ja) * | 2006-12-21 | 2008-07-10 | Toyota Motor Corp | 車両用衝突警報装置 |
| JP5185554B2 (ja) * | 2007-03-23 | 2013-04-17 | 富士重工業株式会社 | オンラインリスク学習システム |
-
2009
- 2009-02-05 JP JP2009024929A patent/JP5530106B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010182085A (ja) | 2010-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5530106B2 (ja) | 運転行動誘導システム | |
| EP3755597B1 (en) | Method for distress and road rage detection | |
| CN104730949B (zh) | 自主车辆中的情感型用户界面 | |
| US10365648B2 (en) | Methods of customizing self-driving motor vehicles | |
| EP3675121B1 (en) | Computer-implemented interaction with a user | |
| CN106803423B (zh) | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 | |
| EP3384475B1 (en) | System and method of conversational adjustment based on user's cognitive state | |
| KR102218526B1 (ko) | 졸음 운전을 방지하기 위한 방법, 시스템 및 차량 | |
| US9165280B2 (en) | Predictive user modeling in user interface design | |
| JP5161643B2 (ja) | 安全運転支援システム | |
| US10053113B2 (en) | Dynamic output notification management for vehicle occupant | |
| CN107554528B (zh) | 驾乘人员的疲劳等级检测方法及装置、存储介质、终端 | |
| US20080105482A1 (en) | Dialogue System | |
| WO2008127465A1 (en) | Real-time driving danger level prediction | |
| KR20060080317A (ko) | 감성기반을 갖는 자동차용 소프트웨어 로봇 | |
| Sathyanarayana et al. | Information fusion for robust ‘context and driver aware’active vehicle safety systems | |
| KR102143211B1 (ko) | 졸음 운전 예방 및 차량 내 안전 유지 방법, 시스템 | |
| JP2010271794A (ja) | 運転行動誘導システム | |
| JP2008068665A (ja) | 車両制御装置および車両制御方法 | |
| CN113598773B (zh) | 数据处理装置以及用于评估用户不适的方法 | |
| CN112550306A (zh) | 车辆驾驶辅助系统、包括其的车辆及相应方法和介质 | |
| WO2023092490A1 (zh) | 自动驾驶汽车接管紧迫度判别方法和警示方法及系统 | |
| CN112036352B (zh) | 一种疲劳检测模型的训练方法、疲劳驾驶检测方法及装置 | |
| CN116509393B (zh) | 一种基于车辆设备状态和用户驾驶行为的情绪预测方法 | |
| US12091021B2 (en) | Method and system for enhancing driving safety |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140325 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140418 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5530106 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |