JP4507996B2

JP4507996B2 - 運転者負荷推定装置

Info

Publication number: JP4507996B2
Application number: JP2005174346A
Authority: JP
Inventors: 雅明市原
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-06-14
Filing date: 2005-06-14
Publication date: 2010-07-21
Anticipated expiration: 2025-06-14
Also published as: JP2006349871A

Description

本発明は、概して、車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置に係り、特に、自由発話に対する運転者の対話負荷を推定する運転者負荷推定装置に関する。

従来、車両運転中の運転者の負荷を推定する装置及び方法が提案されている（例えば、特許文献１〜４参照）。
特開２００３−１２５４５４号公報特開２００３−１５０１９３号公報特開２００４−２２８８９０号公報特開２００４−２７２０４８号公報

しかしながら、上記特許文献１〜４に開示された従来の手法はいずれも、自由発話についての運転者の対話負荷が考慮・推定されていないため、正確な運転者負荷推定が実現されていない。

例えば、上記特許文献１及び３に開示された手法では、対話負荷について何ら考慮されていない。

また、上記特許文献２に開示された手法では、認知的負荷しか考慮されておらず、自由対話については何ら考慮されていない。

さらに、上記特許文献４に開示された手法は、発話ピッチに基づいて負荷推定を実行するものであり、精度が良好とは言い難い。

本発明はこのような課題を解決するためのものであり、自由発話に対する運転者の対話負荷を推定する運転者負荷推定装置を提供することを主たる目的とする。

上記目的を達成するための本発明の第一の態様は、車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置であって、車室内の音声を収集する音声収集手段と、該音声収集手段により収集された音声を単語単位で音声認識処理する音声認識手段と、該音声認識手段により認識された単語のうち、名詞及び動詞の単位発話時間あたりの出現回数をそれぞれ算出する算出手段と、該算出手段により算出された上記名詞及び動詞の単位発話時間あたりの出現回数の和を運転者が発話することによって生じる発話負荷と、運転者が音声を聴取することによって生じる聴取負荷からなる運転者の対話負荷の大きさを表す負荷パラメータとする対話負荷推定手段とを有する運転者負荷推定装置である。

この第一の態様において、上記音声認識手段は、例えば、いわゆるｎ−ｇｒａｍ型の音声認識を実行することにより、音声を単語単位で音声認識処理することが実現される。

この第一の態様によれば、例えば接続詞や感嘆詞などの他の単語と比較して発話負荷及び聴取負荷が特に高いと考えられる名詞及び動詞に特化して、その単位時間あたりの出現回数によって運転者の対話負荷を推定するため、精度の良い推定が可能となる。

上記目的を達成するための本発明の第二の態様は、上記第一の態様に係る運転者負荷推定装置において、上記対話負荷推定手段が上記名詞及び動詞の単位発話時間あたりの出現回数に所定の重み付け処理を行う補正手段を含む、運転者負荷推定装置である。

この第二の態様において、上記補正手段は、例えば、認識された各単語の信頼度や出現間隔に応じて、上記負荷パラメータが増加又は減少するように上記名詞及び動詞の単位発話時間あたりの出現回数に重み付けを行う。

より具体的には、例えば、１）上記音声認識手段が更に音声認識処理した各単語について信頼度を算出するようにし、この信頼度が低い名詞及び動詞については通常の会話にはあまり登場しない単語であると判断して負荷パラメータが増加するように重み付けするようにしてもよく、或いは、２）上記算出手段が更に上記音声認識手段により認識された各単語について出現間隔を測定するようにし、この出現間隔が所定時間より短い（すなわち、頻繁に繰り返された）名詞及び動詞については発話負荷及び聴取負荷がいずれも低いと判断して負荷パラメータが減少するように重み付けし、出現間隔が所定時間より長い（すなわち、たまにしか発せられない）名詞及び動詞については発話負荷及び聴取負荷がいずれも高いと判断して負荷パラメータが増加するように重み付けするようにしてもよい。

この第二の態様によれば、音声認識により認識された名詞及び動詞について、さらにその各々の信頼度や出現間隔に応じて負荷パラメータを上げる又は下げる補正が行われるため、運転者対話負荷推定の精度を更に向上させることができる。

上記目的を達成するための本発明の第三の態様は、上記第二の態様に係る運転者負荷推定装置において、上記音声収集手段が収集された音声の発声源を特定する発声源特定手段を含み、上記対話負荷推定手段は、上記発声源特定手段により特定された発声源に応じて、上記名詞及び動詞の単位発話時間あたりの出現回数を運転者から発話された単語と運転者により聴取された単語とに分けて算出する、運転者負荷推定装置である。

この第三の態様において、上記発声源特定手段は、例えば、車両に搭載されたハンズフリー通話機能やそれに接続された携帯電話の作動状態からハンズフリー通話からの発話であるか否かを判断したり、マイクロホンアレイを用いて発話の到来方向を検出することによって同乗者の発話であるか否かを判断したりする。

また、この第三の態様において、上記発声源特定手段による特定結果は、例えば、上記音声認識手段による音声認識処理や上記補正手段による重み付け処理に用いられる。

より具体的には、例えば、１）同乗者は運転者とハンズフリー電話の通話相手よりも運転者の状態や車両の走行状況を考慮して運転者に話し掛けるであろうという洞察に基づき、上記発声源特定手段が運転者への発話をハンズフリー電話からの発話か又は同乗者からの発話か識別し、上記補正手段が、上記名詞及び動詞の単位発話時間あたりの出現回数が等しいときにはハンズフリー電話からの発話の方が同乗者からの発話よりも上記負荷パラメータが増加するように、上記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理するようにしてもよく、及び／又は、２）運転者は音楽やラジオ等のオーディオ出力については聞き流して運転操作に集中できるであろうという洞察に基づき、上記音声認識手段が上記発声源特定手段によりオーディオ出力であると特定された音声は音声認識処理しないようにしてもよい。

この第三の態様によれば、運転者に対する発話音声について発話発信元に応じて運転者の聴取負荷をきめ細かく推定することができるため、運転者対話負荷推定の精度が一層向上する。

本発明によれば、自由発話に対する運転者の対話負荷を推定する運転者負荷推定装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、音声認識処理の基本概念、並びにそれを実現するためのハードウェア構成及びソフトウェア構造等については当業者には既知であるため、詳しい説明を省略する。

以下、図１及び２を用いて、本発明の一実施例に係る運転者負荷推定装置の構成及び動作について説明する。

図１は、本実施例に係る運転者負荷推定装置１００の概略構成図である。運転者負荷推定装置１００は、主として、音声収集部１０１と、音声認識エンジン１０２と、対話負荷推定部１０３とから構成される。

音声収集部１０１は、車室内の音声を例えばマイクロホンを用いて集音すると共に、集音された音声の出所を検出・特定する。

ここで、車室内の音声は、運転者による発話か否かによって、Ａ）運転者発話か、Ｂ）運転者聴取かに大きく分類できる。Ａ）運転者発話は、更に、ａ１）ハンズフリー電話への発話か、ａ２）同乗者（例えば、助手席に乗っている乗員）への発話かに分類することができる。Ｂ）運転者聴取は、更に、ｂ１）ハンズフリー電話からの聴取か、ｂ２）同乗者（例えば、助手席に乗っている乗員）からの聴取か、ｂ３）音楽やラジオ等のオーディオ出力の聴取かに分類することができる。

音声収集部１０１は、集音した車室内の音声を上記ａ１）〜ａ２）及びｂ１）〜ｂ３）のいずれかに分類する。分類する具体的手法は既知の任意のものでよい。例えば、車両に搭載されたハンズフリー通話機能やそれに接続された携帯電話の作動状態からハンズフリー通話からの発話であるか否かを判断することができる。また、マイクロホンアレイ（例えば、ビームフォーム型、など）を用いて発話の到来方向を検出することによって、同乗者の発話であるか否かを判断することができる。

ここで、マイクロホンアレイとは、空間的に配置された複数のマイクロホンから構成される受音装置であり、音の空間的情報を取得することによって音の到来方向を検出できるものである。

また、音声収集部１０１は、予め運転者の声紋を車両に登録しておくことにより、声紋認証処理によって、運転者の発話であるか、同乗者の発話であるかを識別することもできる。

なお、オーディオ出力は、運転者は聞き流して運転操作に集中できる、すなわち運転者聴取負荷とはならない、と考えられる。したがって、音声収集部１０１は、オーディオ出力については単に識別するだけでなく、例えばＬＭＳ（Ｌｅａｓｔ−Ｍｅａｎ−Ｓｑｕａｒｅｓ）アルゴリズムなどを用いて、収集された音声から直ちに除去する。

また、音声収集部１０１は、このようにして収集・分類された発話の各々について、発話時間も測定する。

音声収集部１０１は、収集された音声情報を音声認識エンジン１０２へ送ると共に、発話時間及び発話元に関する情報を対話負荷算出部１０３へ送る。

音声認識エンジン１０２は、音声収集部１０１によって収集された発話音声に対して逐次文字を出す音声認識処理を行い、発せられた各単語を認識する。ここで、単語単位での音声認識処理が可能なアルゴリズムとしては、例えばｎ−ｇｒａｍ（エヌグラム）型の音声認識が挙げられる。ｎ−ｇｒａｍは、単語列を統計的・確率的に取り扱う統計的言語モデルの代表例であり、ｎ個の単語が連なる確率を予め計算（学習）しておくことで、実際に発声された文章の信頼度（もっともらしさ）を計算することができるものである。

本装置は、発話文章の意味内容の解読が主目的ではなく、あくまで運転者の対話負荷の推定が目的であるため、音声認識エンジン１０２は、音声認識処理後、認識された各単語の品詞と信頼度を算出し、これらを対話負荷推定部１０３へ送る。

対話負荷推定部１０３は、音声収集部１０１から取得した発話元に関する情報及び発話時間と、音声認識エンジン１０２から取得した認識された単語の品詞及び信頼度とに基づいて、運転者の対話負荷を推定する。対話負荷推定部１０３における処理については下記の図２の説明において詳述する。

図２は、本実施例に係る運転者負荷推定装置１００の処理の流れを示すフローチャートである。

本装置１００は、まず、音声入力を監視・待機する（Ｓ２０１）。音声が入力されると（Ｓ２０１の「ＹＥＳ」）、それがオーディオ出力であるか否かを判定する（Ｓ２０２）。

入力された音声が音楽やラジオ等のオーディオ出力であった場合（Ｓ２０２の「ＹＥＳ」）、上述のように、例えばＬＭＳアルゴリズムを用いて除去するなどして、そのデータを破棄する（Ｓ２０８）。

入力された音声がオーディオ出力でなかった場合、すなわち人間の発話であった場合（Ｓ２０２の「ＮＯ」）、次いで、音声認識エンジン１０２が例えばｎ−ｇｒａｍ型などを用いてこの音声を単語単位で音声認識処理する（Ｓ２０３）。

音声認識エンジン１０２は、更に、認識された各単語について、品詞及び信頼度を判定する（Ｓ２０４）。

このようにして認識された各単語の品詞及び信頼度が判定されると、次いで、対話負荷推定部１０３が、音声収集部１０１により測定された発話時間と、音声認識エンジン１０２により認識された単語の品詞とから単位発話時間あたりの名詞及び動詞それぞれの出現回数を算出し、これら出現回数の和を対話負荷の大きさを表す対話負荷パラメータとする（Ｓ２０５）。

ここで、名詞及び動詞に絞り込むのは、例えば接続詞や感嘆詞などの他の単語と比較して、名詞及び動詞の発話負荷及び聴取負荷が特に高いと考えられるためである。

次いで、対話負荷推定部１０３は、この単位時間あたりの名詞及び動詞の出現回数の和に相当する対話負荷パラメータを認識された各単語の信頼度及び出現間隔で補正する（Ｓ２０６）。

具体的には、信頼度が低い名詞及び動詞については、通常の会話にはあまり登場しない単語であると判断して、対話負荷パラメータが増加するように重み付け処理を行う。

また、出現間隔が所定時間より短い（すなわち、頻繁に繰り返された）名詞及び動詞については、発話負荷及び聴取負荷がいずれも低いと判断して、対話負荷パラメータが減少するように重み付け処理を行う。

さらに、出現間隔が所定時間より長い（すなわち、たまにしか発せられない）名詞及び動詞については、発話負荷及び聴取負荷がいずれも高いと判断して、対話負荷パラメータが増加するように重み付け処理する。

これら出現間隔に基づく増減補正は、例えば、出現間隔ｔとして、１／（１−ｅ^−τｔ）を対話負荷パタメータの乗じることによって実現される。

次いで、対話負荷推定部１０３は、音声収集部１０１から取得した発話元情報に基づいて、対話負荷パラメータを発話負荷と聴取負荷とに分ける。さらに、聴取負荷としてにんしきされた運転者に対する発話について、同乗者から運転者への発話か、或いは、ハンズフリー電話の通話相手から運転者への発話か、識別する。

そして、対話負荷推定部１０３は、名詞及び動詞の単位発話時間あたりの出現回数が等しいときにはハンズフリー電話からの発話の方が同乗者からの発話よりも対話負荷パラメータが増加するように、名詞及び動詞の単位発話時間あたりの出現回数に重み付けする。これは、同乗者は、ハンズフリー電話の通話相手よりも運転者の状態や車両の走行状況を考慮して運転者に話し掛けている（例えば、歩行者に注意しながら交差点を右左折しているときには込み入ったことを話し掛けない、など）であろうという洞察に基づくものである。これにより、同乗者から運転者への発話は、ハンズフリー電話の通話相手からの発話よりも聴取負荷が相対的に低いという評価が反映されることになる。

このような一連の補正（重み付け）処理後の対話負荷パラメータが最終的に運転者の対話負荷を表すものとして運転者負荷の推定に用いられる。

このように、本実施例によれば、単語単位での認識が可能な音声認識処理を用いることによって、例えば接続詞や感嘆詞などの他の単語と比較して発話負荷及び聴取負荷が特に高いと考えられる名詞及び動詞に特化し、その単位時間あたりの出現回数によって運転者の対話負荷を推定するため、精度の良い推定が可能となる。

また、本実施例によれば、音声認識により認識された名詞及び動詞について、さらにその各々の信頼度や出現間隔に応じて対話負荷パラメータを増減させる重み付け処理が行われるため、運転者対話負荷推定の精度を更に向上させることができる。

さらに、本実施例によれば、運転者に対する発話音声について発話発信元に応じて運転者の聴取負荷をきめ細かく推定することができるため、運転者対話負荷推定の精度が一層向上する。

本発明は、車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る運転者負荷推定装置の概略構成図である。本発明の一実施例に係る運転者負荷推定装置の処理の流れを示すフローチャートである。

符号の説明

１００運転者負荷推定装置
１０１音声収集部
１０２音声認識エンジン
１０３対話負荷推定部

Claims

車両に搭載され、車両運転中の運転者の負荷を推定する運転者負荷推定装置であって、
車室内の音声を収集する音声収集手段と、
前記音声収集手段により収集された音声を単語単位で音声認識処理する音声認識手段と、
前記音声認識手段により認識された単語のうち、名詞及び動詞の単位発話時間あたりの出現回数をそれぞれ算出する算出手段と、
前記算出手段により算出された前記名詞及び動詞の単位発話時間あたりの出現回数の和を運転者が発話することによって生じる発話負荷と、運転者が音声を聴取することによって生じる聴取負荷からなる運転者の対話負荷の大きさを表す負荷パラメータとする対話負荷推定手段と、を有することを特徴とする運転者負荷推定装置。
請求項１記載の運転者負荷推定装置であって、
前記対話負荷推定手段は、前記名詞及び動詞の単位発話時間あたりの出現回数に所定の重み付け処理を行う補正手段を含む、ことを特徴とする運転者負荷推定装置。
請求項２記載の運転者負荷推定装置であって、
前記音声認識手段は、更に、音声認識処理した各単語について信頼度を算出し、
前記補正手段は、前記信頼度が低い名詞及び動詞については前記負荷パラメータが増加するように前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
請求項２又は３記載の運転者負荷推定装置であって、
前記算出手段は、更に、前記音声認識手段により認識された各単語について出現間隔を測定し、
前記補正手段は、前記出現間隔が所定時間より短い名詞及び動詞については前記負荷パラメータが減少するように前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
請求項２乃至４のいずれか一項記載の運転者負荷推定装置であって、
前記算出手段は、更に、前記音声認識手段により認識された各単語について出現間隔を測定し、
前記補正手段は、前記出現間隔が所定時間より長い名詞及び動詞については前記負荷パラメータが増加するように前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
請求項２乃至５のいずれか一項記載の運転者負荷推定装置であって、
前記音声収集手段は、収集された音声の発声源を特定する発声源特定手段を含み、
前記対話負荷推定手段は、前記発声源特定手段により特定された発声源に応じて、前記名詞及び動詞の単位発話時間あたりの出現回数を運転者から発話された単語と運転者により聴取された単語とに分けて算出する、ことを特徴とする運転者負荷推定装置。
請求項６記載の運転者負荷推定装置であって、
前記発声源特定手段は、運転者への発話をハンズフリー電話からの発話か又は同乗者からの発話か識別し、
前記補正手段は、前記名詞及び動詞の単位発話時間あたりの出現回数が等しいときにはハンズフリー電話からの発話の方が同乗者からの発話よりも前記負荷パラメータが増加するように、前記名詞及び動詞の単位発話時間あたりの出現回数に重み付け処理する、ことを特徴とする運転者負荷推定装置。
請求項６又は７記載の運転者負荷推定装置であって、
前記音声認識手段は、前記発声源特定手段によりオーディオ出力であると特定された音声は音声認識処理しない、ことを特徴とする運転者負荷推定装置。