JP7024799B2 - 車両用操作支援装置 - Google Patents

Description

本発明は、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う各種の車両操作の支援に供する車両用操作支援装置に関するものである。

車内の音声を収集するとともに乗員の座席位置を特定し、収集した音声と特定した着座位置に基づいて、車内に存在する乗員のうち発話者を推定するとともに、収集した音声に基づいて会話の内容を推定し、特定した着座位置、推定した発話者および推定した会話内容に基づいて、乗員の構成を推定し、推定した会話内容および推定した乗員構成に基づいて乗員の行動目的を推定し、推定した乗員構成および推定した行動目的に基づいて、推奨するレコメンドサービスを決定する車載装置が知られている（特許文献１）。具体的には、収集した音声の声紋パターンから個人を識別し、さらに識別できた個人ごとに着座位置と乗車頻度から所有者を特定し、収集した音声から会話キーワードを用いて識別できた個人との関係を特定して発話者パターンデータとして登録しておき、登録した発話者パターンデータを用いて乗員構成を推定する。

特開２０１２－１３３５３０号公報

しかしながら、上記従来技術では、精度の高い発話者パターンデータを作成するには、それ相当の回数のデータを収集する必要があり、乗員に対して最適なレコメンドサービス（以下、推奨情報ともいう。）を提供するまで相当の時間がかかるという問題がある。

本発明が解決しようとする課題は、人間関係を含む乗員構成に適した推奨情報を短時間で求め、乗員が行う各種車両操作の支援に供する車両用操作支援装置を提供することである。

本発明は、人間が車両に搭乗する場合以外にも収音可能な端末機により検出される、複数の人間の会話音声データを取得し、当該会話音声データに含まれる発話者毎の発話内容から複数の人間同士の直接的な人間関係を解析する。そして、複数の人間が乗車したら、その人間と解析された人間関係とから、推奨されるべく定められた車両操作の支援情報を決定することによって上記課題を解決する。

本発明によれば、乗車前に求めておいた人間関係に関する情報を用いているので、人間関係を含む乗員構成に適した推奨情報を短時間で求めることができ、乗員が行う各種車両操作の支援にタイムリーに供することができる。

本発明に係る車両用操作支援装置の一実施の形態を示すブロック図である。 図１の会話グループ推定部にて実行される処理手順を示すフローチャートである。 図２ＡのステップＳ２２の発話位置による組み合わせ抽出処理を説明するための平面地図である。 図２ＡのステップＳ２３の発話期間による組み合わせ抽出処理を説明するためのタイムチャートである。 図１の直接的人間関係解析部にて実行される処理手順を示すフローチャートである。 図３ＡのステップＳ３３の発話内容のカテゴリの解析処理に用いられるカテゴリ辞書の一部を示す図である。 図３ＡのステップＳ３３の発話内容のカテゴリの解析処理により得られる解析結果の一例を示すグラフである。 図３ＡのステップＳ３４の言葉遣いの解析処理に用いられる言葉遣い辞書の一部を示す図である。 図３ＡのステップＳ３４の言葉遣いの解析処理により得られる解析結果の一例を示すグラフである。 図１の間接的人間関係推定部にて実行される処理手順を示すフローチャートである。 図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理を説明するための人間関係を示す図である。 図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理により得られる結果の一例を示すグラフである。 図４ＡのステップＳ４４の間接的な人間関係の推定値の算出処理を説明するための人間関係を示す図である。 図１の車両情報学習部にて実行される処理手順を示すフローチャートである。 図１の支援情報決定部にて実行される処理手順を示すフローチャートである。

以下、本発明の一実施の形態を図面に基づいて説明する。本実施形態の車両用操作支援装置１は、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う各種の車両操作の支援に供するものである。特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、車両ＶＨ１の乗員を構成する乗員Ａと乗員Ｂであり、両者が、魚釣り友達という人間関係にある場合、車載ナビゲーション装置に対して、魚釣り場所に適した目的地を選択肢として表示したり自動で目的地に設定したり、または車載オーディオ装置に対して、魚釣番組のラジオを選択肢として表示したり自動で流したりするものである。また、車両ＶＨ２の乗員を構成する乗員Ｃと乗員Ｄであり、両者が、同じ会社の上司と部下という人間関係にある場合、車載ナビゲーション装置に対して、出張地や昼食用レストランなどの目的地を選択肢として表示したり自動で目的地に設定したり、または車載オーディオ装置に対して、経済番組のラジオを選択肢として表示したり自動で流したりするものである。

「人間関係」とは、現在または過去の社会生活における経験により定まる、特定の人間と特定の人間との関係を意味し、特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、親・子・夫・妻などの家族、従兄弟・従姉妹などの親戚、これら家族や親戚その他の続柄、会社や学校などの組織における上司・部下・同僚・同級生・先輩・後輩といった組織内の地位の関係、趣味や娯楽の仲間、ボーイフレンド・ガールフレンド・恋人その他の友人、及び他人などに分類することができる。本実施形態において、車両の乗員構成というのは、こうした人間関係を含むことを意味する。

「車両操作」とは、特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、乗員が行う車両の走行操作（アクセル操作、ブレーキ操作、トランスミッションレバー操作、ハンドル操作など）、ナビゲーション装置の操作、オーディオ装置の操作、カーエアコンの操作、座席ポジションの調節操作など、ドライバを含む乗員が行う車両の各種操作が含まれる。

「乗員構成に適した推奨情報」とは、上述した乗員が行う車両の操作上、乗員の人間関係から考えられる、可能性の高い又は好ましい操作を実現するための車両又は車載装置に対する指示情報である。特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、上述した例でいえば、乗員を構成する乗員Ａと乗員Ｂが、魚釣り友達という人間関係にある場合の推奨情報としては、車載ナビゲーション装置の目的地の設定操作についての指示情報や、オーディオ装置の選局操作についての指示情報などを例示することができる。

車両操作の「支援」には、乗員が手動操作する際にその選択肢を乗員に提示するほか、乗員が手動操作することなく車両用操作支援装置１が自動的に操作することも含まれる。車両用操作支援装置１が推奨情報に基づいて自動的に車両操作した場合に、その推奨情報に対して乗員が好感度をもったときは、乗員が行うべき車両操作を少なくすることができる。なお、ネガティブな好感度をもったときは、当該乗員は、その自動的な車両操作に対して異なる手動操作をすれば自動的な車両操作は解除できる。

このように、本実施形態の車両用操作支援装置１は、人間関係を含む乗員構成に適した推奨情報を求め、乗員が行う各種の車両操作の支援に供するものであるが、乗車する前に人間関係を解析又は推定して予め求めておき、乗車したら当該人間関係を用いて推奨情報を短時間で求め、車両操作の支援に供することを特徴とする。

このため、図１に示すように、本実施形態の車両用操作支援装置１は、人間関係解析ユニット１Ａと、人間関係記憶ユニット１Ｂと、支援情報決定ユニット１Ｃと、車両情報学習ユニット１Ｄと、操作傾向記憶ユニット１Ｅと、を備える。そして、人間関係解析ユニット１Ａは、音声取得部１１、会話グループ推定部１２、直接的人間関係解析部１３及び間接的人間関係推定部１４を含み、人間関係記憶ユニット１Ｂは、人間関係データベース15を含み、支援情報決定ユニット１Ｃは、支援情報決定部１６を含み、車両情報学習ユニット１Ｄは、車両情報学習部１７を含み、操作傾向記憶ユニット１Ｅは、操作傾向データベース１８を含む。なお、本発明の車両用操作支援装置１は、必要に応じて、車両情報学習ユニット１Ｄ及び操作傾向記憶ユニット１Ｅを省略し、人間関係解析ユニット１Ａ、人間関係記憶ユニット１Ｂ及び支援情報決定ユニット１Ｃで構成してもよい。

本実施形態の車両用操作支援装置１は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成される。なお、動作回路としては、ＣＰＵ（Central Processing Unit）に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。そして、上述した人間関係解析ユニット１Ａと、人間関係記憶ユニット１Ｂと、支援情報決定ユニット１Ｃと、車両情報学習ユニット１Ｄと、操作傾向記憶ユニット１Ｅと、は、ＲＯＭに確立されたソフトウェアによって、後述する各機能を実現する。

まず、本実施形態の車両用操作支援装置１の前提として、乗員となり得る複数の人間は、日常的に携帯又は使用する端末機ＴＤ１，ＴＤ２，ＴＤ３…（以下、総称してＴＤともいう）をそれぞれ所有する。この種の端末機ＴＤとしては、スマートフォン、携帯電話機、着脱可能な車載機器、車両のリモートコントロールキー（インテリジェントキー（登録商標）など）、音声認識ユーザインターフェース（Amazon Echo Dot（登録商標）など）を用いることができる。本実施形態の端末機ＴＤは、コンピュータ機能を備え、会話音声データを入力するためのマイクと、入力した会話音声データを本実施形態の車両用操作支援装置１の人間関係解析ユニット１Ａに送信するための通信機能と、端末機ＴＤの現在位置を検出するＧＰＳ受信機などの位置検出機能と、を備える。そして、各端末機ＴＤは、自己のＩＤと、現在位置と、収音した会話音声データとを、インターネットなどの無線通信回線網を介して人間関係解析ユニット１Ａの音声取得部１１に送信する。

人間関係解析ユニット１Ａは、図１に示すように、音声取得部１１、会話グループ推定部１２、直接的人間関係解析部１３及び間接的人間関係推定部１４を含む。

音声取得部１１は、インターネットなどの無線通信回線網を介して、上述した複数の端末機ＴＤと情報の送受信を実行し、特に各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとを入力する（図２ＡのステップＳ２１）。

会話グループ推定部１２は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、ある特定の端末機ＴＤに入力された会話音声データに関し、誰と誰とが会話しているのか、会話している人間のグループ（集団）を推定する。この際に、予め登録されている各端末機ＴＤの所有者（又は特定の人間でもよい。以下同じ。）の声紋データと照合し、どの会話音声データが誰の音声かも特定する。たとえば、図２Ｂは、図２ＡのステップＳ２２の発話位置による組み合わせ抽出処理を説明するための平面地図（緯度－経度）である。図２Ｂに示すように、発話音声データを端末機ＴＤ１にて収音されたとした場合に、車両用操作支援装置１の人間関係データベース１５に、各端末機ＴＤの所有者の声紋データをＩＤに関連付けて登録しておき、端末機ＴＤ１にて収音された会話音声データを声紋データと照合し、どのＩＤの端末機ＴＤの所有者の音声かを特定する。

端末機ＴＤにて収音される会話音声データには、実際に会話している複数の人間の会話音声データ以外にも、会話とは関係のない人間の会話音声データが入力される。このため、会話グループ推定部１２は、端末機ＴＤの位置情報による組み合わせ抽出処理と、発話期間による組み合わせ抽出処理を実行することで、その端末機ＴＤに入力された会話音声データの中で実際に会話しているグループの人間を推定する。すなわち、端末機ＴＤの位置情報による組み合わせ抽出処理は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、端末機ＴＤによって同時刻に集音された複数の会話音声データに対し、集音された位置情報が閾値以上に接近している組み合わせを抽出することで、端末機ＴＤの位置情報に基づく仮の会話グループの推定を実行する（図２ＡのステップＳ２２）。

たとえば、図２Ｂに示すように、会話音声データを収音した端末機ＴＤ１が位置Ｐにあり、この位置Ｐから半径ｒ以内に存在する端末機ＴＤ（同図では３つの端末機ＴＤ２，ＴＤ３，ＴＤ４）は、距離が近いことから会話グループである可能性が高いので、これらを仮の会話グループとして推定する。これに対して、会話音声データを収音した端末機ＴＤ１の位置Ｐから半径ｒを超える位置に存在する端末機ＴＤ（同図では４つの三角印で示す端末機）は、距離が遠いことから、会話グループである可能性が低いので、仮の会話グループから除外する。

発話期間による組み合わせ抽出処理は、上述した位置情報による組み合わせ抽出処理（図２ＡのステップＳ２２）によって抽出された同一グループに属すると推定された1つ以上の会話音声データに対し、発話された期間（発話開始から発話終了まで時間間隔）の重複率又は重複時間が、所定の閾値以下である会話音声データ同士を抽出し、これらが実際に会話を行っている会話グループであると推定する（図２ＡのステップＳ２３）。

たとえば、図２Ｃは、図２ＡのステップＳ２３の発話期間による組み合わせ抽出処理を説明するためのタイムチャートである。図２Ｃに示すように、４つの端末機ＴＤ１，ＴＤ２，ＴＤ３，ＴＤ４の会話音声データの発話期間を実線で示すと、端末機ＴＤ１の人間の発話期間に対し、端末機ＴＤ２の人間の発話期間は殆んど重複していないが、端末機ＴＤ１の人間の発話期間に対し、端末機ＴＤ３及びＴＤ４の人間の発話期間は、重複している割合が大きい。また、端末機ＴＤ２の人間の発話期間に対しても、端末機ＴＤ３及びＴＤ４の人間の発話期間は、重複している割合が大きい。このように、人間同士が会話している場合、発話期間が重複している割合が大きいということは、会話が成立していないと推定するのが合理的であるため、端末機ＴＤ３及びＴＤ４の人間は、端末機ＴＤ１及びＴＤ２の人間と同一の会話グループを構成していないと推定する一方、端末機ＴＤ１及びＴＤ２の人間の発話期間は殆んど重複していないため（所定の閾値以下）、これらが同一の会話グループであると推定する。会話グループ推定部１２は、このように推定した同一の会話グループの会話音声データを特定し、端末機ＴＤ１，ＴＤ２のＩＤとともに直接的人間関係解析部１３へ出力する。

直接的人間関係解析部１３は、取得した会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、発話者毎のキーワードに基づいて当該発話者毎の言葉遣いを特定し、複数の人間の会話音声データに基づいて会話内容を特定し、特定した言葉遣いと、特定した会話内容とから、複数の人間同士の直接的な人間関係を解析し、定量化して求める機能を司る。この解析は、上述した会話グループ推定部１２により推定された同一の会話グループに属する会話音声データに基づいて実行される（図３ＡのステップＳ３１）。本実施形態の直接的人間関係解析部１３は、キーワード抽出処理（図３ＡのステップＳ３２）、会話内容のカテゴリの解析処理（図３ＡのステップＳ３３）、言葉遣いの解析処理（図３ＡのステップＳ３４）及び結合処理（図３ＡのステップＳ３５）によって実行される。

キーワード抽出処理は、同一の会話グループに属する会話音声データから、予め登録された複数のキーワード（所定の単語）を公知の音声検出処理によって抽出する処理であり、会話内容のカテゴリの解析処理は、キーワード抽出処理によって抽出されたキーワードに対して、キーワードが属するカテゴリに分類する処理である。これらキーワードの抽出処理と会話内容のカテゴリの解析処理は、人間関係データベース１５に記憶されたカテゴリ辞書を参照することで行われる。図３Ｂは、図３ＡのステップＳ３３の発話内容のカテゴリの解析処理に用いられるカテゴリ辞書の一部を示す図である。同図に示すように、複数のキーワードに対して一つの会話内容のカテゴリが関連付けられて、たとえば会話音声データに「マラソン」が含まれている場合には「スポーツ」に分類される会話が行われていることが示されている。会話内容のカテゴリの解析処理においては、抽出されたキーワードに対して関連付けられた会話内容のカテゴリの発生頻度を図３Ｃに示すように算出する。図３Ｃは、図３ＡのステップＳ３３の発話内容のカテゴリの解析処理により得られる解析結果の一例を示すグラフである。会話内容のカテゴリの解析処理においては、同図に示す発生頻度が大きい会話内容のカテゴリを特定し、図３ＡのステップＳ３５の結合処理に用いる。

言葉遣いの解析処理は、キーワード抽出処理によって抽出されたキーワードに対して、キーワードが属する言葉遣いに分類する処理である。この処理は、人間関係データベース１５に記憶された言葉遣い辞書を参照することで行われる。図３Ｄは、図３ＡのステップＳ３４の言葉遣いの解析処理に用いられる言葉遣い辞書の一部を示す図である。言葉遣いの解析処理にて抽出されるキーワードは、図３ＡのステップＳ３２にて抽出されるが、ステップＳ３３の会話内容のカテゴリの解析処理で用いられるキーワードとは異なるキーワードが用いられる。同図に示すように、複数のキーワードに対して一つの言葉遣いのカテゴリが関連付けられて、たとえば会話音声データに「～様」が含まれている場合には「敬語又は丁寧語」に分類される会話が行われていることが示されている。ここで、「言葉遣い」とは、言葉の使い方、ものの言い方であって、図３Ｄに示すように、たとえば敬語又は丁寧語、若者言葉、方言、普通の言葉遣い、略語などを例示することができる。

言葉遣いの解析処理では、一方の人間と他方の人間とで言葉遣いが異なることがあり得ることから、抽出されたキーワードに対して関連付けられた言葉遣いのカテゴリの発生頻度を図３Ｅに示すように、一方の人間（たとえば同図の左のグラフ）と、他方の人間（たっとえば同図の右のグラフ）のようにそれぞれ算出する。図３Ｅは、図３ＡのステップＳ３４の言葉遣いの解析処理により得られる解析結果の一例を示すグラフである。故音羽使いの解析処理においては、同図に示す発生頻度が大きい言葉遣いのカテゴリをそれぞれ特定し、図３ＡのステップＳ３５の結合処理に用いる。

結合処理は、会話内容のカテゴリの解析処理と、言葉遣いの解析処理とによって算出された発生頻度に関する数値を組み合わせることによって、対象となる人間同士の人間関係を定量化し、これを直接的な人間関係として人間関係データベース１５に記憶する。ここでいう「人間関係」とは、既述したように、現在または過去の社会生活における経験により定まる、特定の人間と特定の人間との関係を意味し、特に限定されないが本願発明の理解を容易にするためにその一例を挙げると、親・子・夫・妻などの家族、従兄弟・従姉妹などの親戚、これら家族や親戚その他の続柄、会社や学校などの組織における上司・部下・同僚・同級生・先輩・後輩といった組織内の地位の関係、趣味や娯楽の仲間、ボーイフレンド・ガールフレンド・恋人その他の友人、及び他人などに分類することができる。

こうした直接的な人間関係の定量化は、会話内容のカテゴリの解析処理と、言葉遣いの解析処理とによって算出された発生頻度に関する数値を組み合わせることによって行われる。特に限定されないが、たとえば、会話内容のカテゴリの解析結果が図３Ｃに示すとおり「仕事」に分類される会話内容の発生頻度が高く、言葉遣いの解析結果が図３Ｅの左右のとおり、一方の人間の言葉遣いが「普通」である発生頻度が高く、他方の人間の言葉遣いが「敬語」である発生頻度の高いので、会社組織における上司と部下の関係である確率が７０％というように、予め人間関係データベース１５に記憶された人間関係定量化マップに基づいて確率値などを用いて定量化する。この定量化された直接的な人間関係は、人間関係データベース１５に蓄積される。

間接的人間関係推定部１４は、定量化された直接的な人間関係に基づいて、人間関係データベース１５に記憶された人間同士のうち、解析されていない人間同士の間接的な人間関係を推定して定量化する。上述した直接的な人間関係は、実際に行われた会話音声データに基づいて解析されて定量化されるため「直接的な」人間関係と称するが、これに対して、間接的人間関係推定部１４にて推定されるのは、実際には会話したことがない人間同士の人間関係の定量化を、定量化された直接的な人間関係のデータに基づいて推定するものである。その意味で「間接的な」人間関係と称する。

間接的人間関係推定部１４では、直接的な人間関係の読み込み処理（図４ＡのステップＳ４１）、直接的な人間関係の統計処理（図４ＡのステップＳ４２）、未解析の人間の組み合わせ抽出処理（図４ＡのステップＳ４３）及び間接的な人間関係の推定値の算出処理（図４ＡのステップＳ４４）が実行され、求められた間接的な人間関係の推定値は、人間関係データベース１５に蓄積される（図４ＡのステップＳ４５）。

直接的な人間関係の統計処理は、直接的人間関係解析部１３によって定量化され、人間関係データベース１５に蓄積された値の相互関係を考察することで算出される。具体的には、人間関係データベース１５から、直接的な人間関係の値が既知の３名の組み合わせを抽出し、抽出された３名の間の３つの人間関係の値のうち、２つの値を前提とした残り１つの値を記録する。この処理を、人間関係データベース１５に蓄積された多数の組み合わせについて統計処理することにより、２つの人間関係Ｖ１，Ｖ２の場合に残り1つの人間関係Ｖ３が得られる確率値Ｐ（Ｖ３｜Ｖ１，Ｖ２)を算出することができ、これを人間関係データベース１５に記録する。

図４Ｂは、図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理を説明するための人間関係を示す図、図４Ｃは、図４ＡのステップＳ４２の直接的な人間関係の解析値の統計処理により得られる結果の一例を示すグラフである。図４Ｂに示すように、２人の人間Ａと人間Ｂとの直接的な人間関係の値Ｖ１と、２人の人間Ｂと人間Ｃとの直接的な人間関係の値Ｖ２と、２人の人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３とが、複数の３者の組み合わせについて既に求められ、人間関係データベース１５に蓄積されているものとする。このとき、これらの複数のデータから、人間Ａと人間Ｂとの直接的な人間関係の値Ｖ１と、人間Ｂと人間Ｃとの直接的な人間関係の値Ｖ２とを前提とした場合に、残りの人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３は、どのような関係を示すのかを、図４Ｃのように発生頻度で解析する。たとえば、図４Ｃに示す例でいえば、人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３は、「会社組織の上司と部下」である確率が最も高いという結果が得られる。この発生頻度を確立Ｐ（Ｖ３｜Ｖ１，Ｖ２)にて算出する。この確率は、人間Ｃと人間Ａとの直接的な人間関係の値Ｖ３は、人間Ａと人間Ｂとの直接的な人間関係の値Ｖ１と、人間Ｂと人間Ｃとの直接的な人間関係の値Ｖ２とが既知であれば、図４Ｃのように統計的確立により算出できることを意味する。

未解析の人間の組み合わせ抽出処理は、上述したように、実際には直接会話をしたことがなく、したがって直接的な人間関係の定量化した値Ｖｎが人間関係データベース１５に記憶されていない人間２名の組み合わせを抽出する。たとえば、図４Ｄに示すように、人間Ｚと人間Ｘとする。図４Ｄは、図４ＡのステップＳ４４の間接的な人間関係の推定値の算出処理を説明するための人間関係を示す図である。これに加えて、抽出された２名の人間Ｚ，Ｘそれぞれに対して直接的な人間関係が定量化された人間を推定中継者として１名以上抽出する。図４Ｄに示す例でいえば、人間Ｙを抽出する。人間Ｙは、人間Ｘとの直接的な人間関係の値Ｖ１が既知であり、人間Ｚとの直接的な人間関係の値Ｖ２も既知である。

間接的な人間関係の算出処理では、未解析の人間の組み合わせ抽出処理によって抽出された２名の人間Ｚ，Ｘと、推定中継者との間の直接的な人間関係の値Ｖ１，Ｖ２を人間関係データベース１５から参照する。そして、参照された２つの人間関係の値Ｖ１，Ｖ２を前提とした場合の人間同士の人間関係の値Ｖｎを、図４ＡのステップＳ４２の統計処理によって得られた確率値Ｖ３を最大とする値を、間接的な人間関係として算出する。また、複数の推定中継者が抽出された場合には、確率値Ｖ３の積、又は確率値Ｖ３のうち最大確率値を示す値の多数決によって決定してもよい。間接的な人間関係の推定値として算出された値Ｖｎは、人間関係データベース１５に蓄積される。

人間関係記憶ユニット１Ｂは、人間関係データベース15を含み、上述したように、人間関係データベース１５には、各端末機ＴＤの所有者のＩＤに関連付けられた声紋データ、図３Ｂに示すカテゴリ辞書、図３Ｄに示す言葉遣い辞書、直接的人間関係解析部１３の直接的な人間関係の定量化処理で用いられる人間関係定量化マップ、直接的人間関係解析部１３で定量化された直接的な人間関係、間接的人間関係推定部１４で統計処理された２つの人間関係Ｖ１，Ｖ２の場合における残り1つの人間関係Ｖ３の確率値Ｐ（Ｖ３｜Ｖ１，Ｖ２)、間接的人間関係推定部１４で推定された間接的な人間関係の推定値などが記憶される。

車両情報学習ユニット１Ｄは、車両情報学習部１７を含み、車両情報学習部１７では、乗員情報の取得処理（図５のステップＳ５１）、人間関係の参照処理（図５のステップＳ５２）、車両情報の取得処理（図５のステップＳ５３）及び結合処理（図５のステップＳ５４）が実行され、求められた人間関係による操作傾向情報は、操作傾向データベース１８に蓄積される（図５のステップＳ５５）。

乗員情報の取得処理は、車両に誰が乗車しているかを取得する処理である。たとえば、端末機ＴＤを車両に搭載された何らかの機器に接続することで乗員を特定したり、端末機ＴＤの位置情報と車両の位置情報とが近接することを検出することで乗員を特定したり、車両に搭載されているカメラから取得される画像対する顔認識によって乗員を特定したりすることができる。人間関係の参照処理は、乗員情報取得処理によって取得された乗員に対して、人間関係データベース１５を参照して、その乗員同士の人間関係の値を取得する処理である。

車両情報の取得処理は、車両の制御情報、車両の状態その他の車両情報を取得するしょりであり、たとえば、乗員が行う車両の走行操作（アクセル操作、ブレーキ操作、トランスミッションレバー操作、ハンドル操作など）、ナビゲーション装置で設定した目的地、オーディオ装置の操作、カーエアコンの操作、車両の現在位置、車両の移動軌跡、現在の日時、乗車後の経過時間などの車両情報を取得する。

結合処理は、車両情報の取得処理によって取得された車両情報と、人間関係の参照処理とを結合し、人間関係についての操作情報として操作傾向データベース１８に記憶する処理である。たとえば、人間Ａと人間Ｂ（直接的な人間関係又は間接的な人間関係がＶ１）とが搭乗している場合に、ナビゲーション装置で設定した目的地が特定の魚釣り場であった場合に、人間関係Ｖ１と目的地とをその発生頻度とともに操作傾向データベース１８に記憶する。なお、人間関係に加えて人間Ａ，Ｂ，Ｃ等を記憶してもよい。

操作傾向記憶ユニット１Ｅは、操作傾向データベース１８を含み、車両情報学習部１７で求められた人間関係と操作情報とを関連付けて蓄積する。

支援情報決定ユニット１Ｃは、支援情報決定部１６を含み、車両に搭乗した複数の乗員を特定し、人間関係データベース１５に蓄積された直接的な人間関係及び間接的な人間関係に基づいて、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する。支援情報決定部１６では、乗員情報の取得処理（図６のステップＳ６１）、人間関係の参照処理（図６のステップＳ６２）、車両情報の取得処理（図６のステップＳ６３）、操作傾向情報の参照処理（図６のステップＳ６４）及び支援情報の決定・出力処理（図６のステップＳ６５）が実行される。

乗員情報の取得処理は、車両情報学習部１７の乗員情報の取得処理（図５のステップＳ５１）と同様の処理、すなわち車両に誰が乗車しているかを取得する処理である。たとえば、端末機ＴＤを車両に搭載された何らかの機器に接続することで乗員を特定したり、端末機ＴＤの位置情報と車両の位置情報とが近接することを検出することで乗員を特定したり、車両に搭載されているカメラから取得される画像対する顔認識によって乗員を特定したりすることができる。人間関係の参照処理は、車両情報学習部１７の人間関係の参照処理（図５のステップＳ５２）と同様の処理、すなわち乗員情報取得処理によって取得された乗員に対して、人間関係データベース１５を参照して、その乗員同士の人間関係の値を取得する処理である。

車両情報の取得処理は、車両情報学習部１７の車両情報の取得処理（図５のステップＳ５３）と同様の処理、すなわち車両の制御情報、車両の状態その他の車両情報を取得するしょりであり、たとえば、乗員が行う車両の走行操作（アクセル操作、ブレーキ操作、トランスミッションレバー操作、ハンドル操作など）、ナビゲーション装置で設定した目的地、オーディオ装置の操作、カーエアコンの操作、車両の現在位置、車両の移動軌跡、現在の日時、乗車後の経過時間などの車両情報を取得する。

操作傾向の参照処理は、車両情報学習部１７によって蓄積された操作傾向データベース１８から、乗員の人間関係の値が類似するか、又は乗員の人間関係の値と現在までの車両情報が類似する場合の、その後に行った操作情報を取得する処理である。たとえば、人間Ａと人間Ｂ（直接的な人間関係又は間接的な人間関係がＶ１）とが搭乗している場合に、ナビゲーション装置で設定した目的地が特定の魚釣り場であるという操作傾向情報が操作傾向データベース１８に蓄積されている場合に、人間関係がＶ１又はこれに類似する値であるときは、ナビゲーション装置の目的地を特定の釣り場に設定するという操作傾向情報を参照する。

支援情報の決定・出力処理は、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する。「乗員構成に適した推奨情報」とは、上述したとおり、乗員が行う車両の操作上、乗員の人間関係から考えられる、可能性の高い又は好ましい操作を実現するための車両又は車載装置に対する指示情報である。一例を挙げると、乗員を構成する乗員Ａと乗員Ｂが、魚釣り友達という人間関係にある場合の推奨情報としては、車載ナビゲーション装置の目的地の設定操作についての指示情報や、オーディオ装置の選局操作についての指示情報などを例示することができる。なお、車両操作の「支援」には、乗員が手動操作する際にその選択肢を乗員にディスプレイやスピーカーなどを用いて提示するほか、乗員が手動操作することなく車両用操作支援装置１が自動的に操作することも含まれる。

次に本実施形態の情報処理の流れについて説明する。
まずは日常的に、乗員となり得る複数の人間が所持する端末機ＴＤ１，ＴＤ２，ＴＤ３と、人間関係解析ユニット１Ａとを用いて、特定の人間と特定の人間との人間関係を解析し、これを定量化して人間関係データベース１５に蓄積する。具体的には、図２Ａに示すように、音声取得部１１は、インターネットなどの無線通信回線網を介して、複数の端末機ＴＤと情報の送受信を実行し、特に各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとを入力する（図２ＡのステップＳ２１）。次いで、ステップＳ２２にて、会話グループ推定部１２は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、ある特定の端末機ＴＤに入力された会話音声データに関し、誰と誰とが会話しているのか、会話している人間のグループ（集団）を推定する。このとき、会話グループ推定部１２は、音声取得部１１に入力された各端末機ＴＤの、ＩＤと現在位置と収音した会話音声データとに基づいて、端末機ＴＤによって同時刻に集音された複数の会話音声データに対し、集音された位置情報が閾値以上に接近している組み合わせを抽出することで、端末機ＴＤの位置情報に基づく仮の会話グループの推定を実行する。

次いで、図２ＡのステップＳ２３では、会話グループ推定部１２は、ステップＳ２２における位置情報による組み合わせ抽出処理によって抽出された、同一グループに属すると推定された1つ以上の会話音声データに対し、発話された期間の重複率又は重複時間が、所定の閾値以下である会話音声データ同士を抽出し、これらが実際に会話を行っている会話グループであると推定する。そして、ステップＳ２４にて、会話グループ推定部１２は、このように推定した同一の会話グループの会話音声データを特定し、端末機ＴＤ１，ＴＤ２のＩＤとともに直接的人間関係解析部１３へ出力する。

次いで、図３Ａに示すように、直接的人間関係解析部１３は、ステップＳ３１～Ｓ３６にて、取得した同一グループの会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、発話者毎のキーワードに基づいて当該発話者毎の言葉遣いを特定し、複数の人間の会話音声データに基づいて会話内容を特定し、特定した言葉遣いと、特定した会話内容とから、複数の人間同士の直接的な人間関係を解析し、定量化して求める。この定量化された直接的な人間関係は、ステップＳ３６にて、人間関係データベース１５に蓄積される。

ステップＳ３６までの処理により、人間関係データベース１５には、実際に会話を行った人間同士の人間関係の定量化された値が蓄積されるが、解析されていない人間同士の人間関係も存在する。そのため、間接的人間関係推定部１４は、図４ＡのステップＳ４１にて直接的な人間関係の読み込み処理を実行し、ステップＳ４２にて直接的な人間関係の統計処理を実行し、ステップＳ４３にて未解析の人間の組み合わせ抽出処理を実行し、ステップＳ４４にて間接的な人間関係の推定値の算出処理を実行し、ステップＳ４５にて、求められた間接的な人間関係の推定値を人間関係データベース１５に蓄積する。

一方において、車両情報学習ユニット１Ｄは、人間関係を含む乗員構成によってどのような車両の操作が実際に行われるかの情報を蓄積し、車両操作の支援情報を決定するのに供する。すなわち、図５に示すように、車両情報学習部１７は、ステップＳ５１にて乗員情報の取得処理を実行し、ステップＳ５２にて人間関係データベース１５に蓄積された人間関係の参照処理を実行し、ステップＳ５３にて車両情報の取得処理を実行し、ステップＳ５４にて結合処理を実行し、ステップＳ５５にて、求められた人間関係による操作傾向情報を操作傾向データベース１８に蓄積する。

次いで、支援情報決定ユニット１Ｃは、車両に搭乗した複数の乗員を特定し、人間関係データベース１５に蓄積された直接的な人間関係及び間接的な人間関係に基づいて、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する。具体的には、支援情報決定部１６は、図６のステップＳ６１にて乗員情報の取得処理を実行し、ステップＳ６２にて人間関係の参照処理を実行し、ステップＳ６３にて車両情報の取得処理を実行し、ステップＳ６４にて操作傾向情報の参照処理を実行し、ステップＳ６５にて支援情報の決定・出力処理を実行する。

以上のとおり、本実施形態の車両用操作支援装置１によれば、乗員となり得る複数の人間の前記直接的な人間関係を予め蓄積しておき、車両に複数の人間が搭乗したら、搭乗した複数の乗員を特定し、人間関係データベース１５に蓄積された直接的な人間関係及び間接的な人間関係に基づいて、複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定するので、搭乗してから短時間で適切な車両操作の支援情報を提供することができる。

また本実施形態の車両用操作支援装置１によれば、実際に会話した人間同士の人間関係から、実際には会話していない人間同士の人間関係を定量化して推定するので、乗員の組み合わせによって車両操作の支援情報が欠落するといったエラーを回避することができる。また、この間接的な人間関係の推定に際しては、実際に会話を行った人間同士の直接的な人間関係のデータを統計処理して求めるので、その正確性を高めることができる。

また本実施形態の車両用操作支援装置１によれば、実際に行われた車両操作をその時の人間関係と関連付けて記憶し、これを車両操作の支援情報に反映するので、乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報をより現実的な操作に近づけることができる。

また本実施形態の車両用操作支援装置１によれば、同一の会話グループを抽出するのに、複数の会話音声データのうち発話位置が所定距離以下である会話音声データ群の発話者を会話グループとするので、会話グループの特定、ひいては人間関係の解析の精度が向上する。

また本実施形態の車両用操作支援装置１によれば、同一の会話グループを抽出するのに、複数の会話音声データのうち発話期間が所定時間以上重複しない会話音声データ群の発話者を会話グループとして推定するので、会話グループの特定、ひいては人間関係の解析の精度が向上する。

また本実施形態の車両用操作支援装置１によれば、人間が車両に搭乗する場合以外にも収音可能な端末機を用いて、乗員となり得る複数の人間の会話音声データを検出するので、日常的に複数の人間の会話音声データを収音することができる。

なお、上述した車両用操作支援装置１では、人間関係解析ユニット１Ａに間接的人間関係推定部１４を含むように構成したが、必要に応じてこれを省略してもよい。また、上述した車両用操作支援装置１では、車両情報学習ユニット１Ｄ及び操作傾向記憶ユニット１Ｅを含むように構成し、図６のステップＳ６４～Ｓ６５にて操作傾向情報をも用いて車両操作の支援情報を決定したが、必要に応じて車両情報学習ユニット１Ｄ及び操作傾向記憶ユニット１Ｅを省略し、人間関係データベース１５に蓄積された人間関係のみにより車両操作の支援情報を決定してもよい。

上記音声取得部１１、上記会話グループ推定部１２、直接的人間関係解析部１３及び間接的人間関係推定部１４は、本発明に係る人間関係解析ユニットに相当し、上記人間関係データベース１５は、本発明に係る人間関係記憶ユニットに相当し、上記支援情報決定部１６は、本発明に係る支援情報決定ユニットに相当し、上記車両情報学習部１７は、本発明に係る車両情報学習ユニットに相当し、上記操作傾向データベース１８は、本発明に係る操作傾向記憶ユニットに相当する。

１…車両用操作支援装置
１Ａ…人間関係解析ユニット
１１…音声取得部
１２…会話グループ推定部
１３…直接的人間関係解析部
１４…間接的人間関係推定部
１Ｂ…人間関係記憶ユニット
１５…人間関係データベース
１Ｃ…支援情報決定ユニット
１６…支援情報決定部
１Ｄ…車両情報学習ユニット
１７…車両情報学習部
１Ｅ…操作傾向記憶ユニット
１８…操作傾向データベース
ＴＤ１，ＴＤ２，ＴＤ３…端末機
ＶＨ１，ＶＨ２…車両
Ａ，Ｂ，Ｃ，Ｘ，Ｙ，Ｚ…人間（乗員）
Ｖ１，Ｖ２，Ｖ３…人間関係の解析値

Claims (12)

1. 人間関係解析ユニットと、人間関係記憶ユニットと、支援情報決定ユニットと、を備え、
   前記人間関係解析ユニットは、乗員となり得る複数の人間の会話音声データに含まれる発話者毎の発話内容から、解析された前記複数の人間同士の直接的な人間関係を取得し、
   前記人間関係記憶ユニットは、前記乗員となり得る複数の人間の前記直接的な人間関係を蓄積し、
   前記支援情報決定ユニットは、車両に搭乗した複数の乗員を特定し、前記人間関係記憶ユニットに蓄積された前記直接的な人間関係に基づいて、前記複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する車両用操作支援装置において
   前記乗員となり得る複数の人間の会話音声データは、前記人間が車両に搭乗する場合以外にも収音可能な端末機により検出され、前記人間関係解析ユニットに送信される車両用操作支援装置。
2. 前記人間関係解析ユニットは、
   前記乗員となり得る複数の人間の会話音声データを取得して発話者を特定し、
   取得した会話音声データを、特定した発話者毎に分析して所定のキーワードを抽出し、
   発話者毎の前記キーワードに基づいて当該発話者毎の言葉遣いを特定し、
   前記複数の人間の会話音声データに基づいて会話内容を特定し、
   特定した言葉遣いと、特定した会話内容とから、前記複数の人間同士の直接的な人間関係を解析して定量化する請求項１に記載の車両用操作支援装置。
3. 前記人間関係解析ユニットは、定量化された前記直接的な人間関係に基づいて、前記人間関係記憶ユニットに記憶された人間同士のうち、解析されていない人間同士の間接的な人間関係を推定して定量化し、
   前記人間関係記憶ユニットは、前記間接的な人間関係をも蓄積し、
   前記支援情報決定ユニットは、前記人間関係記憶ユニットに蓄積された前記直接的な人間関係及び前記間接的な人間関係に基づいて、前記複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する請求項２に記載の車両用操作支援装置。
4. 前記人間関係解析ユニットは、定量化された前記直接的な人間関係に基づいて、前記人間関係記憶ユニットに記憶された人間同士のうち、解析されていない人間同士の間接的な人間関係を推定して定量化する場合、
   既に定量化された第１の人間と第２の人間との直接的な人間関係Ｖ１と、既に定量化された前記第２の人間と第３の人間との直接的な人間関係Ｖ２と、既に定量化された前記第３の人間と前記第１の人間との直接的な人間関係Ｖ３とを用いて複数の人間関係Ｖ１，Ｖ２，Ｖ３の関係を統計処理し、
   解析されていない人間関係Ｖ３´を、既に定量化された残りの人間関係Ｖ１，Ｖ２と前記統計処理された人間関係Ｖ１，Ｖ２，Ｖ３の関係から推定する請求項３に記載の車両用操作支援装置。
5. 車両情報学習ユニットと、操作傾向記憶ユニットとをさらに備え、
   前記車両情報学習ユニットは、
   車両に搭乗した複数の乗員を特定し、
   前記人間関係記憶ユニットから前記複数の乗員に関する人間関係を抽出し、
   前記車両の操作に関する操作情報を検出し、
   抽出された人間関係と検出された操作情報とを関連付け、
   前記操作傾向記憶ユニットは、前記関連付けられた人間関係及び操作情報を蓄積し、
   前記支援情報決定ユニットは、前記操作傾向記憶ユニットに蓄積された人間関係に関連する操作情報を、前記推奨されるべく定められた車両操作の支援情報として決定する請求項１～４のいずれか一項に記載の車両用操作支援装置。
6. 前記人間関係解析ユニットは、複数の人間の会話音声データを取得して発話者を特定する場合に、
   複数の会話音声データの発話位置を検出し、
   複数の会話音声データのうち、前記発話位置が所定距離以下である会話音声データ群を抽出し、これらの会話音声データ群の発話者を会話グループとし、当該会話グループに属する発話者を特定する請求項１～５のいずれか一項に記載の車両用操作支援装置。
7. 前記人間関係解析ユニットは、複数の人間の会話音声データを取得して発話者を特定する場合に、
   複数の会話音声データの発話期間を検出し、
   複数の会話音声データのうち、前記発話期間が所定時間以上重複しない会話音声データ群を抽出し、これらの会話音声データ群の発話者を会話グループとして推定し、当該会話グループに属する発話者を特定する請求項１～６のいずれか一項に記載の車両用操作支援装置。
8. 前記端末機は、当該端末機のＩＤ及び位置情報を前記人間関係解析ユニットに送信する請求項１～７のいずれか一項に記載の車両用操作支援装置。
9. 前記人間関係解析ユニットは、前記端末機のＩＤ、前記位置情報及び前記会話音声データに基づいて、解析された前記複数の人間同士の直接的な人間関係を取得する請求項８に記載の車両用操作支援装置。
10. 前記人間関係解析ユニットは、複数の前記端末機同士の距離に基づいて、前記複数の会話音声データのうち、前記発話位置が所定距離以下である会話音声データ群を推定する請求項６に記載の車両用操作支援装置。
11. 前記人間関係記憶ユニットに蓄積される前記直接的な人間関係は、所定の人間関係とその確率値とを含む請求項１～１０のいずれか一項に記載の車両用操作支援装置。
12. 人間関係解析ユニットと、人間関係記憶ユニットと、支援情報決定ユニットとを備えた車両用操作支援装置を用い、
    前記人間関係解析ユニットにより、乗員となり得る複数の人間の会話音声データに含まれる発話者毎の発話内容から、解析された前記複数の人間同士の直接的な人間関係を取得し、
    前記人間関係記憶ユニットにより、前記乗員となり得る複数の人間の前記直接的な人間関係を蓄積し、
    前記支援情報決定ユニットにより、車両に搭乗した複数の乗員を特定し、前記人間関係記憶ユニットに蓄積された前記直接的な人間関係に基づいて、前記複数の乗員同士の人間関係に応じて推奨されるべく定められた車両操作の支援情報を決定する車両操作を支援する車両用操作支援方法において、
    前記乗員となり得る複数の人間の会話音声データは、前記人間が車両に搭乗する場合以外にも収音可能な端末機により検出され、前記人間関係解析ユニットに送信される車両用操作支援方法。

Images