JP7264804B2 - Recommendation system, recommendation method and program - Google Patents

Recommendation system, recommendation method and program Download PDF

Info

Publication number
JP7264804B2
JP7264804B2 JP2019239783A JP2019239783A JP7264804B2 JP 7264804 B2 JP7264804 B2 JP 7264804B2 JP 2019239783 A JP2019239783 A JP 2019239783A JP 2019239783 A JP2019239783 A JP 2019239783A JP 7264804 B2 JP7264804 B2 JP 7264804B2
Authority
JP
Japan
Prior art keywords
information
unit
recommended information
occupant
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019239783A
Other languages
Japanese (ja)
Other versions
JP2021108072A (en
Inventor
寛人 堀田
尚克 佐藤
駿 荒木
翼 芝内
省吾 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019239783A priority Critical patent/JP7264804B2/en
Publication of JP2021108072A publication Critical patent/JP2021108072A/en
Application granted granted Critical
Publication of JP7264804B2 publication Critical patent/JP7264804B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、自動運転車両におけるレコメンドシステム、レコメンド方法およびプログラムに関する。 The present invention relates to a recommendation system, a recommendation method, and a program for an automatic driving vehicle.

従来、ユーザが興味を持つと思われる「お勧め情報」を提供するレコメンドシステムが考案されている。
例えば、特許文献1には、チャットメール履歴からのレコメンデーションの記載がある。
Conventionally, a recommendation system has been devised that provides "recommended information" that may be of interest to the user.
For example, Patent Literature 1 describes recommendations based on chat mail history.

詳しくは、特許文献1には、対象者に有給休暇の取得を促す提案情報を通知する労務管理システムであって、チャットやメールの通信履歴情報から、選択した対象者と親密度が高い従業員を対象者が有給休暇を取得するように促す従業員として推定し、対象者に提案情報を通知したことをこの従業員に通知することで、対象者が有給休暇を取得しやすくする労務管理システムの技術が記載されている。 Specifically, Patent Document 1 discloses a labor management system that notifies a target person of proposal information that encourages him to take paid leave. is presumed as an employee who encourages the target to take paid leave, and by notifying this employee that the target has been notified of the proposal information, a labor management system that makes it easier for the target to take paid leave technology is described.

近年、運転者の負担を軽減し、快適な車両の運行を実現するために、自動運転と呼ばれる運転支援技術が鋭意提案されている。
自動運転に係る国際基準では、ドライバ要求タスクの軽重・有無、自動化度の高低に応じて、複数段階にわたるレベルが階層的に設定されている。また、あるレベルのなかでも、自動化を実現するための一群の要件を横並びで実現可能との観点を用いて、複数段階にわたる区分(カテゴリ)が階層的に設定されている。
例えば、レベル4(高度自動運転)やレベル5(完全自動運転)の自動運転では、ドライバが運転操作をオーバーライドする必要はない
In recent years, driving support technology called automatic driving has been earnestly proposed in order to reduce the burden on drivers and realize comfortable vehicle operation.
In international standards for automated driving, multiple levels are hierarchically set according to the weight and presence of tasks required by the driver and the degree of automation. In addition, even within a certain level, divisions (categories) are set hierarchically over multiple levels from the viewpoint that a group of requirements for realizing automation can be realized side by side.
For example, in level 4 (highly automated driving) and level 5 (fully automated driving) automated driving, the driver does not need to override the driving operation.

特開2019-86808号公報JP 2019-86808 A

上記のとおり、レベル4以上の自動運転中においては、ドライバは、運転操作に関わる必要がない。このため、他の乗員と同様に、ドライバが、車両のインフォテイメントシステムを活用することが可能となる。 As described above, during automatic driving at level 4 or higher, the driver does not need to be involved in driving operations. This allows the driver to take advantage of the vehicle's infotainment system as well as other occupants.

本発明は、AR(Augmented Reality:拡張現実)ツアー等のインフォテイメントの実行を可能とし、ホットスポット情報等のレコメンドシステムを提供することを目的とする。 An object of the present invention is to enable execution of infotainment such as an AR (Augmented Reality) tour and to provide a recommendation system for hot spot information and the like.

前記課題を解決するため、本発明のレコメンドシステムは、車両の乗員と車外における他者との会話音声を取得する音声取得部と、前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識部と、前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定部と、前記言語認識部で認識した単語を、前記感情推定部で推定した乗員の感情に応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める推奨情報選択部と、前記推奨情報選択部で求めた推奨情報を乗員に表示する推奨情報表示部と、を備え、前記言語認識部で認識した単語について、ストリーム情報毎の前記感情推定部で推定した乗員の感情の評点と前記評点の合算値とを記憶する評価テーブルを有し、前記推奨情報選択部は、前記言語認識部で前記他者から前記乗員への会話音声から認識した単語のみを、前記乗員から前記他者への会話音声に基づいて前記感情推定部で推定した乗員の感情のみに応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求めるとともに、所定数のストリーム情報に基づいて推奨情報の評価を行った際に、前記評価テーブルのストリーム情報毎の乗員の感情の評点を削除するようにした。 In order to solve the above-mentioned problems, the recommendation system of the present invention includes: a voice acquisition unit that acquires a conversational voice between a vehicle occupant and another person outside the vehicle; a predetermined word from the conversational voice; A language recognition unit that recognizes the meaning, an emotion estimation unit that estimates the emotions of the occupant from the intonation of the spoken conversation or the meaning of the extracted words, and the words recognized by the language recognition unit are estimated by the emotion estimation unit. a recommended information selection unit that evaluates according to the feelings of the occupant and obtains recommended information for the occupant based on the evaluation of the words; a recommended information display unit that displays the recommended information obtained by the recommended information selection unit to the occupant; and an evaluation table for storing a score of the emotions of the occupant estimated by the emotion estimation unit for each stream information and a sum of the scores for words recognized by the language recognition unit, and the recommended information selection unit only the words recognized from the conversation voice of the other person to the occupant by the language recognition unit, and only the emotion of the occupant estimated by the emotion estimation unit based on the conversation voice of the occupant to the other person. Based on the evaluation of the word, recommended information for the crew is obtained, and when the recommended information is evaluated based on a predetermined number of stream information, the emotion of the crew for each stream information in the evaluation table is calculated. I deleted the score .

本発明のレコメンドシステムによれば、レベル4以上の自動運転中の車内においても、ドライバおよび乗員は、有用な情報を得ることができ、移動時間を楽しむことができる。 According to the recommendation system of the present invention, the driver and passengers can obtain useful information and enjoy their travel time even in a vehicle that is automatically driven at level 4 or higher.

実施形態のレコメンドシステムの一例を示すシステム構成図である。1 is a system configuration diagram showing an example of a recommendation system according to an embodiment; FIG. 自動運転車両の車室前部構造の一例を表す図である。It is a figure showing an example of the compartment front part structure of an automatic driving vehicle. レコメンドシステムの動作の概要を説明するシーケンス図である。FIG. 4 is a sequence diagram illustrating an outline of operation of the recommendation system; 自動運転車両のチャットメンバの選択動作を説明するフロー図である。FIG. 10 is a flow chart explaining selection operation of a chat member of an automatic driving vehicle; 自動運転車両のチャット制御動作を説明するフロー図である。FIG. 4 is a flow diagram illustrating chat control operation of an automatic driving vehicle; レコメンドサーバー2おける推奨情報の生成処理を詳細に説明するフロー図である。FIG. 10 is a flow diagram for explaining in detail a recommended information generating process in the recommendation server 2; 推奨情報の評価テーブルの構成を説明する図である。FIG. 10 is a diagram illustrating the configuration of a recommendation information evaluation table; 推奨情報表示部における経過情報の表示について説明するフロー図である。FIG. 10 is a flow diagram illustrating display of progress information on a recommended information display unit; 推奨情報表示部における推奨情報の表示について説明するフロー図である。FIG. 10 is a flow diagram illustrating display of recommended information on a recommended information display unit; 推奨情報の単語に対応する表示情報の構成を示す図である。FIG. 10 is a diagram showing a configuration of display information corresponding to words of recommended information; 推奨情報の評価における経過情報の表示の一例を示す図である。FIG. 10 is a diagram showing an example of display of progress information in evaluation of recommended information; 推奨情報の表示の一例を示す図である。It is a figure which shows an example of a display of recommended information.

以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
実施形態のレコメンドシステムは、自動運転車両1と、自動運転車両1に搭乗している乗員の複数の知人・友人(乗員とは別の他者でもよい)が所有するメンバ端末3と、自動運転車両1とメンバ端末3とが、通信回線により接続するレコメンドサーバー2と、から構成されている。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
The recommendation system of the embodiment includes an automatic driving vehicle 1, a member terminal 3 owned by a plurality of acquaintances/friends of the crew member on board the automatic driving vehicle 1 (other than the crew member), and an automatic driving A vehicle 1 and a member terminal 3 are composed of a recommendation server 2 that is connected by a communication line.

レコメンドサーバー2は、自動運転車両1の乗員と乗員の知人・友人との間の音声チャットあるいはビデオチャットを中継するとともに、チャットの内容に基づいて、自動運転車両1の乗員の嗜好を評価し、評価に基づいた推奨情報を自動運転車両1に通知する。
そして、自動運転車両1は、通知された推奨情報に対応する画像を、車両のディスプレイに表示する。
The recommendation server 2 relays voice chat or video chat between the occupant of the automatic driving vehicle 1 and acquaintances and friends of the occupant, and evaluates the preferences of the occupant of the automatic driving vehicle 1 based on the content of the chat, Recommended information based on the evaluation is notified to the automatic driving vehicle 1 .
Then, the automatically driven vehicle 1 displays an image corresponding to the notified recommended information on the display of the vehicle.

図1は、実施形態のレコメンドシステムの一例を示すシステム構成図である。
自動運転車両1は、車両の外界(周囲)の物標の分布を検出するカメラ、レーダ、ライダ等のセンサ部171の検出結果により、車両の操舵・駆動部172を自律制御して、車両を自動運転する運転制御部17を備えている。
FIG. 1 is a system configuration diagram showing an example of a recommendation system according to an embodiment.
The autonomous driving vehicle 1 autonomously controls the steering/driving unit 172 of the vehicle based on the detection results of the sensor unit 171 such as a camera, radar, and lidar that detects the distribution of targets in the external world (surroundings) of the vehicle, thereby driving the vehicle. An operation control unit 17 for automatic operation is provided.

ディスプレイ部10は、地図情報131に基づいて自動運転車両1の経路案内を行うナビゲーション部13が生成したナビゲーション画像と、推奨情報表示部11により生成されたレコメンドサーバー2から通知された推奨情報に対応する画像とを表示する。ディスプレイ部10の詳細な画面構成は後述する。 The display unit 10 corresponds to the navigation image generated by the navigation unit 13 that guides the route of the automatic driving vehicle 1 based on the map information 131 and the recommended information notified from the recommendation server 2 generated by the recommended information display unit 11. to display the image you want. A detailed screen configuration of the display unit 10 will be described later.

チャット情報取得部15は、乗員識別部16によりセンサ部171の車室内カメラ1711で撮像した車室内画像から識別した乗員の識別情報に基づいて、レコメンドサーバー2から乗員の知人・友人のチャット情報(接続情報等)を取得する。
そして、チャット動作部18により、取得したチャット情報に基づいて、メンバ端末3に接続し、乗員と乗員の知人・友人とのチャット開始を、後述するレコメンドサーバー2のチャット制御部26に指示する。
The chat information acquisition unit 15 acquires chat information ( connection information, etc.).
Then, the chat operation unit 18 connects to the member terminal 3 based on the acquired chat information, and instructs the chat control unit 26 of the recommendation server 2, which will be described later, to start chatting with the crew member and acquaintances/friends of the crew member.

TCU12(Telematics Control Unit:テレマティックス制御ユニット)は、移動体通信や路車間通信等の双方向無線の無線通信部である。
乗員と乗員の知人・友人とのチャット音声は、音声入出力部14により入出力され、音声のストリーム情報がチャット動作部18によりTCU12を介して、メンバ端末3と通信される。ビデオチャットの映像は、車室内カメラ1711により撮像され、チャット動作部18によりTCU12を介して、メンバ端末3と通信されるとともに、メンバ端末3からのビデオストリームが、ディスプレイ部10に表示される。
また、レコメンドサーバー2からの推奨情報は、チャット動作部18によりTCU12を介して受信し、推奨情報表示部11により対応する画像が生成されて、ディスプレイ部10に表示される。
The TCU 12 (Telematics Control Unit) is a two-way radio communication unit for mobile communication, road-to-vehicle communication, and the like.
A chat voice between a crew member and an acquaintance/friend of the crew member is input/output by the voice input/output unit 14 , and stream information of the voice is communicated with the member terminal 3 via the TCU 12 by the chat operation unit 18 . The image of the video chat is captured by the in-vehicle camera 1711 and communicated with the member terminal 3 via the TCU 12 by the chat operation unit 18 , and the video stream from the member terminal 3 is displayed on the display unit 10 .
Also, the recommended information from the recommendation server 2 is received by the chat operation unit 18 via the TCU 12 , and the corresponding image is generated by the recommended information display unit 11 and displayed on the display unit 10 .

運転制御部17、チャット情報取得部15、チャット動作部18、推奨情報表示部11等の制御部は、一以上のプロセッサ又は同等の機能を有するハードウェアにより実現され、CPU(Central Processing Unit)などのプロセッサ、記憶装置、及び通信インターフェースが内部バスによって接続されたECU(Electronic Control Unit)、又はMPU(Micro-Processing Unit)などが組み合わされた構成であってよい。
制御部の各機能は、CPUのプログラムが実行されることで機能する。
Control units such as the operation control unit 17, the chat information acquisition unit 15, the chat operation unit 18, and the recommended information display unit 11 are realized by one or more processors or hardware having equivalent functions, and are implemented by a CPU (Central Processing Unit) or the like. It may be a configuration in which an ECU (Electronic Control Unit), an MPU (Micro-Processing Unit), or the like, in which a processor, a storage device, and a communication interface are connected via an internal bus, are combined.
Each function of the control unit functions by executing a program of the CPU.

つぎに、レコメンドサーバー2の構成を説明する。
レコメンドサーバー2は、CPU、記憶装置、及び通信インターフェースが内部バスによって接続された情報処理装置であり、以下に説明する制御部の各機能は、CPUのプログラムが実行されることで機能する。
Next, the configuration of the recommendation server 2 will be described.
The recommendation server 2 is an information processing device in which a CPU, a storage device, and a communication interface are connected by an internal bus, and each function of the control unit described below functions by executing a program of the CPU.

レコメンドサーバー2は、自動運転車両1と少なともひとつのメンバ端末3とのチャット通信を中継するとともに、チャットの内容に基づいて、自動運転車両1の乗員の嗜好を評価し、評価に基づいた推奨情報を自動運転車両1に通知する。 The recommendation server 2 relays chat communication between the automated driving vehicle 1 and at least one member terminal 3, evaluates the preferences of the occupants of the automated driving vehicle 1 based on the content of the chat, and makes recommendations based on the evaluation. Information is notified to the automatic driving vehicle 1 .

通信回線中継部21は、移動体通信あるいは路車間通信等の双方向無線により自動運転車両1と双方向通信を行うとともに、移動体通信、路車間通信あるいはインターネットを介してメンバ端末3と双方向通信を行って、チャットのストリームを中継する。
音声取得部22は、通信回線中継部21から車両の乗員と車外における乗員の知人との会話音声のストリーム情報を取得する制御部である。
言語認識部23は、音声取得部22で取得したストリーム情報から所定の単語を抽出するとともに、抽出した単語の意味を認識する制御部である。
The communication line relay unit 21 performs two-way communication with the automatic driving vehicle 1 by two-way radio such as mobile communication or road-to-vehicle communication, and two-way communication with the member terminal 3 via mobile communication, road-to-vehicle communication, or the Internet. Communicate and relay chat streams.
The voice acquisition unit 22 is a control unit that acquires, from the communication line relay unit 21, stream information of conversation voices between a vehicle occupant and an acquaintance of the vehicle occupant outside the vehicle.
The language recognition unit 23 is a control unit that extracts predetermined words from the stream information acquired by the voice acquisition unit 22 and recognizes the meaning of the extracted words.

感情推定部24は、乗員の知人との会話音声の抑揚もしくは抽出した単語の意味より乗員の感情を推定する制御部である。
推奨情報選択部25は、言語認識部23で認識した単語を、感情推定部24で推定した感情に応じて評価し、評価に基づいて乗員への推奨情報を求める制御部である。
候補単語記憶部27は、言語認識部23で抽出さえた単語を記憶する記憶部である。
The emotion estimating unit 24 is a control unit that estimates the emotion of the occupant from the intonation of the occupant's conversation voice with an acquaintance or the meaning of the extracted words.
The recommended information selection unit 25 is a control unit that evaluates the words recognized by the language recognition unit 23 according to the emotion estimated by the emotion estimation unit 24 and obtains recommended information for the passenger based on the evaluation.
The candidate word storage unit 27 is a storage unit that stores the words extracted by the language recognition unit 23 .

チャット制御部26は、通信回線中継部21を介して指示されたチャット情報取得部15からの乗員の識別情報に基づいて要求された乗員の知人・友人とのチャットに関する接続情報(チャット情報)の取得要求に基づいて、SNS(Social Networking Service)サーバー4から知人・友人の接続情報を取得する制御部である。
チャット制御部26は、さらに、チャット情報取得部15からの指示に基づいて、指定されたメンバ端末3とのチャット通信の開始をSNSサーバー4に通知する。
レコメンドサーバー2の詳細は後述する。
The chat control unit 26 obtains connection information (chat information) related to chatting with acquaintances/friends of the crew member requested based on the identification information of the crew member from the chat information acquisition unit 15 instructed via the communication line relay unit 21. It is a control unit that acquires connection information of acquaintances/friends from an SNS (Social Networking Service) server 4 based on an acquisition request.
Further, the chat control unit 26 notifies the SNS server 4 of the start of chat communication with the designated member terminal 3 based on the instruction from the chat information acquisition unit 15 .
Details of the recommendation server 2 will be described later.

SNSサーバー4は、複数の端末間でリアルタイムに双方向の音声を含むメッセージ通信を行うチャット機能部41を備え、メッセージ通信をやり取りするメンバの接続情報をメンバリスト42として備える。
本実施形態では、レコメンドサーバー2をSNSサーバー4とは別に構成する場合について説明するが、レコメンドサーバー2をSNSサーバー4の一つの機能としてもよい。
The SNS server 4 includes a chat function unit 41 that performs two-way message communication including voice between a plurality of terminals in real time, and includes connection information of members exchanging message communication as a member list 42 .
In this embodiment, the case where the recommendation server 2 is configured separately from the SNS server 4 will be described, but the recommendation server 2 may be one function of the SNS server 4 .

図2は、自動運転車両1の車室前部構造の一例を表す図である。
図2に示すように、自動運転車両1のディスプレイ部10は、運転席に正対する位置に設けられるメータパネル54と、運転席及び助手席にわたって対向するように設けられる、車幅方向(Y方向)に横長のインフォメーションパネル51と、車幅方向の運転席側に設けられた右側パネル55Rと、車幅方向の助手席側に設けられた左側パネル55Lと、を含む。
FIG. 2 is a diagram showing an example of the vehicle interior front structure of the automatic driving vehicle 1. As shown in FIG.
As shown in FIG. 2, the display unit 10 of the automatic driving vehicle 1 is provided in the vehicle width direction (Y direction ) includes a horizontally long information panel 51, a right panel 55R provided on the driver's seat side in the vehicle width direction, and a left panel 55L provided on the passenger seat side in the vehicle width direction.

メータパネル54には、例えば、スピードメータ、タコメータ、オドメータ、シフト位置情報、灯火類の点灯状況情報等が表示される。
インフォメーションパネル51には、例えば、自動運転車両1周辺の地図情報、地図上における自動運転車両1の現在位置情報、自動運転車両1の現在の走行路・予定経路に関する交通情報(信号情報を含む)、自動運転車両1の周囲に存する交通参加者(歩行者・自転車・オートバイ・他車両等を含む)に関する交通参加者情報、交通参加者に向けて発するメッセージ等の各種情報等が表示される。また、インフォメーションパネル51には、推奨情報表示部11で生成されたレコメンドサーバー2から通知された推奨情報に対応する画像が表示される。
The meter panel 54 displays, for example, a speedometer, a tachometer, an odometer, shift position information, lighting status information of lights, and the like.
The information panel 51 displays, for example, map information around the automatically driven vehicle 1, current position information of the automatically driven vehicle 1 on the map, and traffic information (including signal information) regarding the current driving route/scheduled route of the automatically driven vehicle 1. , traffic participant information about traffic participants (including pedestrians, bicycles, motorcycles, other vehicles, etc.) around the automated driving vehicle 1, and various information such as messages sent to traffic participants. Also, on the information panel 51, an image corresponding to the recommended information notified from the recommendation server 2 generated by the recommended information display unit 11 is displayed.

右側パネル55Rには、自動運転車両1の右側に設けたカメラ(不図示)により撮像した車両右側における後方及び下方の画像情報が表示される。
左側パネル55Lには、自動運転車両1の左側に設けたカメラ(不図示)により撮像した車両左側における後方及び下方の画像情報が表示される。
On the right panel 55R, image information of the rear and lower sides of the vehicle on the right side captured by a camera (not shown) provided on the right side of the automatic driving vehicle 1 is displayed.
On the left panel 55L, image information of the rear and lower sides of the left side of the vehicle captured by a camera (not shown) provided on the left side of the automatic driving vehicle 1 is displayed.

つぎに、図3のシーケンス図により、実施形態のレコメンドシステムの動作の概要を説明する。
図3は、自動運転車両1とレコメンドサーバー2とメンバ端末3の間のメッセージ通信の経過を示している。
Next, the outline of the operation of the recommendation system of the embodiment will be described with reference to the sequence diagram of FIG.
FIG. 3 shows the progress of message communication among the automatic driving vehicle 1, the recommendation server 2, and the member terminal 3. As shown in FIG.

ステップS31で、レコメンドサーバー2のチャット制御部26は、自動運転車両1から乗員識別部16により識別された乗員(ドライバ)の識別情報(識別子)をメンバリスト要求として通知される。
レコメンドサーバー2のチャット制御部26は、通知された識別情報(識別子)をSNSサーバー4に通知し、通知された識別子に対応して登録されているメンバリスト42に記憶されているチャットチャンネルのメンバ名およびメンバ端末3の接続情報をメンバリストとして取得する。
In step S31, the chat control unit 26 of the recommendation server 2 is notified of the identification information (identifier) of the passenger (driver) identified by the passenger identification unit 16 from the automatic driving vehicle 1 as a member list request.
The chat control unit 26 of the recommendation server 2 notifies the SNS server 4 of the notified identification information (identifier), and selects members of the chat channel stored in the member list 42 registered in correspondence with the notified identifier. Names and connection information of member terminals 3 are acquired as a member list.

ステップS32で、チャット制御部26は、SNSサーバー4から取得したメンバリストを、ステップS31の応答として、自動運転車両1に通知する。 In step S32, the chat control unit 26 notifies the automatic driving vehicle 1 of the member list acquired from the SNS server 4 as a response to step S31.

自動運転車両1のチャット情報取得部15は、取得したメンバリストをインフォメーションパネル51(ディスプレイ部1)に表示し、乗員(ドライバ)にチャットを行うメンバの選択を促す。
そして、ステップS33で、チャット動作部18は、チャット制御部26に、選択したメンバとの接続指示を通知する。
The chat information acquisition unit 15 of the automatic driving vehicle 1 displays the acquired member list on the information panel 51 (display unit 1) and prompts the passenger (driver) to select a member to chat with.
Then, in step S33, the chat operation unit 18 notifies the chat control unit 26 of an instruction to connect with the selected member.

ステップS34で、チャット制御部26は、SNSサーバー4に選択されたメンバのメンバ端末3とのチャット接続を指示し、SNSサーバー4からメンバ端末3にチャット要求を通知する。 In step S34, the chat control unit 26 instructs the SNS server 4 to establish a chat connection with the member terminal 3 of the selected member, and the SNS server 4 notifies the member terminal 3 of a chat request.

ステップS35で、チャット制御部26は、メンバ端末3のチャット接続の受諾応答を、SNSサーバー4から受信する。受諾応答したメンバ端末3は、自動運転車両1とのチャットを待機する。
ステップS34でチャット要求を受信したメンバ端末3が、チャット接続不可能な場合には、ステップS35で、チャット制御部26に受諾不可の応答を行う。
In step S<b>35 , the chat control unit 26 receives a chat connection acceptance response of the member terminal 3 from the SNS server 4 . The member terminal 3 that has made an acceptance response waits for a chat with the automatic driving vehicle 1 .
If the member terminal 3 that has received the chat request in step S34 cannot connect to the chat, it responds to the chat control unit 26 that it cannot accept the request in step S35.

ステップS36で、チャット制御部26は、ステップS33の接続指示に対応する応答として、自動運転車両1に接続応答を通知する。
自動運転車両1は、チャット制御部26からの接続応答の通知により、メンバ端末3とのチャットを開始する。
In step S36, the chat control unit 26 notifies the automatic driving vehicle 1 of a connection response as a response corresponding to the connection instruction in step S33.
The automatic driving vehicle 1 starts chatting with the member terminal 3 upon notification of the connection response from the chat control unit 26 .

レコメンドサーバー2の通信回線中継部21は、ステップS37で自動運転車両1の音声入出力部14で取得した車内の音声の音声ストリーム1を受信して、ステップS38でメンバ端末3に音声ストリーム1として転送する。この際に、通信回線中継部21は、ステップS37とステップS38の音声ストリーム1の中継を低遅延で行う。
また、通信回線中継部21は、音声ストリーム1のストリーム情報から推奨情報の生成を行うために、ストリーム情報を取得する。
The communication line relay unit 21 of the recommendation server 2 receives the voice stream 1 of the in-vehicle voice acquired by the voice input/output unit 14 of the automatic driving vehicle 1 in step S37, and sends it to the member terminal 3 as voice stream 1 in step S38. Forward. At this time, the communication line relay unit 21 relays the audio stream 1 in steps S37 and S38 with low delay.
Also, the communication line relay unit 21 acquires stream information in order to generate recommended information from the stream information of the audio stream 1 .

ステップS310で、通信回線中継部21は、メンバ端末3から音声ストリーム2を受信して、ステップS39で自動運転車両1に音声ストリーム2として転送する。音声ストリーム2を受信した自動運転車両1は、音声入出力部14により、音声ストリーム2を車内に音声出力する。この際に、通信回線中継部21は、ステップS310とステップS39の音声ストリーム2の中継を低遅延で行う。
また、通信回線中継部21は、音声ストリーム2のストリーム情報から推奨情報の生成を行うために、ストリーム情報を取得する。
In step S310, the communication line relay unit 21 receives the audio stream 2 from the member terminal 3, and transfers it as the audio stream 2 to the automatic driving vehicle 1 in step S39. The automatically driven vehicle 1 that has received the audio stream 2 outputs the audio stream 2 to the interior of the vehicle through the audio input/output unit 14 . At this time, the communication line relay unit 21 relays the audio stream 2 in steps S310 and S39 with low delay.
Also, the communication line relay unit 21 acquires stream information in order to generate recommended information from the stream information of the audio stream 2 .

上記のように、レコメンドサーバー2の通信回線中継部21は、自動運転車両1からメンバ端末3への音声ストリームの中継と、メンバ端末3から自動運転車両1への音声ストリームの中継を行うとともに、音声ストリームを取得して、推奨情報の生成を行う。 As described above, the communication line relay unit 21 of the recommendation server 2 relays an audio stream from the automated driving vehicle 1 to the member terminal 3, and relays an audio stream from the member terminal 3 to the automated driving vehicle 1. Acquire audio streams to generate recommendations.

レコメンドサーバー2の通信回線中継部21は、ステップS311とステップS312とで、自動運転車両1からメンバ端末3への音声ストリーム3を中継し、ステップS314とステップS313とで、メンバ端末3から自動運転車両1への音声ストリーム4を中継する。 The communication line relay unit 21 of the recommendation server 2 relays the voice stream 3 from the automatically driven vehicle 1 to the member terminal 3 in steps S311 and S312, and relays the voice stream 3 from the member terminal 3 to the member terminal 3 in steps S314 and S313. Relay audio stream 4 to vehicle 1 .

ステップS315で、レコメンドサーバー2は、経過情報をレコメンド情報として自動運転車両1の推奨情報表示部11に通知する。この経過情報は、詳細を後述するが、通信回線中継部21で取得した複数の音声ストリームに基づいて求めている推奨情報の選択における途中経過を示している。 In step S315, the recommendation server 2 notifies the recommendation information display unit 11 of the automatic driving vehicle 1 of the progress information as recommendation information. This progress information, details of which will be described later, indicates the progress of selecting recommended information based on a plurality of audio streams acquired by the communication line relay unit 21 .

そして、レコメンドサーバー2の通信回線中継部21は、ステップS316とステップS317とで、自動運転車両1からメンバ端末3への音声ストリーム5を中継し、ステップS319とステップS318とで、メンバ端末3から自動運転車両1への音声ストリーム6を中継する。 Then, the communication line relay unit 21 of the recommendation server 2 relays the voice stream 5 from the automatic driving vehicle 1 to the member terminal 3 in steps S316 and S317, and from the member terminal 3 in steps S319 and S318. It relays the audio stream 6 to the autonomous vehicle 1 .

さらに、レコメンドサーバー2の通信回線中継部21は、ステップS320とステップS321とで、自動運転車両1からメンバ端末3への音声ストリーム7を中継し、ステップS323とステップS322とで、メンバ端末3から自動運転車両1への音声ストリーム8を中継する。 Furthermore, the communication line relay unit 21 of the recommendation server 2 relays the voice stream 7 from the automatic driving vehicle 1 to the member terminal 3 in steps S320 and S321, and from the member terminal 3 in steps S323 and S322. It relays the audio stream 8 to the autonomous vehicle 1 .

ステップS324で、ステップS315と同様に、レコメンドサーバー2は、推奨情報の選択における経過を示す経過情報をレコメンド情報として自動運転車両1の推奨情報表示部11に通知する。
図3の説明では、レコメンドサーバー2は、音声ストリーム1~4に基づいて、ステップS315で経過情報を自動運転車両1に通知し、音声ストリーム5~8に基づいて、ステップS324でレコメンド情報(経過情報)を自動運転車両1に通知すると説明した。
In step S324, similarly to step S315, the recommendation server 2 notifies the recommended information display unit 11 of the automatic driving vehicle 1 of progress information indicating the progress of selection of the recommended information as recommendation information.
In the description of FIG. 3, the recommendation server 2 notifies the automatic driving vehicle 1 of progress information in step S315 based on the audio streams 1 to 4, and recommends information (progress) in step S324 based on the audio streams 5 to 8. information) to the automated driving vehicle 1.

つまり、レコメンドサーバー2は4つの音声ストリームごとにレコメンド情報(経過情報)を自動運転車両1に通知することを説明したが、4つの音声ストリームに限らず、所定数の音声ストリームごとにレコメンド情報(経過情報)を通知すればよい。
また、音声ストリームの数でなく、所定の経過時間ごとにレコメンド情報(経過情報)を通知するようにしてもよい。
In other words, although the recommendation server 2 notifies the automatic driving vehicle 1 of the recommendation information (progress information) for each of the four audio streams, the recommendation information (progress information) is not limited to four audio streams, and is provided for each predetermined number of audio streams. progress information).
Alternatively, recommendation information (elapsed information) may be notified every predetermined elapsed time instead of the number of audio streams.

レコメンドサーバー2は、ステップS324の後、引き続き音声ストリームの中継およびレコメンド情報(経過情報)の通知を行う。
そして、ステップS325で、レコメンドサーバー2は、取得した音声ストリームに基づいて推奨情報が選択されると、これをレコメンド情報として、自動運転車両1の推奨情報表示部11に通知する。
After step S324, the recommendation server 2 continues to relay the audio stream and notify recommendation information (progress information).
Then, in step S325, when recommended information is selected based on the acquired audio stream, the recommendation server 2 notifies the recommended information display unit 11 of the automatic driving vehicle 1 of this as recommended information.

レコメンドサーバー2は、ステップS325の後も、引き続き音声ストリームの中継および推奨情報の選択を続ける。
そして、ステップS326およびステップS327で、レコメンドサーバー2は、チャットの終了指示により最終の音声ストリームNの中継を終えると、ステップS328で、推奨情報の選択における最良評価の推奨情報をレコメンド情報として、自動運転車両1の推奨情報表示部11に通知する。
以上により、自動運転車両1とレコメンドサーバー2とメンバ端末3の間のメッセージ通信に基づいて推奨情報を通知する処理を終了する。
After step S325, the recommendation server 2 continues to relay the audio stream and select recommended information.
Then, in steps S326 and S327, when the recommendation server 2 finishes relaying the final voice stream N in response to the instruction to end the chat, in step S328, the recommended information with the best evaluation in the selection of recommended information is automatically set as recommended information. The recommended information display unit 11 of the driving vehicle 1 is notified.
As described above, the process of notifying the recommended information based on the message communication between the automatic driving vehicle 1, the recommendation server 2, and the member terminal 3 is completed.

図3は、自動運転車両1とメンバ端末3が1対1の場合であったが、1対nつまり、自動運転車両1と複数のメンバ端末3の場合も同様である。
レコメンドサーバー2は、自動運転車両1と複数のメンバ端末3の音声ストリームを中継するともに、音声ストリームを解析して推奨情報を生成する。
Although FIG. 3 shows the case of one-to-one automatic driving vehicle 1 and member terminal 3, the same applies to one-to-n, that is, automatic driving vehicle 1 and a plurality of member terminals 3. FIG.
The recommendation server 2 relays audio streams from the autonomous driving vehicle 1 and the plurality of member terminals 3, and analyzes the audio streams to generate recommendation information.

つぎに、自動運転車両1とレコメンドサーバー2のそれぞれの制御部の詳細動作を説明する。
図4、図5は、自動運転車両1のチャットメンバの選択動作およびチャット制御動作を説明するフロー図である。
Next, detailed operations of the control units of the automatic driving vehicle 1 and the recommendation server 2 will be described.
4 and 5 are flow charts for explaining the chat member selection operation and the chat control operation of the automatic driving vehicle 1. FIG.

まず、図4により、チャット情報取得部15により乗員(ドライバ)がチャットするメンバを決めるまでの動作について説明する。
ステップS41で、チャット情報取得部15は、乗員識別部16により、乗員(ドライバ)の識別情報(識別子)を取得する。
First, referring to FIG. 4, the operation of the chat information acquiring unit 15 until the passenger (driver) decides on the member to chat with will be described.
In step S<b>41 , the chat information acquisition unit 15 acquires the identification information (identifier) of the passenger (driver) using the passenger identification unit 16 .

詳しくは、乗員識別部16は、車室内カメラ1711により乗員(ドライバ)の撮像画像を取得し、予め乗員の識別子ごとに登録した認証情報に基づいて顔認証を行い、顔認証した乗員(ドライバ)の識別情報(識別子)を取得する。
また、乗員識別部16は、音声入出力部14で取得した乗員(ドライバ)の音声に基づいて、予め乗員の識別子ごとに登録した認証情報に基づいて声紋認証により乗員(ドライバ)を識別して、識別情報(識別子)を取得してもよい。
なお、取得する識別情報(識別子)は、複数の乗員の識別情報であってもよい。
Specifically, the occupant identification unit 16 acquires a captured image of the occupant (driver) using the vehicle interior camera 1711, performs face authentication based on authentication information registered in advance for each occupant identifier, and performs face authentication of the occupant (driver). Acquire the identification information (identifier) of
In addition, the passenger identification unit 16 identifies the passenger (driver) by voiceprint authentication based on the authentication information registered in advance for each passenger identifier based on the sound of the passenger (driver) acquired by the voice input/output unit 14. , the identification information (identifier) may be acquired.
The identification information (identifier) to be acquired may be identification information of a plurality of passengers.

ステップS42で、チャット情報取得部15は、TCU12を介して、ステップS41で取得した乗員(ドライバ)の識別情報(識別子)をメンバリスト要求として、レコメンドサーバー2のチャット制御部26に通知する。
そして、チャット情報取得部15は、チャット制御部26から、SNSサーバー4のメンバリスト42に登録されている、メンバ名およびメンバ端末3の接続情報をチャットのメンバリストとして取得する。
In step S42, the chat information acquisition unit 15 notifies the chat control unit 26 of the recommendation server 2 via the TCU 12 of the passenger (driver) identification information (identifier) acquired in step S41 as a member list request.
Then, the chat information acquisition unit 15 acquires the member names and the connection information of the member terminals 3 registered in the member list 42 of the SNS server 4 from the chat control unit 26 as a chat member list.

ステップS43で、チャット情報取得部15は、取得したメンバリストを推奨情報表示部11によりインフォメーションパネル51(ディスプレイ部10)に表示し、乗員にチャットするメンバの選択を促し、チャットする少なくともひとりのメンバを取得する。
より詳細には、チャット情報取得部15は、乗員のインフォメーションパネル51の画面タッチあるいは音声指示により、チャットするメンバを決定する。
In step S43, the chat information acquisition unit 15 displays the acquired member list on the information panel 51 (display unit 10) by the recommended information display unit 11, prompts the crew to select a member to chat with, and selects at least one member to chat with. to get
More specifically, the chat information acquisition unit 15 determines members to chat with by touching the screen of the information panel 51 of the passenger or by voice instruction.

ステップS42でチャットのメンバリストを取得する際に、メンバリスト42のメンバリストを自動運転車両1の位置やチャット頻度等の所定条件によりフィルタリングして、取得したメンバリストとしてもよい。 When obtaining the chat member list in step S42, the member list of the member list 42 may be filtered according to predetermined conditions such as the position of the automatic driving vehicle 1 and the chat frequency, and the obtained member list may be obtained.

つぎに、図5により、チャット動作部18による自動運転車両1のチャット制御動作を説明する。
ステップS51で、チャット動作部18は、チャット情報取得部15で選択したチャットするメンバリスト(メンバ名、メンバ端末3の接続情報)を取得する。
そして、ステップS52で、チャット動作部18は、取得したメンバ分、ステップS53からステップS56までの処理を繰り返す。
Next, the chat control operation of the automatic driving vehicle 1 by the chat operation unit 18 will be described with reference to FIG. 5 .
In step S<b>51 , the chat operation unit 18 acquires the chat member list (member name, connection information of the member terminal 3 ) selected by the chat information acquisition unit 15 .
Then, in step S52, the chat operation unit 18 repeats the processing from step S53 to step S56 for the acquired members.

ステップS53で、チャット動作部18は、メンバリストのメンバ端末3の接続情報に従い、TCU12を介して、レコメンドサーバー2にメンバ端末3とのチャット要求を通知する。 In step S53, the chat operation unit 18 notifies the recommendation server 2 of a chat request with the member terminal 3 via the TCU 12 according to the connection information of the member terminal 3 in the member list.

ステップS54で、チャット動作部18は、レコメンドサーバー2を介したメンバ端末3からのチャット可否の応答を判定し、“チャット可”の応答であれば(S54の“可”)、ステップS55に進む。“チャット不可”の応答であれば(S54の“不可”)、ステップS56に進む。 In step S54, the chat operation unit 18 determines whether or not the chat is possible from the member terminal 3 via the recommendation server 2. If the response is "chat possible" ("possible" in S54), the process proceeds to step S55. . If the response is "chat not possible" ("not possible" in S54), the process proceeds to step S56.

ステップS55で、チャット動作部18は、レコメンドサーバー2を介したメンバ端末3とのチャットを開始するとともに、推奨情報表示部11を介してインフォメーションパネル51(ディスプレイ部10)にメンバ名を表示して、乗員にチャットを開始することを通知する。そして、ステップS56に進む。 In step S55, the chat operation unit 18 starts chatting with the member terminal 3 via the recommendation server 2, and displays the member name on the information panel 51 (display unit 10) via the recommended information display unit 11. , to notify the crew to start chatting. Then, the process proceeds to step S56.

ステップS56で、チャット動作部18は、取得したメンバ分のステップS53からステップS55の処理を行ったか否かを判定し、行った場合にはステップS57に進む。行っていない場合には、繰り返し処理を継続する。 In step S56, the chat operation unit 18 determines whether or not the processing of steps S53 to S55 has been performed for the acquired members, and if so, the process proceeds to step S57. If not, the iterative process continues.

ステップS57で、チャット動作部18は、乗員のチャット終了指示あるいはチャット制御部26からのチャット終了指示の有無を判定し、終了指示があれば(S57のYes)、ステップS512に進む。終了指示がなければ(S57のNo)、チャット継続中として、ステップS58に進む。 In step S57, the chat operation unit 18 determines whether there is an instruction to end the chat from the crew member or an instruction to end the chat from the chat control unit 26. If there is an instruction to end the chat (Yes in S57), the process proceeds to step S512. If there is no end instruction (No in S57), it is assumed that the chat is continuing, and the process proceeds to step S58.

ステップS58で、チャット動作部18は、音声入出力部14で音声入力中であれば、検出した乗員の音声をストリーム情報として取得する。そして、チャット動作部18は、メンバ端末3に向けて、中継するレコメンドサーバー2(通信回線中継部21)に音声ストリームを出力する。 In step S58, if the voice input/output unit 14 is currently inputting voice, the chat operation unit 18 acquires the detected voice of the passenger as stream information. Then, the chat operation unit 18 outputs an audio stream to the member terminal 3 and to the recommendation server 2 (communication line relay unit 21) that relays the voice stream.

ステップS59で、チャット動作部18は、TCU12により音声ストリームを受信中であれば、受信したストリーム情報を音声入出力部14により車内に音声出力する。 In step S59, if the TCU 12 is receiving an audio stream, the chat operation unit 18 causes the audio input/output unit 14 to output the received stream information as audio into the vehicle.

ステップS510で、チャット動作部18は、TCU12を介して、レコメンドサーバー2から経過情報としてのレコメンド情報を受信した場合には、推奨情報表示部11により経過情報をインフォメーションパネル51(ディスプレイ部10)に表示する。
推奨情報表示部11による経過情報の表示については後述する。
In step S510, when the chat operation unit 18 receives recommendation information as progress information from the recommendation server 2 via the TCU 12, the recommended information display unit 11 displays the progress information on the information panel 51 (display unit 10). indicate.
Display of progress information by the recommended information display unit 11 will be described later.

ステップS511で、チャット動作部18は、TCU12を介して、レコメンドサーバー2から推奨情報としてのレコメンド情報を受信した場合には、推奨情報表示部11により推奨情報をインフォメーションパネル51(ディスプレイ部10)に表示する。
推奨情報表示部11によるレコメンド情報(経過情報あるいは推奨情報)の表示については後述する。
In step S511, when the chat operation unit 18 receives recommendation information as recommended information from the recommendation server 2 via the TCU 12, the recommended information display unit 11 displays the recommended information on the information panel 51 (display unit 10). indicate.
Display of recommended information (progress information or recommended information) by the recommended information display unit 11 will be described later.

図5のフロー図では、ステップS58、ステップS59、ステップS510、ステップS511を順次ステップと表記しているが、ステップS57のチャット終了まで、ステップS58、ステップS59、ステップS510、ステップS511を随時、行う In the flowchart of FIG. 5, steps S58, S59, S510, and S511 are indicated as sequential steps, but steps S58, S59, S510, and S511 are performed as needed until the chat ends in step S57.

ステップS512で、チャット動作部18は、TCU12を介して、レコメンドサーバー2から推奨情報としてのレコメンド情報を受信し、推奨情報表示部11により推奨情報をインフォメーションパネル51(ディスプレイ部10)に表示し、処理を終了する。
推奨情報表示部11によるレコメンド情報の表示については後述する。
In step S512, the chat operation unit 18 receives recommendation information as recommended information from the recommendation server 2 via the TCU 12, displays the recommended information on the information panel 51 (display unit 10) by the recommended information display unit 11, End the process.
Display of recommended information by the recommended information display unit 11 will be described later.

つぎに、図6により、レコメンドサーバー2における推奨情報の生成処理を詳細に説明する。
図6は、図3の動作シーケンスのステップS37以後の自動運転車両1とメンバ端末3とのチャット中におけるレコメンドサーバー2の処理を示している。
Next, referring to FIG. 6, a process of generating recommended information in the recommendation server 2 will be described in detail.
FIG. 6 shows the processing of the recommendation server 2 during the chat between the automatic driving vehicle 1 and the member terminal 3 after step S37 of the operation sequence of FIG.

ステップS61で、レコメンドサーバー2のチャット制御部26は、自動運転車両1とメンバ端末3とのチャットが継続中であるか否かを判定し、チャット継続中であればステップS62からステップS612までの処理を繰り返す。チャット継続中でなければ、ステップS613に進む。 In step S61, the chat control unit 26 of the recommendation server 2 determines whether or not the chat between the automatic driving vehicle 1 and the member terminal 3 is ongoing. Repeat process. If the chat is not ongoing, the process proceeds to step S613.

ステップS62で、レコメンドサーバー2の通信回線中継部21が、自動運転車両1の音声ストリームと、メンバ端末3の音声ストリームとを、双方向中継する。
ステップS63で、レコメンドサーバー2の音声取得部22が、自動運転車両1の音声ストリームと、メンバ端末3の音声ストリームとを、それぞれ、ストリーム情報として取得する。そして、取得したストリーム情報について以下の処理を行う。
In step S62, the communication line relay unit 21 of the recommendation server 2 bi-directionally relays the audio stream of the automatic driving vehicle 1 and the audio stream of the member terminal 3.
In step S63, the voice acquisition unit 22 of the recommendation server 2 acquires the voice stream of the automatic driving vehicle 1 and the voice stream of the member terminal 3 as stream information. Then, the following processing is performed on the acquired stream information.

ステップS64で、レコメンドサーバー2の言語認識部23が、ストリーム情報をテキスト列に認識デコードし、テキスト列から所定の単語を抽出し、抽出した単語を候補単語記憶部27に登録する。
詳細は後述するが、候補単語記憶部27には、推奨情報の評価テーブルが記憶され、抽出した単語が新規の単語であれば、推奨情報の評価テーブルにエントリを作成する。
In step S<b>64 , the language recognition unit 23 of the recommendation server 2 recognizes and decodes the stream information into a text string, extracts predetermined words from the text string, and registers the extracted words in the candidate word storage unit 27 .
Although the details will be described later, the candidate word storage unit 27 stores a recommendation information evaluation table, and if the extracted word is a new word, an entry is created in the recommendation information evaluation table.

また、言語認識部23は、詳しくは、音素と音響特徴量の関係を統計的なモデルで表現した音響モデルと、文字列や単語列が日本語として適切かを評価するモデルである言語モデルと、言語モデルの単語と音響モデルを結びつけるため辞書である発音辞書と、に基づいて、音声波形から成るストリーム情報を音響分析して、テキスト列に認識デコードする。
そして、認識デコードしたテキスト列を形態素解析して、地名、食品名、遊興種別、施設名(店舗名)等の車両移動の目的地候補に関連する単語(形態素)を抽出する。ここで、抽出する単語は複数であってもよい。
More specifically, the language recognition unit 23 includes an acoustic model that expresses the relationship between phonemes and acoustic features in a statistical model, and a language model that evaluates whether character strings and word strings are appropriate as Japanese. , and a pronunciation dictionary, which is a dictionary for associating the words of the language model with the acoustic model, the stream information consisting of speech waveforms is acoustically analyzed and recognized and decoded into a text string.
Then, the recognition-decoded text string is subjected to morphological analysis to extract words (morphemes) related to destination candidates for vehicle movement, such as place names, food names, types of entertainment, facility names (store names). Here, multiple words may be extracted.

言語認識部23は、ひとつのストリーム情報の中で形態素解析して抽出した複数の単語と、相関性が高い単語をインターネット検索して求め、これを目的地候補に関連する単語としてもよい。 The language recognition unit 23 may search the Internet for words highly correlated with a plurality of words extracted by morphological analysis in one piece of stream information, and use these words as words related to destination candidates.

ステップS65で、レコメンドサーバー2の感情推定部24は、ストリーム情報の音声波形の抑揚を求めて感情分析する。または、感情推定部24は、言語認識部23で解析したストリーム情報のテキスト列の形態素ごとに感情辞書を参照して、テキスト列の感情値を算出する。 In step S65, the emotion estimating unit 24 of the recommendation server 2 finds the intonation of the voice waveform of the stream information and performs emotion analysis. Alternatively, the emotion estimation unit 24 refers to the emotion dictionary for each morpheme of the text string of the stream information analyzed by the language recognition unit 23, and calculates the emotion value of the text string.

感情辞書には、「美味しい」「わかるー」「まじでー」「すごいじゃん」等のアクティブな単語・表現が登録されているとともに、「まずい」「値段が高い」等のネガティブな単語・表現が登録され、また、アクティブでもネガティブでもないニュートラルな単語・表現が登録されている。
例えば、アクティブな単語・表現では感情値を“+1”、ネガティブな単語・表現では感情値を“-1”、ニュートラルな単語・表現では感情値を“0”として、テキスト列の形態素ごとに加算することで、ストリーム情報のテキスト列の感情値を算出する。
The emotion dictionary contains active words and expressions such as "delicious", "understanding", "serious", and "amazing", as well as negative words and expressions such as "bad" and "expensive". is registered, and neutral words and expressions that are neither active nor negative are registered.
For example, active words/expressions have an emotional value of +1, negative words/expressions have an emotional value of -1, and neutral words/expressions have an emotional value of 0, and are added for each morpheme in the text string. By doing so, the emotion value of the text string of the stream information is calculated.

そして、感情推定部24は、ストリーム情報の感情分析から、ストリーム情報を発声した乗員あるはチャット相手のメンバの感情を推定する。
詳しくは、感情推定部24は、音声の抑揚が大きなストリーム情報を発した乗員あるいはチャット相手のメンバの感情をアクティブと推定する。また、感情推定部24は、感情値が“+”のストリーム情報を発した乗員あるいはチャット相手のメンバの感情をアクティブと推定する。
Then, the emotion estimating unit 24 estimates the emotion of the crew member who uttered the stream information or the member of the chat partner from the emotion analysis of the stream information.
More specifically, the emotion estimator 24 estimates that the emotion of the crew member or the member of the chat partner who issued the stream information with a large voice inflection is active. Also, the emotion estimation unit 24 estimates that the emotion of the crew member or the member of the chat partner who sent the stream information with the emotion value of "+" is active.

ステップS66で、推奨情報選択部25は、ステップS64でストリーム情報から抽出した単語ごとに、推定した乗員あるいはメンバの感情(アクティブ/ネガティブ/ニュートラル)に応じて評点を求め、推奨情報の評価テーブルを更新する。 In step S66, the recommended information selection unit 25 obtains a score according to the estimated emotions (active/negative/neutral) of the crew members or members for each word extracted from the stream information in step S64, and creates a recommended information evaluation table. Update.

なお、ステップS64で、ストリーム情報から複数の単語を抽出し、評価テーブルに登録した場合には、ステップS65で、感情推定部24は、抽出した単語を含む所定範囲のストリーム情報に基づいて感情値を求めるか、所定範囲のストリーム情報の音声の抑揚を求めて、乗員あるいはメンバの感情を推定する。 In step S64, if a plurality of words are extracted from the stream information and registered in the evaluation table, in step S65, the emotion estimating unit 24 calculates the emotion value based on the stream information of a predetermined range including the extracted words. or the voice inflection of streamed information in a predetermined range to estimate the emotions of the crew or members.

また、ステップS65で、感情推定部24は、自動運転車両1からメンバ端末3への音声ストリームについて、言語認識部23で解析したストリーム情報のテキスト列を感情分析するか、または、ストリーム情報の音声波形の抑揚を求めて感情分析し、乗員の感情分析を行う。そして、ステップS66で、推奨情報選択部25は、自動運転車両1からメンバ端末3への音声ストリームに基づいて推定した自動運転車両1の乗員の感情に応じて評点を求め、メンバ端末3から自動運転車両1への音声ストリームのストリーム情報から抽出した単語に基づいて作成された推奨情報の評価テーブルを更新するようにしてもよい。この際に、更新する推奨情報の評価テーブルの単語は、ステップS64で、乗員の感情分析をした音声ストリームから抽出した単語と同一の単語とする。
これにより、推奨情報の精度を向上することができる。
Also, in step S65, the emotion estimation unit 24 performs emotion analysis on the text string of the stream information analyzed by the language recognition unit 23 for the audio stream from the autonomous vehicle 1 to the member terminal 3, or analyzes the voice stream information. Emotion analysis is performed by obtaining the intonation of the waveform, and the emotion analysis of the occupants is performed. Then, in step S66, the recommended information selection unit 25 obtains a score according to the emotion of the occupant of the automatically driven vehicle 1 estimated based on the voice stream from the automatically driven vehicle 1 to the member terminal 3. The evaluation table of the recommended information created based on the words extracted from the stream information of the audio stream to the driving vehicle 1 may be updated. At this time, the words in the evaluation table of the recommended information to be updated are the same words as the words extracted from the voice stream subjected to the emotion analysis of the occupant in step S64.
As a result, the accuracy of recommended information can be improved.

ここで、図7により、候補単語記憶部27の推奨情報の評価テーブルの構成を説明する。
推奨情報の評価テーブルは、ストリーム情報から抽出した単語を記憶する単語列71と、ストリーム情報ごとの、単語における推定した乗員あるいはメンバの感情に応じた評点を記憶する評点列72と、単語ごとの評点を合算した評価点列73と、から成る。
Here, the configuration of the recommendation information evaluation table in the candidate word storage unit 27 will be described with reference to FIG.
The recommended information evaluation table includes a word string 71 that stores words extracted from stream information, a rating string 72 that stores ratings according to estimated crew or member emotions for each word of stream information, and a score string for each word. and an evaluation point sequence 73 obtained by summing up the evaluation points.

単語列71は、ステップS64で抽出された単語が、単語列71に登録されていなければ、新たに登録される。
評点列72は、ステップS63でストリーム情報が取得されるたびに、新規の評点列が追加され、ステップS66で、単語とストリーム情報に対応した欄に評点が記録される。
評価点列73は、単語ごとに、評点列72の評点の合計値を既存の評価点に加算して求める。
If the word extracted in step S64 is not registered in the word string 71, the word string 71 is newly registered.
A new score string is added to the score string 72 each time stream information is acquired in step S63, and the score is recorded in the column corresponding to the word and stream information in step S66.
The score string 73 is obtained by adding the total score of the score string 72 to the existing score for each word.

上記の単語ごとの評点を、メンバの感情(アクティブ/ネガティブ/ニュートラル)に応じて求めるだけでなく、この単語を抽出したストリーム情報の長さ(会話の長さ)を評価して、長いほど評点を高くしてもよい。 In addition to obtaining the score for each word according to the member's emotion (active/negative/neutral), the length of the stream information (conversation length) extracted from this word is evaluated, and the longer the score, the higher the score. can be increased.

図6に戻り、ステップS67で、レコメンドサーバー2の推奨情報選択部25は、所定数のストリーム情報に基づいて推奨情報の評価を行ったか否かを判定する。つまり、推奨情報の評価の途中経過を示す経過情報の通知タイミングであるか否かを判定する。経過情報の通知タイミングである場合には(S67のYes)、ステップS68に進み、経過情報の通知タイミングでない場合には(S67のNo)、ステップS610に進む。 Returning to FIG. 6, in step S67, the recommended information selection unit 25 of the recommendation server 2 determines whether or not the recommended information has been evaluated based on a predetermined number of pieces of stream information. That is, it is determined whether or not it is time to notify the progress information indicating the intermediate progress of the evaluation of the recommended information. If it is time to notify the progress information (Yes in S67), the process proceeds to step S68, and if it is not the time to notify the progress information (No in S67), the process proceeds to step S610.

ステップS67の経過情報の通知タイミングは、所定数のストリーム情報(音声ストリーム)ごとの他に、所定の経過時間ごとに経過情報を通知するようにしてもよい。 As for the notification timing of the progress information in step S67, the progress information may be notified every predetermined elapsed time other than every predetermined number of stream information (audio streams).

ステップS68で、推奨情報選択部25は、図3のステップS315に対応して、自動運転車両1の推奨情報表示部11に、推奨情報の評価の経過情報をレコメンド情報として通知する。
詳細には、推奨情報選択部25は、図7の推奨情報の評価テーブルにおいて、評価点列73の評価点が“0”より大きい、つまり、アクティブな単語について、その単語と評価点を経過情報とする。具体的には、図7の“カーカフェ”、“ネコカフェ”、“ヨガ”とそれぞれの評価点を経過情報とする。
In step S68, the recommended information selection unit 25 notifies the recommended information display unit 11 of the automatic driving vehicle 1 of the evaluation progress information of the recommended information as recommendation information, corresponding to step S315 in FIG.
More specifically, the recommended information selection unit 25 selects an active word whose evaluation score in the evaluation score column 73 is greater than “0” in the recommended information evaluation table of FIG. and Specifically, the evaluation points of "car cafe", "cat cafe", and "yoga" in FIG. 7 are used as progress information.

ステップS69で、推奨情報選択部25は、図7の推奨情報の評価テーブルにおいて、評点列72を削除する。これは、ストリーム情報ごとの評点は評価点列73に加算されているため、評点列72の保存は不要であることによる。つまり、評点列72は、評価点を算出するまでの一時保存となっている。
このように一時保存をクリアすることで、候補単語記憶部27のデータ容量を圧縮することができる。
In step S<b>69 , the recommended information selection unit 25 deletes the score column 72 in the recommended information evaluation table of FIG. 7 . This is because the score for each piece of stream information is added to the score column 73, so the score column 72 does not need to be stored. In other words, the score column 72 is temporarily stored until the score is calculated.
By clearing the temporary storage in this way, the data capacity of the candidate word storage unit 27 can be compressed.

ステップS610で、推奨情報選択部25は、図7の推奨情報の評価テーブルにおいて、評価点列73の評価点の値が所定の閾値以上の単語の有無を判定し、有る場合には(S610の“有”)、ステップS611に進み、無い場合には(S610の“無”)、ステップS612に進む。 In step S610, the recommended information selection unit 25 determines whether or not there is a word in the evaluation table of recommended information shown in FIG. "Yes"), the process proceeds to step S611, and if not ("No" in S610), the process proceeds to step S612.

ステップS611で、推奨情報選択部25は、図3のステップS325に対応し、図7の推奨情報の評価テーブルにおいて、評価点列73の評価点の値が所定の閾値以上の単語を推奨情報として、自動運転車両1の推奨情報表示部11にレコメンド情報(推奨情報)の通知を行う。複数の単語の評価点が閾値以上となった場合には、それぞれの単語を推奨情報とする。 In step S611, corresponding to step S325 in FIG. 3, the recommended information selection unit 25 selects words whose evaluation point values in the evaluation point sequence 73 are equal to or greater than a predetermined threshold in the recommended information evaluation table in FIG. 7 as recommended information. , the recommended information display unit 11 of the automatic driving vehicle 1 is notified of the recommended information (recommended information). When the evaluation points of multiple words are equal to or higher than the threshold, each word is treated as recommended information.

ステップS612で、レコメンドサーバー2のチャット制御部26は、自動運転車両1とメンバ端末3とのチャットが継続中であるか否かを判定し、チャット継続中であればステップS62からステップS611までの処理を繰り返す。チャット終了であれば、ステップS613に進む。 In step S612, the chat control unit 26 of the recommendation server 2 determines whether or not the chat between the automatic driving vehicle 1 and the member terminal 3 is ongoing. Repeat process. If the chat ends, the process proceeds to step S613.

ステップS613で、推奨情報選択部25は、図3のステップS328に対応し、評価点列73の評価値が最大の単語を推奨情報として、自動運転車両1の推奨情報表示部11にレコメンド情報(推奨情報)の通知を行う。
具体的には、推奨情報選択部25は、図7の推奨情報の評価テーブルにおいて、評価点列73の評価値が最大の“カーカフェ”を推奨情報とする。
In step S613, the recommended information selection unit 25 displays the recommendation information ( recommended information).
Specifically, the recommended information selection unit 25 selects “car cafe” having the highest evaluation value in the evaluation point sequence 73 in the recommended information evaluation table of FIG. 7 as the recommended information.

上記では、感情推定部24は、感情辞書を参照して、ストリーム情報の感情分析することを説明したが、ストリーム情報をデコードしたテキスト列を、教師あり機械学習モデルにより、感情推定してもよい。
さらに、ストリーム情報を直接、ディープラーニング等のAI(Artificial Intelligence:人工知能)により感情分析してもよい。
In the above description, the emotion estimating unit 24 refers to the emotion dictionary and analyzes the emotion of the stream information. However, the text string obtained by decoding the stream information may be subjected to emotion estimation using a supervised machine learning model. .
Furthermore, stream information may be subjected to emotion analysis directly by AI (Artificial Intelligence) such as deep learning.

つぎに、図8により、自動運転車両1の推奨情報表示部11における経過情報としてのレコメンド情報の表示について詳細に説明する。
ステップS81で、推奨情報表示部11は、レコメンドサーバー2の推奨情報選択部25から、推奨情報の評価の経過情報をレコメンド情報として取得する。
この経過情報は、少なくとも一組の推奨情報に関連する単語とその評価点から成る。
Next, the display of recommended information as progress information in the recommended information display unit 11 of the automatically driven vehicle 1 will be described in detail with reference to FIG. 8 .
In step S<b>81 , the recommended information display unit 11 acquires evaluation progress information of recommended information from the recommended information selection unit 25 of the recommendation server 2 as recommendation information.
This progress information consists of words and their scores associated with at least one set of recommended information.

ステップS82で、推奨情報表示部11は、自動運転車両1の車外カメラ(不図示)により車両の前方画像を取得する。
そして、ステップS83で、推奨情報表示部11は、車両の前方画像に基づいて、3D市街地図画像111(図11A参照)を生成し、インフォメーションパネル51(ディスプレイ部10)に表示する。この3D市街地図画像111は、例えば、車両の前方画像から建物形状を抽出し、壁面をレンダリングして生成する。
In step S<b>82 , the recommended information display unit 11 acquires an image in front of the vehicle using an exterior camera (not shown) of the automatically driven vehicle 1 .
Then, in step S83, the recommended information display unit 11 generates a 3D city map image 111 (see FIG. 11A) based on the front image of the vehicle, and displays it on the information panel 51 (display unit 10). This 3D city map image 111 is generated by, for example, extracting building shapes from the front image of the vehicle and rendering the wall surfaces.

また、推奨情報表示部11は、ステップS82とステップS83に替えて、自動運転車両1の現在位置情報に基づいて、ナビゲーション部13により地図情報131の市街地図情報を取得して、3D市街地図画像111としてもよい。 Further, instead of steps S82 and S83, the recommended information display unit 11 acquires the city map information of the map information 131 by the navigation unit 13 based on the current position information of the autonomous vehicle 1, and displays the 3D city map image. 111 may be used.

ステップS84で、推奨情報表示部11は、レコメンド情報として取得した経過情報の単語ごとに、ステップS85とステップS86とを経過情報の単語の個数分繰り返す。 In step S84, the recommended information display unit 11 repeats steps S85 and S86 by the number of words in the progress information for each word in the progress information acquired as recommendation information.

ステップS85で、推奨情報表示部11は、推奨情報に関連する単語を表示し、ディスプレイ部10において単語の評価値に比例する表示面積を有するバルーン画像(円画像)を生成する。
そして、ステップS86で、推奨情報表示部11は、インフォメーションパネル51に表示した3D市街地図画像に、バルーン画像をオーバーレイ表示する。
なお、バルーン画像は、推奨情報に関連する単語に替えて、推奨情報に関連する単語に対応する画像を表示するようにしてもよい。
In step S85, the recommended information display unit 11 displays words related to the recommended information, and generates a balloon image (circular image) having a display area proportional to the evaluation value of the word on the display unit 10. FIG.
Then, in step S86, the recommended information display unit 11 overlay-displays the balloon image on the 3D city map image displayed on the information panel 51. FIG.
Note that the balloon image may be an image corresponding to a word related to the recommended information instead of the word related to the recommended information.

ステップS87で、推奨情報表示部11は、経過情報の単語の個数分のバルーン画像の表示を繰り返したら、推奨情報の評価の経過情報としてのレコメンド情報の表示を終了する。 In step S87, after repeatedly displaying the balloon images for the number of words in the progress information, the recommended information display unit 11 ends the display of the recommendation information as the progress information of the evaluation of the recommendation information.

図11Aは、インフォメーションパネル51に表示するレコメンド情報のひとつである推奨情報の評価における経過情報の表示の一例を示す図である。
経過情報の単語ごとのバルーン画像113a、113b、113c、113d、113eが、3D市街地図画像111にオーバーレイ表示される。
バルーン画像113aは、その表示面積が他のバルーン画像(113b~113e)より大きくなっているので、推奨情報の評価が高いことが判る。
FIG. 11A is a diagram showing an example of display of progress information in evaluation of recommended information, which is one type of recommendation information displayed on the information panel 51. FIG.
Balloon images 113 a , 113 b , 113 c , 113 d and 113 e for each word of progress information are overlaid on the 3D city map image 111 .
Since the balloon image 113a has a larger display area than the other balloon images (113b to 113e), it can be seen that the evaluation of the recommended information is high.

つぎに、図9により、自動運転車両1の推奨情報表示部11における推奨情報としてのレコメンド情報の表示について詳細に説明する。
ステップS91で、推奨情報表示部11は、レコメンドサーバー2の推奨情報選択部25から、目的地候補を示す推奨情報をレコメンド情報として取得する。
この推奨情報は、少なくとも一つの推奨情報に対応する単語から成る。
Next, display of recommended information as recommended information in the recommended information display unit 11 of the automatic driving vehicle 1 will be described in detail with reference to FIG. 9 .
In step S<b>91 , the recommended information display unit 11 acquires recommended information indicating destination candidates as recommended information from the recommended information selection unit 25 of the recommendation server 2 .
This recommended information consists of words corresponding to at least one recommended information.

ステップS92で、推奨情報表示部11は、レコメンド情報として取得した推奨情報の単語ごとに、ステップS93を単語の個数分繰り返す。 In step S92, the recommended information display unit 11 repeats step S93 by the number of words for each word of the recommended information acquired as recommendation information.

ステップS93で、推奨情報表示部11は、推奨情報の単語に対応する名称・住所情報・表示画像を取得し、推奨データとする。
この推奨情報の単語に対応する名称・住所情報・表示画像を取得は、ナビゲーション部13により、推奨情報の単語をキーに地図情報131を検索して名称・住所情報・表示画像を取得する。また、レコメンドサーバー2を介して、推奨情報の単語をキーにインターネット検索して取得してもよい。
In step S93, the recommended information display unit 11 acquires the name/address information/display image corresponding to the words of the recommended information, and uses them as recommended data.
To acquire the name/address information/display image corresponding to the word of the recommended information, the navigation unit 13 searches the map information 131 using the word of the recommended information as a key to acquire the name/address information/display image. Alternatively, it may be obtained by searching the Internet through the recommendation server 2 using the word of the recommended information as a key.

図10は、推奨情報の単語に対応する推奨データの構成を示す図である。
推奨データは、推奨情報の単語ごとの、単語に対応する複数組の名称・住所・画像の情報から構成される。
名称は、店舗名や施設名等を示す文字列情報であり、住所はその所在地を示す文字列情報であり、画像は、店舗や施設のイメージを示す画像データの情報である。
FIG. 10 is a diagram showing the configuration of recommendation data corresponding to words of recommendation information.
The recommendation data is composed of a plurality of sets of name/address/image information corresponding to each word of the recommendation information.
The name is character string information indicating a store name, facility name, etc., the address is character string information indicating its location, and the image is image data information indicating an image of the store or facility.

図9にもどり、ステップS94で、推奨情報表示部11は、レコメンド情報として取得した推奨情報の単語の個数分繰り返したら、ステップS95に進む。 Returning to FIG. 9, in step S94, the recommended information display unit 11 repeats the number of words in the recommended information acquired as the recommended information, and then proceeds to step S95.

ステップS95で、推奨情報表示部11は、目的地の候補であるすべての推奨データの住所情報に示される地点を含む地図情報を、地図情報131から取得する。 In step S<b>95 , the recommended information display unit 11 acquires from the map information 131 the map information including the points indicated by the address information of all the recommended data that are destination candidates.

ステップS96で、推奨情報表示部11は、自動運転車両1の車外カメラ(不図示)により車両の前方画像112(図11B参照)を取得し、インフォメーションパネル51(ディスプレイ部10)に表示する。 In step S96, the recommended information display unit 11 acquires the front image 112 (see FIG. 11B) of the vehicle by the outside camera (not shown) of the automatic driving vehicle 1, and displays it on the information panel 51 (display unit 10).

ステップS97で、推奨情報表示部11は、レコメンド情報として取得した推奨情報の単語ごとに、ステップS98とステップS99を単語の個数分繰り返す。 In step S97, the recommended information display unit 11 repeats steps S98 and S99 for each word of the recommended information acquired as recommendation information.

ステップS98で、推奨情報表示部11は、ステップS95で取得した地図情報に基づいて、ステップS96で取得した前方画像において推奨データの住所に対応する位置にピン立て(マーク)する。 In step S98, the recommended information display unit 11 pins (marks) the position corresponding to the address of the recommended data in the front image obtained in step S96 based on the map information obtained in step S95.

ステップS99で、推奨情報表示部11は、ピン立て(マーク)から引き出し線を描いて、前方画像上に、推奨情報に関連するイメージを示す画像データを引き出し表示する。 In step S99, the recommended information display unit 11 draws a lead line from the pin stand (mark) and draws and displays image data showing an image related to the recommended information on the front image.

ステップS910で、推奨情報表示部11は、推奨情報の単語の個数分の推奨情報の画像データの表示を繰り返したら、推奨情報のレコメンド情報の表示を終了する。 In step S910, after repeating the display of the image data of the recommended information for the number of words of the recommended information, the recommended information display unit 11 terminates the display of the recommended information.

図11Bは、インフォメーションパネル51に表示するレコメンドのひとつである推奨情報の表示の一例を示す図である。
推奨情報の単語に対応する表示画像114a、114bが、車両の前方画像112にオーバーレイ表示される。
推奨情報の所在位置がピン立て(マーク)されているので、目的地候補として容易に把握することができる。
FIG. 11B is a diagram showing an example of display of recommended information, which is one of the recommendations displayed on the information panel 51. As shown in FIG.
Display images 114a and 114b corresponding to the words of the recommended information are overlaid on the front image 112 of the vehicle.
Since the location of the recommended information is pinned (marked), it can be easily grasped as a destination candidate.

1 自動運転車両
10 ディスプレイ部
13 ナビゲーション部
131 地図情報
11 推奨情報表示部
15 チャット情報取得部
16 乗員識別部
12 TCU
14 音声入出力部
17 運転制御部
171 センサ部
1711 車室内カメラ
172 車両操舵・駆動部
18 チャット動作部
3 メンバ端末
4 SNSサーバー
2 レコメンドサーバー
21 通信回線中継部
22 音声取得部
23 言語認識部
24 感情推定部
25 推奨情報選択部
27 候補単語記憶部
26 チャット制御部
1 Automated Driving Vehicle 10 Display Unit 13 Navigation Unit 131 Map Information 11 Recommended Information Display Unit 15 Chat Information Acquisition Unit 16 Passenger Identification Unit 12 TCU
14 voice input/output unit 17 operation control unit 171 sensor unit 1711 vehicle interior camera 172 vehicle steering/driving unit 18 chat operation unit 3 member terminal 4 SNS server 2 recommendation server 21 communication line relay unit 22 voice acquisition unit 23 language recognition unit 24 emotion Estimation unit 25 Recommended information selection unit 27 Candidate word storage unit 26 Chat control unit

Claims (6)

車両の乗員と車外における他者との会話音声を取得する音声取得部と、
前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識部と、
前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定部と、
前記言語認識部で認識した単語を、前記感情推定部で推定した乗員の感情に応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める推奨情報選択部と、
前記推奨情報選択部で求めた推奨情報を乗員に表示する推奨情報表示部と、を備え、
前記言語認識部で認識した単語について、ストリーム情報毎の前記感情推定部で推定した乗員の感情の評点と前記評点の合算値とを記憶する評価テーブルを有し、
前記推奨情報選択部は、
前記言語認識部で前記他者から前記乗員への会話音声から認識した単語のみを、前記乗員から前記他者への会話音声に基づいて前記感情推定部で推定した乗員の感情のみに応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求めるとともに、
所定数のストリーム情報に基づいて推奨情報の評価を行った際に、前記評価テーブルのストリーム情報毎の乗員の感情の評点を削除する
ことを特徴とするレコメンドシステム。
a voice acquisition unit that acquires a conversation voice between a vehicle occupant and another person outside the vehicle;
a language recognition unit that extracts predetermined words from the conversational voice and recognizes the meaning of the extracted words;
an emotion estimating unit for estimating the emotion of the occupant from the intonation of the conversation voice or the meaning of the extracted words;
a recommended information selection unit that evaluates the words recognized by the language recognition unit according to the emotion of the occupant estimated by the emotion estimation unit, and obtains recommended information for the occupant based on the evaluation of the word;
a recommended information display unit that displays the recommended information obtained by the recommended information selection unit to the occupant,
an evaluation table for storing a score of the emotion of the occupant estimated by the emotion estimation unit for each stream information and a sum of the scores for words recognized by the language recognition unit;
The recommended information selection unit
Only the words recognized from the conversational voice of the other person to the occupant by the language recognition unit are evaluated according to only the emotion of the occupant estimated by the emotion estimation unit based on the conversational voice of the occupant to the other person. and obtaining recommended information for the occupant based on the evaluation of the word ,
When the recommended information is evaluated based on a predetermined number of stream information, the score of the occupant's emotion for each stream information in the evaluation table is deleted.
A recommendation system characterized by:
前記推奨情報表示部は、前記推奨情報に対応する画像を、評価値に応じて表示部上での表示面積を比例させて表示することを特徴とする請求項1に記載のレコメンドシステム。 2. The recommendation system according to claim 1, wherein the recommended information display unit displays the image corresponding to the recommended information in proportion to the display area on the display unit according to the evaluation value. 前記車両のナビゲーション部を備え、
前記推奨情報選択部は、前記単語を前記ナビゲーション部における目的地候補の関連キーワードとして、前記単語の評価に基づいて目的地を推奨することを特徴とする請求項1あるいは請求項2に記載のレコメンドシステム。
comprising a navigation unit of the vehicle;
3. The recommendation according to claim 1, wherein the recommended information selection unit recommends the destination based on the evaluation of the word, using the word as a related keyword of the destination candidate in the navigation unit. system.
前記ナビゲーション部は、地図情報を有し、
前記推奨情報表示部は、前記地図情報を表示するとともに、表示した前記地図情報上に前記単語に関連する施設を表示することを特徴とする請求項3に記載のレコメンドシステム。
The navigation unit has map information,
4. The recommendation system according to claim 3, wherein the recommended information display unit displays the map information and displays facilities related to the word on the displayed map information.
レコメンドシステムのプロセッサを、
車両の乗員と車外における他者との会話音声を取得する音声取得部と、
前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識部と、
前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定部と、
前記言語認識部で前記他者から前記乗員への会話音声から認識した単語のみを、前記乗員から前記他者への会話音声に基づいて前記感情推定部で推定した乗員の感情のみに応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求めるとともに、所定数のストリーム情報に基づいて推奨情報の評価を行った際に、前記言語認識部で認識した単語について、ストリーム情報毎の前記感情推定部で推定した乗員の感情の評点と前記評点の合算値とを記憶する評価テーブルのストリーム情報毎の乗員の感情の評点を削除する推奨情報選択部と、
前記推奨情報選択部で求めた推奨情報を乗員に表示する推奨情報表示部と、として機能させるプログラム。
The recommender system processor
a voice acquisition unit that acquires a conversation voice between a vehicle occupant and another person outside the vehicle;
a language recognition unit that extracts predetermined words from the conversational voice and recognizes the meaning of the extracted words;
an emotion estimating unit for estimating the emotion of the occupant from the intonation of the conversation voice or the meaning of the extracted words;
Only the words recognized from the conversational voice of the other person to the occupant by the language recognition unit are evaluated according to only the emotion of the occupant estimated by the emotion estimation unit based on the conversational voice of the occupant to the other person. Then, recommended information for passengers is obtained based on the evaluation of the words, and when the recommended information is evaluated based on a predetermined number of stream information, the words recognized by the language recognition unit are evaluated for each stream information. a recommended information selection unit that deletes the occupant's emotion score for each stream information from an evaluation table that stores the occupant's emotion score estimated by the emotion estimating unit and the sum of the scores;
and a recommended information display unit for displaying the recommended information obtained by the recommended information selection unit to a passenger.
車両の乗員と車外における他者との会話音声を取得する音声取得ステップと、
前記会話音声から所定の単語を抽出するとともに、抽出した単語の意味を認識する言語認識ステップと、
前記会話音声の抑揚もしくは前記抽出した単語の意味より乗員の感情を推定する感情推定ステップと、
前記言語認識ステップで前記他者から前記乗員への会話音声から認識した単語のみを、前記乗員から前記他者への会話音声に基づいて前記感情推定ステップで推定した乗員の感情のみに応じて評価し、前記単語の評価に基づいて乗員への推奨情報を求める推奨情報選択ステップと、
所定数のストリーム情報に基づいて推奨情報の評価を行った際に、前記言語認識ステップで認識した単語について、ストリーム情報毎の前記感情推定ステップで推定した乗員の感情の評点と前記評点の合算値とを記憶する評価テーブルのストリーム情報毎の乗員の感情の評点を削除するステップと、
前記推奨情報選択ステップで求めた推奨情報を乗員に表示する推奨情報表示ステップと、を有するレコメンド方法。
a voice acquisition step of acquiring conversational voices between the occupants of the vehicle and others outside the vehicle;
a language recognition step of extracting predetermined words from the conversational voice and recognizing the meaning of the extracted words;
an emotion estimation step of estimating the emotions of the occupant from the intonation of the conversation voice or the meaning of the extracted words;
In the language recognition step, only the words recognized from the conversational voice of the other person to the passenger are evaluated based on the conversational voice of the passenger to the other person only according to the emotion of the passenger estimated in the emotion estimation step. and a recommended information selection step of obtaining recommended information for the occupant based on the evaluation of the word;
When the recommended information is evaluated based on a predetermined number of pieces of stream information, the score of the occupant's emotion estimated in the emotion estimation step for each stream information and the sum of the scores for the word recognized in the language recognition step deleting the rating of the occupant's emotion for each stream information in a rating table that stores
and a recommended information display step of displaying the recommended information obtained in the recommended information selection step to the passenger.
JP2019239783A 2019-12-27 2019-12-27 Recommendation system, recommendation method and program Active JP7264804B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019239783A JP7264804B2 (en) 2019-12-27 2019-12-27 Recommendation system, recommendation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019239783A JP7264804B2 (en) 2019-12-27 2019-12-27 Recommendation system, recommendation method and program

Publications (2)

Publication Number Publication Date
JP2021108072A JP2021108072A (en) 2021-07-29
JP7264804B2 true JP7264804B2 (en) 2023-04-25

Family

ID=76968226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019239783A Active JP7264804B2 (en) 2019-12-27 2019-12-27 Recommendation system, recommendation method and program

Country Status (1)

Country Link
JP (1) JP7264804B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086880A (en) 2005-09-20 2007-04-05 Denso Corp Information-providing device for vehicle
JP2008256659A (en) 2007-04-09 2008-10-23 Toyota Motor Corp Navigation system for vehicle
JP2009294790A (en) 2008-06-03 2009-12-17 Denso Corp System for providing information for vehicle
JP2012207940A (en) 2011-03-29 2012-10-25 Denso Corp On-vehicle information presentation apparatus
US20160273931A1 (en) 2015-03-20 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Input Of Navigational Target Data Into A Navigation System
JP2017049427A (en) 2015-09-01 2017-03-09 カシオ計算機株式会社 Dialogue control apparatus, dialogue control method, and program
JP2018101197A (en) 2016-12-19 2018-06-28 シャープ株式会社 Server, information processing method, network system, and terminal
JP2018106530A (en) 2016-12-27 2018-07-05 本田技研工業株式会社 Driving support apparatus and driving support method
US20190130243A1 (en) 2017-10-27 2019-05-02 International Business Machines Corporation Cognitive commuter assistant

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086880A (en) 2005-09-20 2007-04-05 Denso Corp Information-providing device for vehicle
JP2008256659A (en) 2007-04-09 2008-10-23 Toyota Motor Corp Navigation system for vehicle
JP2009294790A (en) 2008-06-03 2009-12-17 Denso Corp System for providing information for vehicle
JP2012207940A (en) 2011-03-29 2012-10-25 Denso Corp On-vehicle information presentation apparatus
US20160273931A1 (en) 2015-03-20 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Input Of Navigational Target Data Into A Navigation System
JP2017049427A (en) 2015-09-01 2017-03-09 カシオ計算機株式会社 Dialogue control apparatus, dialogue control method, and program
JP2018101197A (en) 2016-12-19 2018-06-28 シャープ株式会社 Server, information processing method, network system, and terminal
JP2018106530A (en) 2016-12-27 2018-07-05 本田技研工業株式会社 Driving support apparatus and driving support method
US20190130243A1 (en) 2017-10-27 2019-05-02 International Business Machines Corporation Cognitive commuter assistant

Also Published As

Publication number Publication date
JP2021108072A (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US10222226B2 (en) Navigation systems and associated methods
JP7091807B2 (en) Information provision system and information provision method
CN108346430A (en) Conversational system, the vehicle with conversational system and dialog process method
US20180204573A1 (en) Dialog device and dialog method
JP6903380B2 (en) Information presentation device, information presentation system, terminal device
US20180025283A1 (en) Information processing apparatus, information processing method, and program
CN108932290B (en) Location proposal device and location proposal method
CN111189463A (en) Information processing apparatus and information processing program
US20220365991A1 (en) Method and apparatus for enhancing a geolocation database
US11709065B2 (en) Information providing device, information providing method, and storage medium
CN111746435B (en) Information providing apparatus, information providing method, and storage medium
JP7264804B2 (en) Recommendation system, recommendation method and program
CN111861666A (en) Vehicle information interaction method and device
CN110285824B (en) Information providing apparatus and control method thereof
JP7080079B2 (en) Information providing device and its control method
JP2019190940A (en) Information processor
CN111754288A (en) Server device, information providing system, information providing method, and storage medium
CN113034958B (en) Route selection method and device
JP7310547B2 (en) Information processing device and information processing method
JP7351836B2 (en) Information gathering device and control method
JP2022103553A (en) Information providing device, information providing method, and program
JP2022030591A (en) Edition device, edition method, and program
JP2022103504A (en) Information processor, information processing method, and program
JP2023044890A (en) Matching system and matching method
CN116701581A (en) Active dialogue triggering method, device, equipment, vehicle and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230413

R150 Certificate of patent or registration of utility model

Ref document number: 7264804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150