JP6604151B2 - Speech recognition control system - Google Patents
Speech recognition control system Download PDFInfo
- Publication number
- JP6604151B2 JP6604151B2 JP2015219116A JP2015219116A JP6604151B2 JP 6604151 B2 JP6604151 B2 JP 6604151B2 JP 2015219116 A JP2015219116 A JP 2015219116A JP 2015219116 A JP2015219116 A JP 2015219116A JP 6604151 B2 JP6604151 B2 JP 6604151B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- utterance
- facility
- voice
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、車両乗員の音声で車載装置を制御する音声認識制御システムに関する。 The present invention relates to a voice recognition control system for controlling an in-vehicle device with a voice of a vehicle occupant.
従来、車両の運転手が発する音声や視線を入力操作として、様々な情報を運転手に提供する情報案内装置が提案されている。例えば、運転手が音声で「あの山は何?」と発話すると、運転手の視線の先にある山の名称を答える装置が知られている(特許文献1参照)。また、運転手が「あの店のおすすめは?」と発話したときに、カーナビゲーションシステムの地図データを用いて運転手の視線の先にある施設を検索し、その施設の案内文を出力する技術も知られている(特許文献2参照)。音声入力と視線入力とを併用することで、運転者の集中力を低下させることなく所望の情報を提供することが可能となる。 2. Description of the Related Art Conventionally, there has been proposed an information guide device that provides various information to a driver by using a voice or line of sight emitted by the driver of the vehicle as an input operation. For example, an apparatus is known that answers the name of a mountain ahead of the driver's line of sight when the driver utters “What is that mountain?” By voice (see Patent Document 1). Also, when the driver speaks “What is the recommendation for that store?”, A technology that searches the facility ahead of the driver's line of sight using the map data of the car navigation system and outputs a guidance text for the facility Is also known (see Patent Document 2). By using voice input and line-of-sight input together, it is possible to provide desired information without reducing the driver's concentration.
しかしながら、乗員が必要とする情報の種類は、乗員毎に相違する場合がある。例えば、車両の目的地が大型商業施設である場合に、運転者はその施設内に設けられている駐車場の位置や駐車スペースの広さ,高さ制限,駐車料金などの情報が知りたいことがある。これに対し、運転者以外の同乗者にとっては駐車場関連の情報が不要とされ、施設内の店舗情報や営業時間情報を知りたがる場合がある。既存の技術では、乗員に提供される情報の適切さの度合いが十分に評価されていないため、改良の余地がある。 However, the type of information required by the occupant may differ for each occupant. For example, when the destination of the vehicle is a large commercial facility, the driver wants to know information such as the location of the parking lot, the size of the parking space, the height limit, and the parking fee. There is. On the other hand, passengers other than the driver do not need information related to the parking lot, and may want to know store information and business hours information in the facility. The existing technology has room for improvement because the degree of appropriateness of information provided to passengers is not fully evaluated.
本件の目的の一つは、上記のような課題に鑑みて創案されたものであり、乗員に適切な情報を提供できるようにして利便性を向上させた音声認識制御システムを提供することである。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用効果であって、従来の技術では得られない作用効果を奏することも、本件の他の目的として位置付けることができる。 One of the purposes of this case is to provide a voice recognition control system that has been developed in view of the above-described problems and has improved convenience by providing appropriate information to passengers. . It should be noted that the present invention is not limited to this purpose, and is an operational effect that is derived from each configuration shown in “Mode for Carrying Out the Invention” to be described later. Can be positioned as a purpose.
(1)ここで開示する音声認識制御システムは、車両乗員の音声を入力信号として車載装置を制御する音声認識制御システムである。本システムは、少なくとも前記音声に基づき、発話位置及び発話内容を認識する音声認識部と、室内カメラで撮影された車室内の画像に基づき、前記発話位置の人物のジェスチャを検出するジェスチャ検出部とを備える。また、前記ジェスチャで指定される施設に関する複数の情報を記憶するデータベースを備える。さらに、前記発話内容と前記発話位置とに基づき、前記複数の情報の一部を選択して出力する制御部を備える。 (1) The voice recognition control system disclosed here is a voice recognition control system that controls an in-vehicle device using a voice of a vehicle occupant as an input signal. The system includes a speech recognition unit that recognizes an utterance position and utterance content based on at least the voice, a gesture detection unit that detects a gesture of a person at the utterance position based on an image of a vehicle interior captured by an indoor camera, Is provided. In addition, a database for storing a plurality of information related to the facility designated by the gesture is provided. Furthermore, a control unit is provided that selects and outputs a part of the plurality of information based on the utterance content and the utterance position.
(2)前記制御部は、前記発話位置が運転席である場合に前記施設の駐停車設備情報を出力することが好ましい。
(3)前記制御部は、前記発話位置が前記運転席以外である場合に前記施設の営業内容情報を出力することが好ましい。
(4)前記制御部が、前記音声が入力された時刻に応じた前記情報を出力することが好ましい。例えば、前記時刻が前記施設の営業時間外である場合に営業時間情報を出力することが好ましい。
(2) It is preferable that the control unit outputs parking / stopping facility information of the facility when the utterance position is a driver's seat.
(3) It is preferable that the said control part outputs the business content information of the said facility, when the said speech position is other than the said driver's seat.
(4) It is preferable that the said control part outputs the said information according to the time when the said audio | voice was input. For example, it is preferable to output business hours information when the time is outside the business hours of the facility.
なお、車速を検出する車速検出部を備えることが好ましい。例えば、前記車速検出部で検出された前記車速に応じて、前記制御部が前記複数の情報の一部を選択して出力することが好ましい。前記車速の情報は、前記複数の情報の一部を「出力」するための条件としてもよいし、前記複数の情報の一部を「選択」するための条件としてもよい。 In addition, it is preferable to provide the vehicle speed detection part which detects a vehicle speed. For example, it is preferable that the control unit selects and outputs some of the plurality of information according to the vehicle speed detected by the vehicle speed detection unit. The vehicle speed information may be a condition for “outputting” some of the plurality of information, or may be a condition for “selecting” some of the plurality of information.
発話内容だけでなく発話位置に見合った情報を提供することができ、利便性を向上させることができる。 Information corresponding to the utterance position as well as the utterance content can be provided, and convenience can be improved.
図面を参照して、実施形態としての音声認識制御システムについて説明する。なお、以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。 A speech recognition control system as an embodiment will be described with reference to the drawings. Note that the embodiment described below is merely an example, and there is no intention to exclude various modifications and technical applications that are not explicitly described in the following embodiment. Each configuration of the present embodiment can be implemented with various modifications without departing from the spirit thereof. Further, they can be selected as necessary, or can be appropriately combined.
[1.装置構成]
本実施形態の音声認識制御システムは、図1に示す車両10に適用される。車両10の車室内には運転席14,助手席15が設けられ、車室前方側にはインパネ(インストルメントパネル,ダッシュボード)が配置される。インパネの車室側に面した部分のうち、運転席14の前方にはステアリング装置や計器類が配置され、助手席15の前方にはグローブボックスが配置される。また、インパネの車幅方向中央には、カーナビ機能やオーディオビジュアル機能などのユーザーインターフェースを集約して提供するマルチコミュニケーション型のディスプレイ装置16が設けられる。ディスプレイ装置16の位置は、運転席14に座る運転手の視点では左斜め前方であり、助手席15に座る乗員(助手)の視点では右斜め前方である。
[1. Device configuration]
The voice recognition control system of this embodiment is applied to the
ディスプレイ装置16は、タッチパネルを備えた汎用の映像表示装置(表示画面)とスピーカ(音響装置)とCPU(Central Processing Unit),ROM(Read Only Memory),RAM(Random Access Memory)などを含む電子制御装置(コンピューター)とを備えた電子デバイスである。ディスプレイ装置16は、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13,マルチメディアシステムなどの車載装置に接続されて、各種車載装置の入出力装置として機能しうる。例えば、ナビゲーション装置11から提供される目的地までの経路情報や地図情報,渋滞情報などは、このディスプレイ装置16の表示画面に表示可能とされ、音声案内も出力可能とされる。また、このディスプレイ装置16の表示画面には、車載の地上デジタル放送チューナーで受信した番組や、情報記録メディアの映像コンテンツ,リアビューカメラで撮影された映像,エアコン装置12やカーオーディオ装置13の操作用インターフェースといった、多様な視聴覚情報が再生,表示可能である。
The
また、車両10には、乗員の音声を入力信号として各種車載装置を制御する音声認識制御装置1が搭載される。音声認識制御装置1は、CPU,MPU(Micro Processing Unit)などのプロセッサとROM,RAM,不揮発メモリなどを集積した電子デバイス(ECU,電子制御装置)である。ここでいうプロセッサとは、例えば制御ユニット(制御回路)や演算ユニット(演算回路),キャッシュメモリ(レジスタ)などを内蔵する処理装置(プロセッサ)である。また、ROM,RAM及び不揮発メモリは、プログラムや作業中のデータが格納されるメモリ装置である。音声認識制御装置1で実施される制御の内容は、ファームウェアやアプリケーションプログラムとしてROM,RAM,不揮発メモリ,リムーバブルメディア内に記録される。また、プログラムの実行時には、プログラムの内容がRAM内のメモリ空間内に展開され、プロセッサによって実行される。
In addition, the
図2に示すように、音声認識制御装置1の入力装置としては、マイクアレイ21,室内カメラ22,車速センサ23などが挙げられる。マイクアレイ21は、複数のマイクロフォンを所定の配列に並べた音声入力装置であり、室内カメラ22は車室内全体を撮影可能な広角ビデオカメラである。マイクアレイ21,室内カメラ22は、例えば車幅方向中央部の天井面に内蔵される。車速センサ23は、車輪の回転速度に応じたパルス信号を出力するセンサである。一方、音声認識制御装置1の出力装置(制御対象)としては、ナビゲーション装置11,エアコン装置12,カーオーディオ装置13,ディスプレイ装置16などが挙げられる。音声認識制御装置1は、マイクアレイ21から入力された音声と室内カメラ22で撮影された画像と車速センサ23で検出されたパルス情報とに基づいて、各種車載装置を制御する。
As shown in FIG. 2, examples of the input device of the voice
[2.制御構成]
音声認識制御装置1は、乗員の音声及びジェスチャに基づき、ジェスチャで指定される施設に関する情報を提供する機能を持つ。ここでいう施設とは、車両10の外部に存在する建造物や構造物を意味し、例えば建物,設備,工場,公園,競技場,駅などを含み、好ましくはナビゲーション装置11に内蔵された地図情報中に記録されているPOI(Point Of Interest)を含む。例えば、マイクアレイ21から何らかの音声が入力されると、まずその音声が発せられた発話位置が認識されるとともに、発話内容が認識される。また、室内カメラ22で撮影された画像に基づき、発話位置の人物によってなされたジェスチャが検出され、そのジェスチャが表す施設(ジェスチャによって指定される施設)が検出される。ジェスチャの具体例としては、その施設を指で指し示す仕草やその施設を見つめる仕草(視線を向ける仕草)が挙げられる。そして、発話内容が「案内の要求」である場合には、施設に関する情報が乗員に提供される。このとき、乗員に提供される情報の種類は、発話位置に応じて設定される。
[2. Control configuration]
The voice
上記のような制御を実施するための要素として、音声認識制御装置1には、車速検出部2,音声認識部3,ジェスチャ検出部4,データベース5,制御部6が設けられる。これらは、音声認識制御装置1で実行されるプログラムの一部の機能を示すものであり、ソフトウェアで実現されるものとする。ただし、各機能の一部又は全部をハードウェア(電子制御回路)で実現してもよく、あるいはソフトウェアとハードウェアとを併用して実現してもよい。
車速検出部2は、車速センサ23が出力するパルス信号に基づき、車速を取得(検出,算出)するものである。ここで取得された車速の情報は、ジェスチャ検出部4及び制御部6に伝達される。
As elements for carrying out the control as described above, the voice
The vehicle
音声認識部3は、少なくともマイクアレイ21から入力された音声に基づき、発話位置及び発話内容を認識するものである。ここでは例えば、発話者が運転席14に着座している人物(運転手)であるのか、助手席15に着座している人物(助手)であるのか、それともこれら以外の乗員(後部座席の乗員)であるのかが判断される。発話者の位置は、マイクアレイ21で検知された複数の音声信号の大きさや遅れに基づいて特定可能である。あるいは、室内カメラ22で撮影された画像を解析し、画像中に存在する人物の口唇の動きと音声が検出されたタイミングとを比較することでも、発話位置を特定可能である。
The
発話内容は「案内の要求」,「制御の指令」,「その他」の三種類のいずれかに分類されて認識される。例えば、発話内容が『あれはなに?』『なんだっけ?』『説明して?』といった音声コマンドを含む場合には、その発話内容が「案内の要求」であると判断される。一方、発話内容が『オン』『オフ』『作動』『停止』といった音声コマンドを含む場合には、その発話内容が「制御の指令」であると判断される。また、発話内容が上記のいずれの音声コマンドを含まない場合には、その発話内容が「その他」に該当するものと判断される。音声認識の具体的手法は任意であり、公知の音声認識技術を採用することができる。例えば、音響モデルに基づいて音声に含まれる音素が解析された後に、言語モデルに基づいて音素の連なりからなる語や句が解析され、その意味内容が認識される。ここで認識された発話位置及び発話内容の情報は、ジェスチャ検出部4及び制御部6に伝達される。
The utterance content is classified and recognized as one of three types of “request for guidance”, “command for control”, and “other”. For example, the utterance content is “What is that? ""What was that? ""Explain? ”Is determined to be“ guidance request ”. On the other hand, if the utterance content includes voice commands such as “on”, “off”, “activate”, and “stop”, it is determined that the utterance content is a “control command”. If the utterance content does not include any of the above voice commands, it is determined that the utterance content corresponds to “other”. A specific method of speech recognition is arbitrary, and a known speech recognition technique can be employed. For example, after a phoneme included in speech is analyzed based on an acoustic model, a word or phrase consisting of a series of phonemes is analyzed based on a language model, and its semantic content is recognized. The information on the utterance position and the utterance content recognized here is transmitted to the
ジェスチャ検出部4は、室内カメラ22で撮影された画像に基づき、発話位置に存在する人物(すなわち発話者)によるジェスチャと、そのジェスチャによって指定される発話の対象とを検出するものである。「案内の要求」における発話の対象は、車両10の外部の施設である。また、「制御の指令」における発話の対象には、車両10に搭載された各種車載装置やその操作ボタン,インストルメントパネル上に表示されるインジケーター,ディスプレイ装置16上に表示されるアイコンなどが含まれる。
The
発話の対象は、音声認識部3で認識された発話位置から、ジェスチャによって示された方向に向かって仮想線を伸ばした先に配置されているものを推定することによって検出可能である。ジェスチャとして指さしの仕草を検出する場合、画像解析により手の位置を推定し、車室内における発話者の手の位置を基準として、指の方向に仮想線を伸ばすことで、対象を精度よく検出することができる。一方、ジェスチャとして視線を検出する場合、画像解析により顔の位置や向きを推定し、車室内における発話者の顔の位置を基準として、視線方向に仮想線を伸ばすことで、対象を精度よく検出することができる。ここで検出された対象の情報は、制御部6に伝達される。
The target of the utterance can be detected by estimating from the utterance position recognized by the
本実施形態のジェスチャ検出部4は、図3に示すように、発話内容が「案内の要求」であるときに、発話時点における車両10の位置を基準として、ジェスチャによって指し示された方向の先に存在する施設を特定する。ジェスチャによる施設の特定手法としては、公知の手法を採用することができる。例えば、発話時点における車両10の位置はナビゲーション装置11で特定可能であり、施設はナビゲーション装置11に内蔵された地図情報から特定可能である(特許文献1,2参照)。
As shown in FIG. 3, the
データベース5は、音声認識に関する総合的な各種データが記録,保存されたストレージ装置である。ここには、音声認識で用いられる音響モデルや言語モデルが記録,保存される。音響モデル及び言語モデルは、標準話者の音声に基づいてあらかじめ作成されたものである。なお、具体的な音響モデル,言語モデルについては、公知の技術(例えば、特開2002-189492号など)に基づいて作成することができる。 The database 5 is a storage device in which various general data relating to speech recognition are recorded and stored. Here, acoustic models and language models used in speech recognition are recorded and stored. The acoustic model and the language model are created in advance based on the voice of the standard speaker. Note that a specific acoustic model and language model can be created based on a known technique (for example, JP-A-2002-189492).
また、データベース5には、発話内容が「案内の要求」である場合に乗員に提供される情報の種類と、発話内容及び発話位置との関係が記録,保存される。本実施形態のデータベース5には、図4に示すように、発話の対象である施設,発話内容,発話位置の組み合わせと、その乗員に提供される情報の種類との関係が記録,保存される。図4には、例えば施設Aに対する案内の要求があったとき、発話位置が運転席14だったならば、施設Aの駐停車設備情報が提供されることが示されている。また、発話位置が助手席15だったならば、施設Aの営業内容情報が提供され、発話位置が他の座席だったならば、施設Aの一般情報が提供されることが示されている。
The database 5 records and stores the relationship between the type of information provided to the occupant when the utterance content is “guidance request”, and the utterance content and utterance position. In the database 5 of the present embodiment, as shown in FIG. 4, the relationship between the facility to be uttered, the utterance content, the utterance position combination, and the type of information provided to the passenger is recorded and stored. . FIG. 4 shows that, for example, when there is a request for guidance for the facility A, if the utterance position is the driver's
制御部6は、音声認識部3で認識された発話位置及び発話内容と、ジェスチャ検出部4で検出された発話の対象とに基づき、データベース5に記録,保存された関係を用いて各種車載装置を制御するものである。制御部6はおもに二つの機能を持つ。
第一の機能は、制御対象を音声で制御する機能(ハンズフリー制御機能)である。制御部6は、音声認識部3で認識された発話内容が「制御の指令」を意味する音声コマンドを含む場合に、発話の対象の作動状態を制御する。なお、ハンズフリー制御機能の具体的手法は任意であり、公知の手法を採用することができる。
Based on the utterance position and utterance content recognized by the
The first function is a function (hands-free control function) for controlling a controlled object by voice. The
第二の機能は、乗員が知りたい情報をディスプレイ装置16に出力する機能(案内機能)である。制御部6は、音声認識部3で認識された発話内容が「制御の指令」を意味する音声コマンドを含まず、かつ「案内の要求」を意味する音声コマンドを含む場合に、発話の対象である施設に関する情報を乗員に提供する。このとき、乗員に提供する情報は、施設に関する多数の情報の中から発話位置に応じて取捨選択される。なお、発話内容に「案内の要求」を意味する音声コマンドや「制御の指令」を意味する音声コマンドが含まれない場合には、発話の対象が制御されることなく、音声コマンドがキャンセル(取り消し)される。
The second function is a function (guidance function) for outputting information that the passenger wants to know to the
[3.フローチャート]
図5は、音声認識制御装置1で実施される制御内容を説明するためのフローチャート例である。まず、マイクアレイ21で検出された音声情報,室内カメラ22で撮影された画像情報,車速センサ23からのパルス情報が音声認識制御装置1に入力され(ステップA1)、音声が入力されたか否かが判定される(ステップA2)。ここで、何らかの音声が入力されていると、音声認識部3において、少なくともその音声に基づき、発話位置と発話内容とが認識される(ステップA3)。また、ジェスチャ検出部4では、室内カメラ22で撮影された画像に基づき、発話位置の人物のジェスチャが検出され(ステップA4)、そのジェスチャによって指定される発話の対象が特定される(ステップA5)。
[3. flowchart]
FIG. 5 is an example of a flowchart for explaining the control contents executed by the speech
制御部6では、音声認識部3で認識された発話内容が「制御の指令」を意味する音声コマンドを含むか否かが判定され(ステップA6)、この条件が成立する場合には、ジェスチャで指定された発話の対象(例えば、ナビゲーション装置11やエアコン装置12)の作動状態が制御される(ステップA7)。
The
また、ステップA6の条件が不成立の場合には、音声認識部3で認識された発話内容が「案内の要求」を意味する音声コマンドを含むか否かが判定される(ステップA8)。この条件が成立し、発話位置が運転席14だった場合には、運転手向けの駐停車施設情報が選択されて出力され、発話の対象(例えば、施設Aや施設B)に関する音声案内と映像案内とがディスプレイ装置16から提供される(ステップA9,A10)。一方、発話位置が助手席15だった場合には、助手向けの営業内容情報が選択されて出力される。また、発話位置が運転席14,助手席15のいずれでもなければ、施設の一般情報が選択されて出力される。なお、ステップA8の条件も不成立の場合には、発話の対象が制御されることなく、音声コマンドがキャンセルされる。
If the condition of step A6 is not satisfied, it is determined whether or not the utterance content recognized by the
[4.作用,効果]
(1)上記の音声認識制御装置1では、音声入力と視線入力とを併用した情報提供に際し、発話位置に応じて複数の情報の一部が選択的に出力される。このように、発話位置に応じて、乗員に提供される情報を選択することで、発話内容だけでなく発話位置に見合った情報を提供することができ、利便性を向上させることができる。
[4. Action, effect]
(1) In the voice
(2)例えば、運転席14に着座する運転手が施設Aについての案内の要求をした場合には、施設Aの駐停車設備情報が提供される。これにより、運転手は車両10を実際に施設Aの駐車場まで移動させる前に、駐車が可能であるか否かを確認することができる。また、駐車場の料金や営業時間を確認することができる。したがって、車両の駐停車操作に有益な情報を獲得することができ、利便性を向上させることができる。
(2) For example, when a driver seated in the driver's
(3)一方、助手席15に着座する助手が施設Aについての案内を要求した場合には、施設Aの営業内容情報が提供される。これにより、助手は実際に施設Aへと足を運ぶ前に、営業時間の情報やお得な情報を先取りすることができる。したがって、施設利用に有益な情報を獲得することができ、利便性を向上させることができる。
(3) On the other hand, when the assistant seated in the
[5.変形例]
上述の実施形態では、図4に示すように、発話内容と発話位置とに基づいて情報の種類が選択されているが、発話時刻も考慮して情報の種類を選択する構成としてもよい。例えば、発話時刻が施設の営業時間内である場合には施設の営業内容情報を提供し、発話時刻が施設の営業時間外である場合にはその営業時間情報のみを提供することが考えられる。このように、時間帯に応じて情報の種類を変更することで、乗員にとってより適切な情報を提供することができ、利便性をさらに向上させることができる。
[5. Modified example]
In the above-described embodiment, as shown in FIG. 4, the type of information is selected based on the utterance content and the utterance position. However, the type of information may be selected in consideration of the utterance time. For example, if the utterance time is within the business hours of the facility, the business content information of the facility may be provided, and if the utterance time is outside the business hours of the facility, only the business time information may be provided. Thus, by changing the type of information according to the time zone, more appropriate information can be provided for the occupant, and convenience can be further improved.
また、上述の実施形態では、音声の認識から制御対象の制御までに至るすべての過程が音声認識制御装置1で統括管理されているが、音声認識制御装置1の機能の一部又は全部を車両10の外部に移設することも考えられる。例えば、音声認識制御装置1をインターネット,携帯電話機の無線通信網,その他のデジタル無線通信網などのネットワークに接続可能とし、ネットワーク上のサーバに音声認識制御装置1の機能の一部又は全部を実装してもよい。これにより、データベース5の管理や更新が容易となり、音声認識精度やジェスチャ認識精度を向上させることができる。
Further, in the above-described embodiment, all processes from speech recognition to control of the control target are managed in an integrated manner by the speech
なお、上述の実施形態の制御において、案内機能の実施条件に車速の条件を追加してもよい。例えば、車速検出部2で検出された車速が所定車速以下(例えば、10km/h以下)であることを条件として、案内機能を実施することとしてもよい。これにより、車両10が中高速で走行している状態では案内機能の発動に制限をかけることができ、音声コマンドの誤認識やジェスチャの誤検出をより確実に防止することができる。
In the control of the above-described embodiment, a vehicle speed condition may be added to the guide function execution condition. For example, the guidance function may be performed on the condition that the vehicle speed detected by the vehicle
あるいは、車速に応じて、乗員に提供される情報の種類が選択されることとしてもよい。例えば、運転手が施設Aに対する案内の要求をしたときに、車速が所定の徐行車速以下(例えば、20km/h以下)である場合には、その運転者が施設Aに車両10を駐停車させようとしているものと判断し、駐停車設備情報を提供する。一方、車速が徐行車速を越えている場合には、駐停車の意図がないものと判断し、施設Aの営業内容情報を提供する。このように、車速に応じて情報の種類を選択,変更することで、車両10の走行状態に見合った情報を提供することができ、利便性を向上させることができる。
Alternatively, the type of information provided to the occupant may be selected according to the vehicle speed. For example, when the driver requests guidance to the facility A and the vehicle speed is equal to or less than a predetermined slow speed (for example, 20 km / h or less), the driver parks the
1 音声認識制御装置
2 車速検出部
3 音声認識部
4 ジェスチャ検出部
5 データベース
6 制御部
10 車両
11 ナビゲーション装置
12 エアコン装置
13 カーオーディオ装置
14 運転席
15 助手席
16 ディスプレイ装置
21 マイクアレイ
22 室内カメラ
23 車速センサ
DESCRIPTION OF
Claims (4)
少なくとも前記音声に基づき、発話位置及び発話内容を認識する音声認識部と、
室内カメラで撮影された車室内の画像に基づき、前記発話位置の人物のジェスチャを検出するジェスチャ検出部と、
前記ジェスチャで指定される施設に関する複数の情報を記憶するデータベースと、
前記発話内容と前記発話位置とに基づき、前記複数の情報の一部を選択して出力する制御部と、
を備えたことを特徴とする、音声認識制御システム。 In a voice recognition control system that controls an in-vehicle device using the voice of a vehicle occupant as an input signal,
A voice recognition unit for recognizing the utterance position and the utterance content based on at least the voice;
A gesture detection unit that detects a gesture of a person at the utterance position based on an image of a passenger compartment captured by an indoor camera;
A database for storing a plurality of pieces of information related to the facility designated by the gesture;
A control unit that selects and outputs a part of the plurality of information based on the utterance content and the utterance position;
A voice recognition control system comprising:
ことを特徴とする、請求項1記載の音声認識制御システム。 The voice recognition control system according to claim 1, wherein the control unit outputs parking / stopping facility information of the facility when the utterance position is a driver's seat.
ことを特徴とする、請求項1又は2記載の音声認識制御システム。 The voice recognition control system according to claim 1, wherein the control unit outputs business content information of the facility when the utterance position is other than the driver's seat.
ことを特徴とする、請求項1〜3のいずれか1項に記載の音声認識制御システム。 The said control part outputs the said information according to the time when the said audio | voice was input, The speech recognition control system of any one of Claims 1-3 characterized by the above-mentioned.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015219116A JP6604151B2 (en) | 2015-11-09 | 2015-11-09 | Speech recognition control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015219116A JP6604151B2 (en) | 2015-11-09 | 2015-11-09 | Speech recognition control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017090615A JP2017090615A (en) | 2017-05-25 |
JP6604151B2 true JP6604151B2 (en) | 2019-11-13 |
Family
ID=58768048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015219116A Active JP6604151B2 (en) | 2015-11-09 | 2015-11-09 | Speech recognition control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6604151B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220037187A (en) * | 2020-09-17 | 2022-03-24 | 주식회사 인텔로이드 | Voice recognition device for vehicle, method for handling vehicle problem situation using the same, and computer program |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019079085A (en) * | 2017-10-19 | 2019-05-23 | アイシン精機株式会社 | Drive supporting device |
US10817068B2 (en) | 2018-01-23 | 2020-10-27 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction |
US10706300B2 (en) | 2018-01-23 | 2020-07-07 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction |
US10853674B2 (en) | 2018-01-23 | 2020-12-01 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining a gaze target based on a virtual eye position |
CN109109857A (en) * | 2018-09-05 | 2019-01-01 | 深圳普思英察科技有限公司 | A kind of unmanned vendors' cart and its parking method and device |
JP2020052875A (en) * | 2018-09-28 | 2020-04-02 | 株式会社デンソー | Gesture input apparatus |
CN112109729B (en) * | 2019-06-19 | 2023-06-06 | 宝马股份公司 | Man-machine interaction method, device and system for vehicle-mounted system |
JP2021025884A (en) * | 2019-08-06 | 2021-02-22 | 清水建設株式会社 | Target guiding control device, target guiding control method, and program |
JPWO2021153413A1 (en) * | 2020-01-29 | 2021-08-05 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004206471A (en) * | 2002-12-25 | 2004-07-22 | Toyota Industries Corp | Information display system for vehicle |
JP4436717B2 (en) * | 2003-06-30 | 2010-03-24 | パナソニック株式会社 | Navigation device and navigation display method |
JP4556586B2 (en) * | 2004-09-22 | 2010-10-06 | トヨタ自動車株式会社 | Driving assistance device |
JP2007024866A (en) * | 2004-12-14 | 2007-02-01 | Fujitsu Ten Ltd | Display |
JP2007298592A (en) * | 2006-04-28 | 2007-11-15 | Fujitsu Ten Ltd | Speech processing apparatus |
JP2008020274A (en) * | 2006-07-12 | 2008-01-31 | Pioneer Electronic Corp | Display control device, display control method, display control program, and computer-readable recording medium |
-
2015
- 2015-11-09 JP JP2015219116A patent/JP6604151B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220037187A (en) * | 2020-09-17 | 2022-03-24 | 주식회사 인텔로이드 | Voice recognition device for vehicle, method for handling vehicle problem situation using the same, and computer program |
KR102491119B1 (en) | 2020-09-17 | 2023-01-25 | 주식회사 인텔로이드 | Voice recognition device for vehicle, method for handling vehicle problem situation using the same, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP2017090615A (en) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6604151B2 (en) | Speech recognition control system | |
WO2017081960A1 (en) | Voice recognition control system | |
JP2017090613A (en) | Voice recognition control system | |
US11176948B2 (en) | Agent device, agent presentation method, and storage medium | |
US10949886B2 (en) | System and method for providing content to a user based on a predicted route identified from audio or images | |
US10160413B2 (en) | Vehicle and control method thereof | |
JP2017090612A (en) | Voice recognition control system | |
CN113302664A (en) | Multimodal user interface for a vehicle | |
KR101736109B1 (en) | Speech recognition apparatus, vehicle having the same, and method for controlling thereof | |
JP2017090614A (en) | Voice recognition control system | |
US11450316B2 (en) | Agent device, agent presenting method, and storage medium | |
WO2019244239A1 (en) | Travel information processing device and processing method | |
JP2010156825A (en) | Voice output device | |
CN109976515B (en) | Information processing method, device, vehicle and computer readable storage medium | |
JP2020060861A (en) | Agent system, agent method, and program | |
WO2007145331A1 (en) | Camera control apparatus, camera control method, camera control program, and recording medium | |
JP2020144264A (en) | Agent device, control method of agent device, and program | |
JP2009098217A (en) | Speech recognition device, navigation device with speech recognition device, speech recognition method, speech recognition program and recording medium | |
JP2007057805A (en) | Information processing apparatus for vehicle | |
JP6717537B2 (en) | Operation restriction control device and operation restriction control method | |
JP2008003371A (en) | Speech recognizing device mounted inside vehicle and voice command registering method | |
WO2023062816A1 (en) | Content output device, content output method, program, and storage medium | |
JP2020060623A (en) | Agent system, agent method, and program | |
JP2009086132A (en) | Speech recognition device, navigation device provided with speech recognition device, electronic equipment provided with speech recognition device, speech recognition method, speech recognition program and recording medium | |
JP7407665B2 (en) | Audio output control device and audio output control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190930 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6604151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |