JP6896540B2 - In-vehicle system - Google Patents

In-vehicle system Download PDF

Info

Publication number
JP6896540B2
JP6896540B2 JP2017139276A JP2017139276A JP6896540B2 JP 6896540 B2 JP6896540 B2 JP 6896540B2 JP 2017139276 A JP2017139276 A JP 2017139276A JP 2017139276 A JP2017139276 A JP 2017139276A JP 6896540 B2 JP6896540 B2 JP 6896540B2
Authority
JP
Japan
Prior art keywords
voice
seat
user
vehicle system
user operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017139276A
Other languages
Japanese (ja)
Other versions
JP2019018729A (en
Inventor
信範 工藤
信範 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017139276A priority Critical patent/JP6896540B2/en
Publication of JP2019018729A publication Critical patent/JP2019018729A/en
Application granted granted Critical
Publication of JP6896540B2 publication Critical patent/JP6896540B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車載システムにおいて、ユーザの発話音声を処理する技術に関するものである。 The present invention relates to a technique for processing a user's spoken voice in an in-vehicle system.

車載システムにおいて、ユーザの発話音声を処理する技術としては、マイクロフォンで前席のユーザの発話音声をピックアップし、発話音声によるユーザ操作の音声入力を受け付ける処理と、前席のユーザの発話音声を後席側に配置したスピーカから出力することにより、前席のユーザの発話音声を後席のユーザに明瞭に伝達する処理とを行う技術が知られている(たとえば、特許文献1)。 In the in-vehicle system, as a technology for processing the user's uttered voice, a process of picking up the uttered voice of the user in the front seat with a microphone and accepting the voice input of the user operation by the uttered voice, and a process of receiving the voice input of the user in the front seat are performed later. There is known a technique of performing a process of clearly transmitting a voice spoken by a user in the front seat to a user in the rear seat by outputting the voice from a speaker arranged on the seat side (for example, Patent Document 1).

ここで、この技術では、マイクロフォンでピックアップした前席のユーザの発話音声が、ユーザ操作の音声入力用の発話音声であるかどうかを検出し、ユーザ操作の音声入力用の発話音声である場合には、当該発話音声の後席側に配置したスピーカからの出力を抑止している。 Here, in this technique, it is detected whether or not the utterance voice of the user in the front seat picked up by the microphone is the utterance voice for the voice input of the user operation, and when it is the utterance voice for the voice input of the user operation. Suppresses the output from the speaker arranged on the rear seat side of the spoken voice.

特開2000-56790号公報Japanese Unexamined Patent Publication No. 2000-56790

上述した、マイクロフォンでピックアップした前席のユーザの発話音声が、ユーザ操作の音声入力用の発話音声である場合に、当該発話音声の後席側に配置したスピーカからの出力を抑止する技術によれば、次のような問題が生じる。 According to the above-mentioned technique for suppressing the output from the speaker arranged on the rear seat side of the spoken voice when the spoken voice of the user in the front seat picked up by the microphone is the spoken voice for voice input of the user operation. For example, the following problems occur.

すなわち、前席のユーザの発話音声の後席側に配置したスピーカからの出力を停止しても、後席のユーザは前席のユーザの発話の有無自体は認識することができるので、後席のユーザが、前席のユーザがユーザ操作の音声入力用に発話した内容を、自身に対する発話と誤認して、前席のユーザに発話の内容を聞き返し、これに対して前席のユーザが返答するなどの、前後席双方のユーザにとって不要で煩雑、かつ、前席のユーザの音声入力を妨げる状況が生じてしまうことがある。 That is, even if the output from the speaker arranged on the rear seat side of the utterance voice of the front seat user is stopped, the rear seat user can recognize the presence or absence of the utterance of the front seat user. The user in the front seat mistakenly recognizes the content uttered by the user in the front seat for voice input of the user operation as the utterance to himself / herself, listens back to the user in the front seat, and the user in the front seat responds to the utterance. This may be unnecessary and complicated for both the front and rear seat users, and may interfere with the voice input of the front seat user.

また、後席のユーザが、なぜ、急に発話音声が明瞭に伝達されなくなってしまったのか分からず、故障を疑うなどの、車載システムに対する不審感を抱いてしまうこともある。
そこで、本発明は、ユーザの発話音声によるユーザ操作の音声入力を受け付ける処理と、ユーザの発話音声のスピーカからの出力による他のユーザへの発話音声の伝達を行う車載システムにおいて、ユーザ操作の音声入力用の発話音声を、他のユーザが自身への発話と誤認してしまうことを抑制することを課題とする。
In addition, the user in the rear seat may feel suspicious about the in-vehicle system, such as suspecting a failure, because he / she does not understand why the spoken voice is suddenly not clearly transmitted.
Therefore, the present invention relates to a user-operated voice in an in-vehicle system that accepts a user-operated voice input by a user's uttered voice and transmits the user-operated voice to another user by outputting the user's uttered voice from a speaker. An object of the present invention is to prevent other users from misidentifying the utterance voice for input as utterance to themselves.

ことを軽減することを課題とする。 The challenge is to reduce this.

前記課題達成のために、本発明は、前席の近くに配置されたスピーカである前席側スピーカと、前席より後方の席である後方席の近くに配置されたスピーカである後方席側スピーカとを備えた車載システムに、前席の近くに配置されたマイクロフォンである前席側マイクロフォンと、前記前席側マイクロフォンでピックアップした音声を前記後方席側スピーカに出力する音声伝達動作を行う音声伝達手段と、前記前席側マイクロフォンがピックアップした音声から、予め設定した1または複数の語彙を音声認識する音声認識手段と、前記音声認識手段が音声認識した語彙に対応するユーザ操作の音声入力を受け付け、音声入力を受け付けたユーザ操作に応じた処理を行う処理手段と、前記音声認識手段が前記語彙を音声認識したときに、前記後方席に向けて、音声入力が行われたことを通知するメッセージを出力する制御手段とを備えたものである。 In order to achieve the above object, the present invention presents the front seat side speaker, which is a speaker arranged near the front seat, and the rear seat side, which is a speaker arranged near the rear seat, which is a seat behind the front seat. In an in-vehicle system equipped with a speaker, a front-seat microphone, which is a microphone arranged near the front seat, and a voice that performs a voice transmission operation to output the voice picked up by the front-seat microphone to the rear-seat side speaker. The transmission means, the voice recognition means for recognizing one or a plurality of preset vocabularies from the voice picked up by the front-seat microphone, and the voice input of the user operation corresponding to the vocabulary recognized by the voice recognition means. A processing means that receives and performs processing according to the user operation that has received the voice input, and when the voice recognition means recognizes the vocabulary by voice, notifies the rear seat that the voice input has been performed. It is equipped with a control means for outputting a message.

このような車載システムによれば、前席のユーザがユーザ操作の音声入力を行った場合には、後席のユーザに前席でユーザ操作の音声入力が行われたことを伝えるメッセージが、後方席に向けて出力されるので、後方席のユーザが、前席のユーザがユーザ操作の音声入力のために発話した音声を、自身への発話と誤認してしまうことを抑制することができる。 According to such an in-vehicle system, when a user in the front seat performs a voice input of a user operation, a message informing the user in the rear seat that the voice input of the user operation is performed in the front seat is transmitted to the rear. Since the output is directed toward the seat, it is possible to prevent the user in the rear seat from mistaking the voice spoken by the user in the front seat for the voice input of the user operation as the speech to himself / herself.

また、本発明は、前記課題達成のために、前席の近くに配置されたスピーカである前席側スピーカと、前席より後方の席である後方席の近くに配置されたスピーカである後方席側スピーカとを備えた車載システムに、前席の近くに配置されたマイクロフォンである前席側マイクロフォンと、前記前席側マイクロフォンでピックアップした音声を前記後方席側スピーカに出力する音声伝達動作を行う音声伝達手段と、前記前席側マイクロフォンがピックアップした音声から、予め設定した1または複数の語彙を音声認識する音声認識手段と、前記音声認識手段が音声認識した語彙に対応するユーザ操作の音声入力を受け付け、音声入力を受け付けたユーザ操作に応じた処理を行う処理手段と、前記音声認識手段が前記語彙を音声認識したときに、前記音声伝達手段の前記音声伝達動作を停止し、前記後方席に向けて、音声入力が行われていることを表すメッセージ、または、音声入力が行われていることと前記音声伝達動作を停止したこととを表すメッセージを出力する制御手段とを備えたものである。 Further, in order to achieve the above object, the present invention is a front seat side speaker, which is a speaker arranged near the front seat, and a rear speaker, which is a speaker arranged near the rear seat, which is a seat behind the front seat. In an in-vehicle system equipped with a seat-side speaker, a front-seat microphone, which is a microphone arranged near the front seat, and a voice transmission operation for outputting the voice picked up by the front-seat-side microphone to the rear-seat-side speaker are performed. The voice transmission means to be performed, the voice recognition means for recognizing one or a plurality of preset vocabularies from the voice picked up by the front-seat microphone, and the voice of the user operation corresponding to the vocabulary recognized by the voice recognition means. A processing means that accepts input and performs processing according to a user operation that has received voice input, and when the voice recognition means recognizes the vocabulary by voice, the voice transmission operation of the voice transmission means is stopped, and the rearward A device provided with a control means for outputting a message indicating that voice input is being performed or a message indicating that voice input is being performed and the voice transmission operation has been stopped toward the seat. Is.

このような車載システムによれば、前席のユーザがユーザ操作の音声入力を開始したときに、後席のユーザに前席でユーザ操作の音声入力が行われていることを伝えるメッセージが、後方席に向けて出力されるので、後方席のユーザが、前席のユーザがユーザ操作の音声入力のために発話する音声を、自身への発話と誤認してしまうことを抑制することができる。また、前席側マイクロフォンでピックアップした音声を後方席側スピーカから出力する動作を停止するので、前席のユーザがユーザ操作の音声入力のために発話する他のユーザにとって意味のない音声を、後方席のユーザに伝達して煩わしい思いをさせてしまうことも抑止できる。 According to such an in-vehicle system, when the user in the front seat starts the voice input of the user operation, the message informing the user in the rear seat that the voice input of the user operation is being performed in the front seat is transmitted to the rear. Since the output is directed toward the seat, it is possible to prevent the user in the rear seat from mistaking the voice spoken by the user in the front seat for the voice input of the user operation as the speech to himself / herself. In addition, since the operation of outputting the voice picked up by the front-seat microphone from the rear-seat speaker is stopped, the voice that is meaningless to other users that the front-seat user speaks for the voice input of the user operation is rearranged. It is also possible to prevent annoying feelings by communicating to the user in the seat.

また、前記課題達成のために、本発明は、前席の近くに配置されたスピーカである前席側スピーカと、前席より後方の席である後方席の近くに配置されたスピーカである後方席側スピーカとを備えた車載システムに、前席の近くに配置されたマイクロフォンである前席側マイクロフォンと、前記前席側マイクロフォンでピックアップした音声を前記後方席側スピーカに出力する音声伝達動作を行う音声伝達手段と、前記前席側マイクロフォンがピックアップした音声から、予め設定した1または複数の語彙を音声認識する音声認識手段と、前記音声認識手段が音声認識した語彙に対応するユーザ操作の音声入力を受け付け、音声入力を受け付けたユーザ操作に応じた処理を行う処理手段と、制御手段とを設けたものである。ここで、前記処理手段は、音声入力を受け付けたユーザ操作が所定のユーザ操作であった場合に、当該ユーザ操作の音声入力に応答して、音声入力される一連のユーザ操作を受け付ける一連ユーザ操作受付処理を開始する。また、前記制御手段は、前記音声認識手段が前記語彙を音声認識したときに、前記処理手段が、当該音声認識した語彙に対応するユーザ操作の音声入力に応答して、音声入力される一連のユーザ操作を受け付ける一連ユーザ操作受付処理を開始した場合に、前記音声伝達手段の前記音声伝達動作を停止し、前記後方席に向けて、音声入力が行われていることを表すメッセージ、または、音声入力が行われていることと前記音声伝達動作を停止したこととを表すメッセージを出力する。 Further, in order to achieve the above-mentioned problems, the present invention presents a front seat side speaker, which is a speaker arranged near the front seat, and a rear speaker, which is a speaker arranged near the rear seat, which is a seat behind the front seat. In an in-vehicle system equipped with a seat-side speaker, a front-seat microphone, which is a microphone arranged near the front seat, and a voice transmission operation for outputting the voice picked up by the front-seat-side microphone to the rear-seat-side speaker are performed. The voice transmission means to be performed, the voice recognition means for recognizing one or a plurality of preset vocabularies from the voice picked up by the front-seat microphone, and the voice of the user operation corresponding to the vocabulary recognized by the voice recognition means. It is provided with a processing means for receiving an input and performing a process according to a user operation for receiving a voice input, and a control means. Here, the processing means receives a series of user operations that are voice-input in response to the voice input of the user operation when the user operation that receives the voice input is a predetermined user operation. Start the reception process. Further, the control means is a series of voice input in response to the voice input of the user operation corresponding to the voice-recognized vocabulary when the voice recognition means voice-recognizes the vocabulary. When a series of user operation acceptance processes for accepting user operations are started, the voice transmission operation of the voice transmission means is stopped, and a message or voice indicating that voice input is being performed toward the rear seat. A message indicating that the input is being performed and that the voice transmission operation has been stopped is output.

このような車載システムによれば、前席のユーザがユーザ操作の音声入力を行った場合には、前席でユーザ操作の音声入力が行われていることを伝えるメッセージが、後方席に向けて出力されるので、後方席のユーザが、前席のユーザがユーザ操作の音声入力のために発話する音声を、自身への発話と誤認してしまうことを抑制することができる。また、前席側マイクロフォンでピックアップした音声を後方席側スピーカから出力する動作を停止するので、前席のユーザがユーザ操作の音声入力のために発話する他のユーザにとって意味のない音声を、後席のユーザに伝達して煩わしい思いをさせてしまうことも抑止できる。 According to such an in-vehicle system, when a user in the front seat performs voice input of user operation, a message informing that the voice input of user operation is performed in the front seat is sent to the rear seat. Since it is output, it is possible to prevent the user in the rear seat from mistakenly recognizing the voice spoken by the user in the front seat for the voice input of the user operation as the speech to himself / herself. In addition, since the operation of outputting the voice picked up by the front-seat microphone from the rear-seat speaker is stopped, the voice that is meaningless to other users that the front-seat user speaks for the voice input of the user operation is rearranged. It is also possible to prevent annoying feelings by communicating to the user in the seat.

ここで、この車載システムは、前記制御手段において、前記音声認識手段が前記語彙を音声認識したときに、前記処理手段において、前記一連ユーザ操作受付処理が行われておらず、かつ、前記処理手段が、当該音声認識した語彙に対応するユーザ操作の音声入力に応答して前記一連ユーザ操作受付処理を開始しなかった場合に、前記音声伝達手段の前記音声伝達動作を停止することなく、前記後方席に向けて、音声入力が行われたことを通知するメッセージを出力するように構成してもよい。 Here, in the in-vehicle system, when the voice recognition means voice-recognizes the vocabulary in the control means, the series of user operation reception processing is not performed in the processing means, and the processing means. However, when the series of user operation reception processing is not started in response to the voice input of the user operation corresponding to the voice-recognized vocabulary, the voice transmission operation of the voice transmission means is not stopped, and the rearward It may be configured to output a message notifying that a voice input has been made to the seat.

また、この場合、車載システムは、前記制御手段において、前記音声伝達手段の前記音声伝達動作を停止した後、前記一連ユーザ操作受付処理で受け付ける最後のユーザ操作に対応する語彙を前記音声認識手段が認識したときに、前記音声伝達手段の前記音声伝達動作を再開するように構成してもよい。 Further, in this case, in the in-vehicle system, the voice recognition means receives a vocabulary corresponding to the last user operation received in the series of user operation reception processing after the voice transmission operation of the voice transmission means is stopped in the control means. When it is recognized, the voice transmission operation of the voice transmission means may be restarted.

また、この場合には、前記制御手段において、前記音声伝達手段の前記音声伝達動作を再開するときに、前記後方席に向けて、前記音声伝達動作を再開することを通知するメッセージを出力するようにしてもよい。 Further, in this case, when the voice transmission operation of the voice transmission means is restarted, the control means outputs a message notifying the rear seats that the voice transmission operation is restarted. You may do it.

ここで、以上の車載システムは、当該車載システムに、前記後方席の近くに配置されたマイクロフォンである後方席側マイクロフォンを設け、前記音声伝達手段において、前記音声伝達動作において、前記後方席側マイクロフォンでピックアップした音声の前記前席側スピーカへの出力も行うように構成してもよい。 Here, in the above-mentioned in-vehicle system, the in-vehicle system is provided with a rear seat side microphone which is a microphone arranged near the rear seat, and in the voice transmission means, in the voice transmission operation, the rear seat side microphone is provided. It may be configured to output the sound picked up in step 2 to the front seat side speaker.

このようにすることにより、上述した制御手段において音声伝達動作を停止する車載システムにおいては、普段は、後席のユーザの発話を前席のユーザが明瞭に聴取できるように伝達しつつ、前席のユーザがユーザ操作の音声入力を行っているときに、前席側スピーカから出力される後席のユーザの発話音声によって、前席のユーザのユーザ操作の音声入力が妨げられてしまうことを抑制できる。 By doing so, in the in-vehicle system in which the voice transmission operation is stopped by the above-mentioned control means, the front seat is usually transmitted so that the front seat user can clearly hear the utterance of the rear seat user. Suppresses that the voice input of the user operation of the front seat is obstructed by the voice input of the user of the rear seat output from the front seat side speaker when the user of the user is inputting the voice of the user operation. it can.

また、以上の車載システムは、当該車載システムに、前記後方席のユーザ用のディスプレイであるリアディスプレイを設け、前記制御手段において、前記後方席に向けたメッセージの出力を、当該メッセージの前記リアディスプレイへの表示によって行うように構成してもよい。 Further, in the above-mentioned in-vehicle system, the in-vehicle system is provided with a rear display which is a display for the user in the rear seat, and the control means outputs a message toward the rear seat to the rear display of the message. It may be configured to be displayed by the display on.

また、以上の車載システムは、前記制御手段において、前記後方席に向けたメッセージの出力を、当該メッセージを表す音声の前記リアスピーカへの出力によって行うように構成してもよい。 Further, the above-mentioned in-vehicle system may be configured such that the control means outputs a message toward the rear seats by outputting a voice representing the message to the rear speaker.

以上のように、本発明によれば、ユーザの発話音声によるユーザ操作の音声入力を受け付ける処理と、ユーザの発話音声のスピーカからの出力による他のユーザへの発話音声の伝達を行う車載システムにおいて、ユーザ操作の音声入力用の発話音声を、他のユーザが自身への発話と誤認してしまうことを抑制することができる。 As described above, according to the present invention, in an in-vehicle system that accepts a voice input of a user operation by a user's uttered voice and transmits the uttered voice to another user by outputting the user's uttered voice from a speaker. , It is possible to prevent another user from erroneously recognizing the utterance voice for voice input of the user operation as the utterance to himself / herself.

本発明の実施形態に係る車載システムの構成を示すブロック図である。It is a block diagram which shows the structure of the in-vehicle system which concerns on embodiment of this invention. 本発明の実施形態に係る車載システムの配置を示す図である。It is a figure which shows the arrangement of the in-vehicle system which concerns on embodiment of this invention. 本発明の実施形態に係るICC動作制御処理を示すフローチャートである。It is a flowchart which shows the ICC operation control processing which concerns on embodiment of this invention. 本発明の実施形態に係るICC動作制御処理の処理例を示す図である。It is a figure which shows the processing example of the ICC operation control processing which concerns on embodiment of this invention. 本発明の実施形態に係るICC動作制御処理の処理例を示す図である。It is a figure which shows the processing example of the ICC operation control processing which concerns on embodiment of this invention.

以下、本発明の実施形態について説明する。
図1に、本実施形態に係る車載システムの構成を示す。
車載システムは、自動車に搭載されるシステムであり、図示するように、フロントタッチパネルディスプレイ11、リアディスプレイ12、フロントマイクロフォン13、リアマイクロフォン14、フロントスピーカ15、リアスピーカ16、制御装置17、記憶装置やディスクドライブや放送受信装置やGPS受信器やリモートコントローラなどの周辺装置18を備えている。
Hereinafter, embodiments of the present invention will be described.
FIG. 1 shows the configuration of the in-vehicle system according to the present embodiment.
The in-vehicle system is a system mounted on an automobile, and as shown in the figure, a front touch panel display 11, a rear display 12, a front microphone 13, a rear microphone 14, a front speaker 15, a rear speaker 16, a control device 17, a storage device, and the like. It is equipped with peripheral devices 18 such as a disk drive, a broadcast receiver, a GPS receiver, and a remote controller.

ここで、フロントタッチパネルディスプレイ11は、ディスプレイとタッチパネルとを一体化した装置であり、図2a、bに示すように、フロントシート前方の左右方向について中央の位置においてダッシュボード内に設置される。 Here, the front touch panel display 11 is a device in which the display and the touch panel are integrated, and as shown in FIGS. 2a and 2b, the front touch panel display 11 is installed in the dashboard at a central position in the left-right direction in front of the front seat.

また、リアディスプレイ12は、前後左右方向についてほぼ車室中央の位置において天井から吊り下げられた形態で設置されている。
また、フロントマイクロフォン13は、前席のユーザの発話音声をピックアップするマイクロフォンであり、たとえば、フロントタッチパネルディスプレイ11と同じ筐体内等に配置される。また、リアマイクロフォン14は、後席のユーザの発話音声をピックアップするマイクロフォンであり、たとえば、リアディスプレイ12と同じ筐体内等に配置されている。
Further, the rear display 12 is installed in a form of being suspended from the ceiling at a position substantially in the center of the vehicle interior in the front-rear and left-right directions.
Further, the front microphone 13 is a microphone that picks up the utterance voice of the user in the front seat, and is arranged in the same housing as the front touch panel display 11, for example. Further, the rear microphone 14 is a microphone that picks up the utterance voice of the user in the rear seat, and is arranged in the same housing as the rear display 12, for example.

そして、フロントスピーカ15は、前席の搭乗者用のスピーカであり、左右のフロントドアなどに設置されており、リアスピーカ16は、後席の搭乗者用のスピーカであり、左右のリアドアなどに設置されている。 The front speaker 15 is a speaker for passengers in the front seats and is installed on the left and right front doors, and the rear speaker 16 is a speaker for passengers in the rear seats and is installed on the left and right rear doors and the like. is set up.

図1に戻り、車載システムの制御装置17は、フロントタッチパネルディスプレイ11へのタッチによる操作の入力を受け付けるタッチ操作入力部171、フロントタッチパネルディスプレイ11とリアディスプレイ12への表示を制御する表示制御部172、フロントマイクロフォン13とリアマイクロフォン14がピックアップした音声を取り込むオーディオ入力部173、フロントスピーカ15とリアスピーカ16への音声の出力を制御するオーディオ出力制御部174、周辺装置18の制御を行う周辺装置制御部175、音声認識エンジン176、ICC制御部177、以上の各部を制御する制御部178、複数のアプリケーション179とを備えている。 Returning to FIG. 1, the control device 17 of the in-vehicle system is a touch operation input unit 171 that accepts input of an operation by touching the front touch panel display 11, and a display control unit 172 that controls display on the front touch panel display 11 and the rear display 12. , Audio input unit 173 that captures the sound picked up by the front microphone 13 and the rear microphone 14, audio output control unit 174 that controls the output of sound to the front speaker 15 and the rear speaker 16, and peripheral device control that controls the peripheral device 18. It includes a unit 175, a voice recognition engine 176, an ICC control unit 177, a control unit 178 that controls each of the above units, and a plurality of applications 179.

ここで、音声認識エンジン176は、オーディオ入力部173が取り込んだフロントマイクロフォン13がピックアップした音声を常時監視し、フロントマイクロフォン13がピックアップした音声のうちに、現在音声認識エンジンの機能を利用しているアプリケーション179が設定した音声認識辞書に登録されている語彙に所定レベル以上整合する音声が発生したときに当該語彙を音声認識して音声認識成功とし、当該語彙に予め対応づけられているユーザ操作を音声入力されたユーザ操作として認識し、現在音声認識エンジンの機能を利用しているアプリケーション179に出力する。 Here, the voice recognition engine 176 constantly monitors the voice picked up by the front microphone 13 captured by the audio input unit 173, and currently uses the function of the voice recognition engine among the voices picked up by the front microphone 13. When a voice that matches the vocabulary registered in the voice recognition dictionary set by the application 179 at a predetermined level or higher is generated, the vocabulary is recognized as voice recognition and the voice recognition is successful, and the user operation associated with the vocabulary in advance is performed. It is recognized as a voice-input user operation and output to application 179 currently using the function of the voice recognition engine.

また、ICC制御部177は、オーディオ入力部173が取り込んだフロントマイクロフォン13がピックアップした音声をオーディオ出力制御部174を介してリアスピーカ16に出力し、オーディオ入力部173が取り込んだリアマイクロフォン14がピックアップした音声をオーディオ出力制御部174を介してフロントスピーカ15に出力するICC(In-Car Communication)動作を行う。 Further, the ICC control unit 177 outputs the sound picked up by the front microphone 13 captured by the audio input unit 173 to the rear speaker 16 via the audio output control unit 174, and the rear microphone 14 captured by the audio input unit 173 picks up the sound. An ICC (In-Car Communication) operation is performed to output the generated sound to the front speaker 15 via the audio output control unit 174.

次に、各アプリケーション179は、制御部178を介して表示制御部172の機能を利用してフロントタッチパネルディスプレイ11やリアディスプレイ12への表示を行ったり、制御部178を介してタッチ操作入力部171の機能を利用してフロントタッチパネルディスプレイ11に対して行われたタッチ操作を受け付けて所定の処理を行ったり、制御部178を介して音声認識エンジン176の機能を利用して音声認識エンジン176から出力される音声入力されたユーザ操作を受け付けて所定の処理を行ったり、制御部178を介してオーディオ出力制御部174の機能を利用して各スピーカに音声を出力したり、制御部178を介して周辺装置制御部175の機能を利用して各周辺装置18を使用したりすることができる。 Next, each application 179 displays on the front touch panel display 11 and the rear display 12 by using the function of the display control unit 172 via the control unit 178, and the touch operation input unit 171 via the control unit 178. The touch operation performed on the front touch panel display 11 is received by using the function of, and a predetermined process is performed, or the function of the voice recognition engine 176 is used to output from the voice recognition engine 176 via the control unit 178. The user operation that is input to the voice is received and a predetermined process is performed, the voice is output to each speaker by using the function of the audio output control unit 174 via the control unit 178, or the voice is output to each speaker via the control unit 178. Each peripheral device 18 can be used by utilizing the function of the peripheral device control unit 175.

なお、アプリケーション179は、たとえば、地図上で道案内を行うナビゲーションアプリケーションや、オーディオコンテンツやビジュアルコンテンツの再生出力を行うAVプレイヤアプリケーションや、TV放送受信器で受信したTVプログラムの再生出力を行うTVアプリケーション等である。 The application 179 is, for example, a navigation application that provides directions on a map, an AV player application that reproduces and outputs audio content and visual content, and a TV application that reproduces and outputs a TV program received by a TV broadcast receiver. And so on.

なお、以上の制御装置17は、CPUやメモリや周辺回路を備えたコンピュータを用いて構成されるものであってよく、この場合、制御装置17の各部はCPUがコンピュータプログラムを実行することにより実現されるものであってよい。 The above control device 17 may be configured by using a computer provided with a CPU, a memory, and peripheral circuits. In this case, each part of the control device 17 is realized by the CPU executing a computer program. It may be something that is done.

さて、このような車載システムの構成において、制御部178は、ICC制御部177のICC動作を制御するICC動作制御処理を行う。
図3に、このICC動作制御処理の手順を示す。
図示するように、この処理では、音声認識エンジン176における音声認識成功の発生を監視する(ステップ302)。
そして、音声認識エンジン176における音声認識成功が発生したならば(ステップ302)、音声入力シーケンスが完了したかどうかを調べる(ステップ304)。
ここで、音声入力シーケンスとは、音声認識エンジン176から出力される、ステップ302で検出した音声認識成功となった音声認識において認識した語彙に対応するユーザ操作が、音声認識エンジン176の機能を利用しているアプリケーション179において、複数回の音声入力による複数のユーザ操作を順次受け付けることにより完結するユーザ操作受付処理によって受け付けられる場合には、当該複数回の一連の音声入力のシーケンスが音声入力シーケンスとなり、単一の音声入力による一つのユーザ操作を受け付けることにより完結するユーザ操作受付処理によって受け付けられる場合には、当該単一の音声入力のシーケンスが音声入力シーケンスとなる。
By the way, in the configuration of such an in-vehicle system, the control unit 178 performs an ICC operation control process for controlling the ICC operation of the ICC control unit 177.
FIG. 3 shows the procedure of this ICC operation control process.
As shown in the figure, in this process, the occurrence of successful speech recognition in the speech recognition engine 176 is monitored (step 302).
Then, if the voice recognition success in the voice recognition engine 176 occurs (step 302), it is checked whether or not the voice input sequence is completed (step 304).
Here, the voice input sequence is output from the voice recognition engine 176, and the user operation corresponding to the vocabulary recognized in the voice recognition in which the voice recognition is successful detected in step 302 uses the function of the voice recognition engine 176. In the application 179 being used, when it is accepted by the user operation reception process that is completed by sequentially accepting a plurality of user operations by a plurality of voice inputs, the sequence of the plurality of voice inputs becomes a voice input sequence. , When it is accepted by the user operation reception process completed by accepting one user operation by a single voice input, the sequence of the single voice input becomes the voice input sequence.

そして、ステップ304では、ステップ302で検出した音声認識成功に伴って音声認識エンジン176から出力されるユーザ操作の受付によって、音声認識エンジン176の機能を利用しているアプリケーション179におけるユーザ操作受付処理が完了する場合に音声入力シーケンスが完了したと判定する。換言すれば、アプリケーション179におけるユーザ操作受付処理が未完であり、アプリケーション179が継続するユーザ操作の音声入力を待っている状態にあるときに音声入力シーケンスが完了していないと判定する。 Then, in step 304, the user operation reception process in the application 179 that uses the function of the voice recognition engine 176 is performed by the reception of the user operation output from the voice recognition engine 176 with the success of the voice recognition detected in step 302. When it is completed, it is determined that the voice input sequence is completed. In other words, it is determined that the voice input sequence is not completed when the user operation acceptance process in the application 179 is incomplete and the application 179 is waiting for the voice input of the user operation to be continued.

なお、より具体的には、音声入力シーケンスの完了の検出は、たとえば、制御部178が、ステップ302で検出した音声認識エンジン176において発生した音声認識成功となった音声認識で認識された語彙に対応するユーザ操作の受付によって音声入力シーケンスが完了するかどうかを音声認識エンジン176の機能を利用しているアプリケーション179に問い合わせ、アプリケーション179において問い合わせに対する応答を制御部178に通知し、制御部178において、当該応答に従って、音声入力シーケンスの完了の有無を検出することにより行うことができる。 More specifically, the detection of the completion of the voice input sequence is based on, for example, the vocabulary recognized by the voice recognition in which the voice recognition is successful, which is generated in the voice recognition engine 176 detected by the control unit 178 in step 302. The application 179 using the function of the voice recognition engine 176 is inquired as to whether or not the voice input sequence is completed by accepting the corresponding user operation, the application 179 notifies the control unit 178 of the response to the inquiry, and the control unit 178 notifies the control unit 178. , It can be done by detecting the completion of the voice input sequence according to the response.

または、音声入力シーケンスの完了の検出は、たとえば、音声認識エンジン176の機能を利用しているアプリケーション179が、複数回の音声入力による複数のユーザ操作を順次受け付けることにより完結するユーザ操作受付処理を開始したときに音声入力シーケンスの開始を制御部178に通知すると共に、ユーザ操作受付処理が完結したときに、音声入力シーケンスの完了を通知し、制御部178においてアプリケーション179からの通知に基づいて、音声入力シーケンスの開始の通知を受けてから、音声入力シーケンスの完了の通知を受けるまでの期間は、音声入力シーケンスが未完とし、他の期間は、音声入力シーケンスが完了しているとすること等により行うこともできる。 Alternatively, the detection of the completion of the voice input sequence is performed, for example, by the application 179 using the function of the voice recognition engine 176, which completes the user operation acceptance process by sequentially accepting a plurality of user operations by a plurality of voice inputs. When it starts, it notifies the control unit 178 of the start of the voice input sequence, and when the user operation reception process is completed, it notifies the completion of the voice input sequence, and the control unit 178 notifies the control unit 178 based on the notification from the application 179. It is assumed that the voice input sequence is incomplete during the period from the notification of the start of the voice input sequence to the notification of the completion of the voice input sequence, and that the voice input sequence is completed in the other period. It can also be done by.

次に、ステップ304において、音声入力シーケンスが完了したと判定された場合には、前席での音声入力が発生したことを後席のユーザに、リアディスプレイ12へのメッセージの所定期間の表示やリアスピーカ16からの音声メッセージの出力により通知し(ステップ306)、ステップ302からの処理に戻る。 Next, in step 304, when it is determined that the voice input sequence is completed, the user in the rear seat is notified that the voice input in the front seat has occurred, and the message is displayed on the rear display 12 for a predetermined period. Notification is made by outputting a voice message from the rear speaker 16 (step 306), and the process returns to the process from step 302.

一方、ステップ304において、音声入力シーケンスが完了していないと判定された場合には、ICC制御部177のICC動作の停止を制御し(ステップ308)、フロントマイクロフォン13がピックアップした音声のリアスピーカ16からの出力と、リアマイクロフォン14がピックアップした音声のフロントスピーカ15からの出力を停止する。 On the other hand, in step 304, when it is determined that the voice input sequence is not completed, the stop of the ICC operation of the ICC control unit 177 is controlled (step 308), and the rear speaker 16 of the voice picked up by the front microphone 13 is controlled. And the output from the front speaker 15 of the sound picked up by the rear microphone 14 are stopped.

なお、ステップ308では、フロントマイクロフォン13がピックアップした音声のリアスピーカ16からの出力のみを停止し、リアマイクロフォン14がピックアップした音声のフロントスピーカ15からの出力は継続するようにICC制御部177を制御してもよい。ただし、リアマイクロフォン14がピックアップした音声のフロントスピーカ15からの出力も停止することが、前席のユーザのユーザ操作の音声入力を妨げないようにする上で望ましい。 In step 308, the ICC control unit 177 is controlled so that only the output of the sound picked up by the front microphone 13 from the rear speaker 16 is stopped, and the output of the sound picked up by the rear microphone 14 from the front speaker 15 is continued. You may. However, it is desirable that the output of the voice picked up by the rear microphone 14 from the front speaker 15 is also stopped so as not to interfere with the voice input of the user operation of the front seat user.

また、次に、前席で音声入力が行われており、ICC制御部177のICC動作を停止したことを、後席のユーザに、リアディスプレイ12へのメッセージの所定期間の表示やリアスピーカ16からの音声メッセージの出力により通知する(ステップ310)。 Next, the user in the rear seat is informed that the voice input is being performed in the front seat and the ICC operation of the ICC control unit 177 has been stopped by displaying a message on the rear display 12 for a predetermined period and the rear speaker 16. Notify by outputting a voice message from (step 310).

そして、以降は、音声認識エンジン176における音声認識成功が発生する度に(ステップ312)、音声入力シーケンスが完了したかどうかを調べる(ステップ314)。
そして、音声入力シーケンスが完了したならば(ステップ314)、ICC制御部177のICC動作の再開を制御し、ステップ308でICC制御部177のICC動作の停止を制御する前の状態に復帰する(ステップ316)。
Then, every time the voice recognition engine 176 succeeds in voice recognition (step 312), it is checked whether or not the voice input sequence is completed (step 314).
Then, when the voice input sequence is completed (step 314), the restart of the ICC operation of the ICC control unit 177 is controlled, and the state before controlling the stop of the ICC operation of the ICC control unit 177 in step 308 is restored (step 308). Step 316).

また、ICC制御部177のICC動作を再開したことを、後席のユーザに、リアディスプレイ12へのメッセージの表示やリアスピーカ16からの音声メッセージの出力により通知する(ステップ318)。 Further, the user in the rear seat is notified that the ICC operation of the ICC control unit 177 has been restarted by displaying a message on the rear display 12 or outputting a voice message from the rear speaker 16 (step 318).

そして、ステップ302からの処理に戻る。
以上、制御部178が行うICC動作制御処理について説明した。
以下、このようなICC動作制御処理の処理例を示す。
いま、制御装置17において、AVプレイヤアプリケーションと、TVアプリケーションが稼働しており、図4a1に示すように、フロントタッチパネルディスプレイ11にAVプレイヤアプリケーションが出力する画面を表示しており、図4b1に示すように、リアディスプレイ12にTVアプリケーションが出力するTVプログラムの画面を表示しているものとする。また、AVプレイヤアプリケーションは、音声認識エンジン176を利用しているものとする。
Then, the process returns to the process from step 302.
The ICC operation control process performed by the control unit 178 has been described above.
Hereinafter, a processing example of such ICC operation control processing will be shown.
Now, in the control device 17, the AV player application and the TV application are running, and as shown in FIG. 4a1, the screen output by the AV player application is displayed on the front touch panel display 11, and as shown in FIG. 4b1. It is assumed that the screen of the TV program output by the TV application is displayed on the rear display 12. Further, it is assumed that the AV player application uses the voice recognition engine 176.

この状態で、前席のユーザが、AVプレイヤアプリケーションに再生楽曲のスキップを行わせるために、スキップ操作の音声入力用の語彙である"次の曲"を発声すると、"次の曲"との語彙が音声認識エンジン176によって認識され、スキップ操作がAVプレイヤアプリケーションに出力される。 In this state, when the user in the front seat utters the "next song", which is the vocabulary for voice input of the skip operation, in order to cause the AV player application to skip the played song, it is said to be the "next song". The vocabulary is recognized by the voice recognition engine 176, and the skip operation is output to the AV player application.

そして、AVプレイヤアプリケーションは、音声認識エンジン176からのスキップ操作の出力に応答して、"次の曲"との音声入力、すなわち、スキップ操作の入力によって完結するユーザ操作受付処理を行って、当該ユーザ操作受付処理で受け付けたユーザ操作であるスキップ操作に従って、図4a2に示すように再生楽曲を再生中であった楽曲の次の楽曲に変更するスキップ動作を行う。 Then, in response to the output of the skip operation from the voice recognition engine 176, the AV player application performs a voice input with the "next song", that is, a user operation reception process completed by the input of the skip operation. According to the skip operation which is the user operation received in the user operation reception process, as shown in FIG. 4a2, the skip operation of changing the reproduced music to the next music of the music being played is performed.

ここで、この場合、AVプレイヤアプリケーションは、音声認識エンジン176からのスキップ操作の出力に応答して、"次の曲"との音声によるスキップ操作の音声入力によって完結するユーザ操作受付処理を行うので、図4b2に示すように、リアディスプレイ12には、「前席の音声操作が行われました」といったような、前席で音声入力が発生したことを伝えるメッセージが表示される。また、当該表示に代えて、もしくは、当該表示と共に、リアスピーカ16から「前席で音声操作が行われました」といったような、前席での音声入力が発生したことを伝える音声メッセージが出力される。 Here, in this case, the AV player application performs the user operation reception process that is completed by the voice input of the skip operation by voice with the "next song" in response to the output of the skip operation from the voice recognition engine 176. As shown in FIG. 4b2, the rear display 12 displays a message indicating that a voice input has occurred in the front seat, such as "a voice operation in the front seat has been performed". In addition, instead of or together with the display, a voice message indicating that a voice input has occurred in the front seat, such as "Voice operation has been performed in the front seat", is output from the rear speaker 16. Will be done.

ここで、このリアディスプレイ12に表示されるメッセージは、図4a3、b3に示すように、所定期間経過後に消去される。
このように、本実施形態によれば、前席のユーザがユーザ操作の音声入力を行った場合には、後席のユーザに前席での音声入力が発生したことを伝えるメッセージが出力されるので、後席のユーザが、前席のユーザがユーザ操作の音声入力のために発話した音声を、自身への発話と誤認してしまうことを抑制することができる。
Here, as shown in FIGS. 4a3 and 4b3, the message displayed on the rear display 12 is erased after a lapse of a predetermined period.
As described above, according to the present embodiment, when the user in the front seat performs the voice input of the user operation, a message telling the user in the rear seat that the voice input in the front seat has occurred is output. Therefore, it is possible to prevent the user in the rear seat from mistaking the voice spoken by the user in the front seat for the voice input of the user operation as the speech to himself / herself.

次に、いま、制御装置17において、ナビゲーションアプリケーションと、TVアプリケーションが稼働しており、図5a1に示すように、フロントタッチパネルディスプレイ11にナビゲーションアプリケーションが出力する、地図上で現在位置などを案内するナビゲーション画面を表示しており、図5b1に示すように、リアディスプレイ12にTVアプリケーションが出力するTVプログラムの画面を表示しているものとする。また、ナビゲーションアプリケーションは、音声認識エンジン176を利用しているものとする。 Next, the navigation application and the TV application are now running in the control device 17, and as shown in FIG. 5a1, the navigation application outputs to the front touch panel display 11 to guide the current position on the map. It is assumed that the screen is displayed and the screen of the TV program output by the TV application is displayed on the rear display 12 as shown in FIG. 5b1. Further, it is assumed that the navigation application uses the voice recognition engine 176.

この状態で、前席のユーザが、ナビゲーションアプリケーションに目的地の設定を行わせるために、目的地設定処理開始指示操作の音声入力用の語彙である"目的地"を発声すると、"目的地"との語彙が音声認識エンジン176によって認識され、目的地設定処理開始指示操作がナビゲーションプレイヤアプリケーションに出力される。 In this state, when the user in the front seat utters "destination", which is a vocabulary for voice input of the destination setting process start instruction operation, in order to cause the navigation application to set the destination, the "destination" is displayed. The vocabulary of and is recognized by the voice recognition engine 176, and the destination setting process start instruction operation is output to the navigation player application.

そして、ナビゲーションアプリケーションは、音声認識エンジン176からの目的地設定処理開始指示操作の出力に応答して、目的地設定処理開始指示操作の音声入力の受け付け、目的地のカテゴリ選択操作の音声入力の受け付け、目的地施設指定操作の音声入力の受け付けで完結するユーザ操作受付処理を開始する。 Then, the navigation application receives the voice input of the destination setting process start instruction operation and the voice input of the destination category selection operation in response to the output of the destination setting process start instruction operation from the voice recognition engine 176. , Start the user operation reception process that is completed by accepting the voice input of the destination facility designation operation.

そして、当該ユーザ操作受付処理で受け付けたユーザ操作である目的地設定処理開始指示操作に従って、図5a2に示すような、目的地のカテゴリの一覧を表したカテゴリ選択画面をフロントディスプレイパネルに表示する。 Then, a category selection screen showing a list of destination categories as shown in FIG. 5a2 is displayed on the front display panel according to the destination setting process start instruction operation which is the user operation received in the user operation reception process.

ここで、この場合、ナビゲーションアプリケーションは、上述のように複数のユーザ操作の音声入力で完結するユーザ操作受付処理を行うので、ICC制御部177のICC動作を停止して、フロントマイクロフォン13がピックアップした音声のリアスピーカ16からの出力、または、当該出力と、リアマイクロフォン14がピックアップした音声のフロントスピーカ15からの出力を停止する。 Here, in this case, since the navigation application performs the user operation reception process completed by the voice input of a plurality of user operations as described above, the ICC operation of the ICC control unit 177 is stopped and the front microphone 13 picks up. The output from the rear speaker 16 of the sound, or the output and the output of the sound picked up by the rear microphone 14 from the front speaker 15 are stopped.

また、図5b2に示すように、リアディスプレイ12には、「前席で音声操作をしています。前席音声の出力を停止します。」といったような、前席で音声入力が行われており、ICC制御部177のICC動作を停止したことを伝えるメッセージが表示される。また、当該表示に代えて、もしくは、当該表示と共に、リアスピーカ16から、「前席で音声操作をしています。前席音声の出力を停止します。」といったような、前席で音声入力が行われており、ICC制御部177のICC動作を停止したことを伝える音声メッセージが出力される。 Further, as shown in FIG. 5b2, voice input is performed on the rear display 12 in the front seat, such as "Voice operation is performed in the front seat. The output of the front seat voice is stopped." A message indicating that the ICC operation of the ICC control unit 177 has been stopped is displayed. In addition, instead of the display, or together with the display, voice input from the rear speaker 16 such as "Voice operation is performed in the front seat. The output of the front seat voice is stopped." Is being performed, and a voice message is output informing that the ICC operation of the ICC control unit 177 has been stopped.

次に、前席のユーザが、図5a2に示すカテゴリ選択画面が表示されている状態、カテゴリ選択するために、カテゴリ選択操作の音声入力用の語彙である"近くのラーメン屋"を発声すると、"近くのラーメン屋"との語彙が音声認識エンジン176によって認識され、"近くのラーメン屋"のカテゴリの選択操作がナビゲーションプレイヤアプリケーションに出力され、ナビゲーションアプリケーションのユーザ操作受付処理において、"近くのラーメン屋"のカテゴリの選択操作が受け付けられる。 Next, when the user in the front seat utters "near ramen shop", which is a vocabulary for voice input of the category selection operation, in order to select a category while the category selection screen shown in FIG. 5a2 is displayed. The vocabulary of "near ramen shop" is recognized by the voice recognition engine 176, the selection operation of the category of "near ramen shop" is output to the navigation player application, and in the user operation reception process of the navigation application, "near ramen" The selection operation of the category of "ya" is accepted.

そして、ナビゲーションプレイヤアプリケーションは、当該ユーザ操作受付処理で受け付けたユーザ操作である"近くのラーメン屋"のカテゴリの選択操作に従って、図5a3に示すような、"近くのラーメン屋"のカテゴリの施設の一覧を表示した、目的地施設選択画面をフロントディスプレイパネルに表示する。 Then, the navigation player application follows the selection operation of the category of "near ramen shop" which is the user operation received in the user operation reception process, and the facility of the category of "near ramen shop" as shown in FIG. 5a3. The destination facility selection screen displaying the list is displayed on the front display panel.

ここで、図5b2に示すようにリアディスプレイ12に表示されたメッセージは、図5b3に示すように、所定期間経過後に消去される。
次に、前席のユーザが、図5a3に示す目的地施設選択画面が表示されている状態、目的地施設を選択するために、目的地施設選択操作の音声入力用の語彙である"二つ目"を発声すると、"二つ目"との語彙が音声認識エンジン176によって認識され、"二つ目"の目的地施設選択操作がナビゲーションプレイヤアプリケーションに出力され、ナビゲーションアプリケーションのユーザ操作受付処理において、"二つ目"の目的地施設選択操作が受け付けられる。
Here, the message displayed on the rear display 12 as shown in FIG. 5b2 is deleted after a lapse of a predetermined period as shown in FIG. 5b3.
Next, in the state where the destination facility selection screen shown in FIG. 5a3 is displayed, the user in the front seat is a vocabulary for voice input of the destination facility selection operation in order to select the destination facility. When the "eye" is uttered, the vocabulary of "second" is recognized by the voice recognition engine 176, the destination facility selection operation of "second" is output to the navigation player application, and the user operation reception process of the navigation application is performed. , The "second" destination facility selection operation is accepted.

そして、ナビゲーションプレイヤアプリケーションは、当該ユーザ操作受付処理で受け付けたユーザ操作である"二つ目"の目的地施設選択操作に従って、目的地施設選択画面上の二つ目の目的地施設である「札幌ラーメン」目的地に設定し、ユーザ操作受付処理を完了し、フロントタッチパネルディスプレイ11の表示を、図5a4に示すようにナビゲーション画面に復帰する。ここで、ナビゲーションアプリケーションは、目的地を設定したならば、目的地までのルートを探索し、探索したルートや目的地を図5a4に示すように、ナビゲーション画面において表示する。 Then, the navigation player application follows the "second" destination facility selection operation, which is the user operation received in the user operation reception process, and is the second destination facility "Sapporo" on the destination facility selection screen. The "ramen" destination is set, the user operation reception process is completed, and the display of the front touch panel display 11 is returned to the navigation screen as shown in FIG. 5a4. Here, if the destination is set, the navigation application searches for a route to the destination and displays the searched route and the destination on the navigation screen as shown in FIG. 5a4.

また、"二つ目"の目的地施設選択操作の音声入力によって、"目的地"の音声入力によって開始されたナビゲーションプレイヤアプリケーションのユーザ操作受付処理によって受け付ける一連のユーザ操作の音声入力シーケンスは完了するので、ICC制御部177のICC動作が再開される。そして、図5b4に示すように、「前席の音声操作が終了しました。前席音声の出力を再開します」といったような、ICC制御部177のICC動作を再開したことを伝えるメッセージが一定の期間、リアディスプレイ12に表示される。また、当該表示に代えて、もしくは、当該表示と共に、リアスピーカ16から、「前席の音声操作が終了しました。前席音声の出力を再開します」といったような、ICC制御部177のICC動作を再開したことを伝える音声メッセージが出力される。 In addition, the voice input of the "second" destination facility selection operation completes the voice input sequence of the series of user operations received by the user operation reception process of the navigation player application started by the voice input of the "destination". Therefore, the ICC operation of the ICC control unit 177 is restarted. Then, as shown in FIG. 5b4, a constant message telling that the ICC operation of the ICC control unit 177 has been resumed, such as "The voice operation of the front seat has been completed. The output of the front seat voice will be resumed." Is displayed on the rear display 12 during the period of. In addition, instead of or together with the display, the ICC of the ICC control unit 177, such as "The voice operation of the front seat has been completed. The output of the front seat voice will be resumed" from the rear speaker 16. A voice message is output telling that the operation has resumed.

このように、本実施形態によれば、前席のユーザがユーザ操作の音声入力を行った場合には、後席のユーザに前席での音声入力が発生したことを伝えるメッセージが出力されるので、後席のユーザが、前席のユーザがユーザ操作の音声入力のために発話した音声を、自身への発話と誤認してしまうことを抑制することができる。また、前席のユーザが一連のユーザ操作の音声入力を行っている期間中は、フロントマイクロフォン13でピックアップした音声をリアスピーカ16から出力する動作を停止するので、前席のユーザがユーザ操作の音声入力のために発話する他のユーザにとって意味のない音声を、後席のユーザに伝達して煩わしい思いをさせてしまうことも抑止できる。また、併せて、リアマイクロフォン14でピックアップした音声をフロントスピーカ15から出力する動作を停止した場合には、後席のユーザの発話によって、前席のユーザの音声入力が妨げられてしまうことも抑制できる。 As described above, according to the present embodiment, when the user in the front seat performs the voice input of the user operation, a message telling the user in the rear seat that the voice input in the front seat has occurred is output. Therefore, it is possible to prevent the user in the rear seat from mistaking the voice spoken by the user in the front seat for the voice input of the user operation as the speech to himself / herself. Further, during the period in which the user in the front seat is inputting voice for a series of user operations, the operation of outputting the voice picked up by the front microphone 13 from the rear speaker 16 is stopped, so that the user in the front seat operates the user. It is also possible to prevent annoying feelings by transmitting a voice that is meaningless to other users who speak for voice input to the user in the rear seat. At the same time, when the operation of outputting the voice picked up by the rear microphone 14 from the front speaker 15 is stopped, it is possible to prevent the voice input of the user in the front seat from being hindered by the utterance of the user in the rear seat. it can.

以上、本発明の実施形態について説明した。
なお、以上の実施形態は、自動車の座席が前席と後席の2列である場合について説明したが、本実施形態は自動車が3列以上の座席を備えている場合についても同様に適用することができる。すなわち、この場合は、前席の列以外の全ての列の座席の、または、前席の列以外の一部の列の座席を、以上に示した実施形態における後席と同様に取り扱えばよい。
The embodiment of the present invention has been described above.
In the above embodiment, the case where the seats of the automobile have two rows of front seats and the rear seats has been described, but the present embodiment also applies to the case where the automobile has three or more rows of seats. be able to. That is, in this case, the seats in all rows other than the front row or some rows other than the front row may be treated in the same manner as the rear seats in the above-described embodiment. ..

11…フロントタッチパネルディスプレイ、12…リアディスプレイ、13…フロントマイクロフォン、14…リアマイクロフォン、15…フロントスピーカ、16…リアスピーカ、17…制御装置、18…周辺装置、171…タッチ操作入力部、172…表示制御部、173…オーディオ入力部、174…オーディオ出力制御部、175…周辺装置制御部、176…音声認識エンジン、177…ICC制御部、179…アプリケーション、178…制御部。 11 ... Front touch panel display, 12 ... Rear display, 13 ... Front microphone, 14 ... Rear microphone, 15 ... Front speaker, 16 ... Rear speaker, 17 ... Control device, 18 ... Peripheral device, 171 ... Touch operation input unit, 172 ... Display control unit, 173 ... Audio input unit, 174 ... Audio output control unit, 175 ... Peripheral device control unit, 176 ... Voice recognition engine, 177 ... ICC control unit, 179 ... Application, 178 ... Control unit.

Claims (9)

前席の近くに配置されたスピーカである前席側スピーカと、前席より後方の席である後方席の近くに配置されたスピーカである後方席側スピーカとを備えた車載システムであって、
前席の近くに配置されたマイクロフォンである前席側マイクロフォンと、
前記前席側マイクロフォンでピックアップした音声を前記後方席側スピーカに出力する音声伝達動作を行う音声伝達手段と、
前記前席側マイクロフォンがピックアップした音声から、予め設定した1または複数の語彙を音声認識する音声認識手段と、
前記音声認識手段が音声認識した語彙に対応するユーザ操作の音声入力を受け付け、音声入力を受け付けたユーザ操作に応じた処理を行う処理手段と、
前記音声認識手段が前記語彙を音声認識したときに、前記後方席に向けて、音声入力が行われたことを通知するメッセージを出力する制御手段とを有することを特徴とする車載システム。
It is an in-vehicle system including a front seat side speaker which is a speaker arranged near the front seat and a rear seat side speaker which is a speaker arranged near the rear seat which is a seat behind the front seat.
The front-seat side microphone, which is a microphone placed near the front seat,
A voice transmission means for performing a voice transmission operation that outputs the sound picked up by the front seat side microphone to the rear seat side speaker, and
A voice recognition means that recognizes one or more preset vocabularies from the voice picked up by the front-seat microphone.
A processing means that accepts a voice input of a user operation corresponding to a vocabulary recognized by the voice recognition means and performs processing according to the user operation that has received the voice input.
An in-vehicle system characterized by having a control means for outputting a message notifying that a voice input has been performed toward the rear seat when the voice recognition means has voice-recognized the vocabulary.
前席の近くに配置されたスピーカである前席側スピーカと、前席より後方の席である後方席の近くに配置されたスピーカである後方席側スピーカとを備えた車載システムであって、
前席の近くに配置されたマイクロフォンである前席側マイクロフォンと、
前記前席側マイクロフォンでピックアップした音声を前記後方席側スピーカに出力する音声伝達動作を行う音声伝達手段と、
前記前席側マイクロフォンがピックアップした音声から、予め設定した1または複数の語彙を音声認識する音声認識手段と、
前記音声認識手段が音声認識した語彙に対応するユーザ操作の音声入力を受け付け、音声入力を受け付けたユーザ操作に応じた処理を行う処理手段と、
前記音声認識手段が前記語彙を音声認識したときに、前記音声伝達手段の前記音声伝達動作を停止し、前記後方席に向けて、音声入力が行われていることを表すメッセージ、または、音声入力が行われていることと前記音声伝達動作を停止したこととを表すメッセージを出力する制御手段とを有することを特徴とする車載システム。
It is an in-vehicle system including a front seat side speaker which is a speaker arranged near the front seat and a rear seat side speaker which is a speaker arranged near the rear seat which is a seat behind the front seat.
The front-seat side microphone, which is a microphone placed near the front seat,
A voice transmission means for performing a voice transmission operation that outputs the sound picked up by the front seat side microphone to the rear seat side speaker, and
A voice recognition means that recognizes one or more preset vocabularies from the voice picked up by the front-seat microphone.
A processing means that accepts a voice input of a user operation corresponding to a vocabulary recognized by the voice recognition means and performs processing according to the user operation that has received the voice input.
When the voice recognition means recognizes the vocabulary by voice, the voice transmission operation of the voice transmission means is stopped, and a message indicating that voice input is being performed toward the rear seat, or voice input. An in-vehicle system characterized by having a control means for outputting a message indicating that the voice transmission operation has been stopped and that the voice transmission operation has been stopped.
前席の近くに配置されたスピーカである前席側スピーカと、前席より後方の席である後方席の近くに配置されたスピーカである後方席側スピーカとを備えた車載システムであって、
前席の近くに配置されたマイクロフォンである前席側マイクロフォンと、
前記前席側マイクロフォンでピックアップした音声を前記後方席側スピーカに出力する音声伝達動作を行う音声伝達手段と、
前記前席側マイクロフォンがピックアップした音声から、予め設定した1または複数の語彙を音声認識する音声認識手段と、
前記音声認識手段が音声認識した語彙に対応するユーザ操作の音声入力を受け付け、音声入力を受け付けたユーザ操作に応じた処理を行う処理手段と、
制御手段とを有し、
前記処理手段は、音声入力を受け付けたユーザ操作が所定のユーザ操作であった場合に、当該ユーザ操作の音声入力に応答して、音声入力される一連のユーザ操作を受け付ける一連ユーザ操作受付処理を開始し、
前記制御手段は、
前記音声認識手段が前記語彙を音声認識したときに、前記処理手段が、当該音声認識した語彙に対応するユーザ操作の音声入力に応答して、前記一連ユーザ操作受付処理を開始した場合に、前記音声伝達手段の前記音声伝達動作を停止し、前記後方席に向けて、音声入力が行われていることを表すメッセージ、または、音声入力が行われていることと前記音声伝達動作を停止したこととを表すメッセージを出力することを特徴とする車載システム。
It is an in-vehicle system including a front seat side speaker which is a speaker arranged near the front seat and a rear seat side speaker which is a speaker arranged near the rear seat which is a seat behind the front seat.
The front-seat side microphone, which is a microphone placed near the front seat,
A voice transmission means for performing a voice transmission operation that outputs the sound picked up by the front seat side microphone to the rear seat side speaker, and
A voice recognition means that recognizes one or more preset vocabularies from the voice picked up by the front-seat microphone.
A processing means that accepts a voice input of a user operation corresponding to a vocabulary recognized by the voice recognition means and performs processing according to the user operation that has received the voice input.
Has control means and
The processing means performs a series of user operation reception processing for receiving a series of user operations to be voice-input in response to the voice input of the user operation when the user operation for which the voice input is received is a predetermined user operation. Start and
The control means
When the voice recognition means voice-recognizes the vocabulary, the processing means starts the series of user operation reception processing in response to the voice input of the user operation corresponding to the voice-recognized vocabulary. The voice transmission operation of the voice transmission means is stopped, and a message indicating that voice input is being performed toward the rear seat, or voice input is being performed and the voice transmission operation is stopped. An in-vehicle system characterized by outputting a message indicating that.
請求項3記載の車載システムであって、
前記制御手段は、
記音声認識手段が前記語彙を音声認識したときに、前記処理手段において、前記一連ユーザ操作受付処理が行われておらず、かつ、当該音声認識した語彙に対応するユーザ操作の音声入力に応答して、前記処理手段が、前記一連ユーザ操作受付処理を開始しなかった場合に、前記音声伝達手段の前記音声伝達動作を停止することなく、前記後方席に向けて、音声入力が行われたことを通知するメッセージを出力することを特徴とする車載システム。
The in-vehicle system according to claim 3.
The control means
When the voice recognition means recognizes the vocabulary by voice, the processing means does not perform the series of user operation reception processing and responds to the voice input of the user operation corresponding to the voice-recognized vocabulary. When the processing means did not start the series of user operation reception processing, the voice input was performed toward the rear seat without stopping the voice transmission operation of the voice transmission means. An in-vehicle system characterized by outputting a message notifying the user.
請求項3または4記載の車載システムであって、
前記制御手段は、前記音声伝達手段の前記音声伝達動作を停止した後、前記一連ユーザ操作受付処理で受け付ける最後のユーザ操作に対応する語彙を前記音声認識手段が認識したときに、前記音声伝達手段の前記音声伝達動作を再開することを特徴とする車載システム。
The in-vehicle system according to claim 3 or 4.
When the voice recognition means recognizes a vocabulary corresponding to the last user operation received in the series of user operation reception processing after stopping the voice transmission operation of the voice transmission means, the control means means the voice transmission means. An in-vehicle system characterized in that the voice transmission operation of the above is resumed.
請求項5記載の車載システムであって、
前記制御手段は、前記音声伝達手段の前記音声伝達動作を再開するときに、前記後方席に向けて、前記音声伝達動作を再開することを通知するメッセージを出力することを特徴とする車載システム。
The in-vehicle system according to claim 5.
The in-vehicle system is characterized in that, when the voice transmission operation of the voice transmission means is restarted, the control means outputs a message notifying the rear seats that the voice transmission operation is restarted.
請求項1、2、3、4、5または6記載の車載システムであって、
前記後方席の近くに配置されたマイクロフォンである後方席側マイクロフォンを有し、
前記音声伝達手段は、前記音声伝達動作において、前記後方席側マイクロフォンでピックアップした音声の前記前席側スピーカへの出力も行うことを特徴とする車載システム。
The in-vehicle system according to claim 1, 2, 3, 4, 5 or 6.
It has a rear-seat side microphone, which is a microphone arranged near the rear-seat.
The vehicle-mounted system is characterized in that, in the voice transmission operation, the voice transmission means also outputs the voice picked up by the rear seat side microphone to the front seat side speaker.
請求項1、2、3、4、5、6または7記載の車載システムであって、
前記後方席のユーザ用のディスプレイであるリアディスプレイを有し、
前記制御手段は、前記後方席に向けたメッセージの出力を、当該メッセージの前記リアディスプレイへの表示によって行うことを特徴とする車載システム。
The in-vehicle system according to claim 1, 2, 3, 4, 5, 6 or 7.
It has a rear display, which is a display for the user in the rear seat.
The control means is an in-vehicle system characterized in that a message is output to the rear seats by displaying the message on the rear display.
請求項1、2、3、4、5、6、7または8記載の車載システムであって、
前記制御手段は、前記後方席に向けたメッセージの出力を、当該メッセージを表す音声の前記リアスピーカへの出力によって行うことを特徴とする車載システム。
The in-vehicle system according to claim 1, 2, 3, 4, 5, 6, 7 or 8.
The control means is an in-vehicle system characterized in that a message directed to the rear seat is output by outputting a voice representing the message to the rear speaker.
JP2017139276A 2017-07-18 2017-07-18 In-vehicle system Active JP6896540B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017139276A JP6896540B2 (en) 2017-07-18 2017-07-18 In-vehicle system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017139276A JP6896540B2 (en) 2017-07-18 2017-07-18 In-vehicle system

Publications (2)

Publication Number Publication Date
JP2019018729A JP2019018729A (en) 2019-02-07
JP6896540B2 true JP6896540B2 (en) 2021-06-30

Family

ID=65352632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017139276A Active JP6896540B2 (en) 2017-07-18 2017-07-18 In-vehicle system

Country Status (1)

Country Link
JP (1) JP6896540B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109817214B (en) * 2019-03-12 2021-11-23 阿波罗智联(北京)科技有限公司 Interaction method and device applied to vehicle
JP7407046B2 (en) 2020-03-26 2023-12-28 本田技研工業株式会社 Audio output control method and audio output control device
CN112061059B (en) * 2020-09-14 2022-07-12 广州小鹏汽车科技有限公司 Screen adjusting method and device for vehicle, vehicle and readable storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211365A (en) * 2005-01-28 2006-08-10 Alpine Electronics Inc Hands-free device, navigation system and interruptive call termination notifying method
JP4946200B2 (en) * 2006-06-23 2012-06-06 株式会社Jvcケンウッド Agent device, program, and character display method in agent device
WO2008061205A2 (en) * 2006-11-16 2008-05-22 Johnson Controls Technology Company Integrated vehicle communication system

Also Published As

Publication number Publication date
JP2019018729A (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6515764B2 (en) Dialogue device and dialogue method
US7761204B2 (en) Multi-modal data input
EP1768103B1 (en) Device in which selection is activated by voice and method in which selection is activated by voice
US20050216271A1 (en) Speech dialogue system for controlling an electronic device
JP6896540B2 (en) In-vehicle system
JP2005215694A (en) Method for executing dialogue and dialogue system
JP6284331B2 (en) Conversation support device, conversation support method, and conversation support program
KR102445365B1 (en) Dialogue processing apparatus, vehicle having the same and dialogue processing method
JP2009020423A (en) Speech recognition device and speech recognition method
JPWO2008084575A1 (en) In-vehicle speech recognition device
JP2010130223A (en) Voice activation system and voice activation method
CN111007968A (en) Agent device, agent presentation method, and storage medium
JP2018116130A (en) In-vehicle voice processing unit and in-vehicle voice processing method
JP2020060861A (en) Agent system, agent method, and program
JP5052241B2 (en) On-vehicle voice processing apparatus, voice processing system, and voice processing method
JP2005161873A (en) In-cabin sound field control system
JP2020042066A (en) Voice interactive device, voice interactive method, and voice interactive program
JP4478146B2 (en) Speech recognition system, speech recognition method and program thereof
JP2014065359A (en) Display control device, display system and display control method
JP2005208798A (en) Information provision terminal and information provision method
JP2010221893A (en) Onboard information equipment
US20220208185A1 (en) Speech Dialog System for Multiple Passengers in a Car
JP6509098B2 (en) Voice output device and voice output control method
JP2020060623A (en) Agent system, agent method, and program
JP2008092322A (en) Communication control equipment and integrated circuit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6896540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150