JP7163267B2 - vehicle control system - Google Patents

vehicle control system Download PDF

Info

Publication number
JP7163267B2
JP7163267B2 JP2019209494A JP2019209494A JP7163267B2 JP 7163267 B2 JP7163267 B2 JP 7163267B2 JP 2019209494 A JP2019209494 A JP 2019209494A JP 2019209494 A JP2019209494 A JP 2019209494A JP 7163267 B2 JP7163267 B2 JP 7163267B2
Authority
JP
Japan
Prior art keywords
vehicle
user
voice
recognized
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019209494A
Other languages
Japanese (ja)
Other versions
JP2021079846A (en
Inventor
克靖 山根
惠史 片山
雅裕 谷川
佳之 宮川
要 瀧田
晃司 野村
裕志 槌谷
洋介 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019209494A priority Critical patent/JP7163267B2/en
Publication of JP2021079846A publication Critical patent/JP2021079846A/en
Application granted granted Critical
Publication of JP7163267B2 publication Critical patent/JP7163267B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lock And Its Accessories (AREA)

Description

本発明は、車両の動作を制御する車両制御システムに関し、特に、ユーザからの音声指示に基づいて車両の制御対象を制御する車両制御システムに関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle control system that controls the operation of a vehicle, and more particularly to a vehicle control system that controls a vehicle control target based on voice instructions from a user.

車両の外部にいるユーザが音声指示を行うことにより当該車両のドアロックの解錠等を行う、いわゆる音声エントリが検討されている。このような音声エントリとして、従来、車室内マイクにより乗員の音声指示を取得して認識する音声認識部（音声入力部）を備えた車両用音声制御システムにおいて、ユーザの接近を検知して車両窓を少し開けることにより車両外にいるユーザの指示音声を車室内マイクで取得することが知られている（特許文献１）。この音声制御システムでは、スマートキーとの通信を行うことでユーザの接近が検知され、車載の窓開閉装置により、車両外音声を車室内へ導入するのに必要な量だけ車両窓が開けられる。 2. Description of the Related Art A so-called voice entry, in which a user outside a vehicle issues a voice instruction to unlock a door of the vehicle or the like, is under consideration. As such a voice entry, conventionally, in a vehicle voice control system equipped with a voice recognition unit (voice input unit) that acquires and recognizes voice instructions of a passenger using an in-vehicle microphone, an approach of a user is detected and a vehicle window is detected. It is known to obtain an instruction voice of a user outside the vehicle with an in-vehicle microphone by slightly opening the door (Patent Document 1). This voice control system communicates with the smart key to detect the approach of the user, and the on-board window opening/closing device opens the vehicle windows by the amount necessary to introduce the sound from outside the vehicle into the vehicle interior.

しかしながら、上記従来の音声制御システムでは、例えばユーザが友人と会話しながら車両に接近したような場合には、音声認識部が当該会話の中の特定の文言やフレーズを車両に対する指示であるものと誤って解釈し、ユーザの意図に反した車両動作が行われる場合があり得る。例えば、「…家に帰ってドアを開けてみたら…」といった会話の中の「ドアを開けて」のようなフレーズは、音声認識部により車両ドアの解錠を指示するものと誤って解釈される可能性があり、ユーザの意図に反して車両ドアが解錠されることとなり得る。 However, in the conventional voice control system, for example, when the user approaches the vehicle while talking with a friend, the voice recognition unit recognizes specific words or phrases in the conversation as instructions to the vehicle. Incorrect interpretation may result in vehicle operation that is not intended by the user. For example, a phrase like "open the door" in a conversation "...go home and open the door..." is misinterpreted by the speech recognition unit as an instruction to unlock the vehicle door. The vehicle door may be unlocked against the user's intention.

特開２０１９－１６７００７号公報JP 2019-167007 A

本発明の目的は、車両の外部からその車両に音声指示を与える際にユーザの意図しない車両動作が行われるのを防止して、音声指示の利便性を向上することである。 SUMMARY OF THE INVENTION It is an object of the present invention to improve the convenience of voice instructions by preventing unintentional vehicle movement when a voice instruction is given to the vehicle from the outside of the vehicle.

本発明の一の態様は、車両の制御対象を制御する制御装置への動作指示を行う車両制御システムであって、前記車両の外部からの外部音声を認識する音声認識装置と、前記車両から所定の距離範囲内にユーザが存在するか否かを検知するユーザ検知装置と、前記車両の外へ音を出力する音出力器と、を備え、前記音声認識装置は、前記ユーザ検知装置により前記ユーザが検知されたことを条件として、前記外部音声から認識される前記制御対象に対する動作指示を前記制御装置へ送信し、かつ、前記音声認識装置は、前記ユーザ検知装置により前記ユーザが検知されている場合において、前記外部音声から予め定められた前記所定の文言を認識しないときは、所定の音情報を前記音出力器に出力させ、前記所定の音情報を前記音出力器により出力させてから第１所定時間が経過するまでの第１期間に限り、前記外部音声から確認音声を認識した場合に、前記認識した前記動作指示を前記制御装置へ送信し、前記第１期間の終了から第２所定時間が経過するまでの第２期間は、前記外部音声についての音声認識を行わない。
本発明の他の態様によると、前記音声認識装置は、前記ユーザ検知装置により前記ユーザが検知されている場合において、前記外部音声から予め定められた所定の文言を認識したときは、前記外部音声から認識される前記制御対象に対する動作指示を前記制御装置へ送信する。
本発明の他の態様によると、前記音声認識装置は、認識された前記確認音声が肯定的なものであるときは、前記制御装置へ前記動作指示を送信し、認識された前記確認音声が否定的なものであるときは、前記制御装置へ前記動作指示を送信しない。
本発明の他の態様によると、前記ユーザ検知装置は、前記車両から所定の距離範囲内を通信可能範囲として、当該通信可能範囲内に所定の携帯機が存在するか否かを検知するよう構成されている。
本発明の他の態様によると、前記ユーザ検知装置は、さらに、前記外部音声がユーザにより発話されたものであるか否かの声紋認証を行うよう構成されており、前記音声認識装置は、前記ユーザ検知装置により前記外部音声が前記ユーザの発話であることが認証されたとき又は前記携帯機が前記通信可能範囲内に存在することが検知されたときに、前記ユーザが検知されたものと判断する。
本発明の他の態様によると、前記音声認識装置は、前記外部音声から予め定められた前記所定の文言を認識しない場合であっても、前記ユーザ検知装置において前記外部音声が前記ユーザの発話であることが認証され且つ前記携帯機が前記通信可能範囲内に存在することが検知されたときは、前記認識した前記動作指示を前記制御装置へ送信する。
本発明の他の態様は、上記いずれかの車両制御システムを備える車両である。 One aspect of the present invention is a vehicle control system that issues an operation instruction to a control device that controls a controlled object of a vehicle, comprising: a voice recognition device that recognizes an external voice from the outside of the vehicle; and a sound output device that outputs sound to the outside of the vehicle , wherein the speech recognition device detects the presence of the user by the user detection device. is detected, the operation instruction for the controlled object recognized from the external voice is transmitted to the control device, and the voice recognition device detects the user by the user detection device In this case, when the predetermined word is not recognized from the external voice, predetermined sound information is output from the sound output device, the predetermined sound information is output from the sound output device, and then the second Only in a first period until a predetermined period of time elapses, when a confirmation voice is recognized from the external voice, the recognized operation instruction is transmitted to the control device, and a second predetermined period of time is reached from the end of the first period. During the second period until the time elapses, speech recognition of the external voice is not performed .
According to another aspect of the present invention, when the user is detected by the user detection device, the speech recognition device recognizes a predetermined word from the external speech. to the control device.
According to another aspect of the present invention, the speech recognition device transmits the operation instruction to the control device when the recognized confirmation speech is positive, and the recognized confirmation speech is negative. If it is not necessary, the operation instruction is not sent to the control device.
According to another aspect of the present invention, the user detection device is configured to detect whether or not a predetermined portable device exists within the communicable range within a predetermined distance range from the vehicle. It is
According to another aspect of the present invention, the user detection device is further configured to perform voiceprint authentication as to whether or not the external voice is uttered by a user, and the voice recognition device It is determined that the user has been detected when the user detection device authenticates that the external voice is the user's utterance or detects that the portable device exists within the communicable range. do.
According to another aspect of the present invention, even if the speech recognition device does not recognize the predetermined words from the external voice, the user detection device recognizes that the external voice is the user's utterance. When the presence of the portable device is authenticated and the presence of the portable device within the communicable range is detected, the recognized operation instruction is transmitted to the control device.
Another aspect of the present invention is a vehicle including any one of the vehicle control systems described above.

本発明によれば、車両の外部からその車両に音声指示を与える際にユーザの意図しない車両動作が行われるのを防止して、車両に対する音声指示の利便性を向上することができる。 Advantageous Effects of Invention According to the present invention, it is possible to prevent a vehicle operation not intended by a user when a voice instruction is given to the vehicle from the outside of the vehicle, thereby improving the convenience of the voice instruction to the vehicle.

本発明の一実施形態に係る車両制御システムが搭載された、車両を示す図である。1 is a diagram showing a vehicle equipped with a vehicle control system according to an embodiment of the invention; FIG. 図１に示す車両制御システムの構成を示す図である。2 is a diagram showing the configuration of the vehicle control system shown in FIG. 1; FIG. 図２に示す音声認識ＥＣＵの動作指示部における動作指示送信の実行条件を示す図である。3 is a diagram showing execution conditions for operation instruction transmission in an operation instruction unit of the voice recognition ECU shown in FIG. 2; FIG. 図１に示す車両制御システムの動作の手順を示すフロー図である。FIG. 2 is a flowchart showing the procedure of operation of the vehicle control system shown in FIG. 1; 図４における動作指示送信処理の動作の手順を示すフロー図である。FIG. 5 is a flow chart showing a procedure of operation of an operation instruction transmission process in FIG. 4;

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る車両制御システムが搭載された車両の構成を示す図である。本実施形態に係る車両制御システム１００は、車両１０２に搭載されており、ユーザからの音声指示に基づいて、車両１０２の制御対象を制御する制御装置への動作指示を行う。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing the configuration of a vehicle equipped with a vehicle control system according to one embodiment of the present invention. A vehicle control system 100 according to the present embodiment is mounted on a vehicle 102, and issues operation instructions to a control device that controls objects controlled by the vehicle 102 based on voice instructions from a user.

具体的には、車両制御システム１００は、例えば車両１０２の運転席ドア１１０に設けられたマイクロホンである音入力器１０６から、車両１０２の外部の音（以下、外部音）に含まれる音声（以下、外部音声）を取得する。そして、車両制御システム１００は、当該外部音声を認識し、車両１０２に対し何らかの動作を指示する指示音声を抽出して、当該指示音声が示す動作を実行する。 Specifically, the vehicle control system 100 receives a voice (hereinafter referred to as an external sound) from the sound input device 106, which is a microphone provided in the driver's door 110 of the vehicle 102, and is included in the external sound (hereinafter referred to as an external sound) of the vehicle 102. , external audio). Then, the vehicle control system 100 recognizes the external voice, extracts an instruction voice instructing the vehicle 102 to perform some action, and executes the action indicated by the instruction voice.

その際、車両制御システム１００は、音入力器１０６から取得される指示音声が、車両１０２のユーザの音声によるものであって且つ車両１０２に向けられた指示音声であることを、ユーザの発話内容、及びユーザが所持する携帯機１０８の存在の有無などに基づいて判断する。また、当該判断のために必要があるときは、車両制御システム１００は、車両１０２の外部にいるユーザを相手として、上記抽出した指示音声が車両１０２に向けられたものであることを確認するための聞き返し対話を行う。この対話は、上記音入力器１０６に加えて、車両１０２の外へ音を出力する音出力器１０４を用いることで行われる。この音出力器１０４は、例えば運転席ドア１１０に設けられたスピーカである。 At that time, the vehicle control system 100 determines that the instruction voice acquired from the sound input device 106 is the voice of the user of the vehicle 102 and is the instruction voice directed to the vehicle 102. , and the presence or absence of the portable device 108 possessed by the user. Further, when necessary for the determination, the vehicle control system 100 confirms that the extracted instruction voice is directed to the vehicle 102 with the user outside the vehicle 102 as the other party. Hear back dialogue. This dialogue is performed by using a sound output device 104 that outputs sound to the outside of the vehicle 102 in addition to the sound input device 106 described above. This sound output device 104 is, for example, a speaker provided on the driver's seat door 110 .

ここで、携帯機１０８は、いわゆるＦＯＢ（Ｆｒｅｑｕｅｎｃｙ Ｏｐｅｒａｔｅｄ Ｂｕｔｔｏｎ）キー、又はスマートフォン等の近距離通信を行い得る携帯端末であるものとすることができる。 Here, the portable device 108 can be a so-called FOB (Frequency Operated Button) key or a portable terminal such as a smart phone capable of performing short-distance communication.

図１の構成において、例えば、車両１０２のユーザが、携帯機１０８を持って車両１０２に接近し、「ＯＫ。マイカー。運転席のドアを開けて。」と発話する。ここで、上記発話のうち「ＯＫ。マイカー。」の部分は、いわゆるトリガワード（または、ウェイクアップワード）であり、車両１０２に向けて音声指示を発話する前にユーザが発するものとして予め定められた所定の文言である。また、上記発話のうち「運転席のドアを開けて。」の部分は、指示音声に対応する。なお、「ＯＫ。マイカー。」はトリガワードの単なる一例であり、トリガワードは、予め定められた所定の任意の語を含む文言であるものとすることができる。 In the configuration of FIG. 1, for example, the user of the vehicle 102 approaches the vehicle 102 with the portable device 108 and speaks "OK. My car. Open the driver's door." Here, the part of the utterance "OK. My car." It is a predetermined wording. Also, the part of the utterance "Open the door of the driver's seat." corresponds to the instruction voice. It should be noted that "OK. My car." is merely an example of the trigger word, and the trigger word can be a sentence containing any predetermined word.

車両制御システム１００は、上記発話を音入力器１０６により取得したのち、携帯機１０８と通信して当該携帯機１０８の存在を検知することにより、ユーザが車両１０２の周囲にいることを検知する。また、車両制御システム１００は、上記ユーザの発話を認識し、当該発話から、上記トリガワードの存在を認識すると共に、指示音声を認識して抽出する。そして、車両制御システム１００は、携帯機１０８の検知結果およびユーザの発話内容に基づいて、当該発話から認識又は抽出される音声指示を、対応する制御装置に送信するか否かを判断する。 The vehicle control system 100 detects that the user is around the vehicle 102 by communicating with the portable device 108 and detecting the presence of the portable device 108 after acquiring the utterance by the sound input device 106 . Further, the vehicle control system 100 recognizes the user's utterance, recognizes the presence of the trigger word, and recognizes and extracts the command voice from the utterance. Then, based on the detection result of the portable device 108 and the content of the user's utterance, the vehicle control system 100 determines whether to transmit the voice instruction recognized or extracted from the utterance to the corresponding control device.

上記の例では、車両１０２の周囲にユーザが居り且つ外部音声にトリガワードが含まれていることから、当該外部音声に含まれた指示音声は、ユーザが車両１０２に向けたものである蓋然性が高い。このため、車両制御システム１００は、携帯機１０８が検知され、且つトリガワードが認識されたときは、上記指示音声が示す動作、すなわち運転席ドア１１０の解錠を実行する。 In the above example, since the user is around the vehicle 102 and the trigger word is included in the external voice, it is highly probable that the command voice included in the external voice is directed at the vehicle 102 by the user. high. Therefore, when the portable device 108 is detected and the trigger word is recognized, the vehicle control system 100 executes the operation indicated by the instruction voice, that is, unlocking the driver's seat door 110 .

図２は、図１に示す車両制御システム１００の構成を示す図である。車両制御システム１００は、ＥＣＵ（電子制御装置、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｔｒｏｌ Ｕｎｉｔ）である音取得ＥＣＵ２００と、ユーザ検知ＥＣＵ２０２と、音声認識ＥＣＵ２０４と、を備える。音取得ＥＣＵ２００、ユーザ検知ＥＣＵ２０２、及び音声認識ＥＣＵ２０４は、車載ネットワークバス２０６により、互いに通信可能に接続されている。ここで、車載ネットワークバス２０６は、例えばＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信規格に準拠した通信を行うためのＣＡＮバスであるものとすることができる。 FIG. 2 is a diagram showing the configuration of vehicle control system 100 shown in FIG. The vehicle control system 100 includes a sound acquisition ECU 200 which is an ECU (Electronic Control Unit), a user detection ECU 202 and a voice recognition ECU 204 . The sound acquisition ECU 200, the user detection ECU 202, and the voice recognition ECU 204 are communicably connected to each other via an in-vehicle network bus 206. FIG. Here, the in-vehicle network bus 206 may be a CAN bus for performing communication conforming to CAN (Control Area Network) communication standards, for example.

車載ネットワークバス２０６には、また、前部ドアロック機構２１０、後部ドアロック機構２１２、およびテールゲートロック機構２１４の動作を制御するドアロック制御ＥＣＵ２０８が接続されている。前部ドアロック機構２１０は、車両１０２の運転席および助手席の左右側方にある２つの前部車両ドアのそれぞれのドアロックの施解錠を行うアクチュエータである。また、後部ドアロック機構２１２は、車両１０２の後部客席の左右側方にある２つの後部車両ドアのそれぞれのドアロックの施解錠を行うアクチュエータである。また、テールゲートロック機構２１４は、車両１０２の後部荷室の車両ドアのドアロックの施解錠を行うアクチュエータである。 Also connected to the in-vehicle network bus 206 is a door lock control ECU 208 that controls operations of a front door lock mechanism 210 , a rear door lock mechanism 212 , and a tailgate lock mechanism 214 . The front door lock mechanism 210 is an actuator that locks and unlocks the two front vehicle doors on the left and right sides of the driver's seat and the passenger's seat of the vehicle 102 . The rear door lock mechanism 212 is an actuator that locks and unlocks two rear vehicle doors on the left and right sides of the rear passenger seat of the vehicle 102 . Also, the tailgate lock mechanism 214 is an actuator that locks and unlocks the vehicle door of the rear luggage compartment of the vehicle 102 .

本実施形態では、車両制御システム１００は、車両１０２における制御対象としての前部ドアロック機構２１０、後部ドアロック機構２１２、およびテールゲートロック機構２１４を制御する制御装置であるドアロック制御ＥＣＵ２０８への動作指示を行う。ただし、これは一例であって、車両制御システム１００が動作指示を行う制御装置は、ドアロック制御ＥＣＵ２０８には限られない。車両制御システム１００は、ユーザからの音声指示に基づいて、車両１０２の任意の制御対象を制御する任意の制御装置に動作指示を与えるものとすることができる。そのような制御装置には、車両１０２が備える各種の電装装置（例えばエアコン、ヒータ、ライト）を制御対象としてその動作をそれぞれ制御する様々な電装装置制御ＥＣＵや、車両１０２の駆動装置である例えば内燃機関を制御対象として、その起動やトルク発生等の動作を制御する駆動制御ＥＣＵ等が含まれ得る。 In the present embodiment, the vehicle control system 100 provides a door lock control ECU 208, which is a control device for controlling a front door lock mechanism 210, a rear door lock mechanism 212, and a tailgate lock mechanism 214 as objects to be controlled in the vehicle 102. Give operation instructions. However, this is only an example, and the control device to which the vehicle control system 100 issues operation instructions is not limited to the door lock control ECU 208 . The vehicle control system 100 can give operation instructions to any control device that controls any controlled object of the vehicle 102 based on voice instructions from the user. Such a control device includes various electrical device control ECUs for controlling the operations of various electrical devices (eg, air conditioner, heater, and light) provided in the vehicle 102, and a driving device of the vehicle 102, for example. With the internal combustion engine as the object of control, a drive control ECU and the like that control operations such as starting and torque generation can be included.

音取得ＥＣＵ２００は、車両１０２の運転席ドア１１０に設けられた音入力器１０６から、車両１０２の外部音を取得して、取得した外部音をユーザ検知ＥＣＵ２０２および音声認識ＥＣＵ２０４へ出力する。 Sound acquisition ECU 200 acquires external sounds of vehicle 102 from sound input device 106 provided on driver's door 110 of vehicle 102 and outputs the acquired external sounds to user detection ECU 202 and voice recognition ECU 204 .

ユーザ検知ＥＣＵ２０２は、車両１０２から所定の距離範囲内にユーザが存在するか否かを検知するユーザ検知装置である。具体的には、ユーザ検知ＥＣＵ２０２は、処理装置２２０と、近距離通信装置２２２と、ネットワーク通信装置（以下、ＮＷ通信装置）２２４と、を備える。近距離通信装置２２２は、車両１０２から所定の近距離範囲内（例えば、車両１０２から３ｍの範囲内）を通信可能範囲として、ユーザが所有する携帯機１０８との間で無線通信を行う無線通信装置である。ＮＷ通信装置２２４は、車載ネットワークバス２０６を介して音取得ＥＣＵ２００等の他のＥＣＵと通信するための通信装置であり、例えばＣＡＮ通信規格に準拠した通信を行うＣＡＮトランシーバである。 The user detection ECU 202 is a user detection device that detects whether a user is present within a predetermined distance range from the vehicle 102 . Specifically, the user detection ECU 202 includes a processing device 220 , a near field communication device 222 , and a network communication device (hereinafter referred to as NW communication device) 224 . The short-range communication device 222 performs wireless communication with the portable device 108 owned by the user within a predetermined short-range range from the vehicle 102 (for example, within a range of 3 m from the vehicle 102). It is a device. The NW communication device 224 is a communication device for communicating with other ECUs such as the sound acquisition ECU 200 via the in-vehicle network bus 206, and is, for example, a CAN transceiver that performs communication conforming to the CAN communication standard.

処理装置２２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサを備えるコンピュータである。処理装置２２０は、プログラムが書き込まれたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、データの一時記憶のためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を有する構成であってもよい。そして、処理装置２２０は、機能要素又は機能ユニットとして、携帯機検知部２２６と、声紋認証部２２８と、を備える。 The processing device 220 is, for example, a computer including a processor such as a CPU (Central Processing Unit). The processing device 220 may have a ROM (Read Only Memory) in which a program is written, a RAM (Random Access Memory) for temporarily storing data, and the like. The processing device 220 includes a portable device detection unit 226 and a voiceprint authentication unit 228 as functional elements or functional units.

処理装置２２０が備えるこれらの機能要素は、例えば、コンピュータである処理装置２２０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２２０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。 These functional elements provided by the processing device 220 are implemented by the processing device 220, which is a computer, executing a program, for example. The computer program can be stored in any computer-readable storage medium. Alternatively, all or part of the functional elements provided in the processing device 220 can be configured by hardware including one or more electronic circuit components.

携帯機検知部２２６は、車両１０２から所定の距離範囲内である通信可能範囲内に所定の携帯機１０８が存在するか否かを検知する。具体的には、携帯機検知部２２６は、音取得ＥＣＵ２００から外部音が送られたことに応じて近距離通信装置２２２により携帯機１０８との通信を試みる。そして、通信できたときは、携帯機検知部２２６は、携帯機１０８から当該携帯機１０８に固有の携帯機識別情報（ＩＤ）を取得する。また、携帯機検知部２２６は、取得した携帯機識別情報が予め登録されている所定の携帯機の携帯機識別情報と一致するときは、所定の携帯機である携帯機１０８を検知したものと判断する。 The portable device detection unit 226 detects whether or not a predetermined portable device 108 exists within a communicable range within a predetermined distance range from the vehicle 102 . Specifically, the portable device detection unit 226 attempts communication with the portable device 108 via the short-range communication device 222 in response to the external sound being sent from the sound acquisition ECU 200 . Then, when communication is established, the portable device detection unit 226 acquires portable device identification information (ID) unique to the portable device 108 from the portable device 108 . Further, when the acquired portable device identification information matches the portable device identification information of a predetermined portable device registered in advance, the portable device detection unit 226 detects the portable device 108 which is the predetermined portable device. to decide.

ここで、「所定の携帯機」とは、車両１０２についての使用権限又はアクセス権限を有するユーザ（例えば、車両１０２の所有者及び又は当該所有者の許可を得た借用者）の携帯機であるものとして予め登録された携帯機をいう。なお、登録された所定の携帯機の携帯機識別情報は、処理装置２２０の記憶装置（不図示）に予め記憶されているか又はプログラムにおいて予め記述されているものとすることができる。以下、「携帯機１０８」とは、所定の携帯機、すなわち車両１０２の使用権限又はアクセス権限を有するユーザの携帯機を意味するものとする。 Here, the “predetermined portable device” is a portable device of a user (for example, the owner of the vehicle 102 and/or a borrower with the owner's permission) who has the authority to use or access the vehicle 102. A mobile device registered in advance as a device. The portable device identification information of the registered predetermined portable device can be pre-stored in a storage device (not shown) of the processing device 220 or pre-written in a program. Hereinafter, the “portable device 108 ” means a predetermined portable device, that is, a portable device of a user who has authority to use or access the vehicle 102 .

携帯機検知部２２６は、携帯機１０８との通信を試みたときは、携帯機１０８（すなわち、所定の携帯機）を検知したこと又はしなかったことを示すユーザ検知情報を、音声認識ＥＣＵ２０４へ送信する。 When the portable device detection unit 226 attempts to communicate with the portable device 108, the portable device detection unit 226 sends user detection information indicating whether or not the portable device 108 (that is, a predetermined portable device) has been detected to the voice recognition ECU 204. Send.

声紋認証部２２８は、音取得ＥＣＵ２００から受信した車両１０２の外部音に含まれる外部音声が、車両１０２の使用権限又はアクセス権限を有するユーザ（以下、単にユーザという）により発話されたものであるか否かの声紋認証を行う。この声紋認証部２２８により、ユーザ検知ＥＣＵ２０２は、ユーザが車両１０２から所定の距離範囲内にいること、すなわち、音入力器１０６によりその発話音声を取得できる所定の距離範囲内にユーザがいることを検知する。 The voiceprint authentication unit 228 determines whether the external voice included in the external sound of the vehicle 102 received from the sound acquisition ECU 200 is uttered by a user who has the authority to use or access the vehicle 102 (hereinafter simply referred to as the user). Voiceprint authentication of whether or not is performed. With this voiceprint authentication unit 228, the user detection ECU 202 can detect that the user is within a predetermined distance range from the vehicle 102, that is, that the user is within a predetermined distance range from which the uttered voice can be acquired by the sound input device 106. detect.

具体的には、声紋認証部２２８は、外部音が音取得ＥＣＵ２００から送られたときに、当該外部音に含まれる音声の声紋を算出し、当該算出した声紋を、例えば処理装置２２０の記憶装置（不図示）に予め記憶されたユーザの声紋と照合する。そして、声紋認証部２２８は、上記算出した声紋が上記記憶装置に予め記憶されているユーザの声紋と一致したか否か、すなわち、声紋認証が成功したか失敗したかを示すユーザ検知情報を、音声認識ＥＣＵ２０４へ送信する。 Specifically, when the external sound is sent from the sound acquisition ECU 200, the voiceprint authentication unit 228 calculates the voiceprint of the voice included in the external sound, and stores the calculated voiceprint in the storage device of the processing device 220, for example. (not shown) is compared with the user's voiceprint stored in advance. Then, the voiceprint authentication unit 228 stores user detection information indicating whether or not the calculated voiceprint matches the voiceprint of the user pre-stored in the storage device, that is, whether the voiceprint authentication has succeeded or failed. It is transmitted to the voice recognition ECU 204 .

音声認識ＥＣＵ２０４は、車両１０２の外部からの音声（外部音声）を認識する音声認識装置である。音声認識ＥＣＵ２０４は、ユーザ検知ＥＣＵ２０２によりユーザが検知されたことを条件として、外部音声から認識される、車両１０２の制御対象に対する動作指示を、制御装置へ送信する。例えば、本実施形態では、音声認識ＥＣＵ２０４は、車両１０２の制御対象である前部ドアロック機構２１０、後部ドアロック機構２１２、及び又はテールゲートロック機構２１４に対する解錠及び又は施錠の動作指示を、上記外部音声から認識して、対応する制御装置であるドアロック制御ＥＣＵ２０８へ送信する。 The voice recognition ECU 204 is a voice recognition device that recognizes voice from outside the vehicle 102 (external voice). On condition that the user detection ECU 202 has detected the user, the voice recognition ECU 204 transmits to the control device an operation instruction for the controlled object of the vehicle 102 recognized from the external voice. For example, in the present embodiment, the voice recognition ECU 204 instructs the front door lock mechanism 210, the rear door lock mechanism 212, and/or the tailgate lock mechanism 214, which are the controlled objects of the vehicle 102, to unlock and/or lock the vehicle. The external voice is recognized and transmitted to the door lock control ECU 208, which is a corresponding control device.

具体的には、音声認識ＥＣＵ２０４は、処理装置２３０と、ネットワーク通信装置（ＮＷ通信装置）２３２と、を備える。ＮＷ通信装置２３２は、車載ネットワークバス２０６を介して音取得ＥＣＵ２００等の他のＥＣＵと通信するための通信装置であり、例えばＣＡＮ通信規格に準拠した通信を行うＣＡＮトランシーバである。 Specifically, the voice recognition ECU 204 includes a processing device 230 and a network communication device (NW communication device) 232 . The NW communication device 232 is a communication device for communicating with other ECUs such as the sound acquisition ECU 200 via the in-vehicle network bus 206, and is, for example, a CAN transceiver that performs communication conforming to the CAN communication standard.

処理装置２３０は、例えば、ＣＰＵ等のプロセッサを備えるコンピュータである。処理装置２３０は、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有する構成であってもよい。そして、処理装置２３０は、機能要素又は機能ユニットとして、音声認識部２４０と、トリガワード検知部２４２と、対話制御部２４４と、指示抽出部２４６と、動作指示部２４８と、を備える。 The processing device 230 is, for example, a computer having a processor such as a CPU. The processing device 230 may have a ROM in which a program is written, a RAM for temporarily storing data, and the like. The processing device 230 includes a speech recognition section 240, a trigger word detection section 242, a dialog control section 244, an instruction extraction section 246, and an operation instruction section 248 as functional elements or functional units.

処理装置２３０が備えるこれらの機能要素は、例えば、コンピュータである処理装置２３０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２３０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。 These functional elements provided by the processing device 230 are implemented by the processing device 230, which is a computer, executing a program, for example. The computer program can be stored in any computer-readable storage medium. Alternatively, all or part of the functional elements of the processing device 230 may be configured by hardware including one or more electronic circuit components.

音声認識部２４０は、音取得ＥＣＵ２００から受信する外部音に含まれた外部音声を認識する。そして、音声認識部２４０は、当該音声認識の結果を、例えばテキストとして、トリガワード検知部２４２、指示抽出部２４６、および対話制御部２４４へ送信する。 The voice recognition unit 240 recognizes external voices included in external sounds received from the sound acquisition ECU 200 . Then, the speech recognition unit 240 transmits the result of the speech recognition as text, for example, to the trigger word detection unit 242, the instruction extraction unit 246, and the dialogue control unit 244.

トリガワード検知部２４２は、音声認識部２４０から受信した音声認識結果に、予め定められた所定の文言であるトリガワード（ウェイクアップワード）が含まれているか否か、を判断する。トリガワード検知部２４２は、上記受信した音声認識結果にトリガワードが含まれているか否かを示すトリガワード検知情報を動作指示部２４８に送信する。 The trigger word detection unit 242 determines whether the speech recognition result received from the speech recognition unit 240 includes a trigger word (wakeup word), which is a predetermined wording. The trigger word detection unit 242 transmits to the operation instruction unit 248 trigger word detection information indicating whether or not the trigger word is included in the received speech recognition result.

指示抽出部２４６は、音声認識部２４０から受信した音声認識結果から、車両１０２の制御対象についての動作を指示する指示音声を、例えばテキスト（以下、指示テキストという）として抽出する。また、指示抽出部２４６は、抽出した指示テキストから、その指示を遂行するための動作指示を生成する。この動作指示は、車両１０２の外部音声から認識される、制御対象に対する動作指示に対応する。 The instruction extraction unit 246 extracts, from the speech recognition results received from the speech recognition unit 240, an instruction voice that instructs the operation of the object to be controlled of the vehicle 102, for example, as text (hereinafter referred to as instruction text). The instruction extraction unit 246 also generates an action instruction for executing the instruction from the extracted instruction text. This operation instruction corresponds to the operation instruction for the controlled object recognized from the external voice of the vehicle 102 .

この動作指示は、例えば、その動作指示の遂行に用いるべき制御対象、その動作の内容、及び対応する制御装置の装置識別情報を含んだ制御コマンドである。例えば、上述した「ＯＫ。マイカー。運転席のドアを開けて。」という発話が認識された場合、「運転席のドアを開けて」という指示音声に基づいて、前部ドアロック機構２１０を制御対象とする旨の情報と、運転席ドア１１０のロック解除を動作内容とする旨の情報と、ドアロック制御ＥＣＵ２０８の装置識別情報と、を含んだ制御コマンドとして、動作指示が生成される。 This operation instruction is, for example, a control command that includes a controlled object to be used to carry out the operation instruction, details of the operation, and device identification information of the corresponding control device. For example, when the utterance "OK. My car. Open the driver's door." An operation instruction is generated as a control command including information to the effect that it is targeted, information to the effect that unlocking of the driver's seat door 110 is the operation content, and device identification information of the door lock control ECU 208 .

そして、指示抽出部２４６は、上記生成した動作指示を、上記抽出した指示テキストと共に、動作指示部２４８へ送信する。 The instruction extraction unit 246 then transmits the generated action instruction together with the extracted instruction text to the action instruction unit 248 .

対話制御部２４４は、動作指示部２４８からの対話指示に基づき、車両１０２の外部に居る人との対話を行う。すなわち、対話制御部２４４は、音出力器１０４により車両１０２の外部へ向けて所定の音情報を出力し、及び当該音情報に対して車両１０２の外部にいる人が発する音声の内容を、音取得ＥＣＵ２００および音声認識部２４０を介して取得する。 The interaction control unit 244 interacts with a person outside the vehicle 102 based on the interaction instruction from the action instruction unit 248 . That is, the dialogue control unit 244 outputs predetermined sound information to the outside of the vehicle 102 using the sound output device 104, and converts the content of the voice uttered by a person outside the vehicle 102 to the sound information into a sound. It is acquired via the acquisition ECU 200 and the voice recognition unit 240 .

対話制御部２４４が行うこの対話は、例えば、指示抽出部２４６が抽出した指示音声が車両１０２に向けた指示に係るものであるか否かを車両１０２の外部に向けて聞き返すための、聞き返し対話である。 This dialogue performed by the dialogue control unit 244 is, for example, a feedback dialogue for asking the outside of the vehicle 102 whether or not the instruction voice extracted by the instruction extraction unit 246 is related to an instruction directed toward the vehicle 102. is.

対話制御部２４４が動作指示部２４８から受信する上記対話指示には、例えば、指示抽出部２４６が抽出した指示テキストが含まれるものとすることができる。対話制御部２４４は、当該指示テキストを含む聞き返し質問を生成し、当該生成した質問を音出力器１０４から音声として出力する。この聞き返し質問は、「はい」または「いいえ」で回答できる形式であることが望ましい。 The interaction instruction received by the interaction control unit 244 from the action instruction unit 248 can include, for example, the instruction text extracted by the instruction extraction unit 246 . The dialog control unit 244 generates a feedback question including the instruction text, and outputs the generated question as a voice from the sound output device 104 . It is desirable that this replay question be in a format that can be answered with "yes" or "no".

例えば、「…運転席のドアを開けて…」との発話が認識される例では、対話制御部２４４は、「運転席ドアのロック解除を行いますか？」という聞き返し質問を生成し得る。このような「＃＃＃を行いますか？」という聞き返し質問は、例えば、上述した指示抽出部２４６における動作指示の生成と同様の処理により生成され得る。すなわち、対話制御部２４４は、指示音声から制御対象の動作の内容を特定し、当該特定した動作の内容を上記「＃＃＃」の位置に当てはめることで、聞き返し質問を生成することができる。 For example, in an example where the utterance "...open the driver's door..." is recognized, the dialog control unit 244 may generate a feedback question, "Do you want to unlock the driver's door?" Such a repeat question "Do you want to do ###?" In other words, the dialogue control unit 244 can generate a repeat question by specifying the content of the action to be controlled from the instruction voice and applying the content of the specified action to the position of "###".

対話制御部２４４は、上記聞き返し質問を音出力器１０４から音声出力した後、予め定められた所定の第１時間が経過するまでの第１期間の間、車両１０２の外部から聞き返し応答が返されるのを待機する。ここで、上記聞き返し質問は、音出力器１０４に出力する所定の音情報に対応し、聞き返し応答は、確認音声に対応する。すなわち、音声認識ＥＣＵ２０４は、所定の音情報を音出力器１０４により出力させてから第１所定時間が経過するまでの第１期間に限り、外部音声に確認音声が含まれているか否かの認識を行う。 The dialog control unit 244 outputs a feedback response from the outside of the vehicle 102 during a first period until a predetermined first time elapses after outputting the feedback question from the sound output device 104. wait for Here, the feedback question corresponds to predetermined sound information output to the sound output device 104, and the feedback response corresponds to confirmation voice. That is, the voice recognition ECU 204 recognizes whether or not the confirmation voice is included in the external voice only during the first period from when the sound output device 104 outputs the predetermined sound information until the first predetermined time elapses. I do.

車両１０２の外部からの聞き返し応答は、音入力器１０６および音取得ＥＣＵ２００により外部音として取得され、音声認識ＥＣＵ２０４の音声認識部２４０により外部音声として認識されて、対話制御部２４４に与えられる。対話制御部２４４は、認識された外部音声に所定の文言（例えば、以下に示す「はい」または「いいえ」等の文言）が含まれているか否かを判断し、含まれていれば、当該外部音声は聞き返し応答を含んでいると認識する。 A feedback response from outside the vehicle 102 is acquired as an external sound by the sound input device 106 and the sound acquisition ECU 200 , recognized as an external voice by the voice recognition unit 240 of the voice recognition ECU 204 , and given to the dialogue control unit 244 . The dialog control unit 244 determines whether or not the recognized external voice includes a predetermined wording (for example, a wording such as "yes" or "no" shown below). External speech is recognized as containing feedback responses.

聞き返し応答の文言は、応答が肯定的であることを示す「はい」、又は応答が否定的であることを示す「いいえ」で構成され得る。対話制御部２４４は、音声認識部２４０から送信された音声認識結果から、聞き返し応答を構成する上記文言を抽出し、聞き返し応答が肯定的であったか否定的であったかを判断する。そして、当該判断の結果を、対話結果情報として動作指示部２４８へ送信する。 The feedback response text may consist of "yes" to indicate that the response is positive, or "no" to indicate that the response is negative. The dialog control unit 244 extracts the above-mentioned words forming the feedback response from the speech recognition result transmitted from the speech recognition unit 240, and determines whether the feedback response was affirmative or negative. Then, the result of the determination is transmitted to the operation instructing unit 248 as dialogue result information.

一般に、聞き返し質問に対して応答しないユーザは、車両１０２に対して音声指示を行う意思を持たない状態であることが多い。本実施形態では、上述のように聞き返し応答の認識期間を上記第１期間に限ることにより、対話制御部２４４が聞き返し応答を際限なく待ち続けて無駄な時間が経過するのを避けると共に、対話制御部２４４により例えば聞き返し質問を無駄に繰り返すことを不要とする。 In general, users who do not respond to feedback questions often do not intend to give voice instructions to the vehicle 102 . In this embodiment, by limiting the feedback response recognition period to the first period as described above, the dialog control unit 244 can avoid endlessly waiting for the feedback response and waste time. The unit 244 eliminates the need to wastefully repeat, for example, repeat questions.

なお、上記「はい」および「いいえ」は、聞き返し応答を構成する文言の一例であって、当該文言はこれらには限定されない。聞き返し応答は、その応答が肯定的か否定的かを判別できる任意の文言であるものとすることができる。例えば、「そう」「そのとおり」「イエス」「うん」等の文言を、応答が肯定的であることを示す聞き返し応答の文言として用いてもよく、また、「いや」「ちがう」「ノー」「いらない」等の文言を応答が否定的であることを示す聞き返し応答の文言として用いてもよい。 Note that the above "yes" and "no" are examples of phrases constituting the feedback response, and the phrases are not limited to these. Reflective responses can be any wording that can be used to determine whether the response is positive or negative. For example, phrases such as "yes," "that's right," "yes," "yes," etc. may be used as phrases in the reflection response to indicate that the response is positive, and "no," "no," and "no." Wording such as "no" may be used as wording of the feedback response to indicate that the response is negative.

対話制御部２４４は、上記第１期間の間に聞き返し応答が認識されないときは、その旨を示す対話結果情報を動作指示部２４８へ送信する。 When the feedback response is not recognized during the first period, the dialog control section 244 transmits dialog result information indicating that fact to the operation instructing section 248 .

動作指示部２４８は、指示抽出部２４６が生成した上記動作指示を対応する制御装置へ送信すべきか否かを判断し、当該判断に基づいて、上記動作指示を制御装置へ送信する。この送信は、例えば、動作指示としての制御コマンドを、ＮＷ通信装置２３２を介して車載ネットワークバス２０６へ送出することで行われる。送出された制御コマンドは、当該制御コマンドに含まれる装置識別コードに対応する制御装置により受信され、当該制御装置により、その制御コマンドが示す制御対象についての動作内容が実行される。 The operation instruction unit 248 determines whether or not the operation instruction generated by the instruction extraction unit 246 should be transmitted to the corresponding control device, and based on the determination, transmits the operation instruction to the control device. This transmission is performed, for example, by sending a control command as an operation instruction to the in-vehicle network bus 206 via the NW communication device 232 . The sent control command is received by the control device corresponding to the device identification code included in the control command, and the control device executes the operation content for the controlled object indicated by the control command.

特に、本実施形態では、動作指示部２４８は、車両１０２から所定の距離範囲内にユーザを検知したか否か、外部音声からトリガワードを認識したか否か、及び又は上記聞き返し対話における聞き返し応答が肯定的であったか否か、に基づいて、制御装置への動作指示の送信可否を判断する。ここで、音声認識ＥＣＵ２０４の動作指示部２４８は、ユーザ検知ＥＣＵ２０２の声紋認証部２２８により外部音声がユーザの発話であることが認証されたとき又は携帯機１０８が通信可能範囲内に存在することが検知されたときに、ユーザが検知されたものと判断する。 In particular, in this embodiment, the operation instruction unit 248 determines whether or not the user has been detected within a predetermined distance range from the vehicle 102, whether or not the trigger word has been recognized from the external voice, and/or the feedback response in the feedback dialogue. is affirmative, it is determined whether or not to transmit the operation instruction to the control device. Here, the operation instructing unit 248 of the voice recognition ECU 204 is operated when the voiceprint authentication unit 228 of the user detection ECU 202 authenticates that the external voice is the user's utterance, or when the portable device 108 exists within the communicable range. A user is determined to be detected when detected.

図３は、動作指示部２４８における、制御装置への動作指示送信の実行条件を示す条件表である。動作指示部２４８は、図３の条件表の最左列である第１列から第４列までに示された条件に基づいて、最右列である第５列に示すように動作指示送信の可否を判断する。 FIG. 3 is a condition table showing execution conditions for transmitting an operation instruction to the control device in the operation instruction unit 248. As shown in FIG. Based on the conditions shown in the first to fourth columns, which are the leftmost columns of the condition table in FIG. Judging whether to accept or not.

図３に示す条件表の第１列は、携帯機１０８が検知されたか否かを示し、その右の第２列は、声紋認証が成功したか否か（すなわち、声紋が認証されたか又はされなかったかの区別）を示している。また、その右の第３列および第４列は、外部音声からトリガワードが認識されたか否か、及び聞き返し応答が肯定的であったか否かを示している。 The first column of the condition table shown in FIG. 3 indicates whether or not the portable device 108 has been detected, and the second column to the right indicates whether or not the voiceprint authentication was successful (that is, whether or not the voiceprint was authenticated). (distinguish whether or not there was). Also, the third and fourth columns to the right indicate whether or not the trigger word was recognized from the external voice and whether or not the feedback response was affirmative.

ここで、動作指示部２４８は、外部音声からトリガワードが認識されたか否かを、トリガワード検知部２４２から受信するトリガワード検知情報に基づいて判断する。また、動作指示部２４８は、携帯機１０８を検知したか否か、及び声紋認証が成功したか否か、をユーザ検知ＥＣＵ２０２からのユーザ検知情報に基づいて判断する。また、動作指示部２４８は、聞き返し応答が肯定的であったか否かを、対話制御部２４４からの対話結果情報に基づいて判断する。 Here, the operation instructing section 248 determines whether or not the trigger word is recognized from the external voice based on the trigger word detection information received from the trigger word detecting section 242 . Further, the operation instruction unit 248 determines whether or not the portable device 108 has been detected and whether or not the voiceprint authentication has succeeded based on the user detection information from the user detection ECU 202 . Further, the operation instructing section 248 determines whether or not the feedback response was affirmative, based on the dialogue result information from the dialogue control section 244 .

図３に示す条件表のタイトル行を除く最上部の３行、すなわち、第１行から第３行は、携帯機１０８の検知又は声紋認証の成功のいずれかによりユーザが検知された場合であって、且つ外部音声からトリガワードが認識された場合を示している。これらの場合、動作指示部２４８は、対話制御部２４４へ聞き返し対話を指示することなく（したがって、第４列の聞き返し応答の条件を適用することなく）、制御装置への動作指示の送信を実行する。すなわち、音声認識ＥＣＵ２０４は、ユーザ検知ＥＣＵ２０２によりユーザが検知されている場合において、外部音声から予め定められた所定の文言であるトリガワードを認識したときは、当該外部音声から認識される制御対象に対する動作指示を制御装置へ送信する。 The top three lines excluding the title line of the condition table shown in FIG. 3, that is, the first to third lines are cases in which the user is detected either by the detection of the portable device 108 or by successful voiceprint authentication. and the trigger word is recognized from the external voice. In these cases, the operation instructing unit 248 executes transmission of the operation instruction to the control device without instructing the dialogue control unit 244 to repeat the conversation (thus, without applying the conditions for the reply to the reply in the fourth column). do. That is, when the user is detected by the user detection ECU 202 and the user is detected by the user detection ECU 202, the speech recognition ECU 204 recognizes a trigger word, which is a predetermined wording, from the external speech. Sends operating instructions to the controller.

車両１０２の周囲にユーザが居ることが検知できた場合には、外部音声から認識された指示音声の発話者は当該ユーザである可能性が高く、且つ、トリガワードが検知された場合には、当該指示音声は車両１０２に向けられたものである蓋然性が高いためである。 If it is possible to detect the presence of a user around the vehicle 102, it is highly likely that the speaker of the instruction voice recognized from the external voice is that user, and if the trigger word is detected, This is because there is a high probability that the instruction voice is directed toward the vehicle 102 .

図３に示す条件表の第４行は、携帯機１０８が検知されず且つ声紋認証も失敗したことによりユーザの存在を検知できない場合において、外部音声からトリガワードが認識された場合を示している。この場合には、動作指示部２４８は、対話制御部２４４へ聞き返し対話を指示することなく、制御装置への動作指示の送信を行わないものとする。車両１０２の周囲にユーザの存在が検知できないので、音取得ＥＣＵ２００が取得した外部音声は、ユーザ以外の人（すなわち、車両１０２につての使用権限又はアクセス権限を有しない人）の発話である可能性が高いためである。 The fourth line of the condition table shown in FIG. 3 indicates the case where the trigger word is recognized from the external voice when the presence of the user cannot be detected because the portable device 108 has not been detected and the voiceprint authentication has also failed. . In this case, the operation instructing unit 248 does not instruct the dialogue control unit 244 to ask back dialogue and does not transmit the operation instruction to the control device. Since the presence of the user cannot be detected around the vehicle 102, the external sound acquired by the sound acquisition ECU 200 may be the speech of a person other than the user (i.e., a person who does not have authority to use or access the vehicle 102). This is because it is highly sensitive.

条件表の第５行から第９行は、携帯機１０８の検知又は声紋認証の成功のいずれかによりユーザが検知された場合であって、且つ外部音声からトリガワードが認識されない場合を示している。これらの場合、動作指示部２４８は、第５行の場合を除き、聞き返し対話の実行を対話制御部２４４へ指示して、対話制御部２４４から聞き返し応答の結果を取得する。車両１０２の周囲にユーザが居ることが検知できた場合であっても、トリガワードが検知されない場合には、指示抽出部２４６が抽出する指示音声は、例えばユーザが他の人に向けた単なる会話音声の一部である可能性が高いためである。 Lines 5 to 9 of the condition table indicate the case where the user is detected either by the detection of the portable device 108 or the success of the voiceprint authentication, and the trigger word is not recognized from the external voice. . In these cases, the operation instructing unit 248 instructs the dialogue control unit 244 to execute the feedback dialogue, and acquires the result of the feedback response from the dialogue control unit 244, except for the case of the fifth line. Even if it is possible to detect that the user is around the vehicle 102, if the trigger word is not detected, the command voice extracted by the command extraction unit 246 is, for example, a simple conversation of the user to another person. This is because there is a high possibility that it is part of the voice.

そして、動作指示部２４８は、聞き返し応答が肯定的であるときは、制御装置への動作指示の送信を実行する。また、動作指示部２４８は、聞き返し応答が肯定的でないとき、すなわち聞き返し応答が否定的か又は聞き返し応答が受信されないときは、制御装置への動作指示の送信を実行しない。これにより、例えば、携帯機１０８を持ったユーザが車両１０２の近くで友人に、「…運転席のドアを開けて車に乗り込んだら暑くて…」のような会話をしたときに、当該会話から「運転席のドアを開けて」の部分が指示音声として認識され、ユーザの意図しない運転席ドアの解錠が行われてしまう、ということが回避される。 Then, when the feedback response is affirmative, the operation instruction unit 248 transmits an operation instruction to the control device. Further, when the feedback response is not affirmative, that is, when the feedback response is negative or when the feedback response is not received, the operation instruction unit 248 does not transmit the operation instruction to the control device. As a result, for example, when the user holding the portable device 108 has a conversation with a friend near the vehicle 102, such as "...I opened the driver's door and got into the car, it's hot...", from the conversation, The portion of "Open the driver's seat door" is recognized as an instruction voice, and unlocking of the driver's seat door unintended by the user is avoided.

すなわち、音声認識ＥＣＵ２０４は、ユーザ検知ＥＣＵ２０２によりユーザが検知されている場合において、外部音声から予め定められた所定の文言であるトリガワードを認識しないときは、所定の音情報である例えば聞き返し質問を音出力器１０４に出力させた後、外部音声から確認音声を認識した場合に、認識した動作指示を制御装置へ送信する。具体的には、上記のとおり、音声認識ＥＣＵ２０４は、認識された確認音声が肯定的なものであるときは、制御装置へ動作指示を送信し、認識された確認音声が否定的なものであるときは、制御装置へ動作指示を送信しない。 That is, when the user is detected by the user detection ECU 202, the speech recognition ECU 204 does not recognize a trigger word, which is a predetermined wording, from the external voice, and the speech recognition ECU 204 outputs predetermined sound information, such as a repeat question. After outputting to the sound output device 104, when the confirmation voice is recognized from the external voice, the recognized operation instruction is transmitted to the control device. Specifically, as described above, the voice recognition ECU 204 transmits an operation instruction to the control device when the recognized confirmation voice is positive, and when the recognized confirmation voice is negative. In this case, no operation instruction is sent to the control device.

ただし、動作指示部２４８は、第５行に示すケース、すなわち、携帯機１０８の検知及び声紋認証の成功の双方によりユーザが検知された場合には、トリガワードが認識されなくても、聞き返し対話を行うことなく、制御装置への動作指示の送信を実行する。言い換えれば、音声認識ＥＣＵ２０４は、外部音声から予め定められた所定の文言であるトリガワードを認識しない場合であっても、ユーザ検知ＥＣＵ２０２において外部音声がユーザの発話であることが認証され且つ携帯機１０８が通信可能範囲内に存在することが検知されたときは、認識した動作指示を制御装置へ送信する。 However, in the case shown in line 5, that is, when the user is detected by both the detection of the portable device 108 and the success of the voiceprint authentication, the operation instruction unit 248 does not allow the repeat conversation even if the trigger word is not recognized. The transmission of the operation instruction to the control device is executed without performing the In other words, even if the voice recognition ECU 204 does not recognize the trigger word, which is a predetermined wording, from the external voice, the user detection ECU 202 authenticates that the external voice is the user's utterance, 108 is detected to be within the communicable range, it transmits the recognized operation instruction to the control device.

携帯機１０８の存在検知と声紋認証とにより車両１０２の周囲にユーザが存在することがより高い信頼性をもって検知された場合には、車両１０２においてユーザの意図しない動作が実行されても、当該ユーザにより当該動作が即座に修正される可能性が高い。すなわち、図３の条件表の第５行に示す動作によれば、誤認識に基づく誤動作がユーザにより即座に修正され得る状況を確保して、トリガワードを用いないより短い音声指示の使用を可能とすることができる。 When the presence of the user around the vehicle 102 is detected with higher reliability by presence detection and voiceprint authentication of the portable device 108, even if the user performs an unintended operation in the vehicle 102, the user is likely to correct the behavior immediately. That is, according to the operation shown in line 5 of the condition table of FIG. 3, it is possible to use shorter voice instructions without trigger words, ensuring a situation in which malfunctions based on misrecognition can be immediately corrected by the user. can be

図３に示す条件表の第１０行は、携帯機１０８が検知されず且つ声紋認証も失敗したことによりユーザの存在を検知できない場合において、外部音声からトリガワードも認識されない場合を示している。この場合には、動作指示部２４８は、対話制御部２４４へ聞き返し対話を指示することなく、制御装置への動作指示の送信を行わない。車両１０２の周囲にユーザの存在が検知できないので、音取得ＥＣＵ２００が取得した外部音声は当該ユーザ以外の人の発話である蓋然性が高いためである。 The 10th line of the condition table shown in FIG. 3 indicates the case where the presence of the user cannot be detected because the mobile device 108 has not been detected and the voiceprint authentication has failed, and the trigger word is not recognized from the external voice. In this case, the action instructing section 248 does not send an action instruction to the control device without instructing the dialogue control section 244 to repeat the conversation. This is because the presence of the user cannot be detected around the vehicle 102, so there is a high probability that the external sound acquired by the sound acquisition ECU 200 is the utterance of someone other than the user.

図２を参照し、動作指示部２４８は、また、対話制御部２４４へ対話指示を行った場合において、対話制御部２４４から受信した対話結果情報が、上記第１期間のうちに聞き返し応答を認識しなかった旨を示すものであるときは（例えば、図３の条件表の第７行、第９行において「聞き返し応答」の列が「応答なし」の場合は）、音声認識部２４０に指示して所定時間の間、外部音声の音声認識を行わないよう指示する。この所定時間は、上記第１期間の終了から、予め定めた第２時間が経過する第２期間の間であるものとすることができる。すなわち、音声認識ＥＣＵ２０４は、第１期間の終了から第２所定時間が経過するまでの第２期間は、外部音声についての音声認識を行わない。 Referring to FIG. 2, when the operation instruction unit 248 issues a dialogue instruction to the dialogue control unit 244, the dialogue result information received from the dialogue control unit 244 indicates that the feedback response is recognized within the first period. If it indicates that it did not (for example, if the column of "return response" in the 7th and 9th rows of the condition table in FIG. 3 is "no response"), instruct the speech recognition unit 240 to instruct not to perform speech recognition of the external voice for a predetermined period of time. The predetermined period of time may be a second period of time after the end of the first period of time, in which a predetermined second period of time elapses. That is, the voice recognition ECU 204 does not perform voice recognition of the external voice during the second period from the end of the first period to the elapse of the second predetermined time.

第１期間中にユーザによる聞き返し応答が認識されなければ、当該ユーザは車両１０２に対する音声指示を行う意思を持たない状況にあると考えられる。このような状況においては、外部音声から指示音声を抽出するための音声認識動作は不要であり、音声認識を行うことで却って誤認識を頻発させる可能性がある。本実施形態では、第１期間内にユーザからの聞き返し応答が認識されない場合には、第１期間の経過後の第２期間の間、外部音声についての音声認識を不動作とするので、上記のような指示音声の誤認識の頻発が防止されると共に、音声認識ＥＣＵ２０４の消費電力が低減される。 If the user's feedback response is not recognized during the first time period, it is considered that the user does not intend to give voice instructions to the vehicle 102 . In such a situation, a speech recognition operation for extracting instruction speech from external speech is unnecessary, and there is a possibility that misrecognition will occur frequently due to speech recognition. In this embodiment, if the feedback response from the user is not recognized within the first period, the voice recognition of the external voice is disabled during the second period after the first period. Such frequent erroneous recognition of the instruction voice is prevented, and the power consumption of the voice recognition ECU 204 is reduced.

これに代えて、動作指示部２４８は、上記第２期間においては、外部音声から所定の文言であるトリガワードを認識しないときには、外部音声から認識される動作指示を制御装置へ送信しないものとすることができる。 Alternatively, during the second period, the operation instruction unit 248 does not transmit an operation instruction recognized from the external voice to the control device when the trigger word, which is a predetermined wording, is not recognized from the external voice. be able to.

上述したように、第１期間が終了するまでの間に聞き返し応答が認識されないときは、ユーザは車両１０２に対し音声指示を与えようとしていない可能性が高い。したがって、外部音声から抽出された指示音声は、車両１０２に向けられた音声として誤って認識されたものと考えられる。このような誤認識の原因としては、車両１０２の周囲環境が、指示音声について誤認識を生じやすい環境（ユーザ以外の者の存在や周囲騒音の存在など）であることが考えられる。 As described above, if no feedback response is recognized by the end of the first time period, it is highly likely that the user is not attempting to give voice instructions to vehicle 102 . Therefore, it is considered that the command voice extracted from the external voice was erroneously recognized as voice directed at the vehicle 102 . A possible cause of such erroneous recognition is that the surrounding environment of the vehicle 102 is an environment (presence of persons other than the user, presence of ambient noise, etc.) that tends to cause erroneous recognition of the instruction voice.

上記のように、上記第２期間において、トリガワードが認識されないときは（すなわち、ユーザが車両１０２に向けて発話したことが明らかでないときは）動作指示を制御装置へ送信しないものとすることで、指示音声の誤認識の頻発を防止することができる。 As described above, when the trigger word is not recognized in the second period (that is, when it is not clear that the user has spoken toward the vehicle 102), the operation instruction is not transmitted to the control device. , it is possible to prevent frequent erroneous recognition of the instruction voice.

上記の構成を有する車両制御システム１００では、携帯機１０８の検知または声紋認証のいずれかにより車両１０２の周囲にユーザが存在することが検知されるときは、音入力器１０６から取得される外部音声からトリガワードが認識されるか、又は聞き返し対話において肯定的な聞き返し応答が認識される場合に、上記指示音声に基づく動作指示が制御装置へ送信される。 In the vehicle control system 100 having the above configuration, when the presence of the user around the vehicle 102 is detected by either detection of the portable device 108 or voiceprint authentication, the external voice acquired from the sound input device 106 is detected. When a trigger word is recognized from the feedback dialogue or a positive feedback response is recognized in the feedback dialogue, an action instruction based on the instruction voice is sent to the controller.

このため、車両制御システム１００では、ユーザ以外の人物による音声やユーザが他の人との間で行った会話音声に基づいて誤って車載の制御装置が動作してしまうことが防止され得る。その結果、車両制御システム１００では、例えば、音声指示による車両エントリ（音声エントリ）等の際にユーザの意図しない車両動作が行われるのを防止して、音声指示の利便性を向上することができる。 Therefore, in the vehicle control system 100, it is possible to prevent the in-vehicle control device from erroneously operating based on the voice of a person other than the user or the voice of the user's conversation with another person. As a result, in the vehicle control system 100, for example, when vehicle entry (voice entry) is performed by voice instruction, it is possible to prevent the vehicle from operating unintended by the user, thereby improving the convenience of the voice instruction. .

次に、車両制御システム１００の動作の手順について、図４に示すフロー図に従って説明する。本処理は、車両制御システム１００の電源がオンされたときに開始し、オフされたときに終了する。 Next, the operation procedure of the vehicle control system 100 will be described according to the flowchart shown in FIG. This process starts when the power of the vehicle control system 100 is turned on, and ends when the power is turned off.

処理を開始すると、まず、車両制御システム１００の音取得ＥＣＵ２００は、音入力器１０６からの信号に基づき、外部音を検知したか否かを判断する（Ｓ１００）。例えば、音取得ＥＣＵ２００は、音入力器１０６からの信号の振幅が所定のレベル以上であるときに、外部音を検知したものと判断する。そして、外部音を検知しないときは（Ｓ１００、ＮＯ）、音取得ＥＣＵ２００は、ステップＳ１００に戻って処理を繰り返し、外部音が発生するのを待機する。 When the process starts, first, the sound acquisition ECU 200 of the vehicle control system 100 determines whether or not an external sound has been detected based on the signal from the sound input device 106 (S100). For example, the sound acquisition ECU 200 determines that an external sound has been detected when the amplitude of the signal from the sound input device 106 is equal to or greater than a predetermined level. Then, when no external sound is detected (S100, NO), the sound acquisition ECU 200 returns to step S100, repeats the process, and waits for the generation of the external sound.

一方、外部音を検知したときは（Ｓ１００、ＹＥＳ）、音取得ＥＣＵ２００は、外部音を取得して（Ｓ１０２）、当該取得した外部音をユーザ検知ＥＣＵ２０２および音声認識ＥＣＵ２０４へ送信する。次に、ユーザ検知ＥＣＵ２０２は、携帯機検知部２２６により携帯機１０８の検知を試みると共に、声紋認証部２２８により、音取得ＥＣＵ２００からの外部音について声紋認証を行い（Ｓ１０４）、携帯機１０８の検知の成否および声紋認証の成否（すなわち、外部音にユーザの声紋が含まれているか否かの認証の成否）を示すユーザ検知情報を、音声認識ＥＣＵ２０４へ送信する。 On the other hand, when an external sound is detected (S100, YES), the sound acquisition ECU 200 acquires the external sound (S102) and transmits the acquired external sound to the user detection ECU 202 and the voice recognition ECU 204. Next, the user detection ECU 202 attempts to detect the portable device 108 by the portable device detection unit 226, and performs voiceprint authentication on the external sound from the sound acquisition ECU 200 by the voiceprint authentication unit 228 (S104). and the success or failure of voiceprint authentication (that is, the success or failure of authentication as to whether or not the user's voiceprint is included in the external sound) is sent to the voice recognition ECU 204 .

音声認識ＥＣＵ２０４の音声認識部２４０は、音取得ＥＣＵ２００からの外部音について音声認識を行い、外部音に含まれる音声（外部音声）を認識し（Ｓ１０６）、音声認識結果をトリガワード検知部２４２および指示抽出部２４６へ送る。トリガワード検知部２４２は、音声認識結果に所定の文言であるトリガワードが含まれているか否かを検査し（Ｓ１０８）、その結果を示すトリガワード検知情報を、動作指示部２４８へ送る。また、指示抽出部２４６は、上記音声認識結果から指示音声を指示テキストとして抽出すると共に（Ｓ１１０）、当該指示音声から動作指示を生成する（Ｓ１１２）。そして、指示抽出部２４６は、抽出した指示テキストおよび生成した動作指示を動作指示部２４８へ送る。 The voice recognition unit 240 of the voice recognition ECU 204 performs voice recognition on the external sound from the sound acquisition ECU 200, recognizes the voice included in the external sound (external voice) (S106), and outputs the voice recognition result to the trigger word detection unit 242 and the trigger word detection unit 242. Send to instruction extraction unit 246 . The trigger word detection unit 242 checks whether or not the speech recognition result includes a trigger word, which is a predetermined wording (S108), and sends trigger word detection information indicating the result to the operation instruction unit 248. The instruction extracting unit 246 also extracts instruction speech as instruction text from the speech recognition result (S110), and generates an action instruction from the instruction speech (S112). The instruction extraction unit 246 then sends the extracted instruction text and the generated action instruction to the action instruction unit 248 .

続いて、動作指示部２４８は、動作指示送信処理を行う（Ｓ１１４）。動作指示送信処理の手順については後述する。ステップＳ１１４において動作指示部２４８が動作指示送信処理を行ったのち、車両制御システム１００の処理はステップＳ１００に戻り、音取得ＥＣＵ２００により新たな外部音の発生が待機される。 Subsequently, the operation instruction unit 248 performs an operation instruction transmission process (S114). A procedure of the action instruction transmission process will be described later. After the operation instruction unit 248 performs the operation instruction transmission process in step S114, the process of the vehicle control system 100 returns to step S100, and the sound acquisition ECU 200 waits for the generation of a new external sound.

図５は、図４のステップＳ１１４に示す動作指示送信処理の手順を示すフロー図である。処理を開始すると、音声認識ＥＣＵ２０４の動作指示部２４８は、まず、ユーザ検知ＥＣＵ２０２において携帯機１０８が検知されず且つ音声認証も失敗しているか否かを判断する（Ｓ２００）。動作指示部２４８は、例えば図４のステップＳ１０４の処理の際にユーザ検知ＥＣＵ２０２から受信するユーザ検知情報に基づいて、ステップＳ２００の判断を行うことができる。 FIG. 5 is a flow chart showing the procedure of the action instruction transmission process shown in step S114 of FIG. When the process starts, the operation instruction unit 248 of the voice recognition ECU 204 first determines whether the portable device 108 is not detected by the user detection ECU 202 and voice authentication has also failed (S200). The operation instruction unit 248 can make the determination in step S200 based on the user detection information received from the user detection ECU 202 during the process of step S104 in FIG. 4, for example.

そして、ユーザ検知ＥＣＵ２０２において携帯機１０８が検知されず且つ音声認証も失敗しているときは（Ｓ２００、ＹＥＳ）、動作指示部２４８は、図４のステップＳ１１２において指示抽出部２４６が生成した動作指示を制御装置へ送信することなく（Ｓ２１６）、動作指示送信処理を終了する。終了後は、車両制御システム１００の処理は図４に示すフロー図に従ってステップＳ１００に戻り、車両制御システム１００は、新たな外部音の検知を待機する。 When the portable device 108 is not detected by the user detection ECU 202 and the voice authentication fails (S200, YES), the operation instruction unit 248 receives the operation instruction generated by the instruction extraction unit 246 in step S112 of FIG. is transmitted to the control device (S216), and the operation instruction transmission process ends. After completion, the processing of vehicle control system 100 returns to step S100 according to the flowchart shown in FIG. 4, and vehicle control system 100 waits for detection of new external sound.

一方、ユーザ検知ＥＣＵ２０２において少なくとも携帯機１０８が検知されるか又は音声認証が成功しているときは（Ｓ２００、ＮＯ）、動作指示部２４８は、ユーザ検知ＥＣＵ２０２において携帯機１０８が検知され且つ音声認証が成功しているか否かを判断する（Ｓ２０２）。動作指示部２４８は、ステップＳ２００と同様に、ユーザ検知ＥＣＵ２０２から受信するユーザ検知情報を受に基づいて、ステップＳ２０２の判断を行うことができる。 On the other hand, when at least the portable device 108 is detected by the user detection ECU 202 or voice authentication is successful (S200, NO), the operation instructing unit 248 instructs the user detection ECU 202 to detect the portable device 108 and voice authentication. is successful (S202). The operation instruction unit 248 can make the determination in step S202 based on the user detection information received from the user detection ECU 202, as in step S200.

そして、ユーザ検知ＥＣＵ２０２において携帯機１０８が検知され且つ音声認証が成功しているときは（Ｓ２０２、ＹＥＳ）、動作指示部２４８は、図４のステップＳ１１２において指示抽出部２４６が生成した動作指示を制御装置へ送信した後（Ｓ２１４）、動作指示送信処理を終了する。上述したとおり、動作指示送信処理の終了後は、車両制御システム１００の処理は図４に示すフロー図に従ってステップＳ１００に戻り、車両制御システム１００は、新たな外部音の検知を待機する。 Then, when the portable device 108 is detected by the user detection ECU 202 and the voice authentication is successful (S202, YES), the operation instruction unit 248 outputs the operation instruction generated by the instruction extraction unit 246 in step S112 of FIG. After transmission to the control device (S214), the operation instruction transmission process is terminated. As described above, after the operation instruction transmission process ends, the process of vehicle control system 100 returns to step S100 according to the flowchart shown in FIG. 4, and vehicle control system 100 waits for detection of a new external sound.

一方、ステップＳ２０２の判断が否定的（Ｓ２０２、ＮＯ）、すなわち、ユーザ検知ＥＣＵ２０２において携帯機１０８が検知されているか又は音声認証が成功しているときは、動作指示部２４８は、外部音声からトリガワードが認識されたか否かを判断する（Ｓ２０４）。この判断は、図４のステップＳ１０８においてトリガワード検知部２４２から受信するトリガワード検知情報に基づいて行われるものとすることができる。 On the other hand, when the determination in step S202 is negative (S202, NO), that is, when the portable device 108 is detected by the user detection ECU 202 or when voice authentication is successful, the operation instructing unit 248 is triggered by an external voice. It is determined whether the word is recognized (S204). This determination can be made based on the trigger word detection information received from the trigger word detection unit 242 in step S108 of FIG.

そして、外部音声からトリガワードが認識されているときは（Ｓ２０４、ＹＥＳ）、動作指示部２４８は、ステップＳ２１４に処理を移し、動作指示を制御装置へ送信した後、動作指示送信処理を終了する。 Then, when the trigger word is recognized from the external voice (S204, YES), the operation instructing unit 248 shifts the process to step S214, transmits the operation instruction to the control device, and then terminates the operation instruction transmission process. .

一方、ステップＳ２０４において外部音声からトリガワードが認識されていないときは（Ｓ２０４、ＮＯ）、動作指示部２４８は、対話制御部２４４に聞き返し対話の実行を指示し、対話制御部２４４は、これに応じて聞き返し対話を実行する（Ｓ２０６）。 On the other hand, when the trigger word is not recognized from the external voice in step S204 (S204, NO), the action instructing unit 248 instructs the dialogue control unit 244 to execute the feedback dialogue. In response, the feedback dialogue is executed (S206).

続いて、対話制御部２４４は、上記聞き返し対話のための聞き返し質問を音出力器１０４から出力した後の第１期間内に聞き返し応答を受信したか否かを判断する（Ｓ２０８）。この聞き返し応答は、音取得ＥＣＵ２００および音声認識ＥＣＵ２０４の音声認識部２４０を介して、対話制御部２４４により受信される。そして、第１期間内に聞き返し応答を受信しないときは（Ｓ２０８、ＮＯ）、対話制御部２４４は、その旨の対話結果情報を動作指示部２４８へ送信し、動作指示部２４８は、当該対話結果情報を受信したことに応じて、音声認識部２４０に対し、第２期間内の音声認識動作を禁止する（Ｓ２１０）。その後、動作指示部２４８は、ステップＳ２１６へ処理を移し、動作指示を制御装置へ送信することなく、動作指示送信処理を終了する。 Next, the dialogue control unit 244 determines whether or not a feedback response is received within the first period after the feedback question for the feedback dialogue is output from the sound output device 104 (S208). This feedback response is received by the dialogue control section 244 via the sound acquisition ECU 200 and the speech recognition section 240 of the speech recognition ECU 204 . Then, when the feedback response is not received within the first period (S208, NO), the dialogue control unit 244 transmits dialogue result information to that effect to the operation instructing unit 248, and the operation instructing unit 248 receives the dialogue result In response to receiving the information, the voice recognition unit 240 is prohibited from performing the voice recognition operation during the second period (S210). After that, the operation instruction unit 248 moves the process to step S216, and ends the operation instruction transmission process without transmitting the operation instruction to the control device.

一方、ステップＳ２０８において、第１期間内に聞き返し応答を受信したときは（Ｓ２０８、ＹＥＳ）、対話制御部２４４は、受信した聞き返し応答が肯定的か否定的かを示す対話結果情報を動作指示部２４８へ送信し、動作指示部２４８は、対話制御部２４４から受信される対話結果情報に基づき、聞き返し応答が肯定的であるか否かを判断する（Ｓ２１２）。そして、聞き返し応答が肯定的であるときは（Ｓ２１２、ＹＥＳ）、動作指示部２４８は、ステップＳ２１４に処理を移し、動作指示を制御装置へ送信した後、動作指示送信処理を終了する。 On the other hand, in step S208, when a feedback response is received within the first period (S208, YES), the dialogue control unit 244 sends dialogue result information indicating whether the received feedback response is affirmative or negative. 248, and the action instructing unit 248 determines whether or not the feedback response is affirmative based on the dialogue result information received from the dialogue control unit 244 (S212). Then, when the feedback response is affirmative (S212, YES), the operation instruction unit 248 shifts the process to step S214, transmits the operation instruction to the control device, and then ends the operation instruction transmission process.

一方、聞き返し応答が肯定的でないとき（Ｓ２１２、ＮＯ）、すなわち否定的であるときは、動作指示部２４８は、ステップＳ２１６に処理を移し、動作指示を制御装置へ送信することなく、動作指示送信処理を終了する。 On the other hand, when the feedback response is not affirmative (S212, NO), that is, when it is negative, the operation instructing unit 248 shifts the processing to step S216, and does not transmit the operation instruction to the control device. End the process.

なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。 It should be noted that the present invention is not limited to the configurations of the above-described embodiments, and can be implemented in various forms without departing from the gist of the present invention.

例えば、上述した実施形態では、音出力器１０４および音入力器１０６は、車両１０２の運転席ドア１１０に設けられるものとしたが、これには限られない。音出力器１０４および音入力器１０６は、車両１０２の外部にいるユーザからの音声を取得し得る一つ以上の任意の位置に配されるものとすることができる。例えば、音出力器１０４および音入力器１０６は、運転席ドア１１０に加えて又はこれに代えて、車両１０２の助手席ドア、後部座席の左右のドア、及び又はテールゲートに設けられるものとすることができる。 For example, in the embodiment described above, the sound output device 104 and the sound input device 106 are provided on the driver's door 110 of the vehicle 102, but this is not the only option. Sound output device 104 and sound input device 106 may be placed in any one or more locations that may capture sound from a user outside vehicle 102 . For example, the sound output device 104 and the sound input device 106 may be provided at the passenger door, the rear left and right doors, and/or the tailgate of the vehicle 102 in addition to or instead of the driver door 110. be able to.

また、上述した実施形態では、対話制御部２４４が生成する聞き返し質問は、「はい」又は「いいえ」で回答し得る形式であるものとしたが、これには限られない。対話制御部２４４は、そのような聞き返し質問のほか、例えば外部音声の音量が小さく音声認識の信頼度が低いと判断される場合には、「もう一度、（発話を）お願いします。」等の、ユーザに再度の音声指示の発話を促す発話依頼を生成して出力するものとしてもよい。車両制御システム１００は、図５のステップＳ２０６においてこのような発話依頼を音声出力した後は、例えば図４のステップＳ１００に処理を移して、当該発話依頼の後のユーザ発話を処理するものとすることができる。 Further, in the above-described embodiment, the feedback question generated by the dialogue control unit 244 is in a format in which the answer can be "yes" or "no", but the present invention is not limited to this. In addition to such feedback questions, the dialog control unit 244 may ask, for example, "Please (speak) again." Alternatively, an utterance request prompting the user to utter another voice instruction may be generated and output. After the vehicle control system 100 voice-outputs such an utterance request in step S206 of FIG. 5, the process proceeds to step S100 of FIG. 4, for example, to process the user's utterance after the utterance request. be able to.

また、上述した実施形態では、携帯機１０８がＦＯＢであるかスマートフォン等の携帯端末であるかに関わらず、ユーザ検知ＥＣＵ２０２が、近距離通信装置２２２により携帯機１０８と通信するものとしたが、これには限られない。例えば、スマートフォン等の携帯端末である携帯機１０８との通信はユーザ検知ＥＣＵ２０２が行い、ＦＯＢである携帯機１０８との通信は、車両１０２に搭載された他のＥＣＵ、例えばいわゆるＢＣＵ（Ｂｏｄｙ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）が行うものとしてもよい。この場合、ユーザ検知ＥＣＵ２０２は、ＦＯＢである携帯機１０８を検知したか否かに関する情報を、車載ネットワークバス２０６を介してＢＣＵから取得するものとすることができる。 In the above-described embodiment, the user detection ECU 202 communicates with the portable device 108 via the short-range communication device 222 regardless of whether the portable device 108 is an FOB or a mobile terminal such as a smartphone. It is not limited to this. For example, communication with a portable device 108, which is a mobile terminal such as a smartphone, is performed by the user detection ECU 202, and communication with the portable device 108, which is an FOB, is performed by another ECU mounted on the vehicle 102, such as a so-called BCU (Body Control Unit). ) may be performed. In this case, the user detection ECU 202 can acquire information on whether or not the FOB portable device 108 has been detected from the BCU via the in-vehicle network bus 206 .

また、上述した実施形態では、ユーザ検知装置であるユーザ検知ＥＣＵ２０２は、ユーザが所有する携帯機１０８との通信により、及び又は外部音声についての声紋認証により、ユーザが車両１０２から所定の距離範囲内に存在するか否かを検知するものとしたが、これには限られない。例えば、ユーザ検知ＥＣＵ２０２は、声紋認証のほか、近距離通信装置２２２による携帯機１０８との通信に代えて、車載カメラを用いて接近するユーザを認識することにより、ユーザが車両１０２から予め定められた所定の距離範囲内に存在するか否かを検知してもよい。ユーザ検知ＥＣＵ２０２は、例えば、従来技術に従い、車載カメラの撮影画像から接近する人物の顔を抽出し、当該抽出した顔画像と、予め処理装置２２０等に記憶されているユーザの顔画像と、の比較を行うことにより、当該接近した人物が所定のユーザであるか否かの判断（すなわち、顔認証）を行って、ユーザの接近を検知することができる。 In the above-described embodiment, the user detection ECU 202, which is a user detection device, detects whether the user is within a predetermined distance range from the vehicle 102 by communication with the portable device 108 owned by the user and/or by voiceprint authentication of external voice. However, it is not limited to this. For example, the user detection ECU 202 recognizes an approaching user using an in-vehicle camera instead of voiceprint authentication, instead of communication with the portable device 108 using the short-range communication device 222. It may be detected whether or not the object exists within a predetermined distance range. For example, the user detection ECU 202 extracts the face of an approaching person from an image captured by an in-vehicle camera according to the conventional technology, and compares the extracted face image with the user's face image stored in advance in the processing device 220 or the like. By performing the comparison, it is possible to determine whether the approaching person is a predetermined user (that is, face authentication) and detect the approach of the user.

この場合、ユーザ検知ＥＣＵ２０２は、従来技術に従い、人間の頭部の標準的な大きさと、上記抽出された顔画像の画角及び車載カメラの光学特性等と、に基づいて、撮影されたユーザから車両１０２までの距離を算出するものとすることができる。また、そのような車載カメラは、例えば、運転席ドア１１０の外側や、助手席、後部座席、及び又はテールゲートのドアの外側、及び又はフロントガラスの車室内側に設けられるものとすることができる。例えば、ユーザ検知ＥＣＵ２０２は、これらの位置に設けられて運転者に外部環境映像を提供する安全向上のためのカメラからの画像を用いて、ユーザの接近を検知するものとすることができる。 In this case, the user detection ECU 202, in accordance with the conventional technology, detects the image from the photographed user based on the standard size of the human head, the angle of view of the extracted face image, the optical characteristics of the in-vehicle camera, and the like. A distance to the vehicle 102 may be calculated. Also, such an on-board camera may be provided, for example, outside the driver's door 110, outside the passenger's seat, rear seat, and/or tailgate doors, and/or inside the passenger compartment of the windshield. can. For example, the user detection ECU 202 may detect the approach of the user using images from safety cameras provided at these locations to provide the driver with an image of the external environment.

以上説明したように、上述した実施形態に係る車両制御システム１００は、車両１０２の制御対象を制御する制御装置への動作指示を行う。例えば、車両制御システム１００は、制御対象としての前部ドアロック機構２１０、後部ドアロック機構２１２、及びテールゲートロック機構２１４を制御する制御装置としてのドアロック制御ＥＣＵ２０８への動作指示を行う。この車両制御システム１００は、車両１０２の外部からの外部音声を認識する音声認識装置である音声認識ＥＣＵ２０４と、車両１０２から所定の距離範囲内にユーザが存在するか否かを検知するユーザ検知装置であるユーザ検知ＥＣＵ２０２と、を備える。そして、音声認識ＥＣＵ２０４は、ユーザ検知ＥＣＵ２０２によりユーザが検知されたことを条件として、上記外部音声から認識される制御対象に対する動作指示を制御装置へ送信する。 As described above, the vehicle control system 100 according to the above-described embodiment issues operation instructions to the control device that controls the controlled object of the vehicle 102 . For example, the vehicle control system 100 issues operation instructions to the door lock control ECU 208 as a control device that controls the front door lock mechanism 210, the rear door lock mechanism 212, and the tailgate lock mechanism 214 as objects to be controlled. This vehicle control system 100 includes a voice recognition ECU 204, which is a voice recognition device that recognizes external voices coming from outside the vehicle 102, and a user detection device that detects whether or not a user is present within a predetermined distance range from the vehicle 102. and a user detection ECU 202 . Then, on condition that the user detection ECU 202 detects the user, the voice recognition ECU 204 transmits to the control device an operation instruction for the controlled object recognized from the external voice.

この構成によれば、車両１０２から所定の距離範囲内に車両１０２の使用権限又はアクセス権限を有するユーザ（例えば、車両１０２の所有者及び又は当該所有者の許可を得た借用者）が存在することを条件として、車両１０２の外部からの音声（外部音声）による動作指示が実行されるので、例えば他人の発話によってユーザの意図しない車両動作が行われるのを防止することができる。すなわち、この構成によれば、音声指示の誤認識を防止して車両１０２についての音声指示の利便性を向上することができる。 According to this configuration, there is a user (for example, the owner of the vehicle 102 and/or a lessee with the owner's permission) who has the authority to use or access the vehicle 102 within a predetermined distance from the vehicle 102. On this condition, the operation instruction is executed by voice from the outside of the vehicle 102 (external voice), so that it is possible to prevent the vehicle from being operated unintended by the user due to, for example, someone else's utterance. That is, according to this configuration, erroneous recognition of voice instructions can be prevented, and the convenience of voice instructions for vehicle 102 can be improved.

また、車両制御システム１００では、音声認識ＥＣＵ２０４は、ユーザ検知ＥＣＵ２０２によりユーザが検知されている場合において、外部音声から、予め定められた所定の文言であるいわゆるトリガワードを認識したときは、外部音声から認識される動作指示を対応する制御装置、例えばドアロック制御ＥＣＵ２０８へ送信する。 Further, in the vehicle control system 100, when the user detection ECU 202 detects a user and the user detection ECU 202 detects a user, the voice recognition ECU 204 recognizes a predetermined word, that is, a so-called trigger word, from the external voice. to a corresponding control device, such as the door lock control ECU 208 .

この構成によれば、車両１０２の周囲にユーザが存在し、且つ、予め定められた所定の文言であるトリガワードが外部音声の中に認識された場合に、動作指示が実行されるので、ユーザからの音声であっても、車両１０２へ向けられていない音声によって車両１０２の動作が行われてしまうのを防止することができる。このため、ユーザの意図しない車両動作が行われるのを更に精度良く防止して、音声指示の利便性を向上することができる。 According to this configuration, when the user is present around the vehicle 102 and the trigger word, which is a predetermined word, is recognized in the external voice, the operation instruction is executed. It is possible to prevent the operation of the vehicle 102 from being performed by the sound that is not directed to the vehicle 102, even if the sound is from the other side. Therefore, it is possible to further accurately prevent the vehicle operation not intended by the user, thereby improving the convenience of the voice instruction.

また、車両制御システム１００は、車両１０２の外へ音を出力する音出力器１０４を備える。そして、音声認識ＥＣＵ２０４は、ユーザ検知ＥＣＵ２０２によりユーザが検知されている場合において、外部音声からトリガワードを認識しないときは、所定の音情報である例えば聞き返し質問を音出力器１０４に出力させる。そして、音声認識ＥＣＵ２０４は、上記出力させた聞き返し質問に対するユーザからの確認音声、例えば聞き返し応答を外部音声から認識した場合に、上記動作指示を対応する制御装置（例えばドアロック制御ＥＣＵ２０８）へ送信する。 The vehicle control system 100 also includes a sound output device 104 that outputs sound to the outside of the vehicle 102 . When the user is detected by the user detection ECU 202 and the trigger word is not recognized from the external voice, the speech recognition ECU 204 causes the sound output device 104 to output predetermined sound information such as a repeat question. Then, when the speech recognition ECU 204 recognizes a confirmation voice from the user for the output question, for example, a feedback response from an external voice, the voice recognition ECU 204 transmits the operation instruction to the corresponding control device (for example, the door lock control ECU 208). .

この構成によれば、外部音声からトリガワードが認識されないことにより当該外部音声が車両１０２に向けられた音声指示であるか否か不明である場合には、聞き返し対話による確認の後に動作指示が実行される。このため、車両制御システム１００では、ユーザが音声指示と共にトリガワードを発話しない場合でも、当該ユーザの意図しない車両動作が行われるのを防止することができ、車両１０２における音声指示の利便性を向上することができる。 According to this configuration, when it is unclear whether or not the external voice is a voice command directed to the vehicle 102 because the trigger word is not recognized from the external voice, the operation command is executed after confirmation by the feedback dialogue. be done. Therefore, in the vehicle control system 100, even if the user does not utter the trigger word together with the voice instruction, it is possible to prevent the vehicle from operating unintended by the user, thereby improving the convenience of the voice instruction in the vehicle 102. can do.

また、車両制御システム１００では、音声認識ＥＣＵ２０４は、認識された聞き返し応答が肯定的なものであるときは、制御装置へ動作指示を送信し、認識された聞き返し応答が否定的なものであるときは、制御装置へ動作指示を送信しない。この構成によれば、例えば「はい」又は「いいえ」で回答することのできる単純な聞き返し質問を用いた聞き返し対話により、ユーザの意図しない車両動作の実行を防止して、車両１０２における音声指示の利便性を向上することができる。 In the vehicle control system 100, the voice recognition ECU 204 transmits an operation instruction to the control device when the recognized feedback response is positive, and transmits an operation instruction to the control device when the recognized feedback response is negative. does not send an operation instruction to the controller. According to this configuration, for example, a reflection dialogue using a simple reflection question that can be answered with "yes" or "no" prevents the execution of a vehicle operation not intended by the user, and the voice instruction in the vehicle 102 is prevented. Convenience can be improved.

また、車両制御システム１００では、音声認識ＥＣＵ２０４は、所定の音情報である例えば聞き返し質問を音出力器１０４により出力させてから第１所定時間が経過するまでの第１期間に限り、外部音声に聞き返し応答が含まれているか否かの認識を行う。 Further, in the vehicle control system 100, the voice recognition ECU 204 outputs predetermined sound information, such as a repeat question, from the sound output device 104, only during the first period until the first predetermined time elapses. Recognize whether or not a feedback response is included.

この構成によれば、車両制御システム１００は、聞き返し質問を無駄に繰り返すことなく、迅速に初期状態に戻って新たな外部音声の到来を待機することができる。 According to this configuration, the vehicle control system 100 can quickly return to the initial state and wait for the arrival of a new external voice without wastefully repeating the question.

また、車両制御システム１００では、音声認識ＥＣＵ２０４は、上記第１期間の終了から第２所定時間が経過するまでの第２期間において、外部音声から上記所定の文言であるトリガワードを認識しないときは、外部音声から認識される動作指示を制御装置へ送信しない。 Further, in the vehicle control system 100, the voice recognition ECU 204, during the second period from the end of the first period to the elapse of the second predetermined time, when the trigger word, which is the predetermined wording, is not recognized from the external voice. , does not send to the controller any operating instructions that are recognized from the external voice.

上記の構成によれば、車両制御システム１００は、聞き返し応答が第１期間内に取得されないような、指示音声について誤認識を生じやすい状況においては、トリガワードの存在を前提として動作指示を実行することとなるので、当該状況において指示音声の誤認識が頻発してしまうのを防止することができる。 According to the above configuration, the vehicle control system 100 executes the operation instruction on the premise that the trigger word exists in a situation where the instruction voice is likely to be misrecognized such that the feedback response is not acquired within the first period. Therefore, it is possible to prevent frequent erroneous recognition of the instruction voice in this situation.

また、車両制御システム１００では、音声認識ＥＣＵ２０４は、上記第１期間の終了から第２所定時間が経過するまでの第２期間は、外部音声についての音声認識を行わないものとすることができる。上記構成によれば、第１期間における聞き返し応答の不在によりユーザに音声指示を行う意図がないことが確認できる場合には、その後の第２期間の間、音声認識を不動作として車両制御システム１００の消費電力を低減でき、且つ指示音声についての誤認識の頻発を防止することができる。 Further, in the vehicle control system 100, the voice recognition ECU 204 may not perform voice recognition of external voices during a second period from the end of the first period to the elapse of the second predetermined time. According to the above configuration, when it can be confirmed that the user does not intend to issue a voice instruction due to the absence of a feedback response during the first period, the vehicle control system 100 disables voice recognition during the subsequent second period. power consumption can be reduced, and frequent erroneous recognition of the instruction voice can be prevented.

また、車両制御システム１００では、ユーザ検知ＥＣＵ２０２は、車両１０２から所定の距離範囲内を通信可能範囲として、当該通信可能範囲内に所定の携帯機１０８が存在するか否かを検知することにより、車両１０２から所定の距離範囲内にユーザが存在するか否かを検知するよう構成されている。この構成によれば、車両１０２の周囲におけるユーザの存在を容易に検知することができる。 Further, in the vehicle control system 100, the user detection ECU 202 sets a predetermined distance range from the vehicle 102 as a communicable range, and detects whether or not a predetermined portable device 108 exists within the communicable range. It is configured to detect whether or not the user exists within a predetermined distance range from the vehicle 102 . With this configuration, it is possible to easily detect the presence of the user around the vehicle 102 .

また、車両制御システム１００では、ユーザ検知ＥＣＵ２０２は、さらに、外部音声がユーザにより発話されたものであるか否かの声紋認証を行うよう構成されており、音声認識ＥＣＵ２０４は、ユーザ検知ＥＣＵ２０２により外部音声がユーザの発話であることが認証されたとき又は携帯機１０８が通信可能範囲内に存在することが検知されたときに、車両１０２から所定の距離範囲内にユーザが検知されたものと判断する。 In the vehicle control system 100, the user detection ECU 202 is further configured to perform voiceprint authentication to determine whether or not the external voice is uttered by the user. It is determined that the user is detected within a predetermined distance range from the vehicle 102 when the voice is authenticated as the user's utterance or when it is detected that the portable device 108 exists within the communicable range. do.

この構成によれば、車両制御システム１００は、携帯機１０８の存在の有無の判断に代えて又はこれに加えて、声紋認証により直接的にユーザの存在の有無を検知して、車両１０２の周囲におけるユーザの存在をより確実に検知することができる。 According to this configuration, the vehicle control system 100 directly detects the presence or absence of the user by voiceprint authentication instead of or in addition to determining the presence or absence of the portable device 108, and detects the presence or absence of the user around the vehicle 102. The presence of the user in can be detected more reliably.

また、車両制御システム１００では、音声認識ＥＣＵ２０４は、外部音声から予め定められた所定の文言であるトリガワードを認識しない場合であっても、ユーザ検知ＥＣＵ２０２において上記声紋の認証により上記外部音声がユーザの発話であることが認証され且つ携帯機１０８が通信可能範囲内に存在することが検知されたときは、上記指示音声から生成された動作指示を制御装置へ送信する。 Further, in the vehicle control system 100, even if the voice recognition ECU 204 does not recognize a trigger word, which is a predetermined wording, from the external voice, the user detection ECU 202 recognizes the external voice as the user through authentication of the voiceprint. When the utterance is authenticated and it is detected that the portable device 108 exists within the communicable range, an operation instruction generated from the instruction voice is transmitted to the control device.

上記の構成によれば、誤認識に基づく車両１０２の誤動作がユーザにより即座に修正され得る状況を確保して、トリガワードを用いないより短い音声指示の使用を可能とすることができる。 The above arrangement ensures that any malfunction of the vehicle 102 based on misrecognition can be immediately corrected by the user, allowing the use of shorter voice instructions without trigger words.

また、本実施形態の車両制御システム１００は、その全てが車両１０２に備えられている。この構成によれば、車両１０２の外に置かれた装置（例えば、サーバ等）を用いることなく、車両制御システム１００の処理の全てを車両１０２内において実行できるので、音声指示の取得、認識、および実行を迅速に行うことができる。 Further, the vehicle control system 100 of this embodiment is entirely provided in the vehicle 102 . According to this configuration, all the processing of the vehicle control system 100 can be executed within the vehicle 102 without using a device (for example, a server, etc.) placed outside the vehicle 102. and execution can be done quickly.

１００…車両制御システム、１０２…車両、１０４…音出力器、１０６…音入力器、１０８…携帯機、１１０…運転席ドア、２００…音取得ＥＣＵ、２０２…ユーザ検知ＥＣＵ、２０４…音声認識ＥＣＵ、２０６…車載ネットワークバス、２０８…ドアロック制御ＥＣＵ、２１０…前部ドアロック機構、２１２…後部ドアロック機構、２１４…テールゲートロック機構、２２０、２３０…処理装置、２２２…近距離通信装置、２２４、２３２…ＮＷ通信装置、２２６…携帯機検知部、２２８…声紋認証部、２４０…音声認識部、２４２…トリガワード検知部、２４４…対話制御部、２４６…指示抽出部、２４８…動作指示部。 DESCRIPTION OF SYMBOLS 100... Vehicle control system 102... Vehicle 104... Sound output device 106... Sound input device 108... Portable device 110... Driver's seat door 200... Sound acquisition ECU 202... User detection ECU 204... Voice recognition ECU , 206... In-vehicle network bus, 208... Door lock control ECU, 210... Front door lock mechanism, 212... Rear door lock mechanism, 214... Tailgate lock mechanism, 220, 230... Processing device, 222... Near field communication device, 224, 232 NW communication device 226 Portable device detection unit 228 Voiceprint authentication unit 240 Voice recognition unit 242 Trigger word detection unit 244 Dialogue control unit 246 Instruction extraction unit 248 Operation instruction Department.

Claims (7)

車両の制御対象を制御する制御装置への動作指示を行う車両制御システムであって、
前記車両の外部からの外部音声を認識する音声認識装置と、
前記車両から所定の距離範囲内にユーザが存在するか否かを検知するユーザ検知装置と、
前記車両の外へ音を出力する音出力器と、
を備え、
前記音声認識装置は、
前記ユーザ検知装置により前記ユーザが検知されたことを条件として、前記外部音声から認識される前記制御対象に対する動作指示を前記制御装置へ送信し、かつ、
前記音声認識装置は、
前記ユーザ検知装置により前記ユーザが検知されている場合において、前記外部音声から予め定められた前記所定の文言を認識しないときは、所定の音情報を前記音出力器に出力させ、
前記所定の音情報を前記音出力器により出力させてから第１所定時間が経過するまでの第１期間に限り、前記外部音声から確認音声を認識した場合に、前記認識した前記動作指示を前記制御装置へ送信し、
前記第１期間の終了から第２所定時間が経過するまでの第２期間は、前記外部音声についての音声認識を行わない、
車両制御システム。 A vehicle control system that issues an operation instruction to a control device that controls a controlled object of a vehicle,
a voice recognition device that recognizes external voice from outside the vehicle;
a user detection device that detects whether or not a user exists within a predetermined distance range from the vehicle;
a sound output device that outputs sound to the outside of the vehicle;
with
The speech recognition device is
on condition that the user is detected by the user detection device, an operation instruction for the controlled object recognized from the external voice is transmitted to the control device; and
The speech recognition device is
causing the sound output device to output predetermined sound information when the predetermined word is not recognized from the external voice when the user is detected by the user detection device;
Only in a first period from when the predetermined sound information is output by the sound output device to when the first predetermined time elapses, when the confirmation voice is recognized from the external voice, the recognized operation instruction is sent to the send to the controller,
During a second period from the end of the first period to the elapse of a second predetermined time, speech recognition of the external sound is not performed.
vehicle control system. 前記音声認識装置は、
前記ユーザ検知装置により前記ユーザが検知されている場合において、前記外部音声から予め定められた所定の文言を認識したときは、前記外部音声から認識される前記制御対象に対する動作指示を前記制御装置へ送信する、
請求項１に記載の車両制御システム。 The speech recognition device is
When the user is detected by the user detection device and a predetermined word is recognized from the external voice, an operation instruction for the controlled object recognized from the external voice is sent to the control device. Send,
A vehicle control system according to claim 1 . 前記音声認識装置は、
認識された前記確認音声が肯定的なものであるときは、前記制御装置へ前記動作指示を送信し、
認識された前記確認音声が否定的なものであるときは、前記制御装置へ前記動作指示を送信しない、
請求項１または２に記載の車両制御システム。 The speech recognition device is
if the recognized confirmation voice is positive, sending the action instruction to the controller;
not sending the action instruction to the controller when the recognized confirmation voice is negative;
The vehicle control system according to claim 1 or 2 . 前記ユーザ検知装置は、前記車両から所定の距離範囲内を通信可能範囲として、当該通信可能範囲内に所定の携帯機が存在するか否かを検知するよう構成されている、
請求項１ないし３のいずれか一項に記載の車両制御システム。 The user detection device is configured to detect whether or not a predetermined portable device is present within a communicable range within a predetermined distance range from the vehicle.
A vehicle control system according to any one of claims 1 to 3 . 前記ユーザ検知装置は、さらに、前記外部音声がユーザにより発話されたものであるか否かの声紋認証を行うよう構成されており、
前記音声認識装置は、前記ユーザ検知装置により前記外部音声が前記ユーザの発話であることが認証されたとき又は前記携帯機が前記通信可能範囲内に存在することが検知されたときに、前記ユーザが検知されたものと判断する、
請求項４に記載の車両制御システム。 The user detection device is further configured to perform voiceprint authentication as to whether or not the external voice is uttered by a user,
When the user detection device authenticates that the external voice is the user's utterance or detects that the portable device exists within the communicable range, the speech recognition device detects that the user is detected,
The vehicle control system according to claim 4 . 前記音声認識装置は、
前記外部音声から予め定められた前記所定の文言を認識しない場合であっても、前記ユーザ検知装置において前記外部音声が前記ユーザの発話であることが認証され且つ前記携帯機が前記通信可能範囲内に存在することが検知されたときは、前記認識した前記動作指示を前記制御装置へ送信する、
請求項５に記載の車両制御システム。 The speech recognition device is
Even if the predetermined word is not recognized from the external voice, the user detection device authenticates that the external voice is the user's utterance and the portable device is within the communicable range. transmitting the recognized operation instruction to the control device when it is detected that the
The vehicle control system according to claim 5 . 請求項１ないし６のいずれか一項に記載の車両制御システムを備える車両。 A vehicle comprising the vehicle control system according to any one of claims 1 to 6 .
JP2019209494A 2019-11-20 2019-11-20 vehicle control system Active JP7163267B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019209494A JP7163267B2 (en) 2019-11-20 2019-11-20 vehicle control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019209494A JP7163267B2 (en) 2019-11-20 2019-11-20 vehicle control system

Publications (2)

Publication Number Publication Date
JP2021079846A JP2021079846A (en) 2021-05-27
JP7163267B2 true JP7163267B2 (en) 2022-10-31

Family

ID=75963945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019209494A Active JP7163267B2 (en) 2019-11-20 2019-11-20 vehicle control system

Country Status (1)

Country Link
JP (1) JP7163267B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113503106B (en) * 2021-06-11 2024-03-22 广汽本田汽车有限公司 Control system, method, equipment and storage medium for automobile window

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013136131A (en) 2011-12-28 2013-07-11 Toyota Motor Corp Method and device for controlling robot, and robot
JP2014102548A (en) 2012-11-16 2014-06-05 Honda Motor Co Ltd Message processor
JP2017037176A (en) 2015-08-10 2017-02-16 クラリオン株式会社 Voice operation system, server device, on-vehicle equipment, and voice operation method
US20190106069A1 (en) 2017-10-06 2019-04-11 Ford Global Technologies, Llc Monitoring of vehicle window vibrations for voice-command recognition

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5965899A (en) * 1982-10-08 1984-04-14 トヨタ自動車株式会社 Voice recognition system for vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013136131A (en) 2011-12-28 2013-07-11 Toyota Motor Corp Method and device for controlling robot, and robot
JP2014102548A (en) 2012-11-16 2014-06-05 Honda Motor Co Ltd Message processor
JP2017037176A (en) 2015-08-10 2017-02-16 クラリオン株式会社 Voice operation system, server device, on-vehicle equipment, and voice operation method
US20190106069A1 (en) 2017-10-06 2019-04-11 Ford Global Technologies, Llc Monitoring of vehicle window vibrations for voice-command recognition

Also Published As

Publication number Publication date
JP2021079846A (en) 2021-05-27

Similar Documents

Publication Publication Date Title
JP6289612B2 (en) Portable device, vehicle remote control system, vehicle remote control method and program
US9619645B2 (en) Authentication for recognition systems
US20140028472A1 (en) Method and Apparatus for User Authentication and Security
US11475889B2 (en) Voice activated liftgate
US20220176910A1 (en) Vehicle control system
KR20140142993A (en) Apparatus and method for assisting remote parking, and system thereof
US11010999B2 (en) Systems and methods for voice-activated control of an access control platform
JP2015153258A (en) Vehicle-purposed personal authentication system and vehicle-purposed personal authentication method
JP7163267B2 (en) vehicle control system
KR20150086908A (en) Vehicle control apparatus and method using voice or gesture
CN112298104A (en) Vehicle control method and device, storage medium, electronic equipment and vehicle
JP2009025982A (en) Vehicle theft prevention system
CN109562739B (en) Method for running burglary-resisting installation, burglary-resisting installation and motor vehicle for motor vehicle
JP3921956B2 (en) Keyless entry system
CN113409492B (en) Vehicle control system, vehicle control method, and recording medium having recorded thereon program for vehicle control
JP7310594B2 (en) Vehicle communication system
JP7075389B2 (en) Vehicle control system
WO2019175960A1 (en) Voice processing device and voice processing method
JP7287269B2 (en) Vehicle communication system
KR20230075848A (en) System and method for providing communication of vehicle inside and outside
JP2021148881A (en) Vehicle control device, vehicle control system, and control method of vehicle control device
CN113561939A (en) Method and system for authorizing others to open vehicle trunk by voice
KR20140007566A (en) System and method for trunk automatic control
TW201601954A (en) Automobile burglary protection system combined with smart phone and voice recognition and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150