JP7233918B2 - In-vehicle equipment, communication system - Google Patents

In-vehicle equipment, communication system Download PDF

Info

Publication number
JP7233918B2
JP7233918B2 JP2018243753A JP2018243753A JP7233918B2 JP 7233918 B2 JP7233918 B2 JP 7233918B2 JP 2018243753 A JP2018243753 A JP 2018243753A JP 2018243753 A JP2018243753 A JP 2018243753A JP 7233918 B2 JP7233918 B2 JP 7233918B2
Authority
JP
Japan
Prior art keywords
line
command
sight direction
vehicle
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018243753A
Other languages
Japanese (ja)
Other versions
JP2020106997A (en
Inventor
高志 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2018243753A priority Critical patent/JP7233918B2/en
Publication of JP2020106997A publication Critical patent/JP2020106997A/en
Application granted granted Critical
Publication of JP7233918B2 publication Critical patent/JP7233918B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Position Input By Displaying (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、車載装置及び通信システムに関する。 The present invention relates to an in-vehicle device and a communication system.

運転中にユーザが操作ボタン等を操作しなくても車載装置等の操作を可能とするために、車載装置には従来から音声操作を受け付ける機能がある。例えば「近くのコンビニ」という発言に対し、現在地の近くのコンビニ又は目的地までのルート上のコンビニを車載装置が検索して表示する。 2. Description of the Related Art Conventionally, an in-vehicle device has a function of accepting a voice operation so that the user can operate the in-vehicle device while driving without having to operate an operation button or the like. For example, in response to the statement "convenience store nearby", the vehicle-mounted device retrieves and displays a convenience store near the current location or a convenience store on the route to the destination.

図1は音声操作による施設の検索を説明する図の一例である。車両の乗員が例えば「周辺検索」と発言すると、図1(a)に示すように、音声で検索できる施設のジャンルが表示される。例えば「近くのファミレス」「近くのファーストフード」「近くのコンビニ」などが表示される。車両の乗員が例えば「近くのコンビニ」と発言すると、図1(b)に示すように近くのコンビニのリストが検索して表示される。車両の乗員が「ここに行く」と発言するとリストの先頭の施設(ここではコンビニ)を目的地に設定し、「真ん中に行く」と発言するとリストの真ん中の施設を目的地に設定し、「一番下に行く」と発言するとリストの一番下の施設を目的地に設定し、この施設までのルートを探索する。 FIG. 1 is an example of a diagram for explaining facility search by voice operation. When a vehicle occupant says, for example, "search around", genres of facilities that can be searched by voice are displayed as shown in FIG. 1(a). For example, "Nearby family restaurant", "Nearby fast food", "Nearby convenience store", etc. are displayed. When the passenger of the vehicle says, for example, "convenience store nearby", a list of nearby convenience stores is retrieved and displayed as shown in FIG. 1(b). When the vehicle occupant says "Go here", the facility at the top of the list (convenience store in this case) is set as the destination, and when the driver says "Go to the middle", the facility in the middle of the list is set as the destination. Go to the bottom" is said, the facility at the bottom of the list is set as the destination, and a route to this facility is searched.

図2は、音声操作による検索に関して車両の乗員に生じうる種々の状況を説明する図の一例である。走行中の車両の乗員の状況は様々であるが、例えば進行方向の「右側のコンビニだけを検索したい」、「中央分離帯があって左側の店にしか入れない」、又は、「渋滞していて、右側の店には入りにくい」などの状況が生じうる。これらの状況の場合、車両の乗員が「右側のコンビニ」「左側の店」又は「左側だけ」などの検索要素を付加したい場合がある。 FIG. 2 is an example of a diagram illustrating various situations that may arise for a vehicle occupant with respect to voice-activated searches. The situation of the occupants of the running vehicle varies. Therefore, it is difficult to enter the store on the right side.” For these situations, the vehicle occupant may wish to add search elements such as "convenience store on the right", "shop on the left", or "only on the left".

このような技術に関して、音声で発せられた方向に関する言葉で施設を検索する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、「左側の建物は何ですか」という発言から、左・右・前・後等の検索方向を判別して、指定された方向の施設を検索するナビゲーション装置が開示されている。 As for such a technique, a technique has been devised for searching for a facility using words related to directions spoken by voice (see, for example, Patent Document 1). Patent Literature 1 discloses a navigation device that determines a search direction such as left, right, front, or back from a statement "What is the building on the left side?" and searches for facilities in the specified direction. there is

特開2001-133283号公報Japanese Patent Application Laid-Open No. 2001-133283

しかしながら、従来の技術では、音声操作のためのコマンドが長くなったり複雑になったりするという問題があった。例えば、特許文献1の技術では、施設を検索する音声とは別に方向などの検索要素を指定する音声を発言する必要がある。「右側のコンビニだけを検索したい」場合でも、「近くのコンビニ」と発言し、更に「右側」などと発言する必要があり、操作が煩わしいと感じられるおそれがある。 However, the conventional technology has the problem that commands for voice operation become long and complicated. For example, in the technique of Patent Literature 1, it is necessary to utter a voice specifying a search element such as a direction in addition to the voice for searching for a facility. Even when ``I want to search only the convenience store on the right side'', it is necessary to say ``nearby convenience store'' and then ``right side'', which may make the operation cumbersome.

また、ユーザが長い言葉や複雑な言葉を発言すると音声の認識率が低下するため、車載装置が音声を認識できなかったり、間違った検索を行ったりするおそれがあるという問題もある。 In addition, when the user utters long or complicated words, the voice recognition rate drops, so there is also the problem that the in-vehicle device may not be able to recognize the voice or perform an incorrect search.

このように、従来の技術では、比較的単純な言葉しか使用できないため、「近くのコンビニ」などのように距離に応じた検索を行うことができても、方向などの検索要素を付加することが困難であった。 In this way, the conventional technology can only use relatively simple words, so even if it is possible to perform a search according to distance, such as "nearby convenience stores", it is not possible to add search elements such as directions. was difficult.

また、車載装置を音声操作で制御する場合、車載装置の種類や数が多くなるにつれて、より長い名称で車載装置を指定する必要がある。右又は左のサイドカメラの映像に切り替えたい場合、「右サイドカメラ」「左サイドカメラ」と発言する必要があり、操作が煩わしいと感じられるおそれがある。 In addition, when controlling an in-vehicle device by voice operation, it is necessary to designate the in-vehicle device with a longer name as the types and number of the in-vehicle devices increase. If you want to switch to the image of the right or left side camera, you need to say "right side camera" and "left side camera", which may make you feel that the operation is troublesome.

本発明は、上記課題に鑑み、音声操作のためのコマンドが長くなったり複雑になったりすることを抑制して音声操作が可能な車載装置を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide an in-vehicle device capable of performing voice operation while suppressing lengthening and complicating commands for voice operation.

上記課題に鑑み、本発明は、車両の乗員の音声操作を受け付ける車載装置であって、前記車両の乗員の音声を認識する音声認識手段と、前記車両の乗員の視線方向を認識する視線方向認識手段と、前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、電子地図を表示するディスプレイと、を有し、前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するPOIを検索し、前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理ことを特徴とする。

In view of the above problems, the present invention provides an in-vehicle device that accepts a voice operation of a vehicle occupant, comprising voice recognition means for recognizing the voice of the vehicle occupant, and line-of-sight direction recognition for recognizing the line-of-sight direction of the vehicle occupant. command detection means for detecting a command from the voice recognized by the voice recognition means; command processing means for processing the command according to the line-of-sight direction recognized by the line-of-sight direction recognition means; and displaying an electronic map. a display, wherein the command processing means searches for POIs existing within the display range of the electronic map displayed on the display when the line-of-sight direction is within the range of the display, and the command detection means detects the command related to the search from the voice recognized by the voice recognition means, and the command processing means adds the line-of-sight direction recognized by the line-of-sight direction recognition means to a search element and processes the command related to the search. It is characterized by

音声操作のためのコマンドが長くなったり複雑になったりすることを抑制して音声操作が可能な車載装置を提供することができる。 It is possible to provide an in-vehicle device capable of voice operation while suppressing commands for voice operation from becoming long and complicated.

音声操作による施設の検索を説明する図の一例である。It is an example of the figure explaining the search of the facility by voice operation. 音声操作による検索に関して車両の乗員に生じうる種々の状況を説明する図の一例である。1 is an example of a diagram illustrating various situations that may arise for a vehicle occupant with respect to voice-activated searches; FIG. 車両の乗員の視線方向と車載装置が表示する電子地図に表示される施設の検索結果の一例を説明する図である。It is a figure explaining an example of the search result of the facility displayed on the electronic map which an occupant's line-of-sight direction of a vehicle and an in-vehicle device displays. 車載装置の構成例を説明する図である。It is a figure explaining the structural example of an in-vehicle device. 車載装置が有する機能をブロック状に示す機能ブロック図の一例である。It is an example of the functional block diagram which shows the function which an in-vehicle apparatus has in block form. 右側、正面、左側、又は、ディスプレイと判断される視線方向を説明する図である。FIG. 10 is a diagram for explaining the line-of-sight direction determined to be the right side, the front side, the left side, or the display; コマンドの発言に対する視線方向の判断のタイミングを説明する図の一例である。FIG. 10 is an example of a diagram for explaining the timing of determination of the line-of-sight direction with respect to the utterance of a command; ディスプレイに表示された電子地図の一例を示す図である。FIG. 2 is a diagram showing an example of an electronic map displayed on a display; FIG. ルート又は走行中の道路に対し施設が右側か左側かの判断方法を説明する図の一例である。It is an example of a diagram for explaining a method of determining whether a facility is on the right side or the left side with respect to a route or a road on which one is traveling. HUDの表示例を示す図である。It is a figure which shows the example of a display of HUD. 車載装置が視線方向を検索要素として施設を検索する手順を示すフローチャート図の一例である。FIG. 10 is an example of a flowchart showing a procedure for an in-vehicle device to search for a facility using a line-of-sight direction as a search element; 車両の乗員の視線方向と探索された迂回ルートの一例を説明する図である。It is a figure explaining an example of the line-of-sight direction of the passenger|crew of a vehicle, and the detour route searched. 車載装置が視線方向を検索要素として迂回ルートを探索する手順を示すフローチャート図の一例である。FIG. 10 is an example of a flowchart showing a procedure for an in-vehicle device to search for a detour route using a line-of-sight direction as a search element; 車両に搭載されるカメラの配置例を示す図である。It is a figure which shows the example of arrangement|positioning of the camera mounted in a vehicle. 車載装置が有する機能をブロック状に示す機能ブロック図の一例である(実施例3)。It is an example of the functional block diagram which shows the function which an in-vehicle device has in block form (Example 3). 車載装置が視線方向に応じてディスプレイに表示する映像を切り替える手順を示すフローチャート図の一例である。FIG. 10 is an example of a flow chart diagram showing a procedure for switching an image displayed on a display by an in-vehicle device according to a line-of-sight direction.

以下、本発明を実施するための形態の一例として車載装置と、車載装置が行う音声操作方法について図面を参照しながら説明する。 Hereinafter, an in-vehicle device and a voice operation method performed by the in-vehicle device will be described as an example of embodiments of the present invention with reference to the drawings.

<本実施形態の検索方法の概略>
まず、図3を用いて、本実施形態の検索方法の概略について説明する。図3は、車両の乗員の視線方向と車載装置が表示する電子地図301に表示される施設の検索結果の一例を説明する図である。
<Overview of search method of this embodiment>
First, with reference to FIG. 3, an outline of the search method of this embodiment will be described. FIG. 3 is a diagram illustrating an example of search results of facilities displayed on the electronic map 301 displayed by the vehicle occupant and the vehicle occupant's line of sight.

本実施形態の車載装置は、音声により入力されたコマンドに視線方向を組み合わせることが特徴の1つとなっている。コマンドにより施設を検索する場合、視線方向に応じて右側、左側、又は正面、などの方向に関する検索要素を施設の検索に付加することができる。 One of the features of the in-vehicle device of the present embodiment is that a line-of-sight direction is combined with a command input by voice. When searching for a facility by a command, a search factor related to a direction such as right, left, or front can be added to the facility search according to the line-of-sight direction.

例えば、車両の乗員が右側11を見ながら「近くのコンビニ」と発言した場合、車載装置は走行中の道路又は目的地までのルートに対し右側にあるコンビニだけ検索する。音声操作と視線方向を組み合わせることで、「右」などのキーワードを言わずともコマンドに基づく検索に方向の検索要素を組み合わせて施設などの検索を行うことができる。
・図3(a)は車両の乗員が左側13を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図301にはルートに沿って左側にあるコンビニのみが検索され表示されている。
・図3(d)は車両の乗員が右側11を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図301にはルートに沿って右側にあるコンビニのみが検索され表示されている。
・図3(c)は車両の乗員が車載装置のディスプレイ14を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。ディスプレイ14が表示中の電子地図内にあるコンビニが検索され電子地図301に表示されている。
・図3(b)は車両の乗員が正面12を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。正面12を見ながら発言した場合、車両の乗員に検索要素を付加する意志がないと判断され、電子地図301にはルートの両側にあるコンビニが検索され表示されている。すなわち、従来と同様の検索も可能である。
For example, when a vehicle occupant says "a nearby convenience store" while looking at the right side 11, the in-vehicle device searches only the convenience store located on the right side of the road on which the vehicle is traveling or the route to the destination. By combining voice operation and line-of-sight direction, it is possible to perform a search for a facility or the like by combining a command-based search with a direction search element without saying a keyword such as "right".
- FIG. 3(a) is a diagram showing a search result when a vehicle occupant says "a nearby convenience store" while looking at the left side 13. FIG. On the electronic map 301, only convenience stores located on the left along the route are retrieved and displayed.
- FIG. 3(d) is a diagram showing a search result when a vehicle occupant says "a nearby convenience store" while looking at the right side 11. FIG. On the electronic map 301, only convenience stores on the right side along the route are retrieved and displayed.
- FIG. 3(c) is a diagram showing a search result when a vehicle occupant says "a nearby convenience store" while looking at the display 14 of the in-vehicle device. A convenience store in the electronic map being displayed on the display 14 is searched and displayed on the electronic map 301 .
- FIG. 3(b) is a diagram showing a search result when a vehicle occupant says "a nearby convenience store" while looking at the front 12. FIG. If the user speaks while looking at the front 12, it is determined that the occupant of the vehicle has no intention of adding a search element, and convenience stores on both sides of the route are searched and displayed on the electronic map 301.例文帳に追加In other words, a search similar to the conventional one is also possible.

このように、本実施形態の車載装置は、視線方向を認識して、車両の乗員が見ている方向と音声操作を組み合わせて検索を行うことができる。 As described above, the in-vehicle device of the present embodiment can recognize the line-of-sight direction, and perform a search by combining the direction in which the vehicle occupant is looking and the voice operation.

<用語について>
車両の乗員とは、施設を検索する者をいう。例えば、運転者であるが、単なる乗員であってもよい。また、自動運転により移動する移動体では乗員が全く運転しない場合が含まれる。
<Terms>
A vehicle occupant is a person who searches for a facility. For example, the driver may be a mere passenger. In addition, the case where the passenger does not drive at all is included in the mobile body that moves by automatic driving.

車両とは、主に動力で移動する移動体をいう。例えば、自動車の他、動力付き二輪車(自動二輪車という)等でもよい。また、人力で移動する自転車などの軽車両がふくまれてよい。車椅子が含まれてもよい。 A vehicle is a moving object that is mainly driven by power. For example, in addition to automobiles, motorized two-wheeled vehicles (referred to as motorcycles) may be used. In addition, light vehicles such as bicycles that are moved by human power may be included. Wheelchairs may be included.

コマンドは、車載装置の入力となる命令である。例えば、予め決まっている文字列がコマンドとなる。したがって、命令、操作音声、テキストなどと称してもよい。 A command is an instruction to be input to the in-vehicle device. For example, a predetermined character string becomes a command. Therefore, it may also be referred to as an instruction, operation voice, text, or the like.

検索とはデータの中から必要な事項を探し出すことをいう。POI(Point Of Interest)を探し出すことが含まれるのはもちろんであるが、ルートの検索(探索)も含まれる。検索範囲は、検索対象とするデータの範囲をいう。検索範囲の変更とは検索対象とするデータの範囲を変えることをいう。例えば、検索するPOIの範囲を変更する。 Retrieval refers to searching for necessary items from data. It goes without saying that searching for POIs (Points Of Interest) is included, but searching for routes is also included. The search range refers to the range of data to be searched. Changing the search range means changing the range of data to be searched. For example, change the range of POIs to be searched.

コマンドを処理するとは、コマンドの内容に応じた機能を車載装置が提供するために内部的又は外部的に動作することをいう。コマンドの処理をコマンドの実行といってもよい。 Processing a command means operating internally or externally so that the in-vehicle device provides a function according to the content of the command. Command processing may be called command execution.

施設とはある目的のためで用意された設備であるが、何らかの物理的な設備があることまでは必要ない。地図上の特定のポイント(地点)であってもよくこれをPOIという。 A facility is a facility prepared for a certain purpose, but it is not necessary to have some kind of physical facility. A specific point (spot) on the map may also be called a POI.

<構成例>
図4は、車載装置10の構成例を説明する図である。まず、図4(a)は車両に搭載された車載装置10を示す。車載装置10は車両に搭載された装置であり、本実施形態では少なくとも施設を検索する機能を有している。また、施設までのルートを探索してディスプレイ14に表示する機能も有するとよい。このような車載装置10をカーナビゲーション装置と呼ぶ場合がある。
<Configuration example>
FIG. 4 is a diagram illustrating a configuration example of the in-vehicle device 10. As shown in FIG. First, FIG. 4A shows an in-vehicle device 10 mounted on a vehicle. The in-vehicle device 10 is a device mounted in a vehicle, and has at least a facility search function in this embodiment. Also, it is preferable to have a function of searching for a route to the facility and displaying it on the display 14 . Such an in-vehicle device 10 is sometimes called a car navigation device.

車載装置10は出発地から目的地までのルートを探索して道路地図に設定し、ディスプレイ14に表示された電子地図301にルートと現在地を表示したり、ルートに基づいて進路変更の手前で音声案内を出力したり、アニメーションなどで適切な進路を案内したりする。この他、AV(Audio Visual)の再生機能、インターネットとの通信機能等を有していてよい。車載装置10は、チューナー、PND(Portable Navigation Device)、又は、カーオーディオなどと呼ばれる場合もある。 The in-vehicle device 10 searches for a route from the departure point to the destination and sets it on the road map, displays the route and the current location on the electronic map 301 displayed on the display 14, or makes a voice call before changing the route based on the route. It outputs guidance and guides the appropriate course with animation etc. In addition, it may have an AV (Audio Visual) playback function, a communication function with the Internet, and the like. The in-vehicle device 10 is sometimes called a tuner, PND (Portable Navigation Device), or car audio.

なお、ナビゲーション機能を有さずに、主にAV機能と通信機能を有する装置をディスプレイオーディオという。ディスプレイオーディオは、スマートフォンなどの端末装置との通信によりナビゲーションの機能を提供する。この場合、スマートフォンに搭載されるアプリがナビ画面を作成し、このナビ画面をディスプレイオーディオが通信で取得して車載装置側のディスプレイ14に表示する。スマートフォンで動作するこのようなアプリとしてCarPlay(登録商標)やAndroid Auto(登録商標)等が知られている。車載装置10はディスプレイオーディオでもよい。 A display audio device mainly has an AV function and a communication function, but does not have a navigation function. Display audio provides navigation functions by communicating with terminal devices such as smartphones. In this case, an application installed in the smartphone creates a navigation screen, and Display Audio acquires this navigation screen through communication and displays it on the display 14 of the in-vehicle device. CarPlay (registered trademark), Android Auto (registered trademark), and the like are known as such applications that operate on smartphones. The in-vehicle device 10 may be a display audio.

また、車載装置10は、汎用的な情報処理端末である場合と車両に専用の専用端末の場合がある。汎用的な情報処理端末とは、例えば、スマートフォン、タブレット端末、携帯電話、PDA(Personal Digital Assistant)、ノートPC、及び、ウェアラブルPC(例えば、腕時計型、サングラス型など)などがある。これらの装置は、普段は情報処理端末として利用されるが、ナビゲーションのためのアプリケーションソフトウェアを実行すると、専用端末と同様、ルート探索及びルート案内等を行う。専用端末は、上記のナビゲーション装置、チューナー、又は、カーオーディオの他、PND(Portable Navigation Device)等を言う。 Further, the in-vehicle device 10 may be a general-purpose information processing terminal or may be a dedicated terminal dedicated to the vehicle. General-purpose information processing terminals include, for example, smartphones, tablet terminals, mobile phones, PDAs (Personal Digital Assistants), notebook PCs, and wearable PCs (for example, wristwatch type, sunglasses type, etc.). These devices are usually used as information processing terminals, but when application software for navigation is executed, they perform route searches and route guidance, etc., like dedicated terminals. The dedicated terminal refers to a PND (Portable Navigation Device) or the like in addition to the navigation device, tuner, or car audio described above.

車載装置10は、汎用的な情報処理端末とナビゲーション専用端末のどちらの場合でも、車載された状態と携帯可能な状態の切り替えが可能であってもよい。つまり、車載装置10は、車両に脱着可能であってよい。 The in-vehicle device 10 may be capable of switching between an in-vehicle state and a portable state, regardless of whether it is a general-purpose information processing terminal or a dedicated navigation terminal. That is, the in-vehicle device 10 may be detachable from the vehicle.

図4(b)は車載装置10とサーバ50とを有する通信システム100の概略構成図である。車載装置10はネットワークを介してサーバ50と通信する。施設などを検索する場合、車載装置10で処理を完結するのでなく、車載装置10がサーバ50と通信して処理を行う場合がある。例えば、以下のような形態を採用しうる。
(i) サーバ50が音声認識して、施設の検索を行い、検索結果を車両に送信する。
(ii) サーバ50が音声認識して、コマンドを車載装置10に送信し、車載装置10が施設を検索する。
(iii) 車載装置10が音声認識してコマンドをサーバ50に送信し、サーバ50が施設の検索を行い、検索結果を車両に送信する。
FIG. 4B is a schematic configuration diagram of the communication system 100 having the in-vehicle device 10 and the server 50. As shown in FIG. The in-vehicle device 10 communicates with the server 50 via a network. When searching for a facility or the like, there is a case where the in-vehicle device 10 communicates with the server 50 and performs processing instead of completing the processing in the in-vehicle device 10 . For example, the following forms can be adopted.
(i) The server 50 performs voice recognition, searches for facilities, and transmits the search results to the vehicle.
(ii) The server 50 recognizes the voice and transmits a command to the in-vehicle device 10, and the in-vehicle device 10 searches for facilities.
(iii) The in-vehicle device 10 recognizes the voice and transmits the command to the server 50, the server 50 searches for facilities, and transmits the search result to the vehicle.

図4(a)のように車載装置10で処理を完結するのか、図4(b)の(i)~(iii)のようにサーバ50と連携して処理するのかは、種々の状況を勘案して決定される。 Whether the process is completed by the in-vehicle device 10 as shown in FIG. 4(a) or is processed in cooperation with the server 50 as shown in (i) to (iii) of FIG. 4(b) depends on various situations. determined by

まず、音声認識の方法にはトリガー方式とトリガーレス方式があり、トリガー方式はステアリングスイッチの押下、又はある決まった発言(呼びかけ)を車載装置10が検出した場合等に、音声からコマンドを検出するために音声の認識を開始する方式である。トリガーレス方式は、音声認識の機能が起動中、車載装置10がコマンドを検出するために常に音声の認識を継続する方式である。 First, voice recognition methods include a trigger method and a triggerless method. In the trigger method, a command is detected from the voice when the in-vehicle device 10 detects the pressing of a steering switch or a certain utterance (calling). This method starts speech recognition for The triggerless method is a method in which the in-vehicle device 10 always continues to recognize the voice in order to detect the command while the voice recognition function is activated.

サーバ50が音声認識を行う場合、音声認識の性能という点では有利であるがトリガーレス方式では常に音声データをサーバ50に送信し続けるため通信量が増大したり、レスポンスが遅れたりするおそれがある。車載装置10による音声認識は音声認識の性能という点では不利であるが通信量を抑制でき、音声認識の結果が得られるまでのレスポンスが速くなる。 When the server 50 performs voice recognition, it is advantageous in terms of performance of voice recognition, but the triggerless method constantly sends voice data to the server 50, so there is a risk that the amount of communication will increase and the response will be delayed. . Although speech recognition by the in-vehicle device 10 is disadvantageous in terms of speech recognition performance, the amount of communication can be suppressed, and the response to obtain the result of speech recognition becomes faster.

したがって、トリガーレス方式では図4(a)、図4(b)の(iii)の形態が好ましい可能性があり、トリガー方式では図4(b)の(i)(ii)の形態が好ましい可能性がある。本実施形態では、車載装置10で処理が完結される図4(a)の形態に基づいて説明するが、図4(b)の(i)~(iii)の形態も採用できる。 Therefore, the form (iii) of FIGS. 4(a) and 4(b) may be preferable for the triggerless system, and the form (i) and (ii) of FIG. 4(b) may be preferable for the trigger system. have a nature. This embodiment will be described based on the form of FIG. 4(a) in which the process is completed by the in-vehicle device 10, but the forms (i) to (iii) of FIG. 4(b) can also be employed.

なお、図4(b)の形態では、ナビゲーションに関する機能もサーバ50が提供できる。例えば、車両8が現在地を送信するとサーバ50がナビ画面を作成して車両8に送信し、車両8が2つのPOIを送信するとルートを探索して車両8に送信する。また、電子地図を描画するための地図DB、道路の構造を表す道路構造DBの少なくとも一部をサーバ50が車両8に配信してもよい。 In addition, in the form of FIG. 4B, the server 50 can also provide functions related to navigation. For example, when the vehicle 8 transmits the current location, the server 50 creates a navigation screen and transmits it to the vehicle 8 , and when the vehicle 8 transmits two POIs, it searches for a route and transmits it to the vehicle 8 . Further, the server 50 may deliver to the vehicle 8 at least a part of the map DB for drawing the electronic map and the road structure DB representing the structure of the road.

<車載装置が有する機能について>
図5は、車載装置10が有する機能をブロック状に示す機能ブロック図の一例である。車載装置10は、画像データ取得部21、視線方向認識部22、音声データ取得部23、音声認識部24、コマンド検出部25、施設検索部26、位置検出部27、ルート探索部28、ルート案内部29、操作受付部30、及び、ナビ画面作成部31を有している。
<Functions possessed by the in-vehicle device>
FIG. 5 is an example of a functional block diagram showing functions of the in-vehicle device 10 in block form. The in-vehicle device 10 includes an image data acquisition unit 21, a line-of-sight direction recognition unit 22, a voice data acquisition unit 23, a voice recognition unit 24, a command detection unit 25, a facility search unit 26, a position detection unit 27, a route search unit 28, and route guidance. It has a section 29 , an operation reception section 30 , and a navigation screen creation section 31 .

車載装置10が有するこれらの各機能は、車載装置10が有する情報処理装置の一般的な機能(CPU、RAM、補助記憶装置、入出力I/F、ディスプレイ14、キーボード、タッチパネル、通信装置等)により実現される。例えば、補助記憶装置からRAMに展開されたプログラムをCPUが実行することにより実現される機能又は手段である。 These functions of the in-vehicle device 10 are general functions of the information processing device of the in-vehicle device 10 (CPU, RAM, auxiliary storage device, input/output I/F, display 14, keyboard, touch panel, communication device, etc.). It is realized by For example, it is a function or means implemented by a CPU executing a program expanded from an auxiliary storage device to a RAM.

また、車載装置10は補助記憶装置やRAM等により形成される施設情報DB35、道路構造DB36、及び、地図DB37を有している。まず、これらデータベースについて説明する。 The in-vehicle device 10 also has a facility information DB 35, a road structure DB 36, and a map DB 37, which are formed by an auxiliary storage device, RAM, or the like. First, these databases will be explained.

Figure 0007233918000001


表1(a)は、施設情報DB35に記憶されているジャンル情報を模式的に示す。ジャンル情報は各施設のジャンルを索引的に検索できるデータベースであり、表1(b)の施設詳細情報の施設と対応付けられている。また、ジャンル情報には一般的な施設のジャンルが格納されている。このジャンルで施設詳細情報が検索される。したがって、音声認識でジャンルを特定できれば、このジャンルの施設を検索できる。
Figure 0007233918000001


Table 1(a) schematically shows genre information stored in the facility information DB 35 . The genre information is a database in which the genre of each facility can be searched as an index, and is associated with the facility of the detailed facility information in Table 1(b). The genre information stores the genre of general facilities. Facility detailed information is retrieved in this genre. Therefore, if a genre can be specified by voice recognition, facilities of this genre can be searched.

表1(b)は、施設情報DB35に記憶されている施設詳細情報を模式的に示す。施設詳細情報は、各施設に関する施設情報を有する。ジャンルごとに、例えば、施設名、店名、住所、電話番号、及び、ジャンル名などが登録されている。施設名はいわばブランド名であり、チェーン店の名称、屋号などである。店名は同じ施設名を区別するための名称であり、ない場合もある。住所は所在を示す。電話番号は連絡先である。ジャンルはこの施設を何らかの属性でグループ分けする際のグループ名であり、表1(a)のジャンルと対応付けられている。なお、1つの施設が複数のジャンルに属する場合がある。 Table 1(b) schematically shows detailed facility information stored in the facility information DB 35 . The detailed facility information has facility information about each facility. For each genre, for example, facility names, store names, addresses, telephone numbers, and genre names are registered. The facility name is, so to speak, a brand name, such as the name of a chain store or a store name. The store name is a name for distinguishing the same facility name, and may not exist. The address indicates the location. A phone number is a contact. The genre is a group name for grouping the facilities according to some attribute, and is associated with the genre in Table 1(a). Note that one facility may belong to multiple genres.

なお、施設詳細情報には、この他、施設が接しているリンクなどが登録されてよく、表1(b)に示す情報には限られない。 In addition to this, the facility detailed information may be registered with a link to which the facility is in contact, and is not limited to the information shown in Table 1(b).

Figure 0007233918000002
表2は道路構造DB36の構成を模式的に示す。道路構造DB36は、車両が通行可能な道路の構造を表すデータであって、表2(a)のノードテーブルと表2(b)のリンクテーブルとが相互に連携したデータ構造を有する。
Figure 0007233918000002
Table 2 schematically shows the configuration of the road structure DB36. The road structure DB 36 is data representing the structure of roads on which vehicles can pass, and has a data structure in which the node table of Table 2(a) and the link table of Table 2(b) are mutually linked.

ノードテーブルには、ノードを識別するためのノードIDとノードの座標(緯度・経度)、交差点の有無、一時停止の有無等が登録されている。ノードとは道路網表現上の結節点である。ノードは例えば交差点、分岐点、合流点、屈曲点などである。ノードIDが分かればノードに繋がっているリンクがリンクテーブルから判明するので、車載装置10はノードテーブルとリンクテーブルを相互に参照することで道路の構造を辿ることができる。なお、ノードテーブルには、この他、横断歩道の有無、接続されているリンク数などが登録されてよく、表2に示す情報には限られない。 In the node table, node IDs for identifying nodes, node coordinates (latitude and longitude), presence/absence of intersections, presence/absence of temporary stops, and the like are registered. A node is a node on the road network representation. Nodes are, for example, intersections, branch points, confluence points, bend points, and the like. If the node ID is known, the link connected to the node can be found from the link table. Therefore, the in-vehicle device 10 can trace the structure of the road by referring to the node table and the link table. In addition, the presence or absence of crosswalks, the number of connected links, and the like may be registered in the node table, and the information is not limited to that shown in Table 2.

また、リンクテーブルにはリンクを識別するためのリンクID、リンクの始点ノード、リンクの終点ノード、リンク長、道路種別、及び、交通法規などが登録されている。リンクとはノードとノードを結ぶ道路を表し、リンクはノード同士を結ぶ線分となる。道路種別は、例えば一般道、高速道路、専用道路、私道などである。交通法規は、当該リンクで定められている(禁止又は制限されている)車両の運転に関する交通規則又は交通ルールである。なお、リンクテーブルには、この他、車線数、幅員、周囲の施設情報などが登録されてよく、表2に示す情報には限られない。 In the link table, link IDs for identifying links, link start nodes, link end nodes, link lengths, road types, traffic regulations, and the like are registered. A link represents a road that connects nodes, and a link is a line segment that connects nodes. Road types include general roads, highways, exclusive roads, and private roads, for example. Traffic regulations are traffic regulations or traffic rules regarding the driving of vehicles (prohibited or restricted) stipulated in the link. In addition, the number of lanes, width of lanes, information on surrounding facilities, and the like may be registered in the link table, and the information is not limited to the information shown in Table 2.

地図DB37は、電子地図301を描画するための地図データが記憶されている。電子地図301に表示される情報には、ベクトルデータやラスターデータで地図を描くためのデータが含まれている。地図データは経度・緯度などが既知のメッシュ状に区切られており、1つ以上のメッシュを結合して電子地図301が作成される。電子地図301に表示される情報には、都道府県などの区画、緑地や河川、道路や鉄道、記号や注記など多くの表示対象があるため、性質の似たものに分類し各分類ごとに描画できるようになっている。それぞれに分類された表示対象又は表示対象が描画された状態をレイヤーといい、電子地図301はいくつかのレイヤーを重ねることで描画される。 The map DB 37 stores map data for drawing the electronic map 301 . Information displayed on the electronic map 301 includes data for drawing a map using vector data and raster data. The map data is partitioned into meshes with known longitude, latitude, etc., and an electronic map 301 is created by combining one or more meshes. Since the information displayed on the electronic map 301 includes many display objects such as divisions such as prefectures, green areas and rivers, roads and railroads, symbols and notes, they are classified into similar properties and drawn for each classification. It is possible. The display objects classified respectively or the states in which the display objects are drawn are called layers, and the electronic map 301 is drawn by overlapping several layers.

図5に戻って説明する。画像データ取得部21はカメラが撮像した画像データを取得する。カメラは車両の乗員の顔(更に詳細には目)を撮像できる位置に取り付けられている。例えば、センターコンソール、ステアリングコラム、メータパネル内、又は、運転席の近くのルーフのうちフロントウィンドウシールドに近い側などである。カメラは運転者の顔を撮像できるように赤外光を照射するとよい。カメラは所定のフレームレートで車両の乗員の顔の撮像を繰り返し行う。 Returning to FIG. 5, description will be made. The image data acquisition unit 21 acquires image data captured by the camera. The camera is mounted in a position where it can image the face (more specifically, the eyes) of the vehicle occupant. For example, in the center console, steering column, instrument panel, or on the side of the roof near the driver's seat near the front window shield. The camera should irradiate infrared light so that the driver's face can be imaged. The camera repeatedly images the face of the vehicle occupant at a predetermined frame rate.

画像データ取得部21は、所定のフレームレートで繰り返し撮像するカメラから画像データを取得する。カメラが撮像する全ての画像データを取得しなくてもよい。画像データは視線方向の検知に使用される他、顔認識による乗員の識別、眠気検知、等に使用される。乗員を監視する仕組みをドライバモニタリングシステムという。 The image data acquisition unit 21 acquires image data from a camera that repeatedly captures images at a predetermined frame rate. It is not necessary to acquire all the image data captured by the camera. The image data is used for detection of line-of-sight direction, identification of passengers by face recognition, detection of drowsiness, and the like. The system that monitors the occupants is called a driver monitoring system.

視線方向認識部22は、車両の乗員の顔が写った画像データのうち目の撮像範囲から基準点と動点を検出して、基準点と動点の相対位置に基づいて視線方向を認識する。一例として、基準点に目頭、動点に虹彩を選ぶ方法と、基準点に角膜反射、動点に瞳孔を選ぶ方法とがある。基準点に角膜反射を使用する場合は赤外光などの点光源が照射される。 A line-of-sight direction recognition unit 22 detects a reference point and a moving point from an eye imaging range in image data showing the face of a vehicle occupant, and recognizes the line-of-sight direction based on the relative positions of the reference point and the moving point. . For example, there is a method of selecting the inner corner of the eye as the reference point and the iris as the moving point, and a method of selecting the corneal reflection as the reference point and the pupil as the moving point. When corneal reflection is used as the reference point, a point light source such as infrared light is irradiated.

視線方向認識部22は、画像データから顔部分を特定し、顔部分から眉、鼻孔、目、唇などの特徴的な部品を特定し、これらの配置関係から目の位置を特定する。目の位置が特定されると目頭、虹彩、角膜反射及び瞳孔を検出できる。基準点と動点の相対位置に視線方向が対応付けられたテーブルが予め容易されており、視線方向認識部22はこのテーブルを参照して視線方向を認識する。視線方向は例えばカメラの撮像素子の中心を原点とする三次元座標系のベクトルで表される。 The line-of-sight direction recognizing unit 22 identifies the facial part from the image data, identifies characteristic parts such as eyebrows, nostrils, eyes, and lips from the facial part, and identifies the positions of the eyes from the arrangement relationship of these parts. Once the eye is located, the inner corner of the eye, iris, corneal reflection and pupil can be detected. A table in which the line-of-sight direction is associated with the relative position of the reference point and the motion point is prepared in advance, and the line-of-sight direction recognition unit 22 refers to this table to recognize the line-of-sight direction. The line-of-sight direction is represented, for example, by a vector of a three-dimensional coordinate system with the center of the imaging device of the camera as the origin.

視線方向は画像データごとに送出されるため、視線方向認識部22はカメラのフレームレートに準じて視線方向を認識する。検出される視線方向はある程度の誤差を有するので、視線方向認識部22は複数の視線方向の平均を算出して用いてもよい。 Since the line-of-sight direction is sent for each image data, the line-of-sight direction recognition unit 22 recognizes the line-of-sight direction according to the frame rate of the camera. Since the detected line-of-sight direction has a certain amount of error, the line-of-sight direction recognition unit 22 may calculate and use the average of a plurality of line-of-sight directions.

視線方向認識部22は、視線方向が右側11、正面12、左側13、又は、ディスプレイ14のどれを向いているかを判断する。正面12、左側13、右側11、又は、ディスプレイ14を向いている視線方向の範囲は予め視線方向認識部22がパラメータとして持っている。例えば、三次元のベクトルで視線方向が表される場合、正面方向をゼロする水平角度と垂直角度に変換する(極座標に変換する)。視線方向の水平角度と垂直角度がそれぞれ右側11、正面12、左側13、又は、ディスプレイ14に対応付けられた範囲内である場合に、視線方向が右側11、正面12、左側13、又は、ディスプレイ14を向いていると判断する。視線方向認識部22は視線方向(右側11、正面12、左側13、又は、ディスプレイ14)を施設検索部26に送出する。 The line-of-sight direction recognition unit 22 determines which of the right side 11, the front side 12, the left side 13, and the display 14 the line-of-sight direction is directed. The line-of-sight direction recognition unit 22 has in advance the range of the line-of-sight direction facing the front 12, the left side 13, the right side 11, or the display 14 as a parameter. For example, when the line-of-sight direction is represented by a three-dimensional vector, it is converted into a horizontal angle and a vertical angle in which the front direction is zero (converted into polar coordinates). When the horizontal angle and vertical angle of the line-of-sight direction are within the ranges associated with the right side 11, the front side 12, the left side 13, or the display 14, the line-of-sight direction is the right side 11, the front side 12, the left side 13, or the display It is judged that 14 is facing. The line-of-sight direction recognition unit 22 sends the line-of-sight direction (right side 11, front side 12, left side 13, or display 14) to the facility search unit 26. FIG.

音声データ取得部23は、トリガーレス方式で常に、マイク41が集音した音声をA/D変換により電気信号に変換し音声データとして取得する。音声データは連続データなので、音声データ取得部23は所定時間分(例えば20ミリ秒など)の音声データを繰り返し取得する。所定時間は音声認識に有利な時間として設定されている。 The audio data acquisition unit 23 converts the audio collected by the microphone 41 into an electric signal by A/D conversion and acquires it as audio data at all times in a triggerless manner. Since the audio data is continuous data, the audio data acquisition unit 23 repeatedly acquires audio data for a predetermined time period (for example, 20 milliseconds). The predetermined time is set as a time advantageous for voice recognition.

音声認識部24は音声データをテキストデータに変換する音声認識を行う。テキストデータへの変換には公知の方法があると共に様々な方法がある。ここでは一例を説明する。まず、音声認識部24は音声データを周波数スペクトルに変換して雑音に相当する周波数部分を除去するなどの処理を行う。次に、音声データからパターンの認識に役立つ情報として、フォルマント又はMFCC(Mel Frequency Cepstrum Coefficient)を抽出する。これにより、音声データから数十次元の特徴ベクトルが得られる。そして、音声認識部24は、音声の波形(トライフォンと呼ばれる3つの音素が組み合わされた組音素)とその時の音声のテキストデータとを紐付けた音響モデルを特徴ベクトルで検索してテキストデータを得る。テキストデータが一意に決まらない場合も少なくないため、音声認識部24は、単語と単語のつながり方を確率で表現した言語モデルを使って、確率的に最も確からしいテキストデータを採用する。この方法では単語単位で認識されているため形態素解析は不要になる。文字単位で音声認識が行われる場合、音声認識部24は形態素解析を行う。 The speech recognition unit 24 performs speech recognition by converting speech data into text data. There are known methods and various methods for conversion into text data. An example is described here. First, the speech recognition unit 24 performs processing such as converting the speech data into a frequency spectrum and removing the frequency portion corresponding to noise. Next, formants or MFCCs (Mel Frequency Cepstrum Coefficients) are extracted from the voice data as information useful for pattern recognition. As a result, several dozen-dimensional feature vectors are obtained from the speech data. Then, the speech recognition unit 24 retrieves an acoustic model that associates a waveform of speech (a set of phonemes in which three phonemes are combined called a triphone) with the text data of the speech at that time using the feature vector, and extracts the text data. obtain. Since there are many cases where the text data is not uniquely determined, the speech recognition unit 24 employs the most probabilistic text data using a language model that expresses how words are connected in terms of probability. In this method, morphological analysis is unnecessary because words are recognized word by word. When speech recognition is performed on a character-by-character basis, the speech recognition unit 24 performs morphological analysis.

また、近年ではディープラーニングを利用した音声認識が一般的になっている。音声データは可変長の時系列データであるため、可変長データをニューラルネットワークで扱えるRNN(Recurrent Neural Network)と呼ばれる方法が使用される。 In recent years, speech recognition using deep learning has become common. Since voice data is time-series data of variable length, a method called RNN (Recurrent Neural Network), which can handle variable length data with a neural network, is used.

音声認識部24が認識したテキストデータはコマンド検出部25に送出される。コマンド検出部25はテキストデータに含まれるコマンドを検出して、コマンドに応じた機能(ブロック)を呼び出す。例えば、トリガーレス方式では予めいくつかのコマンドが定義されており、このコマンドがテキストデータに含まれるか否かを監視している。コマンドは、例えば、「近くのコンビニ」、「周辺検索」「近くのガソリンスタンド」「自宅に戻る」「ルート案内」「ルート消去」「地図表示」「オーディオ表示」「ダブルゾーン」「広域表示」「詳細表示」「フロントカメラ」「サイドカメラ」「コーナーカメラ」などである。 Text data recognized by the speech recognition unit 24 is sent to the command detection unit 25 . A command detection unit 25 detects a command included in the text data and calls a function (block) corresponding to the command. For example, in the triggerless method, some commands are defined in advance, and whether or not these commands are included in the text data is monitored. Commands are, for example, "convenience store nearby", "search surrounding area", "gas station nearby", "return home", "route guidance", "delete route", "map display", "audio display", "double zone", "wide area display". They are "detailed display", "front camera", "side camera", "corner camera", and the like.

コマンド検出部25は、コマンドに応じた処理を実行する。例えば、「近くのコンビニ」、「周辺検索」「近くのガソリンスタンド」は検索に関するコマンドなので、検索要求を生成して、施設検索部26に送出する。「自宅に戻る」「ルート案内」「ルート消去」はルート探索に関するコマンドなので、出発地と目的地を指定したルート探索要求を生成してルート探索部28に送出する。「地図表示」「オーディオ表示」「ダブルゾーン」はディスプレイ14の表示に関するコマンドなので、ナビ画面作成部31に画面の表示切替を要求する。「広域表示」「詳細表示」は電子地図301の縮尺に関するコマンドなので、ナビ画面作成部31に電子地図301の縮尺の変更を要求する。「フロントカメラ」「サイドカメラ」「コーナーカメラ」はカメラの映像の切り替えに関するコマンドなので、車載カメラのどのカメラが撮像した映像をディスプレイ14に表示するかを切り替える。 The command detection unit 25 executes processing according to the command. For example, “nearby convenience store”, “surrounding search”, and “nearby gas station” are commands related to search, so a search request is generated and sent to the facility search unit 26 . Since "return to home", "route guidance", and "delete route" are commands related to route search, a route search request designating the starting point and destination is generated and sent to the route searching section 28. FIG. Since "map display", "audio display", and "double zone" are commands related to the display of the display 14, the navigation screen creation unit 31 is requested to switch the screen display. Since "wide display" and "detailed display" are commands related to the scale of the electronic map 301, the navigation screen creation unit 31 is requested to change the scale of the electronic map 301. FIG. "Front camera", "side camera", and "corner camera" are commands for switching camera images.

したがって、コマンド検出部25は、例えば「近くのコンビニ」というコマンドに対しては、「近く」という距離に関する情報と「コンビニ」というジャンルを含む検索要求を施設検索部26に送出する。 Therefore, for example, in response to the command "nearby convenience store", the command detection unit 25 sends to the facility search unit 26 a search request including the distance information "nearby" and the genre "convenience store".

施設検索部26は、検索要求と視線方向を受け取り、視線方向に基づく方向を検索要素として検索要求に付加して、施設情報DB35を検索する。 The facility search unit 26 receives the search request and the line-of-sight direction, adds the direction based on the line-of-sight direction as a search element to the search request, and searches the facility information DB 35 .

操作受付部30は、ルート探索のための2つのPOI(例えば出発地と目的地)の入力、ルート案内の開始、再探索の指示、ナビ画面の拡大・縮尺の指示、及び、表示範囲変更などの指示を車両の乗員から受け付ける。 The operation reception unit 30 inputs two POIs (for example, a departure point and a destination) for route search, starts route guidance, instructs search again, instructs enlargement/reduction of the navigation screen, changes the display range, and the like. instruction from the vehicle occupant.

位置検出部27は、定期的に及び車両の乗員の操作に応じて、GPS受信機が行う電波測位により、車両の現在地を緯度、経度、及び標高の座標として検出する。なお、位置検出部27は、自律航法用センサを使って詳細な位置を推定し、更にマップマッチングにより車両の位置を道路上に補正する。 The position detection unit 27 detects the current position of the vehicle as latitude, longitude, and altitude coordinates by radio positioning performed by the GPS receiver periodically and in response to operation by the vehicle occupant. The position detection unit 27 estimates a detailed position using an autonomous navigation sensor, and further corrects the position of the vehicle on the road by map matching.

ルート探索部28は、車両の乗員がルート探索を要求したりルートから車両が外れたりして再探索する場合に、道路構造DB36を用いてルートを探索しルート情報を作成する。ルート探索には、リンク長や幅員、渋滞状況をコストに換算して、出発地から目的地までのコストの合計が最も少なくなるルートを選ぶダイクストラ法、ダイクストラ法にヒューリスティックコストを加えて探索するA*(エースター)法が知られている。また、決定したルートにおいて隣接するリンクのなす角が所定以上の場合、進行方向の変更が必要であると判断し、ルート情報において、進路変更の手前に案内ポイントを設定する。ルート探索部28は、ルート探索で生成したルート情報をルート案内部29、及び、ナビ画面作成部31に送出する。 The route search unit 28 searches for a route using the road structure DB 36 and creates route information when a route search is requested by a vehicle occupant or when the vehicle deviates from the route and the route is searched again. For route search, convert the link length, width, and traffic congestion into costs, and select the route that minimizes the total cost from the departure point to the destination. * (Aster) method is known. If the angle formed by adjacent links on the determined route is greater than or equal to a predetermined angle, it is determined that the direction of travel needs to be changed, and a guidance point is set before the course change in the route information. The route search unit 28 sends the route information generated by the route search to the route guide unit 29 and the navigation screen creation unit 31 .

ルート案内部29は、現在地(位置情報)とルート情報に基づいてルート案内を行う。すなわち、車両の現在地がルート情報に含まれる案内ポイントに到達すると、曲がり角などを指示する音声データをスピーカ43から出力する。なお、音声データはMP3などの形式でデータ化されていてもよいし、案内用のテキストデータに基づいて音声合成をおこなって作成してもよい。 The route guidance unit 29 provides route guidance based on the current location (positional information) and route information. That is, when the current position of the vehicle reaches the guidance point included in the route information, the speaker 43 outputs audio data indicating a turning corner or the like. The voice data may be converted into data in a format such as MP3, or may be created by synthesizing voice based on text data for guidance.

ナビ画面作成部31は、例えば車両の現在地の周囲を包含する電子地図301であって、ルートが強調表示された電子地図301を地図DB37の地図データを用いて作成する。ナビ画面作成部31は、更に車両の現在地を現在地マークなどで表示する。ナビ画面作成部31は電子地図にメニューボタン等を加えてナビ画面を作成する。また、ナビ画面作成部31は、大きな交差点など、拡大図が用意されている場所に車両が近づくと地図DB37から地図データを取得して交差点等の拡大図を表示する。この他、AVを操作する画面なども作成する。 The navigation screen creation unit 31 creates, for example, an electronic map 301 including the surroundings of the vehicle's current location, with the route highlighted, using the map data in the map DB 37 . The navigation screen creation unit 31 further displays the current location of the vehicle using a current location mark or the like. A navigation screen creation unit 31 creates a navigation screen by adding menu buttons and the like to the electronic map. Further, when the vehicle approaches a place such as a large intersection where an enlarged map is prepared, the navigation screen creation unit 31 acquires map data from the map DB 37 and displays an enlarged map of the intersection and the like. In addition, we will also create screens for operating AV.

<右側、正面、左側、又は、ディスプレイと判断される視線方向の一例>
続いて、図6を用いて右側11、正面12、左側13、又はディスプレイ14と判断される視線方向について説明する。図6は、右側11、正面12、左側13、又は、ディスプレイ14と判断される視線方向を説明する図である。図示するように、視線方向の水平角度がφ1~φ2かつ垂直角度がθ1~θ2の間にある場合、視線方向が左側13であると判断される。正面12,右側11、及び、ディスプレイ14についても同様に、視線方向が水平角度と垂直角度の決まった範囲に入るかどうかにより視線方向が判断される。
<Examples of line-of-sight directions determined to be right, front, left, or display>
Next, the line-of-sight direction determined to be the right side 11, the front side 12, the left side 13, or the display 14 will be described with reference to FIG. FIG. 6 is a diagram for explaining the viewing direction determined to be the right side 11, the front side 12, the left side 13, or the display 14. FIG. As shown, when the horizontal angle of the viewing direction is between φ1 and φ2 and the vertical angle is between θ1 and θ2, the viewing direction is determined to be left 13 . Similarly, for the front 12, right 11, and display 14, the line-of-sight direction is determined based on whether the line-of-sight direction falls within a predetermined range of horizontal and vertical angles.

なお、このような判断は一例であって、水平角度が閾値1(正面よりやや左側の方向を示す水平角度)よりも左の場合は左側13と判断し、水平角度が閾値2(正面よりやや右側の方向を示す水平角度)よりも右の場合は右側11と判断し、それ以外は正面12と判断してもよい。すなわち、この場合は垂直角度を考慮しない。ただし、左側13と判断する場合には、垂直角度と閾値3(ディスプレイ14の上辺を示す垂直角度)と比較してディスプレイ14を向いているか単に左側13を向いているかを区別する。 It should be noted that such a determination is an example, and when the horizontal angle is left of threshold 1 (horizontal angle indicating the direction slightly left from the front), it is determined to be left 13, and the horizontal angle is determined to be left 13, and the horizontal angle is threshold 2 (slightly left from the front). If it is to the right of the horizontal angle indicating the direction of the right side), it may be determined to be the right side 11, and other than that, it may be determined to be the front side 12. That is, vertical angles are not taken into account in this case. However, if the left side 13 is determined, the vertical angle is compared with a threshold value 3 (the vertical angle indicating the upper side of the display 14) to distinguish whether the display 14 is facing or the left side 13 is facing.

<視線方向の判断のタイミング>
車両の乗員がコマンドを発言するには一定の時間がかかるが、視線方向は瞬間の値としてフレームレートに応じて繰り返し判断される。一方、コマンドが認識されるためには、車両の乗員がコマンドを発言し終わっている必要がある。
<Timing for judging line-of-sight direction>
It takes a certain amount of time for the vehicle occupant to speak a command, but the line-of-sight direction is determined repeatedly according to the frame rate as an instantaneous value. On the other hand, the vehicle occupant must have finished speaking the command in order for the command to be recognized.

図7は、コマンドの発言に対する視線方向の判断のタイミングを説明する図の一例である。車両の乗員がコマンドを発言し終わっている必要があるという要請からは、図7(a)に示すように、コマンドが認識された直後の視線方向を、施設検索部26が使用することが考えられる。車両の乗員としては、コマンドの言い終わりに所望の方向を向けばよいので操作しやすい。 FIG. 7 is an example of a diagram for explaining the timing of determination of the line-of-sight direction with respect to command utterances. From the request that the vehicle occupant must have finished speaking the command, as shown in FIG. be done. It is easy for the vehicle occupant to turn in the desired direction at the end of command.

また、施設を探している車両の乗員は自然にその方向を見ることを考慮すると、図7(b)に示すように、コマンドが認識された時点でなくコマンドの言い始めの時点の視線方向を、施設検索部26が使用することも有効である。この場合、施設検索部26は過去の一定時間の視線方向を保持しておき、コマンドの長さ(発言に要する時間)により決まった時刻だけ前の視線方向を施設検索部26が使用することが考えられる。車両の乗員は実空間の施設を目視して探しながらコマンドを発言するという自然の使い方で施設を検索できる。 Considering that the vehicle occupants looking for facilities naturally look in that direction, as shown in FIG. , is also effective for use by the facility search unit 26 . In this case, the facility search unit 26 retains the line-of-sight direction for a certain period of time in the past, and the facility search unit 26 can use the line-of-sight direction of the previous time determined by the length of the command (the time required for the statement). Conceivable. Vehicle passengers can search for facilities in a natural way by uttering commands while looking for facilities in real space.

また、車両の乗員がコマンドを言いながら所望の方向の施設を継続的に探すことを考慮すると、図7(c)に示すように、コマンドが発言されている間の視線方向の平均を施設検索部26が使用することも有効である。コマンドが発言されている時間は、コマンドの長さにより予め決まっている。車両の乗員はコマンドを言いながらある程度の時間、所望の方向を見ればよいので誤操作を低減できる。 Considering that the vehicle occupant continuously searches for a facility in a desired direction while uttering a command, as shown in FIG. It is also useful for the part 26 to use. The time during which the command is spoken is predetermined by the length of the command. Since the occupant of the vehicle can look in the desired direction for a certain amount of time while giving the command, erroneous operations can be reduced.

なお、車両の乗員が車両を制動することで視線方向がぶれる(大きく変わる)場合がある。この場合、視線方向の信頼性が低下しているので、制動が検出された場合、視線方向認識部22が視線方向の認識を停止するか、又は、施設検索部26が視線方向を検索に使用しないことが有効である。なお、車両の乗員が車両を制動したことは前後方向の加速度により検出できる。また、進行方向を変更している場合(右左折していたりY字路への進行中)は視線方向がぶれる(大きく変わる)場合があるので、この場合も同様に処理してよい。なお、車両が進行方向を変更していることはヨーレートにより検出できる。 It should be noted that the line-of-sight direction may be blurred (changed significantly) when the occupant of the vehicle brakes the vehicle. In this case, since the reliability of the line-of-sight direction is reduced, when braking is detected, the line-of-sight direction recognition unit 22 stops recognizing the line-of-sight direction, or the facility search unit 26 uses the line-of-sight direction for searching. It is effective not to It should be noted that the braking of the vehicle by the occupant of the vehicle can be detected from the longitudinal acceleration. Also, if the direction of travel is changed (turning left or right or proceeding to a Y-junction), the line of sight direction may be blurred (changed significantly), so the same process may be performed in this case as well. It should be noted that the fact that the vehicle is changing its traveling direction can be detected from the yaw rate.

<右側又は左側の施設の検索について>
続いて、図8、図9を用いて右側又は左側の施設の検索について説明する。まず、図8を用いて、車両の「近く」の施設の検索について説明する。図8は検索範囲の説明に関してディスプレイ14に表示された電子地図301の一例を示す。図8では、現在地マーク302とルート303が表示されているが、説明の便宜上、地物については省略した。
<Regarding searching for facilities on the right or left>
Next, searching for facilities on the right or left will be described with reference to FIGS. 8 and 9. FIG. First, referring to FIG. 8, the search for facilities "near" the vehicle will be described. FIG. 8 shows an example of an electronic map 301 displayed on the display 14 regarding the description of the search range. In FIG. 8, the current location mark 302 and the route 303 are displayed, but for convenience of explanation, the features are omitted.

電子地図301は上記のようにメッシュごとに描画されるので、1つに見える電子地図301は複数のメッシュ305を有している場合が多い。メッシュ305の4つの頂点の座標は既知である。また、スムーズなスクロールを実現するために電子地図301よりも大きいバッファ領域304が少なくとも1メッシュ分以上、メモリ上に描画されている。 Since the electronic map 301 is drawn for each mesh as described above, a single electronic map 301 often has a plurality of meshes 305 . The coordinates of the four vertices of mesh 305 are known. In order to realize smooth scrolling, a buffer area 304 larger than the electronic map 301 is drawn on the memory for at least one mesh.

図8に示すように目的地までのルート303が設定されている場合、ルート303から外れることを望まない車両の乗員が多いため、ルート沿い(ルートに面した)の施設が検索される。また、目的地とは逆方向に戻ることは考えにくいので、進行方向の前方の施設が検索される。車両の近くとは、数分で到着できる範囲でもよいし、電子地図301に表示されている範囲でもよい。したがって、施設検索部26は、現在地よりも前方のルート303が含まれるメッシュ305内に存在する施設であって、現在地から所定距離内の施設を施設情報DB35から検索する。ルート沿いに限定するため(ルート303に面している施設に限定するため)、施設情報DB35に登録されている施設が接しているリンクを利用して絞り込む。 When a route 303 to the destination is set as shown in FIG. 8, facilities along the route (facing the route) are searched because many passengers do not want to deviate from the route 303 . Also, since it is unlikely that the vehicle will return in the direction opposite to the destination, facilities ahead in the traveling direction are searched. The vicinity of the vehicle may be a range that can be reached in several minutes, or a range displayed on the electronic map 301 . Therefore, the facility search unit 26 searches the facility information DB 35 for facilities existing within the mesh 305 including the route 303 ahead of the current location and within a predetermined distance from the current location. In order to limit the facilities along the route (to limit the facilities facing the route 303), the links to which the facilities registered in the facility information DB 35 are in contact are used for narrowing down.

目的地までのルート303が設定されていない場合、車両が走行中であるか否かによって提供すべき施設が異なると考えられる。車両が走行中である場合、現在走行中の道路をルート303と見なして、目的地までのルート303が設定されている場合と同様に施設を検索する。車両が走行中でない場合、進行方向が不明なので、現在地から所定距離内の施設を施設情報DB35から検索する。例えば、現在地があるメッシュ305とこれに隣接した8個のメッシュ305から施設を検索する。なお、車両が走行中であるかどうかは車速及び現在の位置情報の少なくとも一方から判断できる。 If the route 303 to the destination is not set, it is considered that the facilities to be provided differ depending on whether the vehicle is running or not. When the vehicle is running, the road on which it is currently running is regarded as the route 303, and facilities are searched in the same way as when the route 303 to the destination is set. If the vehicle is not running, the direction of travel is unknown, so the facility information DB 35 is searched for facilities within a predetermined distance from the current location. For example, the facility is retrieved from the mesh 305 where the current location is located and the eight meshes 305 adjacent thereto. Whether or not the vehicle is running can be determined from at least one of the vehicle speed and current position information.

本実施形態の車載装置10は、視線方向が右側11又は左側13の場合、ルート303又は走行中の道路の右側又は左側の施設のみに絞り込む。 The in-vehicle device 10 of the present embodiment narrows down only facilities on the right side or the left side of the route 303 or the road on which the vehicle is traveling when the line-of-sight direction is the right side 11 or the left side 13 .

図9は、ルート303又は走行中の道路に対し施設が右側か左側かの判断方法を説明する図の一例である。図9(a)に示すように、ルート303又は走行中の道路の右側と左側に施設311,312があるとする。まず、施設検索部26は、図9(b)に示すように、ルート303又は走行中の道路を構成するリンクのうち、施設に最寄りのリンク313を取り出す。 FIG. 9 is an example of a diagram explaining a method of determining whether the facility is on the right side or the left side with respect to the route 303 or the road on which the vehicle is traveling. As shown in FIG. 9A, it is assumed that there are facilities 311 and 312 on the right and left sides of the route 303 or the road on which the vehicle is traveling. First, as shown in FIG. 9(b), the facility search unit 26 retrieves the link 313 closest to the facility from among the links forming the route 303 or the road on which the vehicle is traveling.

施設311と進行方向から見たリンク313の始点とを結ぶ直線v1、及び、施設311と進行方向から見たリンク313の終点とを結ぶ直線v2、を考える。施設312についても同様に直線v1,v2を考える。ルート303又は走行中の道路に対し右側にある施設311の場合、直線v1を直線v2の方向に変更する回転方向は時計回りであり、ルート303又は走行中の道路に対し左側にある施設312の場合、直線v1を直線v2の方向に変更する回転方向は反時計回りである。 Consider a straight line v1 connecting the facility 311 and the starting point of the link 313 seen from the traveling direction, and a straight line v2 connecting the facility 311 and the end point of the link 313 seen from the traveling direction. For facility 312, straight lines v1 and v2 are similarly considered. In the case of the facility 311 on the right side of the route 303 or the road on which one is traveling, the direction of rotation for changing the direction of the straight line v1 to the direction of the straight line v2 is clockwise. , the direction of rotation that changes the direction of the straight line v1 to the direction of the straight line v2 is counterclockwise.

2つのベクトルがある場合に時計回りか反時計回りかを判断するには外積を利用する方法がある。しがって、例えば以下のように施設311,312がルート303又は走行中の道路に対し右側か左側かを判断できる。
直線1×直線2が正 → 左側
直線1×直線2が負 → 右側
このように、施設検索部26は近くの施設を検索して、ルート又は走行中の道路に対し右側又は左側になる施設のみを検索できる(絞り込むことができる)。
If there are two vectors, there is a method of using the outer product to determine whether the direction is clockwise or counterclockwise. Therefore, for example, it is possible to determine whether the facilities 311 and 312 are on the right side or the left side of the route 303 or the road on which they are traveling, as follows.
Straight line 1 x straight line 2 is positive → left straight line 1 x straight line 2 is negative → right side In this way, the facility search unit 26 searches for nearby facilities, and only the facilities on the right or left side of the route or the road on which you are traveling. can be searched (can be narrowed down).

なお、視線方向がディスプレイ14を向いている場合は、電子地図301の表示範囲に座標を有する施設を検索すればよい。 When the line of sight is directed toward the display 14 , it is sufficient to search for facilities having coordinates within the display range of the electronic map 301 .

<その他の視線方向>
右側11、正面12、左側13、又はディスプレイ14以外に、HUD(Head Up Display)を車両の乗員が見ているかどうかを判断してもよい。図10は、HUDの表示例を示す。図10に示すHUDには「300m前方を右折する」ことがアイコンで示されているが、このようにHUDには進行方向が表示される場合がある。
<Other viewing directions>
Besides the right side 11, front side 12, left side 13, or display 14, it may be determined whether a vehicle occupant is looking at a HUD (Head Up Display). FIG. 10 shows a display example of the HUD. In the HUD shown in FIG. 10, the icon indicates "turn right 300 m ahead", and the HUD may display the traveling direction in this way.

車両の乗員はHUDを見て進行方向を変更するタイミングを予測するが、進行方向の変更後にどのような施設があるか又は所望の施設があるが知りたい場合がある。そこで、HUDを見て車両の乗員がコマンドを発言した場合、施設検索部26は最寄りの案内ポイントで車両が進行方向を変更した後の周辺検索を行うことが有効である。 A vehicle occupant looks at the HUD to predict the timing of changing the direction of travel, but there are cases where the passenger wants to know what facilities are available after the change of the direction of travel, or if there are desired facilities. Therefore, when a vehicle occupant looks at the HUD and issues a command, it is effective for the facility search unit 26 to search the vicinity after the vehicle changes its traveling direction at the nearest guide point.

この場合、施設検索部26は進行方向を変更するノードよりも前方のルート又は走行中の道路を含むメッシュから施設を検索する。この場合はルート又は走行中の道路の両側の施設が検索されるが、車両の乗員が右側又は左側に絞り込みたい場合は視線方向で改めて検索できる。 In this case, the facility search unit 26 searches for facilities from the mesh including the route or the road on which the vehicle is traveling ahead of the node whose direction of travel is to be changed. In this case, facilities on both sides of the route or the road on which the vehicle is traveling are searched, but if the vehicle occupant wishes to narrow down to the right or left side, the search can be performed again according to the line-of-sight direction.

<動作手順>
図11は、車載装置10が視線方向を検索要素として施設を検索する手順を示すフローチャート図の一例である。
<Operation procedure>
FIG. 11 is an example of a flowchart showing a procedure for searching for facilities by the in-vehicle device 10 using the line-of-sight direction as a search element.

ステップS1~S4は並列に実行される。ステップS1では画像データ取得部21がカメラから画像データを取得する(S1)。視線方向認識部22は画像データに写った顔画像から視線方向を認識する(S2)。 Steps S1-S4 are executed in parallel. In step S1, the image data acquisition unit 21 acquires image data from the camera (S1). The line-of-sight direction recognition unit 22 recognizes the line-of-sight direction from the face image shown in the image data (S2).

音声データ取得部23は常に音声データを取得しており(S3)、音声認識部24が音声データをテキストデータに変換する(S4)。 The voice data acquisition unit 23 always acquires voice data (S3), and the voice recognition unit 24 converts the voice data into text data (S4).

コマンド検出部25はテキストデータに予め定めたコマンドが含まれるか否かを判断する(S5)。本実施形態では検索に関するコマンドが検出される。コマンドが検出されない場合(S5のNo)、処理はステップS1に戻る。 The command detection unit 25 determines whether or not the text data includes a predetermined command (S5). In this embodiment, a search-related command is detected. If no command is detected (No in S5), the process returns to step S1.

コマンドが検出された場合(S5のYes)、施設検索部26は検索要素とするために視線方向を特定する(S6)。すなわち、言い始め、言い終わり、又は、平均などから視線方向を特定する。また、制動や進行方向の変更があった場合は、制動後や進行方向の変更後の視線方向を無視する。 If the command is detected (Yes in S5), the facility search unit 26 identifies the line-of-sight direction to use as a search element (S6). That is, the line-of-sight direction is specified from the start of speech, the end of speech, or an average. Also, when there is braking or a change in the direction of travel, the line-of-sight direction after braking or after the change in the direction of travel is ignored.

次に、施設検索部26は検索要求にしたがって例えば近くの施設を検索する(S7)。施設のジャンルは車両の乗員により指定されている。乗員が明示的に指定しなくてもよく、例えばよく行くジャンルの施設を検索してもよい。なお、視線方向がディスプレイ14の場合、表示されている電子地図301の範囲内で検索しておくことができる。 Next, the facility search unit 26 searches for, for example, nearby facilities according to the search request (S7). The genre of the facility is designated by the vehicle occupants. It is not necessary for the crew member to specify it explicitly, and for example, they may search for facilities in the genre they frequently visit. If the viewing direction is the display 14, the search can be performed within the range of the displayed electronic map 301. FIG.

施設検索部26が特定した視線方向に応じて処理が実行される(S8)。
・視線方向が左側13の場合、左側の施設に絞り込む(S9)。
・視線方向が正面12の場合、施設の絞り込みは行わない。
・視線方向が右側11の場合、右側の施設に絞り込む(S10)。
・視線方向がディスプレイ14の場合、電子地図301の表示範囲で検索する(S11)。この場合、ステップS7で検索しておけばステップS11は不要になる。
Processing is executed according to the line-of-sight direction specified by the facility search unit 26 (S8).
- If the line of sight is to the left 13, the facilities are narrowed down to the facilities on the left (S9).
・If the viewing direction is the front 12, the facilities are not narrowed down.
If the line of sight is to the right 11, narrow down to facilities on the right (S10).
If the viewing direction is the display 14, search is performed within the display range of the electronic map 301 (S11). In this case, step S11 becomes unnecessary if the search is performed in step S7.

ナビ画面作成部31は検索された施設のアイコン又はピンマークなどを電子地図301に表示する(S12)。 The navigation screen creation unit 31 displays the icon or pin mark of the found facility on the electronic map 301 (S12).

<まとめ>
以上説明したように、本実施形態の車載装置10は、車両の乗員の視線方向を認識して、車両の乗員が見ている方向と音声操作を組み合わせて施設の検索を行うことができる。換言すると、車両の乗員が見ている方向に応じて施設の検索範囲を変更できる。したがって、施設を検索する音声とは別に方向など別の検索要素を指定する音声を発言する必要がないし、長い言葉や複雑な言葉を発言する必要がないので、音声の認識率が低下することもない。
<Summary>
As described above, the in-vehicle device 10 of the present embodiment can recognize the line-of-sight direction of the vehicle occupant and search for facilities by combining the direction the vehicle occupant is looking and voice operation. In other words, the facility search range can be changed according to the direction the vehicle occupants are looking. Therefore, there is no need to utter a voice that specifies a different search element such as direction in addition to the voice for searching for facilities, and there is no need to utter long words or complicated words, so the voice recognition rate may decrease. do not have.

本実施例では、ルート探索において視線方向に応じてルートの探索方法を変更する車載装置10について説明する。すなわち、ルート探索の検索要素に視線方向を付加する。 In this embodiment, an in-vehicle device 10 that changes the route search method according to the line-of-sight direction in route search will be described. That is, the line-of-sight direction is added to the search element for route search.

<本実施形態のルート探索の概略>
図12は、車両の乗員の視線方向と探索された迂回ルートの一例を説明する図である。まず、図12(c)に示すように車両の乗員は運転席から前方を見ている。例えば、車両の乗員が右側11を見ながら「迂回ルート」と発言した場合、車載装置10はルート303に対し右側の(右折の)迂回ルート321だけ探索する。また、左側13を見ながら発言した場合、ルートに対し左側の(左折の)迂回ルート320だけ検索する。
・図12(a)は車両の乗員が左側13を見ながら「迂回ルート」と発言した場合に探索された迂回ルート320を示す図である。ルート303の左側に迂回ルート320が表示されている。
・図12(b)は車両の乗員が右側11を見ながら「迂回ルート」と発言した場合に探索された迂回ルート321を示す図である。ルート303の右側に迂回ルート321が表示されている。
<Overview of route search in this embodiment>
FIG. 12 is a diagram illustrating an example of the line-of-sight direction of a vehicle occupant and a searched detour route. First, as shown in FIG. 12(c), the vehicle occupant is looking ahead from the driver's seat. For example, when a vehicle occupant says "detour route" while looking at the right side 11 , the in-vehicle device 10 searches only the detour route 321 on the right side (right turn) of the route 303 . Also, if the user speaks while looking at the left side 13, only the detour route 320 on the left side (left turn) of the route is retrieved.
- Fig. 12(a) is a diagram showing a detour route 320 searched for when the vehicle occupant says "detour route" while looking at the left side 13. Figs. A detour route 320 is displayed to the left of the route 303 .
- FIG. 12(b) is a diagram showing a detour route 321 searched for when the vehicle occupant says "a detour route" while looking at the right side 11. FIG. A detour route 321 is displayed on the right side of the route 303 .

例えば、右折レーンが混雑している場合には、ルート303の右側の迂回ルートを提案されても車両の乗員は採用しにくい。また、右側のレーンの走行しており左側のレーンが混雑している場合には、ルート303の左側の迂回ルートを提案されても採用しにくい。本実施例では、これらの場合、車両の乗員が視線方向を右又は左に向けるだけで、迂回ルート320,321の探索方向を制御できる。 For example, when the right-turn lane is congested, even if a detour route on the right side of the route 303 is proposed, it is difficult for the occupants of the vehicle to adopt it. Also, when the right lane is used and the left lane is congested, even if a detour route on the left side of the route 303 is proposed, it is difficult to adopt it. In this embodiment, in these cases, the search direction of the detour routes 320 and 321 can be controlled simply by turning the line of sight of the vehicle occupant to the right or left.

<車載装置が有する機能について>
本実施例では、実施例1の図5の機能ブロック図を援用して説明する。しかし、本実施例では視線方向認識部22が認識した視線方向がルート探索部28に入力される。ルート探索部28は、視線方向が入力された場合、視線方向に応じてルート303又は走行中の道路に対し右側又は左側の迂回ルートを検索する。処理の流れは以下のようになる。
・例えば、現在地よりも前方で交差点があるノードを起点、現在のルート303の混雑が緩和されるノードを終点としてルート探索を行う。あるいは、所定距離前方のノードを終点としてもよい。
・現在のルート303に含まれるリンクであって、起点から終点までのリンクのコストを最大値に設定する。
・視線方向が右側11の場合、ルート303に対し左方向に進路変更を伴うリンクのコストを最大値に設定し、視線方向が左側13の場合、ルート303に対し右方向に進路変更を伴うリンクのコストを最大値に設定する。こうすることで、ルート303に対し右側又は左側の迂回ルートを探索できる。なお、ルート303に対し左方向又は右方向に進路変更を伴うリンクは、ルート303が有するリンクとのなす角により判断できる。
<Functions possessed by the in-vehicle device>
This embodiment will be described with reference to the functional block diagram of FIG. 5 of the first embodiment. However, in this embodiment, the line-of-sight direction recognized by the line-of-sight direction recognition unit 22 is input to the route search unit 28 . When the line-of-sight direction is input, the route search unit 28 searches for the route 303 or a detour route on the right or left side of the road on which the vehicle is traveling, depending on the line-of-sight direction. The flow of processing is as follows.
- For example, a route search is performed with a node having an intersection ahead of the current location as a starting point and a node where the congestion of the current route 303 is alleviated as an ending point. Alternatively, a node a predetermined distance ahead may be set as the end point.
• Set the cost of the link from the origin to the destination that is included in the current route 303 to the maximum value.
If the line of sight is 11 on the right side, the cost of the link that changes course to the left of the route 303 is set to the maximum value, and if the line of sight is 13 on the left side, the link that changes course to the right of the route 303 is set. set the cost of to the maximum value. By doing so, a detour route on the right or left side of the route 303 can be searched. Note that a link with a course change to the left or right with respect to the route 303 can be determined by the angle formed with the link included in the route 303 .

<動作手順>
図13は、車載装置10が視線方向を検索要素として迂回ルートを探索する手順を示すフローチャート図の一例である。なお、図13の説明では主に図11との相違を説明する。まず、ステップS11~S16はステップS1~S6と同様でよい。
<Operation procedure>
FIG. 13 is an example of a flowchart showing a procedure for searching for a detour route by the in-vehicle device 10 using the line-of-sight direction as a search element. Note that in the explanation of FIG. 13, differences from FIG. 11 are mainly explained. First, steps S11 to S16 may be the same as steps S1 to S6.

ルート探索に関するコマンドが検出され(S15)、視線方向が特定できると(S16)、施設検索部26が特定した視線方向に応じて処理が実行される(S17)。
・視線方向が左側13の場合、ルート探索部28はルート303又は走行中の道路に対し左側の迂回ルートを検索する(S18)。
・視線方向が右側11の場合、ルート探索部28はルート303又は走行中の道路に対し右側の迂回ルートを検索する(S19)。
When a command related to route search is detected (S15) and the line-of-sight direction can be specified (S16), processing is executed according to the line-of-sight direction specified by the facility search unit 26 (S17).
When the line-of-sight direction is the left side 13, the route search unit 28 searches for the route 303 or a detour route on the left side of the road on which the vehicle is traveling (S18).
If the line-of-sight direction is the right side 11, the route searching unit 28 searches for the route 303 or a detour route on the right side of the road on which the vehicle is traveling (S19).

ナビ画面作成部31は迂回ルートが強調された迂回ルートを含む電子地図301を作成してディスプレイ14に表示する(S20)。 The navigation screen creation unit 31 creates an electronic map 301 including a detour route with the detour route emphasized, and displays it on the display 14 (S20).

したがって、本実施例の車載装置10によれば、車両の乗員が視線方向を右又は左に向けるだけで、迂回ルートの探索方向を制御できる。なお、迂回ルートは目的地までのルート303が設定されている場合だけでなく、ルート303が設定されていなくても探索できる。ルートが設定されていない場合、走行中の道路に対し迂回ルートが探索される。 Therefore, according to the in-vehicle device 10 of the present embodiment, the detour route search direction can be controlled simply by turning the line of sight of the vehicle occupant to the right or left. The detour route can be searched not only when the route 303 to the destination is set, but also when the route 303 is not set. If no route is set, a detour route is searched for the road on which the vehicle is running.

本実施例では、ディスプレイ14に表示する映像を視線方向によって切り替える車載装置10について説明する。 In the present embodiment, the in-vehicle device 10 that switches the image displayed on the display 14 according to the line-of-sight direction will be described.

<本実施形態のルート探索の概略>
まず、図14に示すように一台の車両には複数のカメラが搭載される場合がある。図14は車両に搭載されるカメラの配置例を示す。フロントカメラ51は主に広角カメラでT字路や十字路で左右の障害物を撮像するために使用される。右サイドカメラ54と左サイドカメラ53は、左サイド又は右サイドの死角を撮像するために使用される。バックカメラ52は主に後退時に後方を撮像するために使用される。
<Overview of route search in this embodiment>
First, as shown in FIG. 14, one vehicle may be equipped with a plurality of cameras. FIG. 14 shows an example of arrangement of cameras mounted on a vehicle. The front camera 51 is mainly a wide-angle camera and is used to capture images of obstacles on the left and right at T-junctions and crossroads. The right side camera 54 and the left side camera 53 are used to capture images of left or right side blind spots. The back camera 52 is mainly used for taking pictures of the rear when backing up.

例えば、車両の乗員が右側11を見ながら「サイドカメラ」と発言した場合、車載装置10は右サイドカメラ54が撮像する映像をディスプレイ14に表示する。また、左側13を見ながら「サイドカメラ」と発言した場合、車載装置10は左サイドカメラ53が撮像する映像をディスプレイ14に表示する。
・車両の乗員が右側11を見ながら「サイドカメラ」と発言した場合、ディスプレイ14には映像55が表示される。映像55には車両8の右後側方が写っている。
・車両の乗員が左側13を見ながら「サイドカメラ」と発言した場合、ディスプレイ14には映像56が表示される。映像56には車両8の左後側方が写っている。
For example, when a vehicle occupant says “side camera” while looking at right side 11 , in-vehicle device 10 displays an image captured by right side camera 54 on display 14 . Also, when the user says “side camera” while looking at the left side 13 , the in-vehicle device 10 displays an image captured by the left side camera 53 on the display 14 .
- When a vehicle occupant says "side camera" while looking at the right side 11, an image 55 is displayed on the display 14. - 特許庁The image 55 shows the right rear side of the vehicle 8 .
- When the vehicle occupant says "side camera" while looking at the left side 13, an image 56 is displayed on the display 14. - 特許庁The image 56 shows the rear left side of the vehicle 8 .

道路の左側又は右側に車両を寄せたい場合や狭い道路を走行中に側溝や障害物の有無を確認したい場合があるが、車両の乗員は視線方向を右又は左に向けてサイドカメラと発言するだけで、ディスプレイ14に表示される映像を右サイドカメラ54と左サイドカメラ53が撮像した映像に切り替えることができる。 When you want to pull the vehicle to the left or right side of the road, or when you want to check the presence of a gutter or an obstacle while driving on a narrow road, the vehicle occupant turns the line of sight to the right or left and says "side camera". The video displayed on the display 14 can be switched to the video captured by the right side camera 54 and the left side camera 53 by simply pressing the button.

<車載装置が有する機能について>
図15は、車載装置10が有する機能をブロック状に示す機能ブロック図の一例である。図15の説明に関して、図5において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
<Functions possessed by the in-vehicle device>
FIG. 15 is an example of a functional block diagram showing functions of the in-vehicle device 10 in block form. With regard to the description of FIG. 15, since the components denoted by the same reference numerals in FIG. 5 perform similar functions, only the main components of this embodiment may be mainly described.

本実施例の車載装置10はカメラ切替部32を有している。カメラ切替部32には視線方向認識部22が認識した視線方向が入力される。また、カメラ切替部32にはナビ画面だけでなく、フロントカメラ51、バックカメラ52、左サイドカメラ53、及び、右サイドカメラ54の映像が入力される。カメラ切替部32は、右側という視線方向が入力された場合、右サイドカメラ54の映像をディスプレイ14に表示し、左側という視線方向が入力された場合、左サイドカメラ53の映像をディスプレイ14に表示する。 The in-vehicle device 10 of this embodiment has a camera switching unit 32 . The line-of-sight direction recognized by the line-of-sight direction recognition section 22 is input to the camera switching section 32 . In addition to the navigation screen, images from the front camera 51 , the back camera 52 , the left side camera 53 , and the right side camera 54 are input to the camera switching unit 32 . The camera switching unit 32 displays the image of the right side camera 54 on the display 14 when the line of sight direction of the right side is input, and displays the image of the left side camera 53 on the display 14 when the line of sight direction of the left side is input. do.

<動作手順>
図16は、車載装置10が視線方向に応じてディスプレイ14に表示する映像を切り替える手順を示すフローチャート図の一例である。なお、図16の説明では主に図11との相違を説明する。まず、ステップS21~S26はステップS1~S6と同様でよい。
<Operation procedure>
FIG. 16 is an example of a flowchart showing a procedure for switching the image displayed on the display 14 by the in-vehicle device 10 according to the line-of-sight direction. Note that the explanation of FIG. 16 mainly explains the difference from FIG. First, steps S21 to S26 may be the same as steps S1 to S6.

ルート探索のコマンドが検出され(S25)、視線方向が特定できると(S26)、視線方向認識部22が特定した視線方向に応じて処理が実行される(S27)。
・視線方向が左側13の場合、カメラ切替部32はディスプレイ14に映像を表示するカメラを左サイドカメラ53に切り替える(S28)。
・視線方向が右側11の場合、カメラ切替部32はディスプレイ14に映像を表示するカメラを右サイドカメラ54に切り替える(S29)。
When a route search command is detected (S25) and the line-of-sight direction can be specified (S26), processing is executed according to the line-of-sight direction specified by the line-of-sight direction recognition unit 22 (S27).
- When the line of sight direction is the left side 13, the camera switching unit 32 switches the camera for displaying the image on the display 14 to the left side camera 53 (S28).
If the viewing direction is the right side 11, the camera switching unit 32 switches the camera that displays the image on the display 14 to the right side camera 54 (S29).

これにより、ディスプレイ14には左サイドカメラ53又は右サイドカメラ54が撮像した映像が表示される(S30)。 As a result, the image captured by the left side camera 53 or the right side camera 54 is displayed on the display 14 (S30).

<まとめ>
したがって、本実施例の車載装置10によれば、車両の乗員が視線方向を右又は左に向けて、カメラの映像の切り替えに関するコマンドを発言することで、ディスプレイ14に映像を表示するカメラを切り替えることができる。
<Summary>
Therefore, according to the in-vehicle device 10 of the present embodiment, the occupant of the vehicle turns his or her line of sight to the right or left and issues a command for switching the camera image, thereby switching the camera that displays the image on the display 14. be able to.

なお、本実施形態では、視線方向で左右のサイドカメラの映像を切り替えたが、フロントカメラ51又はバックカメラ52が2つあるような場合にはこれらの映像を切り替えることもできる。 In this embodiment, the images of the left and right side cameras are switched according to the line-of-sight direction, but if there are two front cameras 51 or two back cameras 52, these images can be switched.

<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is by no means limited to such examples, and various modifications can be made without departing from the scope of the present invention. and substitutions can be added.

例えば、本実施形態ではトリガーレス方式でコマンドを検出しているが、トリガー方式でコマンドを検出してもよい。 For example, although commands are detected by a triggerless method in the present embodiment, commands may be detected by a trigger method.

また、検索される施設はルート沿い又は走行中の道路沿いと限らず、ルート又は走行中の道路よりも右側又は左側にあればよい。 Further, the facility to be searched is not limited to be along the route or along the road on which the vehicle is traveling, and may be on the right or left side of the route or the road on which the vehicle is traveling.

また、トリガーレス方式の音声認識では、車載装置10が有するオーディオビジュアル装置が出力する音声が、運転者の発言と共に集音されてしまうおそれがある。このような不都合に対しては、オーディオビジュアル装置の音声をスピーカ出力とは別に音声認識部に分岐して音声認識することが有効である。マイクから入力された音声データから分岐して入力したオーディオビジュアル装置の音声を除外して、音声認識を行うと、運転者が発言したテキストデータが得られる。 Further, in triggerless speech recognition, there is a risk that the speech output by the audio-visual device of the in-vehicle device 10 will be collected together with the driver's utterances. In order to solve such a problem, it is effective to branch the voice of the audiovisual device to the voice recognition unit separately from the speaker output for voice recognition. Text data uttered by the driver can be obtained by excluding the voice of the audio-visual device input by branching from the voice data input from the microphone and recognizing the voice.

また、図5などの構成例は、車載装置10の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、車載装置10の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。 Further, the configuration example of FIG. 5 and the like is divided according to main functions in order to facilitate understanding of the processing of the in-vehicle device 10 . The present invention is not limited by the division method or name of the unit of processing. Further, the processing of the in-vehicle device 10 can be divided into more processing units according to the content of the processing. Also, one processing unit can be divided to include more processing.

なお、音声認識部24は音声認識手段の一例であり、視線方向認識部22は視線方向認識手段の一例であり、コマンド検出部25はコマンド検出手段の一例であり、施設検索部26、ルート探索部28及びカメラ切替部32はコマンド処理手段の一例である。 The voice recognition unit 24 is an example of voice recognition means, the line-of-sight direction recognition unit 22 is an example of line-of-sight direction recognition means, the command detection unit 25 is an example of command detection means, the facility search unit 26, the route search unit The unit 28 and the camera switching unit 32 are examples of command processing means.

10 車載装置
14 ディスプレイ
41 カメラ
42 マイク
43 スピーカ
10 In-Vehicle Device 14 Display 41 Camera 42 Microphone 43 Speaker

Claims (11)

車両の乗員の音声操作を受け付ける車載装置であって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、
電子地図を表示するディスプレイと、を有し、
前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するPOIを検索し、
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理することを特徴とする車載装置。
An in-vehicle device that receives a voice operation of a vehicle occupant,
voice recognition means for recognizing the voice of an occupant of the vehicle;
a line-of-sight direction recognition means for recognizing a line-of-sight direction of an occupant of the vehicle;
command detection means for detecting a command from the voice recognized by the voice recognition means;
command processing means for processing the command according to the line-of-sight direction recognized by the line-of-sight direction recognition means;
a display that displays an electronic map;
The command processing means searches for POIs existing within the display range of the electronic map displayed on the display when the line-of-sight direction is within the range of the display;
The command detection means detects the command related to the search from the voice recognized by the voice recognition means,
The in-vehicle apparatus, wherein the command processing means adds the line-of-sight direction recognized by the line-of-sight direction recognition means to a search element and processes the command related to the search.
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向に応じて、前記検索の範囲を変更して前記検索に関する前記コマンドを処理することを特徴とする請求項1に記載の車載装置。
The command detection means detects the command related to the search from the voice recognized by the voice recognition means,
2. The in-vehicle apparatus according to claim 1, wherein said command processing means processes said command relating to said search by changing said search range according to said line-of-sight direction recognized by said line-of-sight direction recognition means.
前記コマンドはPOI(Point Of Interest)の検索に関し、
前記コマンド処理手段は、前記視線方向に応じて検索するPOIの範囲を変更することを特徴とする請求項1又は2に記載の車載装置。
The command relates to searching for POIs (Point Of Interest),
3. The in-vehicle device according to claim 1 , wherein said command processing means changes a range of POIs to be searched according to said line-of-sight direction.
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側に存在するPOIを検索するか、又は、左側に存在するPOIを検索するか変更することを特徴とする請求項3に記載の車載装置。 4. The vehicle-mounted vehicle according to claim 3 , wherein said command processing means searches for a POI existing on the right side of the traveling direction or searches for a POI existing on the left side in accordance with said viewing direction. Device. 前記コマンド処理手段は、前記視線方向が正面の場合、進行方向の右側に存在するPOI、及び、左側に存在するPOIを検索することを特徴とする請求項1~4のいずれか1項に記載の車載装置。 5. The command processing means according to any one of claims 1 to 4 , wherein when the line-of-sight direction is the front, the command processing means searches for POIs existing on the right side and POIs existing on the left side of the traveling direction. in-vehicle equipment. 前記コマンドはルートの探索に関し、
前記コマンド処理手段は、前記視線方向に応じてルートの探索方法を変更することを特徴とする請求項1に記載の車載装置。
Said command relates to finding a route,
2. The in-vehicle device according to claim 1, wherein said command processing means changes a route search method according to said line-of-sight direction.
車両の乗員の音声操作を受け付ける車載装置であって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、を有し、
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側の迂回ルートを探索するか、又は、左側の迂回ルートを探索するか変更することを特徴とする車載装置。
An in-vehicle device that receives a voice operation of a vehicle occupant,
voice recognition means for recognizing the voice of an occupant of the vehicle;
a line-of-sight direction recognition means for recognizing a line-of-sight direction of an occupant of the vehicle;
command detection means for detecting a command from the voice recognized by the voice recognition means;
command processing means for processing the command according to the line-of-sight direction recognized by the line-of-sight direction recognition means;
The in-vehicle device, wherein the command processing means searches for a detour route on the right side of the traveling direction or searches for a detour route on the left side in accordance with the line-of-sight direction.
前記コマンド検出手段は、前記音声認識手段が認識した音声からディスプレイに表示する映像に関するコマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向に応じて、前記ディスプレイに表示する映像を切り替えるコマンドを処理することを特徴とする請求項1に記載の車載装置。
The command detection means detects a command related to an image to be displayed on a display from the voice recognized by the voice recognition means,
2. The in-vehicle apparatus according to claim 1, wherein said command processing means processes a command for switching the image displayed on said display in accordance with the line-of-sight direction recognized by said line-of-sight direction recognition means.
前記コマンド処理手段は、前記視線方向に応じて右側のカメラの映像を前記ディスプレイに表示するか、又は、左側のカメラの映像を前記ディスプレイに表示するか切り替えることを特徴とする請求項8に記載の車載装置。 9. The method according to claim 8 , wherein the command processing means switches between displaying an image of the right camera on the display and displaying an image of the left camera on the display according to the line-of-sight direction. in-vehicle equipment. 車両の乗員の音声操作を受け付ける車載装置と、前記車載装置とネットワークを介して通信するサーバとを有する通信システムであって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、
電子地図を表示するディスプレイと、を有し、
前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するPOIを検索し、
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理することを特徴とする通信システム。
A communication system having an in-vehicle device that receives voice operations of a vehicle occupant and a server that communicates with the in-vehicle device via a network,
voice recognition means for recognizing the voice of an occupant of the vehicle;
a line-of-sight direction recognition means for recognizing a line-of-sight direction of an occupant of the vehicle;
command detection means for detecting a command from the voice recognized by the voice recognition means;
command processing means for processing the command according to the line-of-sight direction recognized by the line-of-sight direction recognition means;
a display that displays an electronic map;
The command processing means searches for POIs existing within the display range of the electronic map displayed on the display when the line-of-sight direction is within the range of the display;
The command detection means detects the command related to the search from the voice recognized by the voice recognition means,
The communication system, wherein the command processing means adds the line-of-sight direction recognized by the line-of-sight direction recognition means to a search element and processes the command related to the search.
車両の乗員の音声操作を受け付ける車載装置と、前記車載装置とネットワークを介して通信するサーバとを有する通信システムであって、
前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、を有し、
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側の迂回ルートを探索するか、又は、左側の迂回ルートを探索するか変更することを特徴とする通信システム。
A communication system having an in-vehicle device that receives voice operations of a vehicle occupant and a server that communicates with the in-vehicle device via a network,
voice recognition means for recognizing the voice of an occupant of the vehicle;
a line-of-sight direction recognition means for recognizing a line-of-sight direction of an occupant of the vehicle;
command detection means for detecting a command from the voice recognized by the voice recognition means;
command processing means for processing the command according to the line-of-sight direction recognized by the line-of-sight direction recognition means;
The communication system, wherein the command processing means searches for a detour route on the right side of the direction of travel or searches for a detour route on the left side of the direction of travel, depending on the line-of-sight direction.
JP2018243753A 2018-12-26 2018-12-26 In-vehicle equipment, communication system Active JP7233918B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018243753A JP7233918B2 (en) 2018-12-26 2018-12-26 In-vehicle equipment, communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018243753A JP7233918B2 (en) 2018-12-26 2018-12-26 In-vehicle equipment, communication system

Publications (2)

Publication Number Publication Date
JP2020106997A JP2020106997A (en) 2020-07-09
JP7233918B2 true JP7233918B2 (en) 2023-03-07

Family

ID=71450811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018243753A Active JP7233918B2 (en) 2018-12-26 2018-12-26 In-vehicle equipment, communication system

Country Status (1)

Country Link
JP (1) JP7233918B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117396365A (en) 2021-06-03 2024-01-12 日产自动车株式会社 Dialogue service device and dialogue system control method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267092A (en) 2004-03-17 2005-09-29 Mitsubishi Electric Corp Correspondence analyzing device and navigation device
JP2008013070A (en) 2006-07-06 2008-01-24 Toyota Motor Corp Vehicular display device
JP2008298522A (en) 2007-05-30 2008-12-11 Aisin Aw Co Ltd Navigation apparatus, and method and program for retrieval of navigation apparatus
JP2009085750A (en) 2007-09-28 2009-04-23 Aisin Aw Co Ltd Installation determination system and installation determination device
JP2012167970A (en) 2011-02-14 2012-09-06 Canvas Mapple Co Ltd Navigation device and navigation program
JP2016081513A (en) 2014-10-15 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information acquisition method, information acquisition system, and information acquisition program
JP2017090614A (en) 2015-11-09 2017-05-25 三菱自動車工業株式会社 Voice recognition control system
WO2018226248A1 (en) 2017-06-09 2018-12-13 Mitsubishi Electric Automotive America, Inc. In-vehicle infotainment with multi-modal interface

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267092A (en) 2004-03-17 2005-09-29 Mitsubishi Electric Corp Correspondence analyzing device and navigation device
JP2008013070A (en) 2006-07-06 2008-01-24 Toyota Motor Corp Vehicular display device
JP2008298522A (en) 2007-05-30 2008-12-11 Aisin Aw Co Ltd Navigation apparatus, and method and program for retrieval of navigation apparatus
JP2009085750A (en) 2007-09-28 2009-04-23 Aisin Aw Co Ltd Installation determination system and installation determination device
JP2012167970A (en) 2011-02-14 2012-09-06 Canvas Mapple Co Ltd Navigation device and navigation program
JP2016081513A (en) 2014-10-15 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Information acquisition method, information acquisition system, and information acquisition program
JP2017090614A (en) 2015-11-09 2017-05-25 三菱自動車工業株式会社 Voice recognition control system
WO2018226248A1 (en) 2017-06-09 2018-12-13 Mitsubishi Electric Automotive America, Inc. In-vehicle infotainment with multi-modal interface

Also Published As

Publication number Publication date
JP2020106997A (en) 2020-07-09

Similar Documents

Publication Publication Date Title
US11366513B2 (en) Systems and methods for user indication recognition
JP7345683B2 (en) A system for performing scene recognition dialogue
US10949886B2 (en) System and method for providing content to a user based on a predicted route identified from audio or images
US11176948B2 (en) Agent device, agent presentation method, and storage medium
US20130030811A1 (en) Natural query interface for connected car
EP2648077A1 (en) User terminal device and control method thereof
JP4736982B2 (en) Operation control device, program
JP6992893B2 (en) Travel information processing device and processing method
JP6173477B2 (en) Navigation server, navigation system, and navigation method
US10994612B2 (en) Agent system, agent control method, and storage medium
US10901503B2 (en) Agent apparatus, agent control method, and storage medium
JP6604151B2 (en) Speech recognition control system
JP2008058409A (en) Speech recognizing method and speech recognizing device
US20200111489A1 (en) Agent device, agent presenting method, and storage medium
JP2010145262A (en) Navigation apparatus
JP6214297B2 (en) Navigation apparatus and method
JP7233918B2 (en) In-vehicle equipment, communication system
CN111746435A (en) Information providing device, information providing method, and storage medium
JP2008298522A (en) Navigation apparatus, and method and program for retrieval of navigation apparatus
JP2019163938A (en) On-vehicle device and voice guidance system
JP2001215994A (en) Voice recognition address retrieving device and on- vehicle navigation system
JP5831016B2 (en) Movement guidance system, movement guidance apparatus, movement guidance method, and computer program
JP2014154125A (en) Travel support system, travel support method and computer program
JP5708325B2 (en) Movement guidance system, movement guidance apparatus, movement guidance method, and computer program
JP2020184020A (en) Notification control device, notification system, notification control method, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230222

R150 Certificate of patent or registration of utility model

Ref document number: 7233918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150