JP6129927B2 - Information processing apparatus, voice operation system, and voice operation method of information processing apparatus - Google Patents
Information processing apparatus, voice operation system, and voice operation method of information processing apparatus Download PDFInfo
- Publication number
- JP6129927B2 JP6129927B2 JP2015203521A JP2015203521A JP6129927B2 JP 6129927 B2 JP6129927 B2 JP 6129927B2 JP 2015203521 A JP2015203521 A JP 2015203521A JP 2015203521 A JP2015203521 A JP 2015203521A JP 6129927 B2 JP6129927 B2 JP 6129927B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- vehicle
- processing apparatus
- unit
- word list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Telephone Function (AREA)
Description
本発明は、情報処理装置、音声操作システム、および、情報処理装置の音声操作方法に係り、特に、車両に搭載される情報処理装置で、車両走行中に音声によるアプリケーションの操作を指示するときに、安全に車両の運行をおこなうのに好適な情報処理装置、音声操作システム、および、情報処理装置の音声操作方法。 The present invention relates to an information processing device, a voice operation system, and a voice operation method of the information processing device, and more particularly, to an information processing device mounted on a vehicle and instructing operation of an application by voice while the vehicle is traveling. An information processing apparatus, a voice operation system, and a voice operation method for the information processing apparatus suitable for safely driving a vehicle.
カーナビゲーションシステム(以下、「車載装置」ともいう)は、地図データを加工して運転者等のユーザーに目的地までの案内情報を提供するものである。特に、近年では、携帯電話を介した通信等によってセンタシステムと接続してリアルタイムの渋滞情報を提供する車載装置や、近年急速に普及しているスマートフォンと連携する機能を搭載した車載装置が考案され、実用に供されている。後者の例としては、スマートフォンで実行されるアプリケーションの出力映像を、有線ケーブル等を介して車載装置の画面に表示することで、より大きな画面で効果的にドライバーに情報を提供できる車載装置がある。 A car navigation system (hereinafter also referred to as an “on-vehicle device”) processes map data and provides guidance information to a destination such as a driver for a driver. In particular, in recent years, in-vehicle devices that provide real-time traffic information by connecting to a center system by communication via a mobile phone, etc., and in-vehicle devices equipped with a function that cooperates with smartphones that have been rapidly spreading in recent years have been devised. It is used for practical use. As an example of the latter, there is an in-vehicle device that can effectively provide information to a driver on a larger screen by displaying an output video of an application executed on a smartphone on the screen of the in-vehicle device via a wired cable or the like. .
一般に、車載装置などの車両内で使用する機器の場合には、運転中のドライバーが安全に機器を操作できる必要がある。このため車載装置には、運転中のドライバーが注意力散漫になるのを防止することを目的として、車両走行中は一定の操作や情報表示を抑制する処理が実装されている。 Generally, in the case of a device used in a vehicle such as an in-vehicle device, it is necessary that a driving driver can safely operate the device. For this reason, a process for suppressing certain operations and information display while the vehicle is traveling is implemented in the in-vehicle device in order to prevent the driver who is driving from being distracted.
例えば、特許文献1には、ユーザーが自由に購入した様々なアプリケーションを車載装置で実行する際の安全性を確保するため、車両走行中における安全性を確認したアプリケーションには認証情報を付与し、認証情報が付与されていないアプリケーションの場合は画像を縮小表示することにより、ドライバーが車載装置の画面を注視しないようにする技術が開示されている。
For example, in
また、特許文献1のようにドライバーの操作を制限するのではなく、音声によって車載装置を操作する技術についても広く検討がなされている。例えば、特許文献2では、車載装置とスマートフォンのような携帯端末が連携して動作するシステムにおいて、音声により指示することで携帯端末上のアプリケーションを実行する技術が開示されている。この技術は、実行可能な機能の名称と、音声による実行が可能か否かを示す情報を格納したテーブルを保持し、ドライバーが発話した音声をテキストに変換して、変換されたテキストと前述のテーブルに保持された機能の名称が一致した場合に、該当するアプリケーションを実行するものである。
In addition, a technique for operating a vehicle-mounted device by voice instead of limiting the operation of the driver as in
上記従来技術の特許文献1の車両用表示装置は、安全性が保障されていないプログラムを実行しても、画面表示を加工することにより、車両走行の安全性を保つようにしたものであり、特許文献2は、運転中のドライバーが音声により、車載装置を操作できるようにしたシステムである。
The vehicle display device of
しかしながら、上記の特許文献1および特許文献2に開示された技術には、以下の問題がある。
However, the techniques disclosed in
先ず、特許文献1に記載されている技術の場合、車両走行中における安全性を世の中のすべてのアプリケーションに対して確認することは、現実的には困難である。運転中に制限すべき操作や情報表示の内容は、国や地域毎にガイドラインがあり、各国や地域のガイドラインのすべてに準拠するための機能をアプリケーションに実装するには多大な労力を必要とする。従来、各車載装置メーカーは、自社開発アプリケーションに対してのみガイドラインに準拠するための実装をおこなっていたが、第三者が開発したアプリケーションにまで同様の作業をおこなうことは現実的に困難である。
First, in the case of the technique described in
また、特許文献2に記載されている技術の場合、運転中か否かに関わらず、音声によってアプリケーションを操作できてしまうという問題がある。例えば、動画を視聴するようなアプリケーションの場合、音声操作によって運転中か否かに関わらず動画が再生されてしまい、これによって運転者の注意力が散漫となり事故の原因となる。特許文献2では、音声による実行可否をユーザーが設定する仕組みについて開示している(図5、段落番号0072−0075)が、ユーザーが自由に設定を変更できてしまうため、運転中の安全性を考慮しないユーザーに対しては有効ではない。ユーザーではなく車載装置メーカーが音声操作の可否を設定するという手段も考えられるが、第三者開発のアプリケーションに対してまで音声による操作の可否を各車載装置メーカーが定義することは、特許文献1と同様の理由で困難である。 Moreover, in the case of the technique described in Patent Document 2, there is a problem that the application can be operated by voice regardless of whether or not the vehicle is in operation. For example, in the case of an application for viewing a moving image, the moving image is played back regardless of whether or not the user is driving by voice operation, which distracts the driver's attention and causes an accident. Patent Document 2 discloses a mechanism for a user to set whether or not to execute by voice (FIG. 5, paragraph numbers 0072-0075). However, since the user can freely change the setting, safety during driving is improved. It is not effective for users who do not consider. Although it is conceivable that the in-vehicle device maker sets whether or not voice operation is possible instead of the user, each in-vehicle device maker defines whether or not voice operation can be performed for a third-party developed application. It is difficult for the same reason.
本発明は、上記問題点を解決するためになされたもので、その目的は、車両に搭載される車載装置などの情報処理装置で、音声によるアプリケーションの操作を指示するときに、車両走行中において安全に車両の運行をおこなうことのできる情報処理装置を提供することにある。 The present invention has been made in order to solve the above-described problems, and an object of the present invention is to provide information processing devices such as in-vehicle devices mounted on a vehicle while the vehicle is running when instructing operation of an application by voice. An object of the present invention is to provide an information processing apparatus that can safely operate a vehicle.
上記の課題を解決するため、本発明は、走行中に実行することが好ましくない操作を意味する単語のリストを作成し、このリストと各アプリケーションが備える音声操作可能なコマンドの名称を照らし合わせることにより、ユーザーが発話した内容に対応するコマンドが走行中に操作可能か否かを判断することを最も主要な特徴とする。具体的な例として、ユーザーが音声で“再生”と発話した場合に動画の再生をおこなうようなアプリケーションに対しては、走行中に実行することが好ましくない操作を意味する単語として“再生”を含むリストを作成することにより、走行中は音声で“再生”を実行することを制限する。ここで、上記の音声操作可能なコマンドの名称は、例えばアプリケーションの画面に表示されるボタン等に設定されている名称から取得する。具体的には、アプリケーションが表示する画面に“再生”という名称を持つボタンが配置されている場合、その画面が車載装置に表示された際に、アプリケーションの実行環境が提供するGUIコンポーネントの属性取得機能等を利用して画面に含まれるボタンの名称を取得し、これを音声操作可能なコマンドの名称として記憶する。ボタン上に表示されているものが“再生”等のテキスト名称ではなく再生を意味するマークである場合、表示されている内容ではなく、ボタンに設定されている代替テキストを音声操作可能なコマンドの名称として取得してもよい。 In order to solve the above-described problems, the present invention creates a list of words that mean operations that are not preferable to be performed while traveling, and compares the list with the names of commands that can be operated by voice in each application. Thus, the most important feature is to determine whether or not a command corresponding to the content spoken by the user can be operated while traveling. As a specific example, for an application that plays a moving image when the user utters “Play” by voice, “Play” is used as a word meaning an operation that is not preferable during driving. By creating a list that includes, it limits the ability to “play” with voice while driving. Here, the name of the command that can be operated by voice is acquired from the name set on a button or the like displayed on the screen of the application, for example. Specifically, when a button having the name “play” is arranged on the screen displayed by the application, the attribute acquisition of the GUI component provided by the execution environment of the application is displayed when the screen is displayed on the in-vehicle device. The name of the button included in the screen is acquired using a function or the like, and this is stored as the name of a command that can be operated by voice. If what is displayed on the button is not a text name such as “Play” but a mark that means playback, it is not a displayed content but an alternative text set for the button that can be operated by voice. You may acquire as a name.
また、本発明は、走行中に実行することが好ましくない操作を示す単語のリストを言語に応じて複数作成するとともに、各操作が走行中に実行可能か否かを示す規制ルールを各国や地域のガイドラインに応じて複数作成し、どの単語リスト、およびどの規制ルールを使用するかをユーザーの使用言語、および車載装置が存在する地域に応じて選択することを第二の特徴とする。例えば、再生操作を規制する場合、ユーザーの使用言語が日本語の場合は“再生”を、使用言語が英語の場合は“Play”をリストに記載するとともに、再生操作の実行が日本、米国等の各国で規制されているか否かを規制ルールとして記載す
る。この禁止単語のリストと規制ルールは、すべての言語、地域用のものをあらかじめ車載装置に格納しておいてもよいし、通信ネットワークを介して車載装置と接続されたポリシー配信サーバに格納しておき、ポリシー配信サーバは、車載装置から送信される使用言語、地域の情報に応じて適切なものを、車載装置からの要求に応じて、応答する構成としてもよい。
In addition, the present invention creates a plurality of word lists indicating operations that are not preferable to be performed during traveling according to the language, and sets regulation rules indicating whether each operation can be performed during traveling in each country or region. The second feature is that a plurality of word lists and which restriction rules are used are selected according to the user's language and the region where the in-vehicle device is present. For example, when the playback operation is restricted, “Play” is described in the list when the user's language is Japanese, and “Play” is described in the list when the user's language is English, and the playback operation is performed in Japan, the United States, etc. Whether or not it is regulated in each country is described as a regulation rule. This list of prohibited words and restriction rules may be stored in advance in the in-vehicle device for all languages and regions, or stored in a policy distribution server connected to the in-vehicle device via a communication network. In addition, the policy distribution server may be configured to respond in response to a request from the in-vehicle device, in accordance with the language used and the region information transmitted from the in-vehicle device.
上記の機能を達成するために、本発明の車載装置の構成は、車両に搭載され、前記車両走行中において音声によるアプリケーションソフトウェアの操作を音声によりおこなう車載装置であって、記アプリケーションソフトウェアを実行するアプリケーション制御部と、記車両の走行状態を取得する走行状態取得部と、車両の走行中に実行が禁止される操作に関する情報であるポリシー情報を記録するポリシー情報記録部と、ポリシー情報と、アプリケーションソフトウェアから操作するコマンドのリストを参照することにより、アプリケーションソフトウェアに対するコマンドが、車両の走行中に操作可能か否かを示す走行中操作可否リストを作成する走行中操作可否リスト作成部と、走行中操作可否リストを記録する走行中操作可否リスト記録部と、ユーザーが発話した音声データを入力する音声入力部と、音声データを解析してテキストデータに変換するテキスト変換部と、テキストデータと走行中操作可否リストを参照して、テキストデータとして記録されたユーザーが発話したコマンドが、車両の走行中に操作可能か否かを判定し、操作可能な場合には、アプリケーション制御部に対してコマンドの実行を指示し、操作不可能な場合には、アプリケーション制御部に対してコマンドの実行を指示しないようにするコマンド実行可否判定部とを有するようにしたものである。 In order to achieve the above function, the configuration of the in-vehicle device according to the present invention is an in-vehicle device that is mounted on a vehicle and that performs voice operation of application software while the vehicle is running, and executes the application software. An application control unit, a driving state acquisition unit that acquires a driving state of the vehicle, a policy information recording unit that records policy information that is information relating to an operation that is prohibited during driving of the vehicle, policy information, and an application By referring to a list of commands to be operated from the software, a running operation availability list creating unit that creates a running operation availability list indicating whether commands for application software can be operated while the vehicle is running, and running Operation allowance list during operation to record operation allowance list Recording section, voice input section for inputting voice data spoken by the user, text conversion section for analyzing voice data and converting it to text data, text data and operation availability list during running as text data It is determined whether the recorded command spoken by the user can be operated while the vehicle is running. If the command can be operated, the application control unit is instructed to execute the command. Includes a command execution availability determination unit that does not instruct the application control unit to execute a command.
また、ポリシー配信サーバの構成は、情報処理装置が使用される場所ごとに定義され、アプリーションソフトウェアの操作するコマンドに適用される規制ルールを記録している規制ルール記録部と、規制ルールのコマンドと関連付けられ、言語別に定義された禁止単語リストを記録している禁止単語リスト記録部と、情報処理装置が使用される場所を示す情報に基づいて前記規制ルールを選択する規制ルール選択部と、ユーザーが使用している言語の情報に基づいて禁止単語リストを選択する禁止単語リスト選択部とを有するものである。 Further, the configuration of the policy distribution server is defined for each location where the information processing apparatus is used, and a regulation rule recording unit that records regulation rules applied to commands operated by the application software, and regulation rule commands A forbidden word list recording unit that records a forbidden word list defined for each language, a regulation rule selection unit that selects the regulation rule based on information indicating a place where the information processing device is used, A prohibited word list selection unit that selects a prohibited word list based on information of a language used by the user.
そして、車載装置は、ポリシー配信サーバに、機器情報と、ユーザー情報を送信する。 Then, the in-vehicle device transmits device information and user information to the policy distribution server.
ポリシー配信サーバの規制ルール選択部は、車載装置から受信した機器情報に基づき、規制ルールを選択し、ポリシー配信サーバの禁止単語リスト選択部は、車載装置から受信したユーザー情報に基づき、禁止単語リストを選択し、ポリシー配信サーバは、規制ルールと禁止単語リストを、ポリシー情報として、車載装置に送信する。 The restriction distribution selector of the policy distribution server selects a restriction rule based on the device information received from the in-vehicle device, and the prohibited word list selection unit of the policy distribution server is based on the user information received from the in-vehicle device. The policy distribution server transmits the restriction rule and the prohibited word list to the in-vehicle device as policy information.
本発明によれば、車両に搭載される車載装置などの情報処理装置で、車両走行中に音声によるアプリケーションの操作を指示するときに、安全に車両の運行をおこなうことのできる情報処理装置を提供することができる。 According to the present invention, there is provided an information processing apparatus capable of safely operating a vehicle when an information processing apparatus such as an in-vehicle apparatus mounted on the vehicle instructs operation of an application by voice while the vehicle is traveling. can do.
以下、本発明に係る各実施形態を、図1ないし図23を用いて説明する。 Embodiments according to the present invention will be described below with reference to FIGS.
〔実施形態1〕
以下、本発明の第一の実施形態に係る音声操作システムを、図1ないし図17を用いて説明する。
Hereinafter, a voice operation system according to a first embodiment of the present invention will be described with reference to FIGS.
本実施形態の音声操作システムは、カーナナビゲーション上で動作するアプリケーションソフトウェア(以下、単に「アプリケーション」ともいう)を音声で操作する際、走行中に実行することが好ましくない操作を制限するものである。具体的には、アプリケーションの画面に表示されている操作ボタンに対応付けられているコマンド名称を音声操作可能なコマンドの名称として抽出するとともに、走行中に実行することが好ましくない操作を意味する単語のリストをサーバ装置から配信して、アプリケーションから抽出した音声操作コマンドの名称とサーバ装置から受信したリストに含まれる単語を照らし合わせるこ
とによって、各コマンドの実行可否を判断する。
The voice operation system of the present embodiment limits operations that are not preferable to be performed during driving when operating application software (hereinafter, also simply referred to as “application”) that operates on carna navigation by voice. . Specifically, a word that means an operation that is undesirably executed during traveling while extracting a command name associated with an operation button displayed on the screen of the application as a command name that can be operated by voice. The list is distributed from the server device, and the name of the voice operation command extracted from the application is compared with the words included in the list received from the server device, thereby determining whether each command can be executed.
先ず、図1ないし図5を用いて本発明の第一の実施形態に係る音声操作システムの構成について説明する。
図1は、本発明の第一の実施形態に係る音声操作システムの全体構成図である。
図2は、車載装置のハードウェア構成図である。
図3は、ポリシー配信サーバのハードウェア構成図である。
図4は、車載装置のデータフローと機能構成を示した図である。
図5は、ポリシー配信サーバのデータフローと機能構成を示した図である。
First, the configuration of the voice operation system according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 5.
FIG. 1 is an overall configuration diagram of a voice operation system according to a first embodiment of the present invention.
FIG. 2 is a hardware configuration diagram of the in-vehicle device.
FIG. 3 is a hardware configuration diagram of the policy distribution server.
FIG. 4 is a diagram illustrating a data flow and a functional configuration of the in-vehicle device.
FIG. 5 is a diagram illustrating a data flow and a functional configuration of the policy distribution server.
本発明の第一の実施形態に係る音声操作システムは、車両1のユーザーが、車両1に搭載される車載装置100を音声で操作できるようにしたシステムであって、車載装置100を備えた車両1と、基地局70とグローバル網50を介して接続されたポリシー配信サーバ300を含んで構成される。
The voice operation system according to the first embodiment of the present invention is a system that allows a user of a
本実施形態における車載装置100は、基地局70との無線通信を介して、グローバル網50に接続されているポリシー配信サーバ300と通信する。ポリシー配信サーバ300は、車載装置100に、音声操作に関するポリシー情報280を配信するサーバである。
The in-
車載装置100は、定期的、あるいは、ユーザーが明示的に指示したときに、ポリシー情報取得要求のリクエストを発行し、基地局70により無線で通信する。基地局70は、車載装置100の無線通信を仲介して、グローバル網50を中継する無線設備である。
The in-
そして、基地局70は、グローバル網50に接続されているポリシー配信サーバ300に、リクエストを送信する。ポリシー配信サーバ300は、リクエストに応じたポリシー情報280をレスポンスとして、車載装置100に送信する。
Then, the
ここで、グローバル網50は、電話網やインターネット網などのグローバルな通信網のことである。
Here, the
車載装置100は、受信したポリシー情報280を参照して、音声によるアプリケーション500の操作を制限する。
The in-
次に、図2を用いて車載装置100のハードウェア構成について説明する。
Next, the hardware configuration of the in-
図2に示されるように、車載装置100は、ハードウェアとして、CPU20、ROM21、RAM22、無線通信インタフェース23、測位センサ24、ジャイロセンサ25、表示装置26、操作装置27、補助記憶装置28、LAN通信インタフェース29、カメラ30、ラジオチューナ31、テレビチューナ32、マイク33、スピーカ34で構成されている。
As shown in FIG. 2, the in-
CPU(Central Processing Unit)20は、車載装置100の各部を制御し、RAM22上にロードされるカーナビゲーションのアプリケーションソフトウェアを実行する演算・制御のためのユニットである。
A CPU (Central Processing Unit) 20 is a unit for computation and control that controls each part of the in-
ROM(Read Only Memory)21は、制御プログラムなどが書き込まれた読み出し専用の記憶装置である。 A ROM (Read Only Memory) 21 is a read-only storage device in which a control program or the like is written.
RAM(Read Access Memory)22は、補助記憶装置28に記憶されているプログラムをロードして一時的に保管したり、ワークデータを記憶する記憶装置である。
A RAM (Read Access Memory) 22 is a storage device that loads a program stored in the
無線通信インタフェース部23は、基地局70を介して、グローバル網50に接続された外部装置と接続して、データをやり取りするためのインタフェース装置である。
The wireless
測位センサ24は、地球上での緯度および経度で示される自身の位置を測位するためのセンサである。
The
ジャイロセンサ25は、車両の角度や角速度を計測するためのセンサである。
The
表示装置26は、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等、ユーザーに画像情報を表示する装置である。
The
操作装置27は、ユーザーが車載装置100を指で操作するボタン、スイッチ、キーボード、タッチパネル等の装置である。
The
補助記憶装置28は、地図データベース、ポリシー情報280、音声データ、動画データなどの各種データと、カーナビゲーションのアプリケーションソフトウェアを記憶する大容量の記憶装置であり、例えば、HDD(Hard Disk Drive)やSDD(Solid State Drive)である。
The
LANインタフェース29は、車載ネットワーク41と接続し、車両1の走行状態や内部状態を表す車載ネットワーク41からのデータを内部に取り込むための装置である。
The
また、車載装置100は、車両信号線40とも接続されており、車両30の走行状態や内部状態を取り込むことができる。
The in-
カメラ30、車両1の外部環境を撮影して画像として取り込む光学装置である。
The
ラジオチューナ31は、アンテナより短波、中波、超短波の電波を受信し、選曲して番組として聴取する装置である。特に、FM多重放送の受信として、VICS(Vehicle Information and Communication System)(登録商標)から交通情報を受信することができる。
The
テレビチューナ32は、超短波の電波を受信し、選曲して、TV番組として動画を再生する装置である。
The
マイク33は、ユーザーの音声を収集するための装置である。
The
スピーカ34は、音楽情報、経路案内時の音声案内および操作音等を出力するための装置である。
The
次に、図3を用いてポリシー配信サーバ300のハードウェア構成について説明する。
Next, the hardware configuration of the
ポリシー配信サーバ300のハードウェア構成は、図3に示されるようにCPU81、RAM82、表示インタフェース83、入出力インタフェース84、ネットワークインタフェース85、補助記憶装置インタフェース86がバスにより接続されたものである。
As shown in FIG. 3, the
表示装置90には、稼動状況のモニタや出力結果が表示される。入出力インタフェース84には、キーボード91やマウス92などの入出力装置が接続され、管理者は、これらの入出力装置からコマンドなどを入力する。ネットワークインタフェース85には、グローバル網50が接続され、このインタフェースを介して外部の装置と通信をおこなう。補助記憶装置インタフェース86には、データやプログラムを格納するハードディスク装置93などの記憶装置が接続される。ハードディスク装置93は、アレイ上に接続されてディスクアレイを構成する場合もある。
The
ポリシー情報280や、ポリシー配信のデータベース管理プログラム、OSなどは、ハードディスク装置93に格納されており、実行されるときにRAM82にロードされて、CPU81により実行される。
次に、図4を用いて車載装置100のデータフローと機能構成について説明する。
Next, the data flow and functional configuration of the in-
車載装置100は、図4に示されるように、アプリケーション制御部110、画面表示
部120、走行中操作可否リスト作成部130、走行中操作可否リスト記録部191、音声入力部181、テキスト変換部140、走行状態取得部182、コマンド実行可否判定部150、ユーザーID取得部183、機器ID取得部184、ポリシー情報更新部160、ポリシー情報記録部192、および、通信部170から構成される。
As shown in FIG. 4, the in-
アプリケーション制御部110は、アプリケーション500から音声操作可能なコマンドを抽出してコマンドリスト210(後述)を作成するとともに、アプリケーション500に対して音声による操作を実行する部分である。
The
画面表示部120は、アプリケーション500の実行画面を、表示装置26に表示する部分である。
The
走行中操作可否リスト作成部130は、各音声操作コマンドの走行中における操作可否
を判定するための走行中操作可否リスト220(後述)を作成する部分である。
The running operation availability
走行中操作可否リスト記録部191は、作成された走行中操作可否リスト220を記録する部分である。
The traveling operation availability
音声入力部181は、ユーザーが発話した音声データを入力する部分である。
The
テキスト変換部140は、入力された音声データをテキストに変換する部分である。
The
走行状態取得部182は、車両信号線40や車載ネットワーク41から車両の走行状態を取得する部分である。
The traveling
コマンド実行可否判定部150は、テキストが示す音声操作コマンドの実行可否を判定する部分である。
The command execution
ユーザーID取得部183は、車載装置100を使用しているユーザーの識別情報であるユーザーID183を取得する部分である。
The user
機器ID取得部184は、車載装置100の識別子である機器ID1000を取得する部分である。
The device
ポリシー情報更新部160は、ユーザーID183と機器ID1000を参照して、ポリシー配信サーバ300から規制ルール230(後述)と禁止単語リスト240(後述)を含むポリシー情報280を取得する部分である。
The policy
ポリシー情報記録部192は、取得したポリシー情報を記録する部分である。
The policy
通信部170は、ポリシー配信サーバ300との通信をおこなう部分である。
The
次に、ポリシー配信サーバ300のデータフローと機能構成について説明する。
Next, the data flow and functional configuration of the
ポリシー配信サーバ300は、図5に示されるように、規制ルール選択部310、機器情報データベース250、地域判定部320、規制ルールデータベース230a、規制ル
ール取得部330、禁止単語リスト選択部340、ユーザー情報データベース260、使用言語判定部350、禁止単語リストデータベース240a、禁止単語リスト取得部360、および、通信部370から構成される。
As shown in FIG. 5, the
規制ルール選択部310は、車載装置100から受信するポリシー情報取得要求270の内容に応じて規制ルール230を選択する部分である。
The restriction
機器情報データベース250は、車載装置100を含む複数の機器の情報を格納するデータベースである。
The
地域判定部320は、機器情報データベース250を参照して車載装置100が位置する地域を判定する部分である。
The
規制ルールデータベース230aは、地域毎に定義される複数の規制ルール230を格納するデータベースである。
The
規制ルール取得部330は、判定した地域用の規制ルール230を規制ルールデータベース230aから取得する部分である。
The restriction
禁止単語リスト選択部340は、車載装置100から受信するポリシー情報取得要求270の内容に応じて禁止単語リストを選択する部分である。
The prohibited word
ユーザー情報データベース260は、車載装置100を使用するユーザーを含む複数のユーザーの情報を記録するデータベースである。
The
使用言語判定部350は、ユーザー情報データベース260を参照して車載装置100を使用するユーザーが使用している言語を判定する部分である。
The used
禁止単語リストデータベース240aは、言語毎に定義される複数の禁止単語リストを格納するデータベースである。
The prohibited
禁止単語リスト取得部360は、判定した使用言語用の禁止単語リスト240を禁止単語リストデータベース240aから取得する部分である。
The prohibited word
通信部370は、車載装置100との通信処理をおこなう部分である。
The
次に、図6および図7を用いて本発明の音声認識システムに用いられるデータ構造について説明する。
図6は、ポリシー配信サーバ300が保持するデータベースの構造を示した図である。
図7は、車載装置100で用いられるコマンドリスト210と、走行中操作可否リスト220のフォーマットを示した図である。
Next, the data structure used in the speech recognition system of the present invention will be described with reference to FIGS.
FIG. 6 is a diagram showing the structure of the database held by the
FIG. 7 is a diagram showing a format of a
ポリシー配信サーバ300が保持するデータベースは、図6に示されるように、機器情報データベース250、ユーザー情報データベース260、規制ルールデータベース230a、禁止単語リストデータベース240aである。
As shown in FIG. 6, the databases held by the
機器情報データベース250は、機器を一意に識別する機器ID251、および、機器ID251が示す機器が使用される位置の地域252を記録する。
The
ユーザー情報データベース260は、ユーザーを一意に識別するユーザーID261、および、ユーザーID261が示すユーザーが使用している言語を示す使用言語262を記録する。
The
規制ルールデータベース230aは、地域毎に定義される複数の規制ルール230を記録しており、図には、日本、欧州の規制ルール、および、地域が明らかではない場合に参照されるデフォルトルールが記載されている。
The
規制ルール230は、操作の内容を識別する操作ID231、および、操作ID231が示す操作が走行中に操作可能か否かを示す操作可否232を記録する。図の例は、日本の場合、操作IDが“OPE1”あるいは“OPE2”の操作は、走行中に操作することが禁止され、操作IDが“OPE3”の操作は走行中でも操作可能であることを示している。
The
禁止単語リストデータベース240aは、言語毎に定義される複数の禁止単語リスト240を記録しており、図は、日本語および英語の例を示している。
The prohibited
禁止単語リスト240は、操作の内容を識別する操作ID241、および、操作ID241が示す操作を意味する一つ以上の単語を記載した禁止単語242を記録する。図の例では、操作IDが“OPE1”の操作を表す単語として、“再生”、“停止”等を定義している。また、規制ルール230と、禁止単語リスト240は、操作IDをキーとして結びついている。
The prohibited
車載装置100で用いられるデータとしては、図7に示されるように、コマンドリスト210と、走行中操作可否リスト220があり、コマンドリスト210は、車載装置100のアプリケーション制御部110が作成し、走行中操作可否リスト220は、走行中操作可否リスト作成部130が作成する。
As shown in FIG. 7, the data used in the in-
コマンドリスト210は、コマンドの名称を示す文字列であるコマンド名称211、および、そのコマンドをアプリケーション500内で一意に識別するコマンド識別子212を格納する。
The
走行中操作可否リスト220は、コマンドリスト210と同様のコマンド名称221およびコマンド識別子222に加えて、走行中に操作することが可能か否かを示す操作可否223のフラグを格納する。
In addition to the
次に、図8を用いて本発明の第一の実施形態に係る音声操作システムのユーザインタフェースの操作イメージについて説明する。 Next, an operation image of the user interface of the voice operation system according to the first embodiment of the present invention will be described with reference to FIG.
図8は、音声操作システムのアプリケーションにおいて動画視聴を実行しようしたときの画面例を示す図である。 FIG. 8 is a diagram illustrating an example of a screen when a video viewing is executed in an application of the voice operation system.
メニュー画面121は、表示装置26に表示される車載装置100の起動後の画面を示したものである。メニュー画面121は、車載装置100が備える機能に対応するナビボタン1211、動画視聴ボタン1212、電話ボタン1213、および、音声入力を開始するための音声入力開始ボタン1214を備えている。
The
このうち、動画視聴のアプリケーション500を起動するための動画視聴ボタン1212を押下することにより、車両1が停車中のときには、アプリケーション500の動画視聴画面122aが表示される。動画視聴画面122aは、映像コンテンツを表示するコンテンツ表示領域1221、再生可能なコンテンツの一覧を表示するコンテンツ一覧表示領域1222、コンテンツの再生を開始する再生ボタン1223、コンテンツの再生を停止する停止ボタン1224、メニュー画面121に戻るための戻るボタン1225、および、メニュー画面121と音声入力開始ボタン1214を備えている。
Among these, by pressing a
一方、動画視聴のアプリケーション500を起動するための動画視聴ボタン1212を押下し、車両1が走行中のときには、アプリケーション500の動画視聴画面122bが表示される。この動画視聴画面122bは、動画視聴画面122aと比較して、映像コンテンツを表示するコンテンツ表示領域1221、コンテンツの一覧を表示するコンテンツ一覧表示領域1222、再生ボタン1223、および、停止ボタン1224は、ユーザーの注意力散漫を防止するため、操作ができないように無効化され、非入力表示になっている。ただし、戻るボタン1225は、走行中も操作可能であるため無効化されない。そして、画面122が表示されている状態でユーザーが音声入力開始ボタン1214を押下して、“戻る”と発話した場合、車両が走行中においてもメニュー画面121へ遷移する。
ただし、画面122が表示されている状態でユーザーが音声入力開始ボタン1214を押下して、“再生”、“停止”という動画視聴に関するコマンドを発話した場合には、操作が禁止されているためそのコマンドは、無効となる。
On the other hand, when the
However, when the user presses the voice
ユーザーは、無効なコマンドに関するボタンが非入力表示になっているため、そのボタンを誤操作で押下することもないし、“再生”、“停止”という動画視聴に関する禁止されたコマンドを発話することも防止することができる。 Since the buttons related to invalid commands are not displayed, the user will not press the buttons by mistake, and they will not be allowed to speak prohibited commands related to video playback such as “play” and “stop”. can do.
次に、図9ないし図11を用いて動画視聴ボタンを押下し、動画視聴画面を表示するまでの処理について説明する。
図9は、動画視聴ボタン1212を押下し、動画視聴画面122bが表示されるまでの処理を示すフローチャートである。
図10は、コマンドリスト作成処理のステップS110の処理を詳細に示すフローチャートである。
図11は、走行中操作可否リスト220作成の処理のステップS130を詳細に示すフローチャートである。
Next, processing from when the moving image viewing button is pressed until the moving image viewing screen is displayed will be described with reference to FIGS. 9 to 11.
FIG. 9 is a flowchart showing processing until the moving
FIG. 10 is a flowchart showing in detail the process in step S110 of the command list creation process.
FIG. 11 is a flowchart showing in detail step S130 of the process of creating the running
ユーザーが動画視聴ボタン1212を押下すると、画面表示部120からアプリケーション制御部110へ画面切り替え指示が伝達され、動画視聴画面122bを表示するタイミングで、アプリケーション制御部110は、コマンドリスト210を作成する(S110)。
When the user presses the
次に、走行中操作可否リスト作成部130は、作成されたコマンドリスト210と、ポリシー情報記録部192に記録されている規制ルール230および禁止単語リスト240を参照して、走行中操作可否リスト220を作成する(S130)。
Next, the running operation availability
走行中操作可否リスト220を作成後、アプリケーション制御部110は、アプリケーション500の画面122において操作できないボタンを無効化するとともに(S111)、走行中操作可否リスト作成部130は、走行中操作可否リスト220を作成し、走行中操作可否リスト記録部191は、補助記憶装置28に作成された走行中操作可否リスト220を記録する(S131)。
After creating the running
次に、図10を用いてコマンドリスト作成処理のステップS110の処理について詳細に説明する。 Next, the process of step S110 of the command list creation process will be described in detail with reference to FIG.
先ず、コマンドリスト210の記録領域を初期化して空の状態にする(S1101)。
First, the recording area of the
次に、現在表示している画面(すなわち、動画視聴画面122b)に含まれるオブジェクト(ボタン等)の数を変数Nにセットする(S1102)。
Next, the number of objects (buttons, etc.) included in the currently displayed screen (that is, the moving
次に、Nが0(ゼロ)か否かを判定する(S1103)。 Next, it is determined whether N is 0 (zero) (S1103).
Nが0ではない場合、N番目のオブジェクトがボタンか否かを判定する(S1104)。 If N is not 0, it is determined whether the Nth object is a button (S1104).
N番目のオブジェクトがボタンの場合、ボタンの表示名称と識別情報を取得してコマンドリスト210のコマンド名称211とコマンド識別子212にそれぞれ追加する(S1105)。例えば、図8の再生ボタン1223のオブジェクトとしての表示名称が、“再生”となっているとする。そのときには、それをコマンドリスト210のコマンド名称211に、“再生”としてセットする。また、プレイヤーの再生機器としては、再生のための記号として、右三角が一般に使われるが、そのボタンの表示名称として、“右三角”、その代替名称として、その機能を表す“再生”が定義されているときには、代替名称の“再生”をとってきて、それをコマンドリスト210のコマンド名称211に、“再生”としてセットする。
If the Nth object is a button, the display name and identification information of the button are acquired and added to the
これにより、開発者は、表示名称とコマンドの機能を一致させておけば、表示名称を、そのままコマンド名称として利用することができるので、開発労力の軽減となる。 As a result, if the developer matches the display name and the command function, the developer can use the display name as the command name as it is, thereby reducing development effort.
次に、Nから1を減算した値をNにセットし(S1106)、S1103に戻る。 Next, a value obtained by subtracting 1 from N is set to N (S1106), and the process returns to S1103.
そして、S1103からS1106の手順を繰返し、Nが0になった時点でコマンドリスト210を走行中操作可否リスト作成部130に通知して処理を完了する(S1107)。なお、上記のS1102におけるオブジェクトの数の取得や、S1104におけるN番目のオブジェクトの取得等は、GUI(Graphical User Interface)画面を作成するためのソフトウェアライブラリが一般的に備えているものであり、例えばスマートフォンのOSであるAndroid上で動くアプリケーションの場合は、Java(登録商標)言語によって提供されるgetChildCount()メソッドや、getChildAt()メソッド等を使用することにより取得することができる。
Then, the procedure from S1103 to S1106 is repeated, and when N becomes 0, the
次に、図11を用いて走行中操作可否リスト220作成の処理のステップS130の詳細について説明する。
Next, details of step S130 of the process of creating the running
先ず、作成されたコマンドリスト210の行数を変数Nにセットする(S1301)。
First, the number of lines of the created
次に、Nが0(ゼロ)か否かを判定する(S1302)。 Next, it is determined whether N is 0 (zero) (S1302).
次に、Nが0ではない場合、ポリシー情報記録部192に記録している禁止単語リスト240を検索し(S1303)、コマンドリスト210のN行目のコマンド名称211が禁止単語リスト240の禁止単語242に含まれるか否かを調べる(S1304)。
Next, when N is not 0, the prohibited
N行目のコマンド名称211に一致する単語が禁止単語リスト240の禁止単語242に含まれる場合、一致する単語を含む行の操作ID241と、ポリシー情報記録部192に記録している規制ルール230を参照して、その操作IDが示す操作の走行中の操作可否232を取得する(S1305)。
When a word that matches the
次に、取得した操作可否232が“可”と“不可”のいずれであるかを判定し(S1306),“不可”である場合は、走行中操作可否リスト220の操作可否223を“不可”に設定する(S1307)。
Next, it is determined whether the acquired
上記のステップS1304においてコマンド名称211を含む行が禁止単語リスト240に存在しない場合、あるいは、上記のステップS1306において取得した操作可否232が“可”の場合は、走行中操作可否リスト220の操作可否223を“可”に設定する(S1308)。
When the line including the
次に、Nから1を減算した値をNにセットして(S1309)、S1302に戻る。 Next, a value obtained by subtracting 1 from N is set to N (S1309), and the process returns to S1302.
そして、S1302からS1309の手順を繰返し、Nが0になった時点で処理を完了する。 Then, the procedure from S1302 to S1309 is repeated, and the processing is completed when N becomes 0.
次に、図12ないし図14を用いてユーザーが発話した音声に対応するコマンドを実行する際の車載装置100の処理について説明する。
図12は、動画視聴画面122a,122bの音声操作開始ボタン1214を押下し、音声による操作を実行する処理の流れを示したフローチャートである。
図13は、コマンド実行可否判定処理のステップS150を詳細に示すフローチャートである。
図14は、音声操作のための動画視聴時のポップアップメッセージの例を示した図である。
Next, processing of the in-
FIG. 12 is a flowchart showing a flow of processing for executing a voice operation by pressing the voice
FIG. 13 is a flowchart showing in detail step S150 of the command execution availability determination process.
FIG. 14 is a diagram illustrating an example of a pop-up message when viewing a moving image for voice operation.
音声操作開始ボタン1214を押下すると、画面表示部120から音声入力部181へ音声入力開始指示が伝達される。これを受けて、音声入力部181は、マイク33を用いてユーザーが発話した音声を入力する(S181)。
When the voice
次に、テキスト変換部140は、入力された音声データをテキストに変換する(S140)。なお、マイクで入力された音声データを解析してテキストに変換する処理は、公知であり、一般的にSpeech−to−Textと総称される技術として実用化されている。
Next, the
次に、音声データをテキストへ変換できたか否かを判定する(S141)。何らかのテキストに変換できた場合、コマンド実行可否判定部150は、変換されたテキストと走行中操作可否リスト220を参照して、変換されたテキストに対応する音声操作コマンドの実行可否を判定する(S150)。
Next, it is determined whether or not the voice data has been converted to text (S141). When the text can be converted into some text, the command execution
次に、判定した実行可否が“可”か否かを判断し(S151)、変換されたテキストに対応する音声操作コマンドの実行が可能な場合、走行中操作可否リスト220に記載されているコマンド識別子222をアプリケーション制御部110に伝達し、アプリケーション制御部110は、コマンド識別子222に対応するボタンの押下処理を実行する(S111)。
Next, it is determined whether or not the determined execution possibility is “permitted” (S151), and when the voice operation command corresponding to the converted text can be executed, the commands described in the in-running
上記のステップS141において音声データからテキストへの変換ができなかった場合、あるいは、変換されたテキストに対応するコマンドの実行がS151において、“不可”と判断された場合、画面表示部120は、表示装置26にエラー画面を表示する(S121)。
When the conversion from the voice data to the text cannot be performed in the above step S141, or when the execution of the command corresponding to the converted text is determined to be “impossible” in S151, the
次に、図13を用いてコマンド実行可否判定処理のステップS150の詳細について説明する。 Next, details of step S150 of the command execution availability determination process will be described with reference to FIG.
コマンド実行可否判定部150は、先ず、走行中操作可否リスト220を検索し(S1501)、音声データから変換したテキストと走行中操作可否リスト220のコマンド名称221が一致する行があるか否かを検索する(S1502)。なお、この一致判定は、両者の文字列が厳密に一致することを判定の条件としても良いし、いずれか一方の文字列が他方の文字列に含まれる場合を判定の条件としても良いし、あるいは、N−gram等の公知の手法によって2つの文字列の類似度を判定する仕組みとしてもよい。なお、N−gramとは、検索エンジン等で用いられている文字列の類似度を判定する手法であり、複数の文字列において、N個の連続する文字が一致する数をカウントして類似の度合いを判定するものである。
First, the command execution
以上のような手法によって、変換したテキストとコマンド名称221が一致する行があると判定した場合、走行状態取得部182により走行状態を取得し(S1503)、取得した走行状態を参照して車両が走行中か否かを判定する(S1504)。なお、車両が走行しているか否かは、従来のカーナビは一般的に車両のシステムの車両信号線40から車速パルス等の車両信号を取得しておこなっており、本実施形態における音声認識システムにおいても同様の手法で判定する。
When it is determined that there is a line in which the converted text and the
そして、車両が走行中であると判定した場合、ステップS1502において検索した行における操作可否223を参照し、走行中に操作可能か否かを判定する(S1505)。
If it is determined that the vehicle is traveling, it is determined whether or not the vehicle can be operated while traveling with reference to the
操作可能である場合、その行のコマンド識別子222をアプリケーション制御部110に通知する(S1506)。なお、上記のS1504において車両が走行中ではないと判定された場合も同様に、コマンド識別子222をアプリケーション制御部110に通知して処理を完了する。
When the operation is possible, the
ステップS1502において、変換したテキストと走行中操作可否リスト220のコマンド名称221が一致する行が無い場合、実行可能なコマンドは無いとして終了する(S1507)。また、上記のS1505において走行中の操作は不可であると判定した場合、アプリケーション500が走行中の操作を許可された特別なアプリケーションとして認証されているか否かを判定し(S1509)、認証されたアプリケーションである場合は走行中の操作可否リストの内容に関わらずS1506を実行する。なお、認証済みアプリケーションか否かを識別する手段については、例えば、公開鍵暗号技術に基づくデジタル
署名をアプリケーションに付与する等の手段によって実現可能である。アプリケーション500が認証された特別なものでもない場合、ユーザーが発話した内容に対応するコマンドは存在するが走行中は実行できないとして終了する(S1508)。
In step S1502, if there is no line in which the converted text matches the
このように、認証済みアプリケーションのときには、コマンドを実行不可としないことにより、例えば、カーナビゲーション対応のアプリケーションなどに関する操作については、常に、車両の走行状態にかかわらず常に実行することができる。 As described above, when the application is authenticated, the command cannot be executed, so that, for example, an operation related to an application compatible with car navigation can be always executed regardless of the traveling state of the vehicle.
次に、図14を用いて音声操作に関するユーザインタフェースについて説明する。 Next, a user interface related to voice operation will be described with reference to FIG.
図14(a)に示されるポップアップメッセージ1231は、ステップS1507が実行されて、実行可能なコマンドが無いことをユーザーに通知する場合のメッセージの例である。
The pop-up
また、図14(b)に示されるポップアップメッセージ1232は、ステップS1508が実行されて、ユーザーが発話した内容に対応するコマンドは存在するが走行中は実行できないことをユーザーに通知する場合のメッセージの例を示したものである。
Further, the pop-up
いずれのポップアップメッセージも、ユーザーの操作の負担を軽減するために、一定の時間、例えば、10秒程度表示された後には、自動的に閉じられるようにする。 Any pop-up message is automatically closed after being displayed for a certain time, for example, about 10 seconds, in order to reduce the burden on the user.
次に、図15および図16を用いて参照した規制ルールおよび禁止単語リストをポリシー配信サーバから取得する処理について説明する。 Next, processing for acquiring the restriction rule and the prohibited word list referred to with reference to FIGS. 15 and 16 from the policy distribution server will be described.
図15は、本発明の第一の実施形態において、規制ルール230をポリシー配信サーバ300から取得する処理の流れを示すフローチャートである。
FIG. 15 is a flowchart showing a flow of processing for acquiring the
図16は、禁止単語リスト230aをポリシー配信サーバ300から取得する処理の流れを示すフローチャートである。
FIG. 16 is a flowchart showing a flow of processing for acquiring the prohibited
車載装置100が起動した際、図15に示されるように、ポリシー情報更新部160は、機器ID取得部184から機器IDを取得する(S1601)。そして、取得した機器IDは、ポリシー情報取得要求270に含めてポリシー配信サーバ300の規制ルール選択部310を経由して地域判定部320に送信される。地域判定部320は、機器情報データベース250を参照し、受信した機器IDと機器情報データベース250の機器ID251が一致する行があるか否かを判定する(S3201)。
When the in-
一致する行がある場合、その行に記載されている地域252を参照して車載装置100が位置する地域を取得する(S3202)。
If there is a matching row, the region where the in-
次に、規制ルール取得部330は、規制ルールデータベース230aを参照し、判定した地域用の規制ルール230が存在するか否かを判定する(S3301)。
Next, the restriction
規制ルール230が存在する場合、その規制ルール230を規制ルールデータベース230aから取得し(S3302)、規制ルール選択部310に通知する。
When the
一方、ステップS3201において受信した機器IDと一致する行が見つからなかった場合、あるいは、ステップS3301において、判定した地域用の規制ルールが存在しなかった場合、規制ルール選択部310は、デフォルトルールを選択する(S3101)。
On the other hand, if a row that matches the device ID received in step S3201 is not found, or if there is no regulation rule for the determined region in step S3301, the regulation
規制ルール選択部310は、ステップS3302、あるいは、ステップS3101で取得した規制ルール230を、ポリシー情報更新部160に応答する(S3102)。
The restriction
ポリシー情報更新部160は、受信した規制ルール230を、ポリシー情報記録部192により記録して処理を完了する(S1602)。なお、以上の処理では、規制ルールを取得する一連の手順においてエラーが起きた場合は、デフォルトルールを選択しているが、エラーが発生した場合は車載装置100の動作を停止してユーザーに修理を促すようなポップアップメッセージを表示するようにしてもよい。
The policy
車載装置100が起動した際、図16に示されるように、ポリシー情報更新部160は、ユーザーID取得部183からユーザーIDを取得する(S1605)。
When the in-
取得したユーザーIDは、ポリシー情報取得要求270に含めてポリシー配信サーバ300の禁止単語リスト選択部340を経由して使用言語判定部350に送信される。
The acquired user ID is included in the policy
使用言語判定部350は、ユーザー情報データベース260を参照し、受信したユーザーIDとユーザー情報データベース260のユーザーID261が一致する行があるか否かを判定する(S3501)。
The use
一致する行がある場合、その行に記載されている使用言語262を参照して受信したユーザーIDが示すユーザーの使用言語を判定する(S3502)。
If there is a matching line, the use language of the user indicated by the received user ID is determined with reference to the
次に、禁止単語リスト取得部360は、禁止単語リストデータベース240aを参照し、判定した使用言語で記載された禁止単語リスト240が存在するか否かを判定する(S3601)。
Next, the prohibited word
禁止単語リスト240が存在する場合、その禁止単語リスト240を禁止単語リストデータベース240aから取得し(S3602)、禁止単語リスト選択部340に通知する。
If the prohibited
禁止単語リスト選択部340は、取得した禁止単語リスト240を、ポリシー情報更新部160に応答する(S3402)。
The prohibited word
ポリシー情報更新部160は、受信した禁止単語リスト240を、ポリシー情報記録部192により記録して処理を完了する(S1607)。
The policy
一方、ステップS3501において受信したユーザーIDに対応するユーザーの使用言語を判定できなかった場合、あるいは、ステップS3601において、判定した使用言語用の禁止単語リストが存在しなかった場合、禁止単語リスト選択部340はポリシー情報更新部160に禁止単語リスト取得エラーを応答する(S3401)。
On the other hand, if the language used by the user corresponding to the user ID received in step S3501 cannot be determined, or if there is no prohibited word list for the determined language used in step S3601, a prohibited word
禁止単語リスト取得エラーを受信したポリシー情報更新部160は、画面表示部120にエラーメッセージを表示する(S1606)。
Upon receiving the prohibited word list acquisition error, the policy
次に、図17を用いて音声操作のためのポリシー情報取得時のユーザインタフェースについて説明する。
図17は、音声操作のためのポリシー情報取得時のポップアップメッセージの例を示す図である。
Next, a user interface at the time of obtaining policy information for voice operation will be described with reference to FIG.
FIG. 17 is a diagram illustrating an example of a pop-up message when obtaining policy information for voice operation.
ステップS3401において、禁止単語リストの取得に失敗したことをユーザーに通知する必要がある場合には、図17のようなポップアップメッセージ1241が表示される。
If it is necessary to notify the user that acquisition of the prohibited word list has failed in step S3401, a pop-up
なお、以上の説明では、規制ルール230を選択するために、あらかじめ車載装置100が存在する地域の情報をデータベースに記録しているが、GPS(Global Positioning System)等を用いて車載装置100の現在地座標を取得し、これと地図データを照らし合わせて地域を判定する仕組みとしてもよい。また、この例では、禁止単語リスト240を選択するために、予めユーザーの使用言語をデータベースに記録しているが、ユーザーが車載装置100に設定している使用言語の情報等を参照する仕組みとしてもよい。
In the above description, in order to select the
以上のように、本実施形態の音声操作システムによって、車載装置100上で動作するアプリケーションを音声で操作する際、走行中に実行することが好ましくない操作を制限することが可能となる。また、このような制限をおこなうためのポリシー情報をポリシー情報配信装置から配信する仕組みにすることにより、各国のガイドラインの改訂や、制限したい操作を意味する単語の追加等に柔軟に対応することが可能となる。
As described above, the voice operation system according to the present embodiment makes it possible to limit operations that are not preferable to be performed during travel when operating an application running on the in-
〔実施形態2〕
以下、本発明の第二の実施形態に係る音声操作システムを、図18ないし図21を用いて説明する。
[Embodiment 2]
Hereinafter, a voice operation system according to a second embodiment of the present invention will be described with reference to FIGS.
本実施形態の音声操作システムは、近年急速に普及しているスマートフォン等の携帯電話端末で実行されるアプリケーションを音声で操作する際、第一の実施形態と同様に走行中に実行することが好ましくない操作の実行を制限するものである。 The voice operation system according to the present embodiment is preferably executed while traveling, as in the first embodiment, when an application executed on a mobile phone terminal such as a smartphone that has been rapidly spreading in recent years is operated by voice. It is intended to limit the execution of no operations.
先ず、図18ないし図20を用いて本発明の第一の実施形態に係る音声操作システムの構成について説明する。
図18は、本発明の第二の実施形態に係る音声操作システムの全体構成図である。
図19は、携帯電話端末のハードウェア構成図である。
図20は、本発明の第二の実施形態に係る携帯電話端末と車載装置のデータフローと機能構成を示した図である。
First, the configuration of the voice operation system according to the first embodiment of the present invention will be described with reference to FIGS.
FIG. 18 is an overall configuration diagram of the voice operation system according to the second embodiment of the present invention.
FIG. 19 is a hardware configuration diagram of the mobile phone terminal.
FIG. 20 is a diagram showing a data flow and a functional configuration of the mobile phone terminal and the in-vehicle device according to the second embodiment of the present invention.
図18に示すように、本実施形態の音声操作システムは、車両30内に携帯電話端末20が車載装置100aに接続され、携帯電話端末20は、基地局70との無線通信を介して、グローバル網50のポリシー配信サーバ300と通信する。
As shown in FIG. 18, in the voice operation system according to the present embodiment, a
図18に示したその他の構成要素については、図1と同様である。 Other components shown in FIG. 18 are the same as those in FIG.
ここで、携帯電話端末20は、ユーザーが持ち歩くスマートフォン等の携帯電話端末であり、車載装置100aは、カーナビゲーション装置である。
Here, the
次に、図19を用いて本発明の第二の実施形態に係る携帯電話端末20のハードウェア構成について説明する。
Next, the hardware configuration of the
図19に示されるように、携帯電話端末20は、ハードウェアとして、APU(Application Processor Unit)80、ベースバンドプロセッサ81、RAM82、フラッシュメモリ83、無線通信インタフェース84、測位センサ85、加速度センサ86、ジャイロセンサ87、表示装置88、操作装置89、機器間通信インタフェース90、カメラ91、マイク92、スピーカ93で構成されている。
As shown in FIG. 19, the
APU80は、携帯電話端末20の各部を制御し、RAM81上にロードされる音声操作のアプリケーションソフトウェアのプログラムを実行する演算・制御のためのユニットである。
The
ベースバンドプロセッサ81は、携帯電話端末20の通信や通話に関するモジュールを制御するプロセッサである。
The
RAM(Read Access Memory)82は、フラッシュメモリ83に記憶されているプログラムをロードして一時的に保管したり、ワークデータを記憶する記憶装置である。
A RAM (Read Access Memory) 82 is a storage device that loads and temporarily stores a program stored in the
フラッシュメモリ82は、プログラムやデータを格納する不揮発性のメモリである。フラッシュメモリ82は、地図DB、ポリシー情報280、音声データ、動画データなどの各種データと、音声操作のアプリケーションソフトウェアなどのプログラムを記憶する比較的大容量の記憶装置である。
The
無線通信インタフェース84は、ベースバンドプロセッサ81の信号を無線帯域の高周波信号に変換したり、逆に、無線帯域の高周波信号を、ベースバンドプロセッサ81の信号に変換するためのインタフェース装置である。携帯電話端末20は、無線通信インタフェース83を介して基地局70と通信し、これにより、通話や電子メール、ブラウザによるWebページの閲覧が可能になる。無線帯域は、通常、UHF(ultra high frequency)帯が使われる。
The
測位センサ85は、地球上での緯度および経度で示される自身の位置を測位するためのセンサである。
The
加速度センサ86は、携帯電話端末20の加速度を計測するためのセンサである。これにより、携帯電話端末20の搭載されている車両30の加速度も間接的に計測される。
The
ジャイロセンサ87は、携帯電話端末20の角度や角速度を計測するためのセンサである。これにより、車両30の角度や角速度も間接的に計測される。
The
表示装置88は、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等のユーザーに画像情報を表示する装置であり、3インチ〜5インチ画面の表示サイズのものが一般に使用されている。
The
操作装置89は、ユーザーが携帯電話端末20を指で操作するボタン、スイッチ、キーボード、タッチパネル等の装置である。
The operation device 89 is a device such as a button, a switch, a keyboard, or a touch panel that allows the user to operate the
機器間通信インタフェース90は、他の装置、例えば、車載装置100aと接続して、データをやり取りするためのインタフェース装置である。接続方式は、USB(Universal Serial Bus)やHDMI(High−Definition Multimedia Interface)等の規格に準拠した有線接続でもよいし、無線LAN(Local Area Network)のIEEE 802.11a/b/g/nやBluetooth(登録商標)等の規格に準拠した無線接続でもよい。
The
カメラ91、携帯電話端末20の周囲を撮影して画像として取り込む光学装置である。
This is an optical device that captures images around the
マイク92は、ユーザーの発話、または、携帯電話端末20の周囲の音声を収集するための装置である。
The
スピーカ93は、ユーザーに音声により情報を伝えるための装置である。なお、図示しなかったが、音声出力装置として、イヤホーンやヘッドホンなども用いられる。
The
次に、図20を用いて携帯電話端末20と車載装置100aのデータフローと機能構成について説明する。
Next, the data flow and functional configuration of the
車載装置100aは、図20に示されるように、機器ID取得部884、走行状態取得部882、映像受信部885、画面表示部820、および、通信部875を備えている。
As illustrated in FIG. 20, the in-
携帯電話端末20は、図20に示されるように、アプリケーション制御部110、映像送信部185、走行中操作可否リスト作成部130、走行中操作可否リスト記録部191、音声入力部181、テキスト変換部140、コマンド実行可否判定部150、ユーザーID取得部183、ポリシー情報更新部160、ポリシー情報記録部192、および、通信部170から構成される。
As shown in FIG. 20, the
ここで、第一の実施形態の車載装置100との構成と比較すると、第一の実施形態の車載装置100が備えていた機器ID取得部184、走行状態取得部182、画面表示部120が無くなり、映像送信部185、走行状態記憶部186、および、車載装置100aと通信をおこなうための通信部175が追加されている。
Here, compared with the configuration of the in-
本実施形態の携帯電話端末20に追加された映像送信部185は、実施例1の情報処理装置100が備えていた画面表示部120の代わりに追加しているものであり、第一の実施形態の車載装置100では、画面表示部120により表示装置26に表示していたアプリケーションの画面を、映像データとして車載装置100aに送信するものである。車載装置100aの映像受信部885は、この映像データを受信するものであり、受信した映像データは、画面表示部820により表示装置88に表示される。この映像送信部185および映像受信部885は、例えば、ビデオカメラとテレビをHDMIケーブル等で接続
してビデオカメラの出力映像をテレビの画面に表示するなどの技術により、携帯電話端末20(すなわち、スマートフォン)の出力映像を車載装置100a(すなわち、カーナビゲーション装置)の画面に表示するためのものである。
The
本実施形態の携帯電話端末20の走行状態記憶部186は、車載装置100aから定期的に受信する走行状態を記憶するためのものである。
The traveling
本実施形態の車載装置100aが備える機器ID取得部884は、第一の実施形態の車載装置100が備えていた機器ID取得部184と同様の機能を有し、車載装置100aを識別する情報である機器IDを通信部875および通信部175を介してポリシー情報更新部160に通知するためのものである。
Device
本実施形態の車載装置100aが備える走行状態取得部882は、第一の実施形態の車載装置100が備えていた走行状態取得部182と同様に、車両の走行状態を取得するものであり、通信部875および通信部175を介して携帯電話端末20の走行状態記憶部186に通知するためのものである。
The traveling
アプリケーション500の操作イメージは、図8に示した第一の実施形態におけるアプリケーション500と同様である。また、ユーザーがメニュー画面121の動画視聴ボタン1212を押下してアプリケーション500の画面122が表示された際の、情報処理装置100において実行される走行中操作可否リスト220を作成する処理についても、図9ないし図11に示した第一の実施形態における車載装置100の処理の流れと同様である。
The operation image of the
また、ユーザーが画面122の音声操作開始ボタン1214を押下し、音声による操作を実行する処理の流れについても、基本的に図12ないし図14に示した第一の実施形態における車載装置100の処理の流れと同様である。ただし、本実施形態においては、図13のS1503における走行状態の取得は、携帯電話端末20の走行状態記憶部186が記憶している走行状態を参照することによりおこなう。
Further, regarding the flow of processing in which the user presses the voice
次に、図21を用いて参照した規制ルールおよび禁止単語リストをポリシー配信サーバから取得する処理について説明する。
図21は、本発明の第二の実施形態において、規制ルール230をポリシー配信サーバ300から取得する処理の流れを示すフローチャートである。
Next, a process for acquiring the restriction rule and the prohibited word list referred to with reference to FIG. 21 from the policy distribution server will be described.
FIG. 21 is a flowchart showing a flow of processing for acquiring the
基本的な流れは第一の実施形態の図15で示した処理の流れと同様であるが、図15において機器IDを取得していたS1601が無くなり、機器IDの取得は、車載装置100aの機器ID取得部884に対して機器ID取得要求を送信し、機器ID取得部884から車載装置100aの機器IDを受信することによりおこなう。以降の処理については、図15で示した処理の流れと同様である。
The basic flow is the same as the processing flow shown in FIG. 15 of the first embodiment, but S1601 that has acquired the device ID in FIG. 15 is eliminated, and the acquisition of the device ID is performed by the device of the in-
以上、本実施形態に示されるように、スマートフォンなどの携帯電話端末上で動作するアプリケーションの実行画面をカーナビゲーション装置の画面に表示して使用する形態のシステムにおいても、スマートフォンなどの携帯電話端末のアプリケーションを音声で操作する際に、走行中に実行することが好ましくない操作を制限することが可能となる。 As described above, as shown in the present embodiment, even in a system in which an execution screen of an application that operates on a mobile phone terminal such as a smartphone is displayed on the screen of a car navigation device, the mobile phone terminal such as a smartphone is used. When operating the application by voice, it is possible to limit operations that are not preferable to be performed during traveling.
〔実施形態3〕
以下、本発明の第三の実施形態に係る音声操作システムを、図22および図23を用いて説明する。
図22は、本発明の第三の実施形態に係る音声操作システムの全体構成図である。
図23は、本発明の第三の実施形態に係る携帯電話端末と車載装置のデータフローと機能構成を示した図である。
[Embodiment 3]
Hereinafter, a voice operation system according to the third embodiment of the present invention will be described with reference to FIGS. 22 and 23. FIG.
FIG. 22 is an overall configuration diagram of a voice operation system according to the third embodiment of the present invention.
FIG. 23 is a diagram showing a data flow and a functional configuration of the mobile phone terminal and the in-vehicle device according to the third embodiment of the present invention.
本実施形態の音声操作システムにおいても、第二の実施形態と同様に、近年急速に普及しているスマートフォン等の携帯電話端末で実行されるアプリケーションを音声で操作する際、走行中に実行することが好ましくない操作の実行を制限するものである。ただし、第二の実施形態は、スマートフォン等の携帯電話端末の出力映像をカーナビの画面に表示して使用する形態であるのに対して、本実施形態は、クレードル等を用いてスマートフォンを等の携帯電話端末を運転席に設置して使用する形態を想定したものである。 Also in the voice operation system of this embodiment, as in the second embodiment, when operating an application executed on a mobile phone terminal such as a smartphone that has been rapidly spreading in recent years by voice, it is executed while traveling Restricts the execution of undesirable operations. However, while the second embodiment is a form in which the output video of a mobile phone terminal such as a smartphone is displayed on the screen of a car navigation system, this embodiment uses a cradle or the like to It is assumed that the mobile phone terminal is used in the driver's seat.
本実施形態に係る音声操作システムの全体構成図も、図22に示されるように、第二の実施形態と同様、携帯電話端末20aと車載装置100bが、接続された構成であるが、車載装置100bの方が、基地局70を介してポリシー配信サーバと通信をおこなうことが異なっている。
As shown in FIG. 22, the overall configuration diagram of the voice operation system according to the present embodiment is a configuration in which the
以下、第一の実施形態との差異を中心に、本実施形態における携帯電話端末と車載装置のデータフローと機能構成について説明する。 Hereinafter, the data flow and functional configuration of the mobile phone terminal and the in-vehicle device in the present embodiment will be described focusing on the differences from the first embodiment.
本実施形態の全体構成は、図4に示した第一の実施形態の全体構成と比較して、携帯電話端末20aが追加されている。携帯電話端末20aは、アプリケーション制御部910、画面表示部920、および、車載装置10bと通信をおこなうための通信部977を備えている。
Compared with the overall configuration of the first embodiment shown in FIG. 4, the overall configuration of the present embodiment includes a
一方、車載装置10bは、第一の実施例の車載装置100と比較して、アプリケーション制御部110、画面表示部120が無くなり、携帯電話端末20aと通信をおこなうための通信部177が追加されている。
On the other hand, the in-vehicle device 10b has the
携帯電話端末20aが備えるアプリケーション制御部910、および、画面表示部920は、それぞれ、第一の実施形態の車載装置100におけるアプリケーション制御部110、および、画面表示部120に相当する。すなわち、第一の実施形態との差異は、第一の実施形態におけるアプリケーション制御部110、および画面表示部120を備える装置を、携帯電話端末20aの機能として分離している点である。このように分離した上で、車載装置10bと携帯電話端末20aの間でおこなわれる通信処理、すなわち、アプリケーション制御部910から走行中操作可否リスト作成部130へコマンドリスト210を送信する処理、走行中操作可否リスト作成部130からアプリケーション制御部910へ走行中操作可否リスト220を送信する処理、および、コマンド実行可否判定部150からアプリケーション制御部110へコマンド識別子を送信する処理を、通信部177および通信部977を介しておこなうようにしている。
The
以上、本実施形態に示されるように、スマートフォンなどの携帯電話端末をクレードルによって運転席に設置して使用するような形態においても、アプリケーションを音声で操作する際に、走行中に実行することが好ましくない操作を制限することが可能となる。 As described above, even in a form in which a mobile phone terminal such as a smartphone is installed in a driver's seat with a cradle and used as shown in the present embodiment, the application can be executed while traveling by voice. It becomes possible to limit an undesirable operation.
20,20a…携帯電話端末
100,100a,100b…車載装置
110…アプリケーション制御部
120…画面表示部
130…走行中操作可否リスト作成部
140…テキスト変換部
150…コマンド実行可否判定部
160…ポリシー情報更新部
170…通信部
175…通信部
177…通信部
181…音声入力部
182…走行状態取得部
183…ユーザーID取得部
184…機器ID取得部
185…映像送信部
186…走行状態記憶部
191…走行中操作可否リスト記録部
192…ポリシー情報記録部
210…コマンドリスト
220…走行中操作可否リスト
230…規制ルール
230a…規制ルールデータベース
240…禁止単語リスト
240a…禁止単語リストデータベース
250…機器情報データベース
260…ユーザー情報データベース
270…ポリシー情報取得要求
280…ポリシー情報
300…ポリシー配信装置
310…規制ルール選択部
320…地域判定部
330…規制ルール取得部
340…禁止単語リスト選択部
350…使用言語判定部
360…禁止単語リスト取得部
370…通信部
500…アプリケーション
820…画面表示部
875…通信部
882…走行状態取得部
884…機器ID取得部
885…映像受信部
910…アプリケーション制御部
920…画面表示部
977…通信部
20, 20a ...
Claims (18)
前記サーバは、
前記情報処理装置が動作する地域を判定する地域判定部と、
前記地域判定部により判定された地域に対応し、操作IDと操作可否を意味する規制ルールを取得する規制ルール取得部と、
前記情報処理装置に送信する規制ルールを選択する規制ルール選択部と、を備え、
前記情報処理装置は、
アプリケーションを実行するアプリケーション制御部と、
前記車両の走行状態を取得する走行状態取得部と、
前記サーバから規制ルールを受信する通信部と、を備え、
前記アプリケーション制御部は、所定の手順で前記アプリケーションの各操作に対応する操作IDを特定し、前記車両の走行状態と、規制ルールと、に基づき前記アプリケーションにおける各操作の実行可否を判断する制御を行うことを特徴とする情報処理システム。 An information processing system having an information processing device mounted on a vehicle and a server,
The server
An area determination unit for determining an area in which the information processing apparatus operates;
Corresponding to the region determined by the region determination unit, a regulation rule acquisition unit that acquires a regulation rule that means operation ID and operation availability ;
A regulation rule selection unit that selects a regulation rule to be transmitted to the information processing apparatus,
The information processing apparatus includes:
An application controller that executes the application;
A traveling state acquisition unit that acquires a traveling state of the vehicle;
A communication unit that receives a regulation rule from the server,
The application control unit performs control to identify an operation ID corresponding to each operation of the application in a predetermined procedure, and to determine whether or not each operation in the application can be executed based on a traveling state of the vehicle and a regulation rule. An information processing system characterized by performing.
前記規制ルール選択部は、デフォルトルールを前記情報処理装置に送信する規制ルールとして選択する、または、前記情報処理装置に規制ルール取得エラーを送信する、ことを特徴とする請求項1に記載の情報処理システム。 When the region where the information processing device operates cannot be determined by the region determination unit, or the restriction rule acquisition unit obtains a restriction rule corresponding to the region where the information processing device operates determined by the region determination unit. If you ca n’t get it,
The information according to claim 1, wherein the restriction rule selection unit selects a default rule as a restriction rule to be transmitted to the information processing apparatus, or transmits a restriction rule acquisition error to the information processing apparatus. Processing system.
ユーザが使用する言語を判定する使用言語判定部と、
前記使用言語判定部により判定された言語に対応する禁止単語リストを取得する禁止単語リスト取得部と、
前記情報処理装置に送信する禁止単語リストを選択する禁止単語リスト選択部と、をさらに備え、
前記通信部は、前記サーバから禁止単語リストを受信し、
前記アプリケーション制御部は、前記車両の走行状態と、規制ルールと、に加えて禁止単語リストに基づき、前記禁止単語リストを参照して前記アプリケーションの各操作に対応する前記操作IDを特定することにより、前記アプリケーションにおける各操作の実行可否を判断する制御を行うことを特徴とする請求項1に記載の情報処理システム。 The server
A use language determination unit for determining a language used by the user;
A prohibited word list acquisition unit that acquires a prohibited word list corresponding to the language determined by the language used determination unit;
A prohibited word list selection unit that selects a prohibited word list to be transmitted to the information processing apparatus,
The communication unit receives a forbidden word list from the server,
The application control unit identifies the operation ID corresponding to each operation of the application with reference to the prohibited word list based on the prohibited word list in addition to the driving state of the vehicle and the regulation rule. The information processing system according to claim 1 , wherein control is performed to determine whether or not each operation in the application can be executed.
前記禁止単語リスト選択部は、前記情報処理装置に禁止単語リスト取得エラーを送信することを特徴とする請求項5に記載の情報処理システム。 When the use language determination unit could not determine the user's use language, or when the prohibited word list acquisition unit could not acquire the prohibited word list,
The information processing system according to claim 5, wherein the prohibited word list selection unit transmits a prohibited word list acquisition error to the information processing apparatus.
当該操作を示す名称が禁止単語リストに含まれる禁止単語と対応する場合であって、対応する禁止単語を示す識別情報が、規制ルールにおいて走行中の動作が規制される操作を示す識別情報と対応している場合に、前記車両の走行状態が走行中の当該操作の実行を不可と判断する制御であることを特徴とする請求項5に記載の情報処理システム。 Control by the application control unit to determine whether or not each operation in the application can be executed is for each operation of the application.
In a case where Name indicating the operation corresponds prohibited words included in the prohibited word list, identification information indicating the inhibited word corresponding is, the identification information indicating the operation of the operation during running at the restriction rule is regulated The information processing system according to claim 5, wherein when the vehicle is compatible, the vehicle is in a control that determines that the operation of the vehicle is not allowed to be performed while the vehicle is traveling.
前記サーバは、
前記情報処理装置が動作する地域を判定する地域判定処理と、
前記地域判定処理により判定された地域に対応し、操作IDと操作可否を意味する規制ルールを取得する規制ルール取得処理と、
前記情報処理装置に送信する規制ルールを選択する規制ルール選択処理と、を実行し、
前記情報処理装置は、
アプリケーションを実行するアプリケーション制御処理と、
前記車両の走行状態を取得する走行状態取得処理と、
前記サーバから規制ルールを受信する通信処理と、を実行し、
前記アプリケーション制御処理において前記情報処理装置は、所定の手順で前記アプリケーションの各操作に対応する操作IDを特定し、前記車両の走行状態と、規制ルールと、に基づき前記アプリケーションにおける各操作の実行可否を判断する制御を実行することを特徴とする情報処理方法。 An information processing method between an information processing device mounted on a vehicle and a server,
The server
An area determination process for determining an area in which the information processing apparatus operates;
A regulation rule acquisition process that corresponds to the area determined by the area determination process and acquires an operation ID and a regulation rule that indicates whether the operation is possible or not ,
A restriction rule selection process for selecting a restriction rule to be transmitted to the information processing apparatus,
The information processing apparatus includes:
Application control processing to execute the application;
A driving state acquisition process for acquiring the driving state of the vehicle;
And a communication process for receiving a regulation rule from the server,
In the application control process, the information processing apparatus identifies an operation ID corresponding to each operation of the application in a predetermined procedure, and whether or not each operation in the application can be executed based on the traveling state of the vehicle and the regulation rule. An information processing method characterized by executing a control for determining.
前記規制ルール選択処理において前記サーバは、デフォルトルールを前記情報処理装置に送信する規制ルールとして選択する、または、前記情報処理装置に規制ルール取得エラーを送信する、ことを特徴とする請求項10に記載の情報処理方法。 When the region where the information processing device operates cannot be determined by the region determination processing, or the restriction rule corresponding to the region where the information processing device operates determined by the region determination processing is If you ca n’t get it,
11. The server according to claim 10, wherein in the restriction rule selection process, the server selects a default rule as a restriction rule to be transmitted to the information processing apparatus, or transmits a restriction rule acquisition error to the information processing apparatus. The information processing method described.
ユーザが使用する言語を判定する使用言語判定処理と、
前記使用言語判定処理により判定された言語に対応する禁止単語リストを取得する禁止単語リスト取得処理と、
前記情報処理装置に送信する禁止単語リストを選択する禁止単語リスト選択処理と、をさらに実行し、
前記情報処理装置は、前記通信処理において、前記サーバから禁止単語リストを受信し、
前記情報処理装置は、前記車両の走行状態と、規制ルールと、に加えて禁止単語リストに基づき、前記禁止単語リストを参照して前記アプリケーションの各操作に対応する前記操作IDを特定することにより、前記アプリケーションにおける各操作の実行可否を判断する制御を実行することを特徴とする請求項10に記載の情報処理方法。 The server
Use language determination processing for determining the language used by the user;
A prohibited word list acquisition process for acquiring a prohibited word list corresponding to the language determined by the use language determination process;
A prohibited word list selection process for selecting a prohibited word list to be transmitted to the information processing apparatus, and
The information processing apparatus receives a prohibited word list from the server in the communication process,
The information processing apparatus identifies the operation ID corresponding to each operation of the application with reference to the prohibited word list based on the prohibited word list in addition to the traveling state of the vehicle and the regulation rule. The information processing method according to claim 10 , wherein control for determining whether each operation in the application is executable is executed.
前記禁止単語リスト選択処理において前記サーバは、前記情報処理装置に禁止単語リスト取得エラーを送信することを特徴とする請求項14に記載の情報処理方法。 When the language used by the user cannot be determined by the language used determination process, or when the prohibited word list cannot be acquired by the prohibited word list acquisition process,
The information processing method according to claim 14, wherein in the prohibited word list selection process, the server transmits a prohibited word list acquisition error to the information processing apparatus.
当該操作を示す名称が禁止単語リストに含まれる禁止単語と対応する場合であって、対応する禁止単語を示す識別情報が、規制ルールにおいて走行中の動作が規制される操作を示す識別情報と対応している場合に、前記車両の走行状態が走行中の当該操作の実行を不可と判断する制御であることを特徴とする請求項14に記載の情報処理方法。 The control for determining whether or not each operation in the application can be executed by the information processing apparatus is for each operation of the application.
In a case where Name indicating the operation corresponds prohibited words included in the prohibited word list, identification information indicating the inhibited word corresponding is, the identification information indicating the operation of the operation during running at the restriction rule is regulated The information processing method according to claim 14, wherein when the vehicle is in a corresponding state, the vehicle is in a state where the vehicle is in a state where the operation is not allowed to be performed while the vehicle is traveling.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203521A JP6129927B2 (en) | 2015-10-15 | 2015-10-15 | Information processing apparatus, voice operation system, and voice operation method of information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203521A JP6129927B2 (en) | 2015-10-15 | 2015-10-15 | Information processing apparatus, voice operation system, and voice operation method of information processing apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013003266A Division JP6029985B2 (en) | 2013-01-11 | 2013-01-11 | Information processing apparatus, operation system, and method of operating information processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016053966A JP2016053966A (en) | 2016-04-14 |
JP6129927B2 true JP6129927B2 (en) | 2017-05-17 |
Family
ID=55745251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015203521A Active JP6129927B2 (en) | 2015-10-15 | 2015-10-15 | Information processing apparatus, voice operation system, and voice operation method of information processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6129927B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106568459A (en) * | 2016-11-09 | 2017-04-19 | 珠海市魅族科技有限公司 | Processing method and device of notification messages |
KR102441067B1 (en) * | 2017-10-12 | 2022-09-06 | 현대자동차주식회사 | Apparatus and method for processing user input for vehicle |
JP2021089765A (en) * | 2021-02-15 | 2021-06-10 | 株式会社フジミック新潟 | Distracted driving prevention device and distracted driving prevention program |
CN116061820A (en) * | 2021-11-01 | 2023-05-05 | 华人运通(江苏)技术有限公司 | Control method, device and system of vehicle, mechanical arm and vehicle |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0916891A (en) * | 1995-07-03 | 1997-01-17 | Aqueous Res:Kk | Information input device on vehicle |
JP3384263B2 (en) * | 1996-11-20 | 2003-03-10 | 日産自動車株式会社 | Vehicle navigation system |
US6725155B1 (en) * | 1999-02-09 | 2004-04-20 | Sony Corporation | Method and apparatus for information processing, and medium for information processing |
JP3608740B2 (en) * | 2001-09-04 | 2005-01-12 | 株式会社ソニー・コンピュータエンタテインメント | Information processing system, terminal device, information processing method, information processing program, and computer-readable recording medium recording the information processing program |
JP2005241267A (en) * | 2004-02-24 | 2005-09-08 | Victor Co Of Japan Ltd | Vehicle-mounted route guidance system |
JP2007333851A (en) * | 2006-06-13 | 2007-12-27 | Oki Electric Ind Co Ltd | Speech synthesis method, speech synthesizer, speech synthesis program, speech synthesis delivery system |
JP4986583B2 (en) * | 2006-11-20 | 2012-07-25 | 株式会社沖データ | Image processing apparatus and image processing system |
US8527143B2 (en) * | 2010-10-29 | 2013-09-03 | Nissan North America, Inc. | Vehicle user interface system and method having location specific feature availability |
JP4969700B2 (en) * | 2011-12-07 | 2012-07-04 | 三菱電機株式会社 | Map display device |
-
2015
- 2015-10-15 JP JP2015203521A patent/JP6129927B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016053966A (en) | 2016-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6029985B2 (en) | Information processing apparatus, operation system, and method of operating information processing apparatus | |
US10528311B2 (en) | Display device | |
US9728187B2 (en) | Electronic device, information terminal system, and method of starting sound recognition function | |
US9285963B2 (en) | In-car information system, information terminal, and application execution method | |
US9684523B2 (en) | In-vehicle information system, information terminal, and application execution method | |
JP4839049B2 (en) | Information processing apparatus and display screen control method | |
JP6129927B2 (en) | Information processing apparatus, voice operation system, and voice operation method of information processing apparatus | |
US9846506B2 (en) | Display device | |
EP3025895B1 (en) | Information processing apparatus and execution management program | |
US9958286B2 (en) | Image display system, mobile terminal, server, non-transitory physical computer-readable medium | |
US8935408B2 (en) | Personal area network of devices and applications | |
JP2010146151A (en) | Road side device, in-vehicle unit, and road vehicle communication system, method and program | |
JP6553874B2 (en) | Map information system | |
JP6710460B2 (en) | Electronic device and music reproduction system | |
JP6178578B2 (en) | Information processing device | |
JP5831936B2 (en) | In-vehicle device system and in-vehicle device | |
JP6708359B2 (en) | Terminal | |
JP6723760B2 (en) | Navigation device, navigation method and program | |
JP2017046166A (en) | Information processing apparatus | |
JP6494748B2 (en) | Mobile navigation device | |
WO2018163321A1 (en) | Information processing device and information providing method | |
WO2007058238A1 (en) | Contents recording apparatus, contents recording method, contents recording program and computer readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160906 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6129927 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |