JP6483680B2 - 情報処理システム、及び、車載装置 - Google Patents

Description

本発明は、情報処理システム、及び、車載装置に関する。

本技術分野の背景技術として、特開２００５−３４６２５２号公報（特許文献１）がある。この公報には、「第１のユーザ端末２０１は通信ネットワークを介して事業者サーバ２０４に接続して、電子メールの本文を音声情報でこれに送出する。事業者サーバ２０４は音声情報をテキスト情報に変換し、この中で絵文字に変換されるべき情報を判別して、これらを絵文字に再変換する。第１のユーザ端末２０１のユーザはメール本分から宛先を判別し、たとえば第２のユーザ端末２０２に対して絵文字とテキストの混合された本文の電子メールを送出する。テレビ電話でも同様に音声情報がテキスト情報や絵文字に変換され画像に合成されて表示される。」と記載されている。

特開２００５−３０３３７２号公報

ここで、ユーザの発話に基づいて特定されたテキストに対応する絵文字は複数存在する場合があるが、特許文献１では、ユーザの発話に基づいて特定されたテキストが同じであれば、同じ絵文字に変換される。このため、例えば、ユーザは、今の気分によっていつもと違う絵文字をメールで送信することはできない。
そこで、本発明は、ユーザにとって利便性の高い情報処理システム、及び、車載装置を提供することを目的とする。

上記目的を達成するために、情報処理システムは、情報処理装置と、車両に搭載された車載装置と、を備える情報処理システムであって、前記車載装置は、音声を収音する収音部と、前記収音部で収音した音声に基づいて生成された音声データを前記情報処理装置に送信する送信部と、を有し、前記情報処理装置は、キーワードと、前記キーワードに対応する複数の絵文字を示す絵文字情報とを対応付けた絵文字対応情報を記憶する記憶部と、前記絵文字対応情報が有する前記キーワードの中から、前記音声データに基づく音声認識により生成された音声を示すテキストに対応する前記キーワードを選択し、選択した前記キーワードと対応付けられた複数の前記絵文字情報の中から、所定の条件に応じて、１の前記絵文字情報を選択する絵文字選択処理を実行する制御部と、を有し、前記情報処理装置の前記制御部は、前記音声データの送信元の前記車載装置が搭載された前記車両が走行中か否かを判別し、走行中の場合、前記絵文字選択処理を実行する一方、走行中でない場合、前記車載装置と通信し、選択した前記キーワードと対応付けられた複数の前記絵文字情報に対応する前記絵文字の中から、１の前記絵文字をユーザに選択させる処理を前記車載装置に実行させ、ユーザにより選択された１の前記絵文字に対応する１の前記絵文字情報を選択することを特徴とする。

本発明によれば、ユーザの利便性を高めることができる。

図１は、本実施形態に係る情報処理システムの構成を示す図である。 図２は、情報処理システムの機能ブロック図である。 図３は、情報処理システムを構成する各装置の動作を示すフローチャートである。 図４は、絵文字対応テーブルの一例を示す図である。 図５は、制御サーバの動作を示すフローチャートである。 図６は、制御サーバの動作を示すフローチャートである。 図７は、制御サーバの動作を示すフローチャートである。 図８は、車載装置に表示されるユーザインターフェイスの一例を示す図である。 図９は、第１テーブルを示す図である。 図１０は、第２テーブルを示す図である。 図１１は、第１の変形例に係る情報処理システムを示す図である。 図１２は、第２の変形例に係る情報処理システムを示す図である。

図１は、本実施形態に係る情報処理システム１の構成を示す図である。
図１に示すように、情報処理システム１は、車両２に搭載された車載装置３と、インターネットや、電話網等を含んで構成されたネットワーク６に接続された制御サーバ８（情報処理装置）と、を有する。

ネットワーク６には、音声認識サーバ７が接続される。詳細は後述するが、音声認識サーバ７は、制御サーバ８の要求に応じて、車両２内で収音された音声の音声データに基づいて、音声を示すテキストを生成する機能を有するサーバである。

車載装置３には、車両２に搭乗するユーザが所有する携帯端末４が、ブルートゥース（Bluetooth:登録商標）等の近距離無線通信で接続される。携帯端末４は、ネットワーク６に接続可能であり、車載装置３は、携帯端末４を介してネットワーク６にアクセスし、制御サーバ８等のネットワーク６に接続された機器と通信する。

携帯端末４は、ユーザが持ち運び可能な携帯型の端末であり、例えばスマートフォンやタブレット型端末等である。携帯端末４は、ネットワーク６に接続されたメッセンジャーサーバ９が提供するメッセージ送受信システム（データ送受信システム）を利用して、他人が所有する携帯端末である通信先携帯端末５との間で、いわゆるチャットの形態で、メッセージの送受信を実行可能である。以下の説明において、「１の端末から、他の端末にメッセージを送る」とは、当該１の端末が、メッセンジャーサーバ９が提供するメッセージ送受信システムを利用して、当該他の端末にメッセージに関する情報を送信し、当該他の端末にメッセージを表示可能な状態とすることをいう。

メッセージの送受信について詳述すると、携帯端末４、及び、通信先携帯端末５のそれぞれには、メッセージ送受信システムを利用するための専用のアプリケーション（以下、「専用アプリＡＰ」と表現する。）がインストールされる。

ユーザは、通信先携帯端末５にメッセージを送る場合、携帯端末４の専用アプリＡＰを立ち上げ、専用アプリＡＰの機能により提供されるユーザインターフェイスを利用して、メッセージを送る通信相手のユーザＩＤを入力する。ユーザＩＤとは、ユーザを識別するために、メッセージ送受信システム内で割り当てられた識別情報である。携帯端末４は、専用アプリＡＰの機能により、入力されたユーザＩＤを、メッセンジャーサーバ９に送信する。メッセンジャーサーバ９は、受信したユーザＩＤに基づいて、通信先携帯端末５を特定し、携帯端末４と通信先携帯端末５との間でメッセージの送受信を行える状態を確立する。

ユーザは、専用アプリＡＰの機能により提供されるユーザインターフェイスを利用して、メッセージを入力する。携帯端末４は、専用アプリＡＰの機能により、メッセージを含むデータをメッセンジャーサーバ９に送信し、メッセンジャーサーバ９は当該データを通信先携帯端末５に送信し、通信先携帯端末５は当該データに基づいて表示パネルにメッセージを表示する。

また、携帯端末４は、専用アプリＡＰの機能により、通信先携帯端末５からメッセンジャーサーバ９を介してメッセージを含むデータを受信した場合、当該データに基づいてメッセージを表示する。通信先携帯端末５との間で送受信したメッセージは、通信相手のユーザを特定する情報（ユーザＩＤであってもよく、ユーザの名前等の他の情報であってもよい。）と共に、専用アプリＡＰの機能によって提供される所定の画面に、時系列で、表示される。

ここで、携帯端末４は、メッセージとして、絵文字を送信する動作モード（以下、「絵文字送信モード」という。）を有する。本例において、「絵文字」とは、表示手段に表示可能な画像であって、後述する絵文字ＩＤが付与された画像を意味する。絵文字としては、例えば、人間の表情を表現したイラストに係る画像や、病院や学校等の施設を表現したイラストに係る画像、文字や記号に加工を加えた画像等がある。また、本例において、「テキスト」とは、文字コードが付与された文字、記号を意味する。動作モードが絵文字送信モードの場合、携帯端末４は、メッセージとして絵文字を送信し、また、送信した絵文字を所定の画面に表示する。

以上の構成の下、本実施形態に係る情報処理システム１は、以下の処理の実行を可能とする。すなわち、情報処理システム１は、携帯端末４を所有するユーザが、車両２に搭乗し、車両２を運転している場合に、携帯端末４を操作することなく、メッセージを発話することにより、通信先携帯端末５に対してメッセージを送信することを可能とする。特に、情報処理システム１は、動作モードが絵文字送信モードである場合に、ユーザが携帯端末４を操作することなく、絵文字を表す音声を発話することにより、通信先携帯端末５にメッセージとしての絵文字を送信することを可能とする。その際、情報処理システム１は、発話された音声に対応する絵文字が、複数、存在する場合、的確な１の絵文字を選択する処理を行う。以下、情報処理システム１を構成する各装置の構成、及び、動作について詳述する。

図２は、本実施形態に係る情報処理システム１の機能ブロック図である。

図２に示すように、車載装置３は、制御部３１と、記憶部３２と、タッチパネル３３と、操作部３４と、車両情報取得部３５と、収音部３６と、通信部３７と、を備える。

制御部３１は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他の制御回路等を備え、車載装置３の各部を制御する。制御部３１は、制御プログラムを実行することによって、後述する走行判別部３１１として機能する。

記憶部３２は、ハードディスクや、ＥＥＰＲＯＭ等の不揮発性メモリーを備え、データを書き換え可能に記憶する。

タッチパネル３３は、表示パネル３３ａと、タッチセンサー３３ｂとを備える。表示パネル３３ａは、液晶ディスプレイやＥＬ（Electro Luminescent）ディスプレイ等のパネルを有し、制御部３１の制御の下、各種情報を表示パネル３３ａに表示する。タッチセンサー３３ｂは、表示パネル３３ａに重ねて配置され、ユーザのタッチ操作を検出し、制御部３１に出力する。

車両情報取得部３５は、車載装置３を搭載した車両２の状態に関する車両信号を取得し、制御部３１に出力する。車両信号には、少なくとも車両２の走行速度を示す車速パルス信号、及び、車両２のパーキングブレーキの状態を示すパーキングブレーキ信号が含まれる。制御部３１の走行判別部３１１は、車両情報取得部３５から入力された車両信号に基づいて、車両２が停車中か否かを判別する。本実施形態で、「停車」とは、車両２が走行しておらず、かつ、パーキングブレーキによるブレーキが有効な状態をいう。このような状態の場合、運転手たるユーザは、タッチパネル３３の操作を行うことが可能である。

収音部３６は、マイクに接続され、ユーザが発話した音声をマイクによって収音し、収音した音声に基づいて音声データを生成し、生成した音声データを制御部３１に出力する。

通信部３７は、制御部３１の制御の下、ブルートゥース等の近距離無線通信に係る通信規格に従って、携帯端末４と通信リンクを確立し、携帯端末４と通信する。本実施形態では、制御部３１と、通信部３７とが共同して、「送信部」として機能する。

図２に示すように、携帯端末４は、端末制御部４０と、タッチパネル４１と、端末記憶部４２と、近距離無線通信部４３と、ネットワーク通信部４４と、を備える。

端末制御部４０は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他の周辺回路等を備え、携帯端末４の各部を制御する。

タッチパネル４１は、端末制御部４０の制御で各種情報を表示し、また、ユーザによるタッチ操作を検出して端末制御部４０に出力する。

端末記憶部４２は、不揮発性メモリーを備え、各種データを記憶する。上述したように、携帯端末４には専用アプリＡＰがインストールされており、端末記憶部４２には、専用アプリＡＰが記憶される。

近距離無線通信部４３は、端末制御部４０の制御の下、所定の近距離無線通信に係る通信規格に従って、車載装置３との間で通信リンクを確立し、当該通信規格に従って、車載装置３と通信する。

ネットワーク通信部４４は、端末制御部４０の制御の下、所定の通信規格に従って、ネットワーク６に接続された機器と通信する。

図２に示すように、制御サーバ８は、サーバ制御部８１（制御部）と、サーバ記憶部８２（記憶部）と、サーバ通信部８３と、を備える。

サーバ制御部８１は、ＣＰＵや、ＲＯＭ、ＲＡＭ、その他の周辺回路等を備え、制御サーバ８の各部を制御する。サーバ制御部８１は、サーバ記憶部８２が記憶する制御プログラムを実行することにより、絵文字選択部８１１として機能する。絵文字選択部８１１については、後述する。

サーバ通信部８３は、サーバ制御部８１の制御の下、所定の通信規格に従って、ネットワーク６に接続された機器と通信する。

サーバ記憶部８２は、サーバ制御部８１が実行する制御プログラムや、サーバ制御部８１が処理するデータを記憶する。サーバ制御部８１は、絵文字対応テーブル８２ａ（絵文字対応情報）を記憶する。絵文字対応テーブル８２ａについては、後述する。

図２に示す音声認識サーバ７は、後述するように、ユーザが発話した音声に基づいて生成された音声データに基づいて、音声を示すテキストを生成する機能を有するサーバである。

図２に示すメッセンジャーサーバ９は、上述したメッセージ送受信システムを提供する機能を有するサーバである。

制御サーバ８、音声認識サーバ７、及び、メッセンジャーサーバ９は、必ずしも単一のサーバ装置でなくてもよく、複数のサーバ装置によって構成されるものであってもよく、所定のシステムの一部の機能によって実現されるものであってもよい。

次に、携帯端末４を所有するユーザが車両２に搭乗し、車両２の中で、絵文字を表す音声を発話することにより、当該絵文字をメッセージとして通信先携帯端末５に送信する場合の、各装置の動作について説明する。

なお、図２は、本願発明を理解容易にするために、情報処理システム１の各装置の機能構成を主な処理内容に応じて分類して示した概略図であり、各装置の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。
また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
また、各構成要素の処理は、１つのプログラムで実現されてもよいし。複数のプログラムで実現されてもよい。
また、制御サーバ８のサーバ制御部８１が備える各機能ブロックは、例えば、サーバ記憶部８２に記憶されている所定のプログラムをＲＡＭ等にロードして、サーバ制御部８１が備えるＣＰＵで実行することで実現可能である。

図３は、情報処理システム１を構成する各装置の動作を示すフローチャートであり、（Ａ）は車載装置３の動作を示し、（Ｂ）は携帯端末４の動作を示し、（Ｃ）は制御サーバ８の動作を示し、（Ｄ）は音声認識サーバ７の動作を示し、（Ｅ）はメッセンジャーサーバの動作を示し、（Ｆ）は通信先携帯端末５の動作を示す。

ここで、車載装置３には、携帯端末４にインストールされた専用アプリＡＰに対応したアプリケーション（以下、「対応アプリＴＰ」と表現する。）がインストールされている。車載装置３の対応アプリＴＰは、携帯端末４の専用アプリＡＰと通信して、専用アプリＡＰが携帯端末４のタッチパネル４１に表示させている画面の描画データを取得し、描画データに基づいて、車載装置３のタッチパネル３３の一部に、対応する画像を表示する。対応アプリＴＰの当該機能により、専用アプリＡＰの機能によって携帯端末４のタッチパネル４１に表示される画面と、車載装置３のタッチパネル３３に表示される画面とが同期し、各装置の画面が対応するものとなり、また、携帯端末４側の画面に変化があった場合は、車載装置３側の画面も対応して変化する。従って、専用アプリＡＰの機能により、携帯端末４のタッチパネル４１に、通信先携帯端末５との間で送受信したメッセージが時系列で一覧的に表示される画面が表示されている場合は、車載装置３のタッチパネル３３に対応する画面が表示され、携帯端末４側の画面に新たなメッセージが追加して表示された場合は、車載装置３側の画面に対応して新たなメッセージが追加して表示される。

図３のフローチャートが示す動作の開始時点では、以下のことを前提とする。

すなわち、携帯端末４の専用アプリＡＰが立ち上げられると共に、車載装置３の対応アプリＴＰが立ち上げられる。そして、専用アプリＡＰと、対応アプリＴＰとの間で所定のプロトコルに従ったコネクションが確立され、これらアプリケーション間で非同期でデータの送受信が行える状態が確立されていることを前提とする。上述したように、専用アプリＡＰの立ち上げに際し、ユーザは、通信相手のユーザＩＤ（本例では、通信先携帯端末５のユーザのユーザＩＤ）を入力する。

また、動作モードが、上述した絵文字送信モードであることを前提とする。

図３（Ａ）に示すように、車載装置３の制御部３１は、対応アプリＴＰの機能により、収音部３６から音声データの入力があったか否かを監視する（ステップＳＡ１）。上述したように、ユーザが発話した場合、収音部３６に接続されたマイクにより発話に基づく音声が収音される。そして、収音部３６は、収音された音声に基づいて音声データを生成し、生成した音声データを制御部３１に出力する。

収音部３６から音声データの入力があった場合（ステップＳＡ１：ＹＥＳ）、制御部３１は、走行判別部３１１の判別結果に基づいて、車両２が停車しているか否かを判別する（ステップＳＡ２）。上述したように、本実施形態で、「停車」とは、車両２が走行しておらず、かつ、パーキングブレーキによるブレーキが有効な状態をいう。このような状態の場合、運転手たるユーザは、タッチパネル３３の操作を行うことが可能である。

次いで、制御部３１は、対応アプリＴＰの機能により、通信部３７を制御して、車両２が停車している状態か否かを示す走行状態情報、及び、入力された音声データを、携帯端末４に送信する（ステップＳＡ３）。

図３（Ｂ）に示すように、携帯端末４の端末制御部４０は、近距離無線通信部４３を制御して、走行状態情報、及び、音声データを受信する（ステップＳＢ１）。

次いで、端末制御部４０は、専用アプリＡＰの機能により、ユーザにより事前に入力された通信相手のユーザＩＤを取得する（ステップＳＢ２）。

次いで、端末制御部４０は、専用アプリＡＰの機能により、ネットワーク通信部４４を制御して、ステップＳＢ１で受信した走行状態情報、及び、音声データと、ステップＳＢ２で取得したユーザＩＤとを、制御サーバ８に送信する（ステップＳＢ３）。なお、車載装置３に係る対応アプリＴＰは、制御サーバ８のアドレス等、制御サーバ８と通信するために必要な情報を管理しており、専用アプリＡＰに事前に通知する。専用アプリＡＰは、事前に通知された情報に基づいて、制御サーバ８との間で所定の通信規格に従ってコネクションを確立し、コネクションを介して制御サーバ８にデータを送信する。

図３（Ｃ）に示すように、制御サーバ８のサーバ制御部８１は、サーバ通信部８３を制御して、走行状態情報、音声データ、及び、ユーザＩＤを受信する（ステップＳＣ１）。

次いで、サーバ制御部８１は、受信した音声データを含み、当該音声データに係る音声をテキスト化することを要求するテキスト化要求データを生成し、サーバ通信部８３を制御して、音声認識サーバ７に送信する（ステップＳＣ２）。なお、サーバ制御部８１は、音声認識サーバ７と通信するために必要な情報を管理しており、当該サーバとの間で所定の通信規格に従ってコネクションを確立し、コネクションを利用してテキスト化要求データを送信する。

図３（Ｄ）に示すように、音声認識サーバ７は、テキスト化要求データを受信する（ステップＳＤ１）。

次いで、音声認識サーバ７は、テキスト化要求データに含まれる音声データに基づいて、音声データに係る音声をテキスト化し、音声を示すテキスト（以下、「音声テキスト」という。）が記述されたテキストデータ（以下、「音声テキストデータ」という。）を生成する（ステップＳＤ２）。

ここで、音声テキストデータの生成に際し、本実施形態に係る音声認識サーバ７は、音声データに基づく音声認識を行い、音声認識の結果に基づいて、認識の確度が高い順に（＝認識誤りの可能性が低い順に）、音声テキストとして５つの候補を生成し、順番に音声テキストデータに記述する。従って、音声テキストデータには、音声認識の確度が高い順番で、５つの音声テキストが記述される。

なお、音声データに係る音声のテキスト化は、既存の全ての技術を利用可能であり、どのような方法で行われてもよい。

次いで、音声認識サーバ７は、生成した音声テキストデータを制御サーバ８に送信する（ステップＳＤ３）。

なお、本実施形態では、音声データから音声テキストデータへの変換を、音声認識サーバ７が実行する構成である。しかしながら、制御サーバ８に当該変換を実行する機能を設け、制御サーバ８が、単独で、当該変換を実行する構成であってもよい。

図３（Ｃ）に示すように、制御サーバ８のサーバ制御部８１は、サーバ通信部８３を制御して、音声テキストデータを受信する（ステップＳＣ３）。

次いで、サーバ制御部８１の絵文字選択部８１１は、キーワード特定処理を実行する（ステップＳＣ４）。以下、キーワード特定処理について詳述する。

キーワード特定処理とは、音声テキストデータに記述された音声テキストに基づいて、対応する後述する認識キーワード（キーワード）を特定し、特定した認識キーワードに対応する後述する絵文字ＩＤ（絵文字情報）を特定する処理である。以下、キーワード特定処理において、認識キーワードを特定する方法として、３つの方法を例示する。

＜認識キーワードを特定する第１の方法（第１特定方法）＞
図４（Ａ）は、第１特定方法で認識キーワードを特定する場合に使用する絵文字対応テーブル８２ａ（以下、「第１絵文字対応テーブルＥ１」と表現する。）を示す図である。

図４（Ａ）に示すように、第１絵文字対応テーブルＥ１の１件のレコードは、認識キーワードを格納する認識キーワードフィールドＦＡ１と、絵文字ＩＤを格納する絵文字ＩＤフィールドＦＡ２とを有する。

認識キーワードとは、絵文字を言語によって表現した場合に、その言語を示すテキストのことである。すなわち、認識キーワードとは、絵文字を表すテキストである。例えば、学校が模された絵文字であり、視認したときに「学校」を連想させる絵文字については、認識キーワードとして、「がっこう（学校）」が設定される。事前に、絵文字ごとに、適切な１の認識キーワードが設定される。

絵文字ＩＤとは、絵文字を識別するために、絵文字ごとに割り振られた識別情報である。

第１絵文字対応テーブルＥ１のそれぞれのレコードでは、対応関係にある認識キーワードと、絵文字ＩＤとが対応付けられる。ここで、１つの認識キーワードに対応する絵文字ＩＤは、複数、存在する場合がある。これは、ユーザが絵文字を表す音声を発話した場合、対応する絵文字の候補が、複数、存在する場合があることを意味する。例えば、図４（Ａ）の１件目のレコードＲＡ１の認識キーワードは、「りょうかい（了解）」であるが、当該認識キーワードに対応する絵文字ＩＤは、「ｓｔａｍｐ１」、「ｓｔａｍｐ２」、「ｓｔａｍｐ３」、及び、「ｓｔａｍｐ４」の４つである。

第１絵文字対応テーブルＥ１は、後述する第２絵文字対応テーブルＥ２と比較して、以下の特徴がある。すなわち、第１絵文字対応テーブルＥ１の認識キーワードフィールドＦＡ１には、音声認識の誤りが反映されたテキストを示す認識キーワードは格納されない。例えば、「りょうかい（了解）」に対応する絵文字が存在する場合において、当該絵文字をメッセージとして送信すべく、「りょうかい（了解）」と発話した場合、音声認識の結果、認識の誤りに起因して、「とうかい（東海）」等の「りょうかい（了解）」とは異なるテキストが生成される可能性がある。そして、第１絵文字対応テーブルＥ１では、後述する第２絵文字対応テーブルＥ２とは異なり、「とうかい（東海）」のような音声認識の誤りを反映したテキストを示す認識キーワードは、認識キーワードフィールドＦＡ１に格納されない。つまり、認識キーワードフィールドＦＡ１に格納される認識キーワードは、絵文字のそれぞれを表す認識キーワードのみである。

図５は、第１特定方法で、認識キーワードを特定する際の、絵文字選択部８１１の動作を示すフローチャートである。
第１特定方法において、絵文字選択部８１１は、音声テキストデータに記述された音声テキストのうち、１番目に記述された認識の確度の高い音声テキスト（以下、「第１音声テキスト」という。）を使用して、対応する１の認識キーワードを特定する。以下、図５のフローチャートを用いて詳述する。

図５に示すように、絵文字選択部８１１は、第１絵文字対応テーブルＥ１の１件目のレコードを処理対象のレコードとして取得し、所得したレコードの認識キーワードフィールドＦＡ１に格納された認識キーワードを取得する（ステップＳＧ１）。

絵文字選択部８１１は、取得した認識キーワードと、第１音声テキストとの文字列比較を行い、一致するか否かを判別する（ステップＳＧ２）。

一致する場合（ステップＳＧ２：ＹＥＳ）、絵文字選択部８１１は、一致した認識キーワードを、音声テキストに対応する認識キーワードとして特定し（ステップＳＧ３）、処理を終了する。

一致しない場合（ステップＳＧ２：ＮＯ）、絵文字選択部８１１は、第１音声テキストと、取得した認識キーワードとの発音記号列の距離を算出する（ステップＳＧ４）。発音記号列の距離とは、その値が小さければ小さいほど、対象となった２つのテキストの音声が近似している関係となる数値である。

以下、第１音声テキストが「あいうえお」であり、認識キーワードが「かいうえお」であるとして、発音記号列の距離の算出方法について説明する。

まず、絵文字選択部８１１は、第１音声テキスト、及び、認識キーワードを、発音記号列に変換する。本例の場合、絵文字選択部８１１は、第１音声テキストについて「ａｉｕｅｏ」と変換し、認識キーワードについて「ｋａｉｕｅｏ」と変換する。

次いで、絵文字選択部８１１は、第１音声テキストに係る発音記号列と、認識キーワードに係る発音記号列との比較に基づいて、これらテキストの編集距離を算出する。編集距離とは、２つの発音記号列の距離を算出する手法の１つである。一方の発音記号列を構成する「音素」に対して最小の削除、挿入、置換を行って、他方の発音記号列と同一の発音記号列とする場合に、行われる削除、挿入、置換の回数が、編集距離である。なお、編集距離の算出に関し、発音記号列を構成するアルファベットのそれぞれが「音素」に該当し、例えば、「ａｉｕ」という発音記号列については、「ａ」「ｉ」、及び、「ｕ」のそれぞれが「音素」である。

第１音声テキストに係る発音記号列「ａｉｕｅｏ」と、認識キーワードに係る「ｋａｉｕｅｏ」との比較に基づく編集距離の算出は、以下のようにして行われる。すなわち、認識キーワードに係る発音記号列の先頭の音素「ｋ」を削除することにより、認識キーワードに係る発音記号列を、第１音声テキストに係る発音記号列とすることができる。従って、第１音声テキストと、認識キーワードとの編集距離は、「１」である。なお、編集距離の算出に際し、認識誤りの発生しやすさを反映した補正を行ってもよい。

次いで、絵文字選択部８１１は、算出した編集距離を、認識キーワードに係る発音記号列の音素の数で割った値を算出する。ここで算出された値が、「発音記号列の距離」である。本例において、第１音声テキストと、認識キーワードとの編集距離の値は「１」であるため、「１」を、認識キーワードの音素の数である「６」で割った値「０．１７」（≒１／６）が、これらテキストの発音記号列の距離となる。

ステップＳＧ４で発音記号列の距離を算出し後、絵文字選択部８１１は、算出した値を、取得した認識キーワードと対応づけて所定の記憶領域に記憶する（ステップＳＧ５）。

次いで、絵文字選択部８１１は、第１絵文字対応テーブルＥ１に、処理対象となっていないレコードが残っているか否かを判別する（ステップＳＧ６）。

処理対象となっていないレコードが残っている場合（ステップＳＧ６：ＹＥＳ）、絵文字選択部８１１は、処理対象としたレコードの次のレコードを処理対象として取得し、取得したレコードの認識キーワードフィールドＦＡ１に格納された認識キーワードを取得し（ステップＳＧ７）、処理手順をステップＳＧ２へ移行する。

一方、処理対象となっていないレコードが残っていない場合（ステップＳＧ６：ＮＯ）、絵文字選択部８１１は、以下の処理を実行する（ステップＳＧ８）。なお、処理対象となっていないレコードが残っていない場合、第１絵文字対応テーブルＥ１に、第１音声テキストと文字列が一致する認識キーワードが存在しない。

ステップＳＧ８で、絵文字選択部８１１は、第１絵文字対応テーブルＥ１に格納された認識キーワードのそれぞれに対応してステップＳＧ４で算出した発音記号列の距離を取得し、最も値の小さい発音記号列の距離に対応する認識キーワードを、音声テキストに対応する認識キーワードとして特定し、処理を終了する。ステップＳＧ８で、絵文字選択部８１１は、認識キーワードのうち、第１音声テキストと音声が最も近似するものを選択し、特定している。

以上のように、第１特定方法では、絵文字選択部８１１は、第１絵文字対応テーブルＥ１に第１音声テキストと文字列が一致する認識キーワードがあれば、その認識キーワードを特定する。一方、一致する認識キーワードがない場合、認識キーワードの中から、第１音声テキストに最も音声が近似する認識キーワードを特定する。これにより、ユーザが発話した音声に対応する認識キーワードを高い確度で選択し、特定できる。

絵文字選択部８１１は、さらに、第１絵文字対応テーブルＥ１において、特定した認識キーワードと対応付けられた絵文字ＩＤを特定する。上述したように、対応する絵文字ＩＤは、複数、存在する場合がある。

＜認識キーワードを特定する第２の方法（第２特定方法）＞
次に、認識キーワードを特定する第２の方法（第２特定方法）について説明する。

図４（Ｂ）は、第２特定方法で認識キーワードを特定する場合に使用する絵文字対応テーブル８２ａ（以下、「第２絵文字対応テーブルＥ２」と表現する。）を示す図である。

図４（Ｂ）に示すように、第２絵文字対応テーブルＥ２の１件のレコードは、認識キーワードフィールドＦＢ１と、絵文字ＩＤフィールドＦＢ２と、絵文字有無フィールドＦＢ３と、選択絵文字フィールドＦＢ４と、を備える。

認識キーワードフィールドＦＢ１は、認識キーワードが格納されるフィールドである。ここで、第２絵文字対応テーブルＥ２に格納される認識キーワードは、第１絵文字対応テーブルＥ１に格納される認識キーワードと比較して、以下の特徴がある。すなわち、第２絵文字対応テーブルＥ２の認識キーワードフィールドＦＢ１には、音声認識の誤りが反映されたテキストを示す認識キーワードが格納される。例えば、ユーザが発話した「りょうかい（了解）」に基づく音声データに基づいて音声認識した場合に、音声認識の誤りの結果、「とうかい（東海）」や、「きょうかい（教会）」、「けいかい（警戒）」、「しょうかい（紹介）」がテキストとして生成される可能性がある場合、これらテキストも、認識キーワードとして、認識キーワードフィールドＦＢ１に格納される。なお、音声認識の誤りを反映した認識キーワードは、事前のテストや、シミュレーションの結果等を踏まえて、適切に設定される。

以下、音声認識の誤りが反映されていない認識キーワードを「主認識キーワードＫＷ１」と表現し、音声認識の誤りが反映された認識キーワードを「副認識キーワードＫＷ２」と表現する。

第２絵文字対応テーブルＥ２の絵文字ＩＤフィールドＦＢ２には、対応する認識キーワードフィールドＦＢ１に格納された認識キーワードが、主認識キーワードＫＷ１である場合に、主認識キーワードＫＷ１に対応する１又は複数の絵文字ＩＤが格納される。なお、対応する認識キーワードフィールドＦＢ１に格納された認識キーワードが、副認識キーワードＫＷ２である場合、絵文字ＩＤフィールドＦＢ２には、絵文字ＩＤは格納されず、ヌルデータとされる。

絵文字有無フィールドＦＢ３には、対応する絵文字が存在するか否かを示す情報が格納される。図４（Ｂ）の例では、「〇」が対応する絵文字が存在することを示す情報であり、「×」が対応する絵文字が存在しないことを示す情報である。対応する認識キーワードフィールドＦＢ１に格納された認識キーワードが、主認識キーワードＫＷ１である場合、絵文字有無フィールドＦＢ３に、対応する絵文字が存在することを示す情報が格納される。対応する認識キーワードフィールドＦＢ１に格納された認識キーワードが、副認識キーワードＫＷ２である場合、絵文字有無フィールドＦＢ３に、対応する絵文字が存在しないことを示す情報が格納される。

選択絵文字フィールドＦＢ４には、対応する認識キーワードフィールドＦＢ１に格納された認識キーワードが副認識キーワードＫＷ２である場合に、対応する主認識キーワードＫＷ１が格納される。副認識キーワードＫＷ２に対応する主認識キーワードＫＷ１とは、副認識キーワードＫＷ２に施した誤りを反映していない認識キーワードのことである。

図６は、第２特定方法で、認識キーワードを特定する際の、絵文字選択部８１１の動作を示すフローチャートである。

第２特定方法において、絵文字選択部８１１は、上述した第１特定方法と同様、第１音声テキストを使用して、対応する１の認識キーワードを特定する。以下、図６のフローチャートを用いて詳述する。

図６に示すように、絵文字選択部８１１は、第２絵文字対応テーブルＥ２の１件目のレコードを処理対象のレコードとして取得し、取得したレコードの認識キーワードフィールドＦＢ１に格納された認識キーワードを取得する（ステップＳＨ１）。

次いで、絵文字選択部８１１は、取得した認識キーワードと、第１音声テキストとの文字列比較を行い、一致するか否かを判別する（ステップＳＨ２）。

一致する場合（ステップＳＨ２：ＹＥＳ）、絵文字選択部８１１は、処理対象のレコードの絵文字有無フィールドＦＢ３を参照し、対応する絵文字が存在するか否かを判別する（ステップＳＨ３）。対応する絵文字が存在する場合（ステップＳＨ３：ＹＥＳ）、換言すれば、取得した認識キーワードが主認識キーワードＫＷ１である場合、絵文字選択部８１１は、取得した認識キーワードを、第１音声テキストに対応する認識キーワードとして特定する（ステップＳＨ４）。

一方、ステップＳＨ３で、対応する絵文字が存在しないと判別した場合（ステップＳＨ３：ＮＯ）、換言すれば、取得した認識キーワードが副認識キーワードＫＷ２である場合、絵文字選択部８１１は、選択絵文字フィールドＦＢ４を参照し、当該フィールドに格納された認識キーワード（＝対応する主認識キーワードＫＷ１）を、第１音声テキストに対応する認識キーワードとして特定する（ステップＳＨ５）。

ステップＳＨ２で、一致しないと判別した場合（ステップＳＨ２：ＮＯ）、絵文字選択部８１１は、第２絵文字対応テーブルＥ２に、処理対象となっていないレコードが残っているか否かを判別する（ステップＳＨ６）。

処理対象となっていないレコードが残っている場合（ステップＳＨ６：ＹＥＳ）、絵文字選択部８１１は、処理対象としたレコードの次のレコードを処理対象として取得し、取得したレコードの認識キーワードフィールドＦＢ１に格納された認識キーワードを取得し（ステップＳＨ７）、処理手順をステップＳＨ２へ移行する。

一方、処理対象となっていないレコードが残っていない場合（ステップＳＨ６：ＮＯ）、絵文字選択部８１１は、以下の処理を実行する（ステップＳＨ８）。なお、処理対象となっていないレコードが残っていない場合、第２絵文字対応テーブルＥ２に、第１音声テキストと文字列が一致する認識キーワードが存在しない。ステップＳＨ８で、絵文字選択部８１１は、上述した方法で、認識キーワードフィールドＦＢ１に格納された主認識キーワードＫＷ１のうち、第１音声テキストに音声が最も近似するものを選択し、選択した主認識キーワードＫＷ１を、第１音声テキストに対応する認識キーワードとして特定する。

絵文字選択部８１１は、さらに、第２絵文字対応テーブルＥ２において、特定した認識キーワードと対応付けられた絵文字ＩＤを特定する。上述したように、対応する絵文字ＩＤは、複数、存在する場合がある。

以上、第２特定方法について説明したが、この方法によれば、使用する第２絵文字対応テーブルＥ２のデータ量が、第１特定方法で使用する第１絵文字対応テーブルＥ１よりも大きい。また、副認識キーワードＫＷ２を認識キーワードフィールドＦＢ１に格納する必要があるため、第２特定方法で使用する第２絵文字対応テーブルＥ２は、第１特定方法で使用する第１絵文字対応テーブルＥ１と比較して、生成に労力を要する。一方で、第２特定方法によれば、第１特定方法と比較して、発音記号列の距離の値の算出、算出した値の比較等の、第１音声テキストに近似する認識キーワードを選択する処理を行わなくてよい確率が高く、処理効率が良い。

＜認識キーワードを特定する第３の方法（第３特定方法）＞
次に、認識キーワードを特定する第３の方法（第３特定方法）について説明する。

第３特定方法で、絵文字選択部８１１は、絵文字対応テーブル８２ａとして、図４（Ａ）の第１絵文字対応テーブルＥ１を使用する。また、第３特定方法で、絵文字選択部８１１は、音声テキストに認識の確度の高い順番で記述される５つの音声テキストを使用する。以下、第１音声テキスト以外の４つの音声テキストについて、認識の確度の高い順に、「第２音声テキスト」、「第３音声テキスト」、「第４音声テキスト」、及び、「第５音声テキスト」と表現する。

図７は、第３特定方法で、認識キーワードを特定する際の、絵文字選択部８１１の動作を示すフローチャートである。

図７に示すように、絵文字選択部８１１は、音声テキストデータを参照し、第１音声テキストを処理対象の音声テキストとして取得する（ステップＳＩ１）。

次いで、絵文字選択部８１１は、第１絵文字対応テーブルＥ１の各レコードの認識キーワードフィールドＦＡ１を参照し、認識キーワードの中に、第１音声テキストデータと文字列が一致するものがあるか否かを判別する（ステップＳＩ２）。

文字列が一致する認識キーワードがある場合（ステップＳＩ２：ＹＥＳ）、絵文字選択部８１１は、当該文字列が一致する認識キーワードを、音声テキストに対応する認識キーワードとして特定し（ステップＳＩ３）、処理を終了する。

文字列が一致する認識キーワードがない場合（ステップＳＩ２：ＮＯ）、絵文字選択部８１１は、処理手順をステップＳＩ４へ移行する。

ステップＳＩ４〜ステップＳＩ１５で、絵文字選択部８１１は、第２音声テキストから、第５音声テキストへ向かって、順番に、音声テキストを取得していき、取得した音声テキストと、第１絵文字対応テーブルＥ１に格納された認識キーワードとを比較し、一致した場合、一致した認識キーワードを、音声テキストに対応する認識キーワードとして特定し、処理を終了する。

一方、第１音声テキスト〜第５音声テキストの全ての音声テキストについて、第１絵文字対応テーブルＥ１に格納された認識キーワードと文字列が一致するものがない場合、絵文字選択部８１１は、処理手順をステップＳＩ１６へ移行し、上述した方法で、認識キーワードフィールドＦＡ１に格納された認識キーワードのうち、第１音声テキストに音声が最も近似するものを選択し、選択した認識キーワードを、音声テキストに対応する認識キーワードとして特定する。

絵文字選択部８１１は、さらに、第１絵文字対応テーブルＥ１において、特定した認識キーワードと対応付けられた絵文字ＩＤを特定する。上述したように、対応する絵文字ＩＤは、複数、存在する場合がある。

以上、第３特定方法について説明したが、この方法によれば、音声テキストデータに、認識の確度の順番に５つの音声テキストが記述されていることを有効に利用して、認識キーワードの特定を行える。また、第３特定方法によれば、第１特定方法と比較して、発音記号列の距離の値の算出、算出した値の比較等の、第１音声テキストに近似する認識キーワードを選択する処理を行わなくてよい確率が高く、処理効率が良い。

以上、３つの例を挙げて、認識キーワードを特定する方法について説明したが、当該方法は例示したものに限らない。

さて、図３（Ｃ）に戻り、ステップＳＣ４のキーワード特定処理を実行した後、絵文字選択部８１１は、絵文字選択処理を実行する（ステップＳＣ５）。以下、絵文字選択処理について詳述する。

絵文字選択処理は、ステップＳＣ４のキーワード特定処理で特定した認識キーワードに対応する絵文字ＩＤが、複数、存在する場合に、複数の絵文字ＩＤの中から、メッセージとして送信する絵文字の絵文字ＩＤを選択する処理である。なお、認識キーワードに対応する絵文字ＩＤが１つの場合は、絵文字選択部８１１は、絵文字選択処理によらず、当該絵文字ＩＤを、メッセージとして送信する絵文字の絵文字ＩＤとして選択する。

絵文字選択処理は、車両２が停車している場合と、停車していない場合とで、処理内容が異なる。以下、まず、車両２が停車している場合の絵文字選択処理について説明し、次いで、車両２が走行していない場合の絵文字選択処理について説明する。なお、絵文字選択部８１１は、ステップＳＣ１で受信した走行状態情報に基づいて、車両２が停車しているか否かを判別する。

＜車両２が停車している場合の絵文字選択処理＞
車両２が停車している場合、絵文字選択部８１１は、複数の絵文字ＩＤに対応する絵文字の中から、ユーザに１の絵文字を選択させ、ユーザに選択された絵文字に対応する絵文字ＩＤを、メッセージとして送信する絵文字の絵文字ＩＤとして選択する。

詳述すると、絵文字選択部８１１は、携帯端末４の専用アプリＡＰ、及び、車載装置３の対応アプリＴＰと通信して、これらアプリケーションに必要な情報を出力し、複数の絵文字ＩＤに対応する絵文字が表示され、いずれか１つの絵文字を選択させるユーザインターフェイスをタッチパネル３３に表示させる。なお、本実施形態では、専用アプリＡＰが、絵文字ＩＤと、絵文字の画像データ等の絵文字を表示させるために必要なデータと、を対応付けたデータベースを有しており、絵文字ＩＤから絵文字への変換は、専用アプリＡＰの機能により行われる。

図８は、タッチパネル３３に表示されるユーザインターフェイスの一例を示す図である。図８の例では、画面に、認識キーワード「りょうかい（了解）」に対応する４つの絵文字ＳＴ１〜絵文字ＳＴ４が表示される。ユーザは、いずれかの絵文字に対応する領域をタッチ操作して、いずれかの絵文字を選択する。車両２は停車中であるため、ユーザは、ユーザインターフェイスを参照し、所望の絵文字を選択することが可能である。

携帯端末４の専用アプリＡＰ、及び、車載装置３の対応アプリＴＰは、共同して、ユーザにより選択された絵文字の絵文字ＩＤを、絵文字選択部８１１に出力する。絵文字選択部８１１は、入力された絵文字ＩＤを選択する。

以上のように、車両２が停車中の場合は、ユーザが車載装置３に対応する操作を行うことができる状態であるため、絵文字選択部８１１は、ユーザに絵文字を選択させ、対応する絵文字ＩＤを選択する。これにより、車両２が停車中であることを踏まえて、ユーザが望む絵文字に対応する絵文字ＩＤを、確実に、選択できる。

＜車両２が停車していない場合の絵文字選択処理＞
以下、車両２が停車していない場合の絵文字選択処理について、２つの方法を例示する。

＜車両２が停車していない場合の絵文字選択処理の第１の方法＞
図９は、第１の方法に係る絵文字選択処理で使用する第１テーブルＴＢ１のデータ構造を示す図である。

図９に示すように、第１テーブルＴＢ１の１件のレコードは、認識キーワードフィールドＦＣ１と、通信相手フィールドＦＣ２と、絵文字ＩＤフィールドＦＣ３とを有する。認識キーワードフィールドＦＣ１には、主認識キーワードＫＷ１が格納される。通信相手フィールドＦＣ２には、通信相手のユーザＩＤが格納される。絵文字ＩＤフィールドＦＣ３には、絵文字ＩＤが格納される。すなわち、第１テーブルＴＢ１の１件のレコードでは、認識キーワードと、ユーザＩＤと、絵文字ＩＤとが対応付けられる。

第１テーブルＴＢ１の１件のレコードは、以下のことを意味する。すなわち、１件のレコードは、認識キーワードフィールドＦＣ１に格納された認識キーワードに対応する絵文字を、通信相手フィールドＦＣ２に格納されたユーザＩＤの通信相手に送信する場合、絵文字ＩＤフィールドＦＣ３に格納された絵文字ＩＤの絵文字を送信することを意味する。

なお、ユーザは、第１テーブルＴＢ１の編集（レコードの追加、レコードの削除、レコードが有する情報の改変等）を、車両２の停車中における任意のタイミングで、行うことができる。すなわち、携帯端末４の専用アプリＡＰと、車載装置３の対応アプリＴＰは、第１テーブルＴＢ１の編集に関する入力を行えるユーザインターフェイスを提供可能である。ユーザは、当該ユーザインターフェイスを利用して、各種入力を行い、第１テーブルＴＢ１を編集する。

第１の方法に係る絵文字選択処理において、絵文字選択部８１１は、第１テーブルＴＢ１を参照する。次いで、絵文字選択部８１１は、ステップＳＣ４のキーワード特定処理で特定された認識キーワードが認識キーワードフィールドＦＣ１に格納され、かつ、ステップＳＣ１で受信したユーザＩＤが通信相手フィールドＦＣ２に格納されたレコードを特定する。次いで、絵文字選択部８１１は、特定したレコードの絵文字ＩＤフィールドＦＣ３に格納された絵文字ＩＤを取得する。絵文字選択部８１１は、取得した絵文字ＩＤを、メッセージとして送信する絵文字の絵文字ＩＤとして選択する。

第１の方法に係る絵文字選択処理で選択された絵文字ＩＤは、ユーザが、通信相手ごとに事前に選択した絵文字の絵文字ＩＤである。

＜車両２が停車していない場合の絵文字選択処理の第２の方法＞
図１０は、第２の方法に係る絵文字選択処理で使用する第２テーブルＴＢ２のデータ構造を示す図である。

図１０に示すように、第２テーブルＴＢ２の１件のレコードは、認識キーワードフィールドＦＤ１と、絵文字ＩＤフィールドＦＤ２と、通信相手フィールドＦＤ３と、使用頻度フィールドＦＤ４とを有する。

認識キーワードフィールドＦＤ１には、主認識キーワードＫＷ１が格納される。絵文字ＩＤフィールドＦＤ２には、絵文字ＩＤが格納される。通信相手フィールドＦＤ３には、ユーザＩＤが格納される。使用頻度フィールドＦＤ４には、使用頻度（後述）を示す情報が格納される。すなわち、第２テーブルＴＢ２の１件のレコードでは、認識キーワードと、絵文字ＩＤと、ユーザＩＤと、使用頻度を示す情報（以下、「使用頻度情報」という。）と、が対応付けられる。

第２テーブルＴＢ２の１件のレコードは、以下のことを意味する。すなわち、認識キーワードフィールドＦＤ１に格納された認識キーワードに対応する絵文字を、通信相手フィールドＦＤ３に格納されたユーザＩＤの通信相手に送信する場合、絵文字ＩＤフィールドＦＣ３に格納された絵文字ＩＤの絵文字をユーザが使用する使用頻度が、使用頻度フィールドＦＤ４に格納された使用頻度情報が示す使用頻度であることを意味する。本例では、使用頻度情報は、１つのユーザＩＤについて、１つの認識キーワードに対応する複数の絵文字ＩＤのうち、どの絵文字ＩＤが最も使用頻度が高いかを識別できるような情報とされる。

なお、第２テーブルＴＢ２は、絵文字選択部８１１により、自動で更新される。例えば、絵文字選択部８１１は、携帯端末４の専用アプリＡＰから、メッセージ送受信システムを利用して送信された絵文字の絵文字ＩＤ、絵文字を送信した通信相手のユーザＩＤ、及び、絵文字ＩＤを送信したときの日時（日付＋時刻）を示す情報を、所定のタイミングで受け取る。そして、絵文字選択部８１１は、受け取った情報を、所定のデータベースに格納する。そして、絵文字選択部８１１は、データベースに格納された情報に基づいて、ユーザＩＤと絵文字ＩＤとの組み合わせごとに、所定の統計学的手法により、使用頻度を算出し、算出した使用頻度に基づいて、第２テーブルＴＢ２にレコードを追加し、また、既存のレコードの使用頻度情報を書き換える。

また例えば、絵文字選択部８１１は、メッセンジャーサーバ９から、使用頻度を算出するために必要な情報を受け取り、受け取った情報に基づいて使用頻度を算出し、算出した使用頻度に基づいて、第２テーブルＴＢ２にレコードを追加し、また、既存のレコードの使用頻度情報を書き換える。なお、絵文字選択部８１１に使用頻度を算出するために必要な情報を提供する提供元、及び、第２テーブルＴＢ２の更新方法はどのようなものであってもよい。

第２の方法に係る絵文字選択処理において、絵文字選択部８１１は、第２テーブルＴＢ２を参照する。次いで、絵文字選択部８１１は、ステップＳＣ４のキーワード特定処理で特定された認識キーワードが認識キーワードフィールドＦＤ１に格納され、かつ、ステップＳＣ１で受信したユーザＩＤが通信相手フィールドＦＤ３に格納されたレコードを特定する。

特定したレコードが１つの場合、換言すれば、認識キーワードに対応する複数の絵文字のうち、特定したレコードに対応する絵文字のみが過去にユーザによって使用された状況である場合、絵文字選択部８１１は、特定したレコードの絵文字ＩＤフィールドＦＤ２に格納された絵文字ＩＤを、メッセージとして送信する絵文字の絵文字ＩＤとして選択する。

特定したレコードが複数の場合、換言すれば、認識キーワードに対応する複数の絵文字のうち、複数の絵文字が過去にユーザによって使用された状況である場合、絵文字選択部８１１は、各レコードの使用頻度フィールドＦＤ４に格納された使用頻度情報を取得する。次いで、絵文字選択部８１１は、取得した使用頻度情報のそれぞれに基づいて、最も使用頻度の高い絵文字ＩＤを特定し、特定した絵文字ＩＤを、メッセージとして送信する絵文字の絵文字ＩＤとして選択する。このようにして、絵文字ＩＤを選択することにより、特定の通信相手に送信する絵文字の絵文字ＩＤとして、過去のユーザの使用態様が反映された適切な絵文字ＩＤを選択することが可能である。

特定したレコードが１つもない場合、換言すれば、認識キーワードに対応する複数の絵文字のうち、いずれの絵文字も過去にユーザによって使用されていない状況である場合、絵文字選択部８１１は、認識キーワードに対応する複数の絵文字ＩＤのうち、任意の１の絵文字ＩＤを、メッセージとして送信する絵文字の絵文字ＩＤとして選択する。任意の１の絵文字ＩＤは、デフォルト値として予め定められているものでもよく、ユーザにより設定されたものであってもよい。

以上、車両２が停車していない場合の絵文字選択処理の方法として、２つの方法を説明したが、当該処理の方法は例示したものに限られない。また、複数の方法をユーザが切り替えることが可能な構成としてもよい。

さて、図３（Ｃ）に戻り、ステップＳＣ５の絵文字選択処理が完了した後、サーバ制御部８１は、サーバ通信部８３を制御して、ステップＳＣ５の絵文字選択処理で選択した絵文字ＩＤ、及び、ステップＳＣ１で受信したユーザＩＤを、メッセンジャーサーバ９に送信する（ステップＳＣ６）。ステップＳＣ６では、絵文字ＩＤや、ユーザＩＤのほか、車載装置３の動作モードや、車両２に搭乗するユーザのユーザＩＤ等、メッセンジャーサーバ９が、通信先携帯端末５に適切な態様で絵文字ＩＤを送るために必要な情報が付加される。これらの情報を、サーバ制御部８１は、携帯端末４の専用アプリＡＰ、及び、車載装置３の対応アプリＴＰと通信して、所定の手段により、所定のタイミングで取得する。

図３（Ｅ）に示すように、メッセンジャーサーバ９は、絵文字ＩＤ、及び、ユーザＩＤを受信する（ステップＳＥ１）。次いで、メッセンジャーサーバ９は、ユーザＩＤに対応する通信先携帯端末５を特定し、特定した通信先携帯端末５に絵文字ＩＤを送信する（ステップＳＥ２）。

図３（Ｆ）に示すように、通信先携帯端末５は、絵文字ＩＤを受信し、所定の画面における受信した絵文字を表示する領域に、絵文字ＩＤに対応する絵文字を表示する。

図３（Ｃ）に示すように、制御サーバ８のサーバ制御部８１は、メッセンジャーサーバ９への情報の送信と合わせて、携帯端末４との間で確立したコネクションを利用して、絵文字ＩＤを携帯端末４に送信する（ステップＳＣ７）。

図３（Ｂ）に示すように、携帯端末４の端末制御部４０は、ネットワーク通信部４４を制御して、絵文字ＩＤを受信する（ステップＳＢ４）。

次いで、端末制御部４０は、受信した絵文字ＩＤに基づいて、所定の画面における送信した絵文字を表示する領域に、絵文字ＩＤに対応する絵文字を表示する（ステップＳＢ５）。

次いで、端末制御部４０は、近距離無線通信部４３を制御して、ステップＳＢ５の処理で行われた画面の変化に関する情報を、車載装置３に送信する（ステップＳＢ６）。

図３（Ａ）に示すように、車載装置３の制御部３１は、画面の変化に関する情報を受信する（ステップＳＡ４）。

次いで、制御部３１は、受信した情報に基づいて、タッチパネル３３に表示された携帯端末４の画面に対応する画面を変化させる（ステップＳＡ５）。このステップＳＡ５の処理により、タッチパネル３３の画面が、携帯端末４の画面に同期して変化し、タッチパネル３３の画面に、送信した絵文字が表示される。

なお、図３のフローチャートの処理単位は、各装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。各装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、処理の順番も、図示した例に限られるものではない。

以上説明したように、本実施形態に係る情報処理システム１は、制御サーバ８（情報処理装置）と、車両２に搭載された車載装置３と、を備える。

車載装置３は、音声を収音する収音部３６と、収音部３６で収音した音声に基づいて生成された音声データを制御サーバ８に送信する送信部（制御部３１、通信部３７）と、を有する。

制御サーバ８は、認識キーワード（キーワード）と、認識キーワードに対応する複数の絵文字を示す絵文字ＩＤ（絵文字情報）とを対応付けた絵文字対応テーブル８２ａ（絵文字対応情報）を記憶するサーバ記憶部８２（記憶部）と、絵文字対応テーブル８２ａが有する認識キーワードの中から、音声データに基づく音声認識により生成された音声を示すテキストに対応する認識キーワードを選択し、選択した認識キーワードと対応付けられた複数の絵文字ＩＤの中から、所定の条件に応じて、１の絵文字ＩＤを選択する絵文字処理を実行するサーバ制御部８１と、を有する。

この構成によれば、車両２内で発話された音声に対応する絵文字が、複数、ある場合に、制御サーバ８により所定の条件に応じた１の絵文字が選択されるため、ユーザは絵文字を選択する作業をする必要がなく、ユーザの利便性が向上する。

また、本実施形態では、制御サーバ８のサーバ記憶部８２が記憶する絵文字対応テーブル８２ａは、絵文字ＩＤと、使用頻度を示す情報とを対応付けて記憶する。そして、制御サーバ８のサーバ制御部８１は、絵文字選択処理において、選択した認識キーワードと対応付けられた複数の絵文字ＩＤの中から、使用された頻度の高い絵文字に対応する１の絵文字ＩＤを選択することが可能である。

この構成によれば、制御サーバ８は、複数の絵文字の中から、ユーザの使用頻度を反映した１の絵文字を選択できる。

また、本実施形態では、制御サーバ８のサーバ記憶部８２は、絵文字対応テーブル８２ａが有する絵文字ＩＤについて、ユーザＩＤ（通信相手を示す情報）と対応付けて、対応する絵文字が使用された頻度を示す情報を記憶する。そして、制御サーバ８のサーバ制御部８１は、絵文字選択処理において、ユーザＩＤ（絵文字を出力する通信相手）を取得し、選択した認識キーワードと対応付けられた複数の絵文字ＩＤの中から、取得したユーザＩＤに出力する場合に使用された頻度の高い絵文字に対応する１の絵文字ＩＤを選択することが可能である。

この構成によれば、制御サーバ８は、複数の絵文字の中から、通信相手に応じて、ユーザの使用頻度を反映した１の絵文字を選択できる。

また、本実施形態では、制御サーバ８のサーバ制御部８１は、絵文字選択処理において、選択した認識キーワードと対応付けられた複数の絵文字ＩＤの中から、事前に設定された１の絵文字ＩＤを選択することが可能である。

この構成によれば、制御サーバ８は、複数の絵文字の中から、事前に設定された１の絵文字を選択することができる。

また、本実施形態では、制御サーバ８のサーバ制御部８１は、絵文字対応テーブル８２ａが有する認識キーワードの中から、音声データに基づく音声テキストに対応する認識キーワードを選択する際、音声認識の誤りを反映した選択を行う。

この構成によれば、制御サーバ８は、音声の認識を反映した適切な１の認識キーワードを選択できる。

また、本実施形態では、制御サーバ８のサーバ制御部８１は、音声データの送信元の車載装置３が搭載された車両２が走行中か否かを判別し、走行中の場合、絵文字選択処理を実行する一方、走行中でない場合、車載装置３と通信し、選択した認識キーワードと対応付けられた複数の絵文字ＩＤに対応する絵文字の中から、１の絵文字をユーザに選択させる処理を車載装置３に実行させ、ユーザにより選択された１の絵文字に対応する１の絵文字ＩＤを選択する。

この構成によれば、車両２が停車中であり、ユーザが車載装置３に対応する操作を可能な状態のときは、複数の絵文字の中からユーザに１の絵文字を選択させることにより、所望の絵文字を確実に選択できる。

＜第１の変形例＞
次に、第１の変形例について説明する。

図１１は、第１の変形例に係る情報処理システム１の構成を示す図である。以下の説明で、上述した第１実施形態に係る情報処理システム１の構成要素と同様の構成要素については、同一の符号を付し、その詳細な説明は省略する。

図２と、図１１との比較によって明らかなとおり、第１の変形例に係る情報処理システム１は、車載装置３の制御部３１が、機能ブロックとして、絵文字選択部３１３を有する。絵文字選択部３１３は、上述した実施形態における絵文字選択部８１１と同様の機能を有する機能ブロックである。つまり、第１の変形例では、車載装置３が、キーワード特定処理、及び、絵文字選択処理を実行する。

また、制御部３１は、音声認識部３１２を有する。また、記憶部３２は、絵文字対応テーブル３２ａを有する。絵文字対応テーブル３２ａは、上述した実施形態における絵文字対応テーブル８２ａに対応するデータである。

次に、通信先携帯端末５にメッセージとして絵文字を送信する場合の第１の変形例に係る情報処理システム１の各装置の動作について説明する。

ユーザは、車両２で、絵文字を表現する音声を発話する。ユーザにより発話された音声は、収音部３６により収音されて、音声データとして制御部３１に出力される。

制御部３１の音声認識部３１２は、音声認識を行って、入力された音声データに基づいて、音声テキストデータを生成する。このように、第１の変形例では、車載装置３が、音声認識を行って、音声データに基づいて、音声テキストデータを生成する機能を有する。

次いで、絵文字選択部３１３は、キーワード特定処理を行って、認識キーワードを特定する。次いで、絵文字選択部３１３は、絵文字選択処理を行って、対応する複数の絵文字ＩＤの中から、１の絵文字ＩＤを選択する。

次いで、制御部３１は、携帯端末４を介して、メッセンジャーサーバ９と通信し、選択した絵文字ＩＤの絵文字をメッセージとして通信先携帯端末５に送信する。また、制御部３１と、携帯端末４の端末制御部４０は、協同して、送信した絵文字を、送信履歴として表示する。

以上、第１の変形例で示したように、音声認識や、キーワード特定処理、絵文字選択処理を、車載装置３が実行する構成であってもよい。このような構成であっても、上述した実施形態と同様の効果を奏することができる。

＜第２の変形例＞
次いで、第２の変形例について説明する。

図１２は、第２の変形例に係る情報処理システム１の構成を示す図である。
図２と、図１２との比較によって明らかなとおり、第２の変形例では、車載装置３がネットワーク通信部３８を有しており、車載装置３は、このネットワーク通信部３８の機能により、ネットワーク６に接続された機器と通信できる。

また、第２の変形例では、車載装置３に専用アプリＡＰがインストールされている。車載装置３は、専用アプリＡＰの機能により、メッセンジャーサーバ９が提供するメッセージ送信システムを利用して、通信先携帯端末５との間でメッセージを送受信できる。

次に、通信先携帯端末５にメッセージとして絵文字を送信する場合の第２の変形例に係る情報処理システム１の各装置の動作について説明する。

ユーザは、車両２で、絵文字を表現する音声を発話する。ユーザにより発話された音声は、収音部３６により収音されて、音声データとして制御部３１に出力される。

制御部３１の音声認識部３１２は、音声認識を行って、入力された音声データに基づいて、音声テキストデータを生成する。このように、第２の変形例では、車載装置３が、音声認識を行って、音声データに基づいて、音声テキストデータを生成する機能を有する。

次いで、絵文字選択部３１３は、キーワード特定処理を行って、認識キーワードを特定する。次いで、絵文字選択部３１３は、絵文字選択処理を行って、対応する複数の絵文字ＩＤの中から、１の絵文字ＩＤを選択する。

次いで、制御部３１は、ネットワーク通信部３８を制御して、メッセンジャーサーバ９と通信し、選択した絵文字ＩＤの絵文字をメッセージとして通信先携帯端末５に送信する。また、制御部３１は、送信した絵文字を、送信履歴として表示する。

以上、第２の変形例で示したように、音声認識や、キーワード特定処理、絵文字選択処理を、車載装置３が実行する構成であってもよい。さらに、車載装置３に専用アプリＡＰがインストールされ、車載装置３がメッセージ送信システムを利用し、メッセージを送受信する構成であってもよい。このような構成であっても、上述した実施形態と同様の効果を奏することができる。

上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び、応用が可能である。

例えば、上述した実施形態では、メッセンジャーサーバ９と、制御サーバ８とを別体として例示したが、これらサーバが同一のサーバであってもよい。すなわち、制御サーバ８が、メッセンジャーサーバ９の機能を有していてもよい。

また、上述した実施形態では、携帯端末４と、通信先携帯端末５との間で、チャットの形態でメッセージを送受信する場合を例にして発明を説明したが、メッセージの送受信は、チャットの形態に限らず、メールの形態等の、他の形態であってもよい。

１ 情報処理システム
２ 車両
３ 車載装置
８ 制御サーバ（情報処理装置）
３６ 収音部
８１ サーバ制御部（制御部）
８２ａ 絵文字対応テーブル（絵文字対応情報）

Claims (6)

1. 情報処理装置と、車両に搭載された車載装置と、を備える情報処理システムであって、
   前記車載装置は、
   音声を収音する収音部と、
   前記収音部で収音した音声に基づいて生成された音声データを前記情報処理装置に送信する送信部と、を有し、
   前記情報処理装置は、
   キーワードと、前記キーワードに対応する複数の絵文字を示す絵文字情報とを対応付けた絵文字対応情報を記憶する記憶部と、
   前記絵文字対応情報が有する前記キーワードの中から、前記音声データに基づく音声認識により生成された音声を示すテキストに対応する前記キーワードを選択し、選択した前記キーワードと対応付けられた複数の前記絵文字情報の中から、所定の条件に応じて、１の前記絵文字情報を選択する絵文字選択処理を実行する制御部と、を有し、
   前記情報処理装置の前記制御部は、
   前記音声データの送信元の前記車載装置が搭載された前記車両が走行中か否かを判別し、
   走行中の場合、前記絵文字選択処理を実行する一方、
   走行中でない場合、前記車載装置と通信し、選択した前記キーワードと対応付けられた複数の前記絵文字情報に対応する前記絵文字の中から、１の前記絵文字をユーザに選択させる処理を前記車載装置に実行させ、ユーザにより選択された１の前記絵文字に対応する１の前記絵文字情報を選択する
   ことを特徴とする情報処理システム。
2. 前記絵文字は、所定のデータ送受信システムで、ユーザにより選択されて、指定された通信相手に出力されるものであり、
   前記情報処理装置の前記記憶部は、
   前記絵文字対応情報が有する前記絵文字情報について、対応する前記絵文字が使用された頻度を示す情報を記憶し、
   前記情報処理装置の前記制御部は、
   前記絵文字選択処理において、選択した前記キーワードと対応付けられた複数の前記絵文字情報の中から、使用された頻度の高い前記絵文字に対応する１の前記絵文字情報を選択することを特徴とする請求項１に記載の情報処理システム。
3. 前記情報処理装置の前記記憶部は、
   前記絵文字対応情報が有する前記絵文字情報について、前記通信相手を示す情報と対応付けて、対応する前記絵文字が使用された頻度を示す情報を記憶し、
   前記情報処理装置の前記制御部は、
   前記絵文字選択処理において、前記絵文字を出力する前記通信相手を取得し、選択した前記キーワードと対応付けられた複数の前記絵文字情報の中から、取得した前記通信相手に出力する場合に使用された頻度の高い前記絵文字に対応する１の前記絵文字情報を選択することを特徴とする請求項２に記載の情報処理システム。
4. 前記情報処理装置の前記制御部は、
   前記絵文字選択処理において、選択した前記キーワードと対応付けられた複数の前記絵文字情報の中から、事前に設定された１の前記絵文字情報を選択することを特徴とする請求項１に記載の情報処理システム。
5. 前記情報処理装置の前記制御部は、
   前記絵文字対応情報が有する前記キーワードの中から、前記音声データに基づく前記テキストに対応する前記キーワードを選択する際、前記音声認識の誤りを反映した選択を行うことを特徴とする請求項１に記載の情報処理システム。
6. 車両に搭載され、
   音声を収音する収音部と、
   キーワードと、前記キーワードに対応する複数の絵文字を示す絵文字情報とを対応付けた絵文字対応情報を記憶する記憶部と、
   前記収音部で収音した音声に基づいて生成された音声データに基づく音声認識を行い、音声認識の結果に基づいて、音声を示すテキストを生成するテキスト生成部と、
   前記絵文字対応情報が有する前記キーワードの中から、音声を示すテキストに対応する前記キーワードを選択し、選択した前記キーワードと対応付けられた複数の前記絵文字情報の中から、所定の条件に応じて、１の前記絵文字情報を選択する絵文字選択処理を実行する制御部と、を備え、
   前記制御部は、
   前記車両が走行中か否かを判別し、
   走行中の場合、前記絵文字選択処理を実行する一方、
   走行中でない場合、選択した前記キーワードと対応付けられた複数の前記絵文字情報に対応する前記絵文字の中から、１の前記絵文字をユーザに選択させる処理を実行し、ユーザにより選択された１の前記絵文字に対応する１の前記絵文字情報を選択する
   ことを特徴とする車載装置。

Images