JP7310556B2 - 情報処理システム - Google Patents

Description

本開示は、情報処理システムに関する。

エージェントのサービスには、ディスプレイを備えたデバイスで表示可能なカード情報を有するものがある。このカード情報により、音声だけの応答よりもより多彩な情報を含むコンテンツの提供が可能になる。特許文献１には、表示装置に表示される表示情報を、速度情報に応じて通常表示図とは異なる簡易表示にする技術が開示されている。

特開２００７－２１０４６２号公報

しかしながら、走行中において表示画像が規制される対象になる場合、ディスプレイに表示可能な情報量が大幅に低減するという問題がある。また、表示されるカードを、逐一事前に確認して、走行中において表示が規制される対象となるか否か、表示可能か否かを確認することは極めて困難である。

本開示は、上記に鑑みてなされたものであって、その目的は、移動体の走行時において表示が規制された状態であっても、情報の視認性を低下させることなく、ユーザに情報を報知可能になる情報処理システムを提供することにある。

本開示に係る情報処理装置は、ハードウェアを有するプロセッサを備え、プロセッサは、表示部を有し、イラスト画像データが格納された記憶部を備えた移動体に関連付けられた情報通信部、および音声認識処理および意図理解処理の少なくとも一方を実行する認識サーバと通信可能に構成され、移動体が認識サーバから受信した実画像データを移動体から取得して、移動体の走行時に表示部に実画像データが表示可能か否かを学習済みモデルに基づいて判定し、移動体の走行時に実画像データの表示部への表示が不可の場合に、実画像データを、実画像データに対応するイラスト画像データに置き換えて、表示部に表示させる情報を、移動体に送信する。

本開示によれば、表示が規制された画像の代わりにあらかじめ用意されたイラストを表示することができるので、移動体の走行時において表示が規制された状態であっても、情報の視認性を低下させることなく、ユーザに情報を報知可能になる。

図１は、一実施形態による情報処理装置を適用可能な情報処理システムを示す概略図である。 図２は、一実施形態による情報処理装置の構成を概略的に示すブロック図である。 図３は、一実施形態によるＶＰＡサーバの構成を概略的に示すブロック図である。 図４は、一実施形態による車両の構成を概略的に示すブロック図である。 図５は、一実施形態によるユーザ端末装置の構成を概略的に示すブロック図である。 図６は、一実施形態による情報処理システムが実行するカード表示方法を示すシーケンス図である。 図７Ａは、一実施形態による情報処理システムにおける車両の入出力部に実画像を表示した例を示す図である。 図７Ｂは、一実施形態による情報処理システムにおける車両の入出力部にイラスト画像を表示した例を示す図である。

以下、本開示の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本開示は以下に説明する一実施形態によって限定されるものではない。

まず、本開示の一実施形態による情報処理装置であるカード表示処理装置を適用可能な情報処理システムについて説明する。図１は、一実施形態による情報処理システムを示す。

（情報処理システム）
まず、本開示の実施形態による情報処理システムについて説明する。図１は、この実施形態による情報処理システム１を示す概略図である。図１に示すように、本実施形態による情報処理システム１は、ネットワーク２を介して互いに通信可能な、処理サーバ１０、ＶＰＡサーバ２０、車両３０、およびユーザ端末装置４０を有する。処理サーバ１０は、例えば学習済みモデル１６を有する。認識サーバとしてのＶＰＡサーバ２０は、音声認識処理を実行する。

ネットワーク２は、インターネット回線網や携帯電話回線網等から構成される。ネットワーク２は、例えば、インターネット等の公衆通信網であって、ＷＡＮ（Wide Area Network）や、携帯電話等の電話通信網や、ＷｉＦｉ（登録商標）等の無線通信網等のその他の通信網を含んでも良い。

（処理サーバ）
情報処理装置としての処理サーバ１０は、例えば車両３０に所定の情報を提供する情報提供事業者や、車両３０に対してナビゲーションサービスを提供するナビゲーションサービス事業者等が所有する情報処理サーバである。すなわち、処理サーバ１０は、車両３０に提供する情報を生成して管理することができる。

図２は、処理サーバ１０の構成を概略的に示すブロック図である。図２に示すように、処理サーバ１０は、ネットワーク２を介して通信可能な、一般的なハードウェアを有するコンピュータから構成される。処理サーバ１０は、制御部１１、通信部１２、および学習済みモデルを格納した記憶部１３を備える。制御部１１は、解析部１４および学習部１５を備える。

制御部１１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の主記憶部を備える。記憶部１３は、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディア等から選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。記憶部１３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル、各種データベース等が格納可能である。制御部１１は、記憶部１３に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御する。これにより、制御部１１は、所定の目的に合致した、解析部１４および学習部１５の機能を実現できる。

情報取得部としての通信部１２は、例えば、ＬＡＮ（Local Area Network）インターフェースボードや、無線通信のための無線通信回路等である。ＬＡＮインターフェースボードや無線通信回路は、公衆通信網であるインターネット等のネットワーク２に接続される。通信部１２は、ネットワーク２に接続して、ＶＰＡサーバ２０、車両３０、およびユーザ端末装置４０との間で通信を行うことができる。

通信部１２は、それぞれの車両３０との間で種々の情報を送受信できる。通信部１２は、それぞれの車両３０との間で、車両識別情報、車両情報、走行情報、画像データ、および解析要求信号等の各種の情報や信号を受信したり、車両３０に対して、解析結果情報や指示信号等の各種の情報や信号を送信したりする。移動体識別情報としての車両識別情報は、それぞれの車両３０を個々に識別可能にするための固有の情報を含む。移動体情報としての車両情報は、バッテリ充電量（ＳＯＣ）、燃料残量、車両３０における状況に関する情報（以下、車両状況情報）や寸法に関する情報（以下、車両寸法情報）等の車両３０に関する種々の情報を含んでも良い。移動情報としての走行情報は、車両３０の走行に関する情報である。走行情報は、位置情報、走行経路情報、走行スケジュール情報、駐車スケジュール情報、および移動履歴情報としての走行履歴情報を含んでも良いが、必ずしもこれらの情報に限定されない。走行情報はさらに、速度情報、加速度情報、走行距離情報、および走行時間情報等の、車両３０の走行に関する種々の情報を含んでも良い。なお、車両３０があらかじめ設定された所定経路を運行する場合には、走行情報には運行情報を含んでも良い。車両３０がレンタカー等の場合には、車両情報はさらに、借り入れているユーザの有無の情報や、借りているユーザがいる場合には、借りて乗車しているユーザのユーザ識別情報等を含んでも良い。車両情報および走行情報に含まれる情報は、必ずしも上述した情報に限定されない。

記憶部１３は、例えばリレーショナルデータベース（ＲＤＢ）からなる各種データベースを備える。各種のデータベース（ＤＢ）は、上述したプロセッサによって実行されるデータベース管理システム（Database Management System：ＤＢＭＳ）のプログラムが、記憶部１３に格納されたデータを管理することによって構築される。記憶部１３は、車両情報データベース、走行情報データベース、ユーザ情報データベース、および交通情報データベース等を備えていても良い。なお、記憶部１３に格納されるデータベースは、これらのデータベースの一部のみを備えても良く、さらに他のデータベースを備えても良い。

車両識別情報は、車両３０に割り当てられた後に、検索可能な状態で車両情報データベースや走行情報データベースに格納される。車両識別情報は、個々の車両３０を互いに識別するための種々の情報を含む。車両３０が、車両識別情報とともに走行情報や車両情報等の所定の情報を処理サーバ１０に送信すると、処理サーバ１０は、所定の情報を車両識別情報と関連付けて、検索可能な状態で記憶部１３に格納する。この場合、位置情報や車両情報等の所定の情報は、車両情報データベースや走行情報データベースに格納しても良い。

ユーザ情報データベースには、ユーザ識別情報と、ユーザに関するユーザ情報とが関連付けされて検索可能に格納されている。ユーザ情報は、ユーザによって入力または選択された各種情報（以下、ユーザ選択情報）を含んでいても良い。ユーザ選択情報は、それぞれのユーザが選択した項目の情報以外にも、車両３０がレンタカーの場合にはユーザによる車両３０の借り入れの開始や終了に関する情報、およびユーザごとに設定されたレンタル基本料金等の情報が含まれていても良い。また、ユーザ選択情報は、商品を購入した際の履歴の情報である購買履歴情報や、施設等を使用したり入出場したりした履歴の情報である施設の使用履歴情報を含んでいても良い。ユーザ選択情報は、種々のサーバにアクセスすることによって閲覧するホームページの閲覧履歴情報や、ユーザの移動の履歴である移動履歴情を含んでいても良い。

ユーザ識別情報は、ユーザに割り当てられた後に、検索可能な状態でユーザ情報データベースに格納される。ユーザ識別情報は、個々のユーザを互いに識別するための種々の情報を含む。ユーザ識別情報は、例えば、個々のユーザを識別可能なユーザＩＤ等であり、ユーザの氏名や住所等のユーザ固有の情報、またはユーザの位置等を表す経度および緯度等の位置情報等と関連付けて登録される。すなわち、ユーザ識別情報は、ユーザに関連する情報の送受信に際して処理サーバ１０にアクセスするために必要な情報を含む。例えば、車両３０またはユーザ端末装置４０が、ユーザ識別情報とともにユーザ選択情報等の所定の情報を、処理サーバ１０に送信する。この場合、処理サーバ１０は、受信した情報をユーザ識別情報と関連付けて、記憶部１３のユーザ情報データベースに検索可能に格納する。

ユーザ識別情報と車両識別情報とは、ユーザ端末装置４０を所有するユーザが車両３０に乗車した際に、互いに関連付けできる。この場合、車両識別情報とユーザ識別情報との関連付け情報は、記憶部１３の所定のデータベースに格納される。

解析部１４は、記憶部１３に格納された学習済みモデル１６に基づいた処理を実行する。ここで、学習済みモデル１６は、学習部１５によって、所定の入力パラメータと出力パラメータとの入出力データセットを教師データとした、例えばディープラーニング等の機械学習により生成できる。この実施形態において学習済みモデル１６は、複数の画像データを入力パラメータ、複数の画像データが示す状態の情報、および走行時の表示の可否を出力パラメータとした入出力データセットを教師データとして生成することが可能である。解析部１４は、取得した画像データに対して学習済みモデル１６に基づいて推定処理を行う。解析部１４は、推定処理によって得られた結果の情報（結果情報）を、通信部１２を介して車両３０に送信する一方、記憶部１３に格納する。具体的に例えば、解析部１４の取得した画像データが「所定の地点において雨が降っている」画像データである場合、解析部１４は、取得した画像データから推定した「雨」という画像データのラベル情報と、解析部１４が推定した「取得した画像データは走行時での表示は不可」であるという表示の可否情報とを含めて、結果情報として出力する。結果情報は、少なくともラベル情報と可否情報とを含む。

一方で、解析部１４は、入力された情報に基づいて、入力された情報の意図を理解する意図理解処理を実行し、解析処理を実行する。解析部１４は、意図理解処理によって提供するサービスの種類であるサービスタイプの分類を解析する。解析部１４は、解析したサービスタイプの情報（分類情報）を、通信部１２を介して車両３０に送信する一方、記憶部１３に格納する。

（ＶＰＡサーバ）
図１に示すＶＰＡサーバ２０は、例えば、ＶＰＡ（Virtual Personal Assistant）サービスを提供する事業体等が所有するサーバ等であるが、限定されない。ＶＰＡサーバ２０は、取得した音声データに対して、音声認識処理と意図理解処理とを実行する。図３は、ＶＰＡサーバ２０の構成を概略的に示すブロック図である。図３に示すように、ＶＰＡサーバ２０は、制御部２１、通信部２２、記憶部２３、および音声認識部２４を備える。制御部２１、通信部２２、および記憶部２３はそれぞれ、物理的には上述した制御部１１、通信部１２、および記憶部１３と同様である。なお、音声認識部２４も物理的には上述した制御部１１と同様に構成しても良い。通信部２２は、ネットワーク２に接続して、複数の車両３０との間で通信を行う。記憶部２３には、学習済みモデル等のモデル２３１が格納されている。

音声認識部２４は、ネットワーク２および通信部２２を介して取得した音声データを認識する音声認識処理を実行し、音声認識の結果に対して自然言語処理を行って、意図理解処理を実行する。音声認識部２４は、音声認識処理および意図理解処理の結果を、例えば制御コマンドとして、制御部２１に出力する。人工知能として機能する制御部２１は、入力された制御コマンドおよび音声解析結果に基づいた処理を実行したり、通信部２２を介して制御コマンドおよび音声解析結果に基づいた制御信号を出力したりする。なお、音声認識部２４は、制御部２１の一部として機能させても良く、この場合、音声認識部２４によって得られた制御コマンドや音声解析結果を制御部２１の制御信号として出力しても良い。音声認識部２４は、制御部２１、通信部２２、および記憶部２３と別体に構成しても良い。

（車両）
移動体としての車両３０は、運転者による運転によって走行する車両や、与えられた走行指令に従って自律走行可能に構成された自律走行車両である。図４は、車両３０の構成を概略的に示すブロック図である。図４に示すように、車両３０は、制御部３１、通信部３２、記憶部３３、測位部３４、入出力部３５、キーユニット３６、駆動部３７を備える。

制御部３１、通信部３２、および記憶部３３はそれぞれ、物理的には上述した制御部１１、通信部１２、および記憶部１３と同様である。制御部３１は、車両３０に搭載される各種構成要素の動作を統括的に制御する。車両３０の通信端末としての通信部３２は、ネットワーク２を介した無線通信によって、処理サーバ１０との間で通信を行う、例えばＤＣＭ（Data Communication Module）等からなる。

記憶部３３は、車両情報データベース３３ａ、走行情報データベース３３ｂ、ユーザ情報データベース３３ｃ、およびイラストデータベース３３ｄを備える。車両情報データベース３３ａには、ＳＯＣ、燃料残量、車両寸法情報等を含む各種情報が、更新可能に格納されている。走行情報データベース３３ｂには、測位部３４および駆動部３７から得られる各種情報に基づいて制御部３１が測定および生成した走行情報を含む各種情報が、更新可能に格納されている。ユーザ情報データベース３３ｃには、車両３０に乗車している乗員のユーザ端末装置４０から取得したり、車両３０の走行情報等に基づいて生成したりした乗員や運転者等のユーザに関するユーザ情報が格納されている。なお、ユーザ情報の取得方法は種々の方法を採用することができる。上述した、車両情報、走行情報、およびユーザ情報は、ユーザごとや車両３０ごとに固有の固有情報の少なくとも一部を構成する。イラストデータベース３３ｄには、車両３０の走行中に入出力部３５に出力して表示可能な複数のイラスト画像データが格納されている。イラストデータベース３３ｄのそれぞれのイラスト画像データには、それぞれのイラスト画像データを識別するためのラベルが付されている。

記憶部３３には、ＯＳ３３１、所定の処理を実行するためのアプリケーションプログラム３３２、およびＶＰＡプログラム３３３等が格納されている。制御部１１は、記憶部１３に格納されたアプリケーションプログラム３３２の一種であるＶＰＡプログラム３３３を主記憶部の作業領域にロードして実行することができる。制御部３１は、ＶＰＡプログラム３３３の実行によって、車両３０の乗員に、所定のＶＰＡサービスを提供する。

測位部３４は、例えば、ＧＰＳ（Global Positioning System）衛星からの電波を受信して、車両３０の位置を検出する。車両３０の位置情報取得部としての測位部３４が検出した車両３０の位置や経路は、走行情報における位置情報や走行経路情報として、車両情報データベース３３ａに検索可能に格納される。なお、車両３０の位置を検出する方法として、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）と３次元デジタル地図とを組み合わせた方法を採用しても良い。

入出力部３５は、タッチパネルディスプレイやスピーカマイクロホン等から構成される。出力手段としての入出力部３５は、制御部３１による制御に従って、タッチパネルディスプレイの画面上に文字や図形等を表示したり、スピーカマイクロホンから音声を出力したりして、所定の情報を外部に通知可能に構成される。また、入力手段としての入出力部３５は、ユーザ等がタッチパネルディスプレイを操作したり、スピーカマイクロホンに向けて音声を発したりすることによって、制御部３１に所定の情報を入力可能に構成される。

なお、本実施形態による車両３０は、測位部３４および入出力部３５を別々の機能として備えているが、測位部３４および入出力部３５に代えて、測位部３４および入出力部３５の機能を併せ持つ、通信機能付き車載ナビゲーションシステムを備えても良い。

キーユニット３６は、ユーザ端末装置４０との間で例えばＢＬＥ認証情報に基づく認証が行われることにより、車両３０の施錠や解錠を実行可能に構成される。駆動部３７は、車両３０の走行に必要な駆動を行う駆動部である。具体的には、車両３０は、駆動源としてのエンジンを備え、エンジンは燃料の燃焼による駆動によって電動機等を用いて発電可能に構成される。発電された電力は充電可能なバッテリに充電される。さらに、車両３０は、エンジンの駆動力を伝達する駆動伝達機構、および走行するための駆動輪等を備える。

（ユーザ端末装置）
情報通信部を構成する端末としてのユーザ端末装置４０は、ユーザによって操作される。ユーザ端末装置４０は、例えば、通信アプリケーションによる各種データや音声を用いた通話によって、ユーザ識別情報と、ユーザ選択情報を含むユーザ情報等の各種情報とを処理サーバ１０に送信する。ユーザ端末装置４０は、処理サーバ１０から、走行経路情報や、必要に応じて電子キーのデータ等の各種情報を受信可能に構成される。図５は、図１に示すユーザ端末装置４０の構成を概略的に示すブロック図である。

図５に示すように、ユーザ端末装置４０は、互いに通信可能に接続された、制御部４１、入力部４２、表示部４３、通信部４４、記憶部４５、および測位部４６を備える。制御部４１、通信部４４、および記憶部４５はそれぞれ、物理的には上述した制御部１１、通信部１２、および記憶部１３と同様である。測位部４６は、物理的には上述した測位部３４と同様である。

制御部４１は、記憶部４５に格納された各種プログラムを実行することができ、各種テーブル、各種データベース等を記憶部４５に格納可能である。制御部４１は、記憶部４５に格納されたＯＳやサービスアプリケーション４５ａを主記憶部の作業領域にロードして実行し、入力部４２、表示部４３、通信部４４、記憶部４５、および測位部４６の動作を統括的に制御する。本実施形態においてサービスアプリケーション４５ａには、例えばＳＤＫ（Software Development Kit）の形態で、施解錠要求プログラム４５ｂが組み込まれている。

ユーザ端末装置４０のサービスアプリケーション４５ａによって施解錠要求プログラム４５ｂが実行され、ユーザ端末装置４０とキーユニット３６との間で例えばＢＬＥ認証情報に基づく認証が行われることにより、車両３０の施錠や解錠を実行できる。これにより、車両３０においては、車両３０に乗車するユーザのユーザ情報を取得可能となる。すなわち、ユーザ端末装置４０を所有するユーザが車両３０に乗車した際に、ユーザ識別情報と車両識別情報とを関連付けることができる。乗員が複数であって、それぞれの乗員がユーザ端末装置４０を携帯している場合においても同様である。車両３０が取得したユーザ情報は、制御部４１によってユーザ情報データベース４５ｃに格納される。なお、ユーザ端末装置４０とキーユニット３６との通信による車両３０の施解錠については、従来公知の種々の方法を採用できる。

入力部４２は、例えば、キーボードや表示部４３の内部に組み込まれて表示パネルのタッチ操作を検出するタッチパネル式キーボード、または外部との間の通話を可能とする音声入力デバイス等から構成される。ここで、外部との間の通話は、他のユーザ端末装置４０との通話のみならず、例えば処理サーバ１０やＶＰＡサーバ２０を操作するオペレータや人工知能システムとの通話等も含む。

表示部４３は、例えば、有機ＥＬパネルや液晶表示パネル等からなり、文字や図形等を表示パネルに表示することによって、情報を外部に報知する。なお、入力部４２および表示部４３を、上述した入出力部３５と同様に構成しても良い。

通信部４４は、ネットワーク２を介して、ユーザ識別情報、ユーザ選択情報、および音声データ等の各種情報を、処理サーバ１０等の外部のサーバや車両３０との間で送受信することができる。記憶部４５は、ユーザ情報データベース４５ｃを有し、ユーザ識別情報に関連付けされてユーザ情報を記憶することができる。ユーザ端末装置４０の位置情報取得部としての測位部４６は、例えばＧＰＳ衛星との通信によって、ユーザ端末装置４０の位置を検出できる。検出された位置情報は、ユーザ識別情報に関連付けされてユーザ位置情報として、ネットワーク２を介して処理サーバ１０や車両３０に送信することができる。

以上のユーザ端末装置４０は、具体的に、スマートフォン等の携帯電話や、タブレット型の情報端末等の、ユーザが携帯可能な種々の装置を利用可能である。また、ユーザ端末装置４０は、車両３０に固定された車載端末であっても、ユーザが携帯可能な携帯端末であっても、車両３０の所定部で着脱可能な操作端末であっても良い。

（カード表示方法）
次に、以上のように構成された情報処理システム１の処理サーバ１０によって実行される情報処理方法としてのカード表示方法について説明する。図６は、一実施形態による情報処理システム１が実行するカード表示方法を示すシーケンス図である。なお、以下の説明において、情報の送受信はネットワーク２を介して行われるが、この点についての都度の説明は省略する。また、それぞれの車両３０やそれぞれのユーザ端末装置４０から情報を送信する場合には、車両３０やユーザ端末装置４０を特定するための車両識別情報やユーザ識別情報も、送信する情報に関連付けて送信されるが、この点についての都度の説明も省略する。また、以下の説明においては、１台の車両３０に対するカード表示処理として説明するが、処理サーバ１０は、他の多数の車両３０に対しても同様のカード表示処理を行う。これにより、多数の車両３０の走行中において、入出力部３５に所定の画像が表示できない場合であっても、この所定の情報に対応する他のイラスト画像を入出力部３５に表示させることができる。

まず、ステップＳＴ１において車両３０に乗車しているユーザが音声を発して発話を行う。ここで、ユーザが発する音声は、ＶＰＡサービスの提供を受けるための発話、および具体的な指示を行うための発話であるとする。ＶＰＡサービスの提供を受けるためのトリガとなる発話の内容は、処理サーバ１０やＶＰＡサーバ２０ごとにあらかじめ設定されている発話内容であり、具体的に例えば、「ハイ、エージェント」等の発話等であっても良い。具体的な指示を行うための発話とは、ＶＰＡサーバ２０に対する指示情報を含み、具体的に例えば、「目的地の天気を教えて」等の発話である。

一方、ステップＳＴ２において車両３０の制御部３１は、複数の所定のイラスト画像データをラベルと関連付けて、あらかじめ記憶部３３のイラストデータベース３３ｄに格納しておく。なお、ネットワーク２に接続された他の処理部がイラスト画像データを作成したり、イラスト画像データとラベルとを関連付けたりしても良い。他の処理部が複数の所定のイラスト画像データとラベルとを関連付けした後、ネットワーク２および通信部３２を介して複数のイラスト画像データを受信した車両３０の制御部３１が、受信したイラスト画像データをイラストデータベース３３ｄに格納しても良い。

他方、ステップＳＴ３において、処理サーバ１０の制御部１１における学習部１５は、例えばディープラーニング等の機械学習を実行して、学習済みモデル１６を生成する。学習部１５は、複数の画像データを入力パラメータ、複数の画像データが示す状態の情報、および走行時の表示の可否を出力パラメータとした入出力データセットを教師データとして、機械学習を行う。なお、ネットワーク２に接続された他の学習部等における機械学習によって、学習済みモデル１６を生成しても良い。この場合、他の学習部によって生成された学習済みモデル１６は、ネットワーク２および通信部１２を介して処理サーバ１０に供給され、記憶部１３に格納される。以上のステップＳＴ１，ＳＴ２，ＳＴ３は、互いに独立して実行される。

次に、ステップＳＴ４において、車両３０の入出力部３５が、ユーザの発した音声を検知すると、ユーザが発した音声の情報は、ユーザ発話情報としてＶＰＡサーバ２０に送信される。ユーザ発話情報は、上述した例では、ユーザの発した「ハイ、エージェント、目的地の天気を教えて」等の情報である。ステップＳＴ５においてＶＰＡサーバ２０の音声認識部２４は、受信したユーザ発話情報に対して、音声認識処理および意図理解処理を実行する。

次に、ステップＳＴ５においてＶＰＡサーバ２０の制御部２１は、音声認識処理および意図理解処理によって得られた情報に基づいて、車両３０に送信する画像データを、記憶部３３から検索したり、所定の方法によって生成したり、他のサーバから受信したりする。すなわち、ＶＰＡサーバ２０は、意図理解処理によって得られた情報に基づいて実画像データを取得し、車両３０に送信する。また、ＶＰＡサーバ２０は、ユーザ発話情報に応答する旨の内容を含む所定の情報を含むサービス応答情報を、車両３０に送信する。これにより、車両３０のユーザは、ＶＰＡサーバ２０からＶＰＡサービスの提供を受けられることを認識可能になる。さらに、ＶＰＡサーバ２０は、サービス応答情報に関連するカード情報等の情報を車両３０に送信しても良い。

ステップＳＴ７に移行して、車両３０の制御部３１は、受信した実画像データおよびサービス応答情報と、これらと関連付けた解析要求信号とを、処理サーバ１０に送信する。

ステップＳＴ８に移行して処理サーバ１０は、解析要求信号の受信をトリガとして解析処理を実行する。すなわち、処理サーバ１０の解析部１４は、入力された実画像データおよびサービス応答情報に対して解析処理を実行する。解析部１４は、取得した実画像データに対して学習済みモデル１６に基づいた推定処理を行い、画像データに関連した画像ラベルを推定するとともに、取得した実画像データの走行時における表示の可否を判定する。すなわち、クラウドとして機能する処理サーバ１０は、機械学習によって、走行時に表示できるコンテンツと表示できないコンテンツとを判定可能な学習済みモデル１６を生成しておき、解析部１４が判定する。一方、解析部１４は、取得したサービス応答情報に対して意図理解処理を実行して、提供するサービスの種類であるサービスタイプの分類を解析する。

具体的に例えば、解析部１４の取得した実画像データが「目的地における雨が降っている画像データ」である場合、解析部１４は、取得した画像データから「雨」という画像ラベル情報を推定したとする。また、例えば、解析部１４が「取得した実画像データの走行中の表示は不可である」と判定したとする。これらの場合、画像ラベルは「雨」、可否情報は「否」として、解析結果情報に含まれることになる。さらに、例えば、解析部１４が取得したサービス応答情報が「ドライブの目的地の天気情報」である場合、解析部１４は意図理解処理を実行して、サービスタイプは「運転に関連するサービスである」と解析する。この場合、サービスタイプは「運転に関連する」として、解析結果情報に含まれる。

ステップＳＴ９において制御部１１は、解析部１４によって得られた、画像ラベル情報、可否情報、およびサービスタイプの分類情報を含む解析結果情報を、通信部１２を介して車両３０に送信する。なお、解析部１４は、解析結果情報をさらに記憶部１３に格納しても良い。

ステップＳＴ１０に移行して車両３０の制御部３１は、受信した解析結果情報に基づいて、画像ラベルが存在し、かつ運転に関連するか否かを判定する。制御部３１が、解析結果情報に画像ラベルが存在かつ運転に関連すると判定した場合（ステップＳＴ１０：Ｙｅｓ）、ステップＳＴ１１に移行する。ここで、「運転に関連」とは、実画像データが運転に関連する画像であるのみならず、車両３０の走行中に実画像データを表示不可であることを意味する。換言すると、「運転に関連」とは、運転に関連した実画像データが走行時に表示が規制される対象となるという意味を含む。

ステップＳＴ１１において車両３０の制御部３１は、イラストデータベース３３ｄから、画像ラベルに対応するイラスト画像データを読み出して、実画像データをイラスト画像データに変換する。その後、ステップＳＴ１２に移行して、変換された後のイラスト画像を入出力部３５に表示する。この際に、カード情報を併せて入出力部３５に表示しても良い。すなわち、車両３０の車載機に備えられた記憶部３３に、車両３０の走行中においても入出力部３５に表示可能なイラスト画像を格納しておく。その上で、ユーザが所望するコンテンツに関連する画像とイラスト画像のラベルとが一致した場合に、コンテンツに関連する画像を当該イラスト画像に置き換えて表示する。この場合、運転に関連するコンテンツ、例えば目的地の天気等の場合に、イラスト画像に置き換えるようにしても良い。以上により、一実施形態によるカード表示処理が終了する。

一方、ステップＳＴ１０において制御部３１が、解析結果情報に画像ラベルが存在しない、または運転に関連しないと判定した場合（ステップＳＴ１０：Ｎｏ）、ステップＳＴ１２に移行する。ステップＳＴ１２においては、所定の情報を表示する。以上により、一実施形態によるカード表示処理が終了する。なお、ステップＳＴ１０において制御部３１が、解析結果情報に画像ラベルが存在しない、または運転に関連しないと判定した場合、入出力部３５に情報を出力することなく、カード表示処理を終了しても良い。

ここで、ステップＳＴ１１，ＳＴ１２について具体的に説明する。図７Ａおよび図７Ｂはそれぞれ、車両３０の入出力部３５に実画像およびイラスト画像を表示した例を示す図である。上述した一実施形態によるカード表示処理が実行されない場合、図７Ａに示すように、入出力部３５には、カード情報１０１として、例えば「１６℃」、「９５％」、および「東京」等の情報が表示されるとともに、実画像１００が表示される可能性がある。ところが、実画像１００は走行中において表示が規制される画像である場合がある。そこで、上述した一実施形態によるカード表示処理を実行することにより、処理サーバ１０の解析部１４が、実画像１００は「雨」の状態で「走行時に表示不可」の画像であると判定した場合に、実画像１００の表示とは異なる処理を実行できる。

すなわち、処理サーバ１０において判定された実画像１００の画像ラベルが「雨」である場合、車両３０の制御部３１は、この画像ラベルに対応した例えば雨の状態を示すイラスト画像１１０をイラストデータベース３３ｄから読み出す。車両３０の制御部３１は、実画像１００をイラスト画像１１０に変換する。その結果、図７Ｂに示すように、実画像１００の代わりに「雨」の画像ラベルを有するイラスト画像１１０が入出力部３５に表示される。この場合、イラスト画像１１０を、走行時に車両３０の入出力部３５に表示可能なイラスト画像として、あらかじめ精査して用意することにより、入出力部３５に表示されるカード情報の情報量および視認性を低下させることがない。そのため、車両３０のユーザに有益にコンテンツを提供することができる。

以上説明した本開示の一実施形態によれば、移動体としての車両３０の走行時において、表示部への表示が規制された状態であっても、情報の情報量および視認性を低下させることなく、ユーザに必要な情報を報知することができる。

（情報処理システム）
また、他の実施形態として、解析部１４および学習部１５のそれぞれの機能を分割して、互いにネットワーク２を介して通信可能な複数の装置によって実行させることも可能である。例えば、解析部１４の機能の少なくとも一部を、第１のプロセッサを有する第１の装置において実行させても良い。解析部１４の機能の少なくとも一部を、第２のプロセッサを有する第２の装置において実行させても良い。ここで、第１，第２の装置はそれぞれ、ネットワーク２等を介して互いに情報を送受信可能に構成しても良い。この場合、第１，第２の装置の少なくとも一つ、例えば第１の装置を車両３０に搭載することも可能である。

（記録媒体）
上述の一実施形態において、処理サーバ１０によるカード表示方法を実行可能なプログラムを、コンピュータその他の機械や装置（以下、コンピュータ等、という）が読み取り可能な記録媒体に記録することができる。コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータが情報処理装置としての処理サーバ１０として機能する。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＢＤ、ＤＡＴ、磁気テープ、フラッシュメモリ等のメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ＲＯＭ等がある。さらに、ＳＳＤは、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ等に固定された記録媒体としても利用可能である。

（その他の実施形態）
また、一実施形態に係る車両では、上述してきた「部」は、「回路」等に読み替えることができる。例えば、通信部は、通信回路に読み替えることができる。

また、一実施形態に係る情報処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、一実施形態に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本実施形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な開示の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 情報処理システム
２ ネットワーク
１０ 処理サーバ
１１，２１，３１，４１ 制御部
１２，２２，３２，４４ 通信部
１３，２３，３３，４５ 記憶部
１４ 解析部
１５ 学習部
１６ 学習済みモデル
２０ ＶＰＡサーバ
２４ 音声認識部
３０ 車両
３３ａ 車両情報データベース
３３ｂ 走行情報データベース
３３ｃ，４５ｃ ユーザ情報データベース
３３ｄ イラストデータベース
３４，４６ 測位部
３５ 入出力部
３６ キーユニット
３７ 駆動部
４０ ユーザ端末装置
４２ 入力部
４３ 表示部
４５ａ サービスアプリケーション
４５ｂ 施解錠要求プログラム
１００ 実画像
１０１ カード情報
１１０ イラスト画像
２３１ モデル
３３１ ＯＳ
３３２ アプリケーションプログラム
３３３ ＶＰＡプログラム

Claims (1)

1. 表示部を有するとともにイラスト画像データが格納された記憶部を備えた移動体と、音声認識処理および意図理解処理を実行する認識サーバと、前記移動体および前記認識サーバと通信可能に構成された処理サーバと、を含む情報処理システムであって、
   前記移動体は、ユーザによる発話を検知した場合に前記ユーザによる発話に関するユーザ発話情報を前記認識サーバに送信し、
   前記認識サーバは、前記ユーザ発話情報に対して前記音声認識処理および前記意図理解処理を実行し、前記意図理解処理によって得られた情報に基づいて外部から実画像データを取得して前記移動体に送信し、
   前記処理サーバは、ハードウェアを有するプロセッサを備え、前記プロセッサは、前記移動体から、前記実画像データを取得して、前記実画像データに対応したサービスタイプを解析するとともに、前記移動体の走行時における前記表示部への前記実画像データの表示の可否を、前記移動体の走行時に表示できるコンテンツと表示できないコンテンツとを判定可能な学習済みモデルに基づいて判定し、前記プロセッサが、前記移動体の走行時に前記実画像データの前記表示部への表示が不可であると判定した場合に、前記処理サーバは、解析した前記サービスタイプの分類情報と前記実画像データの前記表示部への表示が不可である可否情報を前記移動体に送信し、
   前記移動体は、前記実画像データを、前記実画像データに対応するイラスト画像データに置き換えて前記表示部に表示させる
   情報処理システム。

Images