JP2024041746A - 情報処理装置 - Google Patents

Abstract

【課題】利便性を向上させる情報処理装置を提供する。【解決手段】情報処理装置３は、通信部３１と、制御部３２と、記憶部３３と、を備える。画像取得部３２１は、撮影画像を取得し、姿勢検出部３２２は、車両ＶＥの乗員ＰＡの姿勢を検出する。サービス実行部３２４は、姿勢検出部３２２にて検出された当該乗員ＰＡの姿勢と、情報取得部３２３にて取得された各種の情報とに基づいて、飲食物のオーダーを受け付けるサービスを乗員に対して実行する。【選択図】図３

Description

本発明は、情報処理装置に関する。

従来、マイクロフォンから入力された音声をネットワーク上のＡＩ（Artificial Intelligence：人工知能）で認識し、入力された音声に応答する音声アシスタント機能を有するスマートスピーカが知られている（例えば、特許文献１参照）。当該音声アシスタント機能は、ユーザが発した特定の言葉（以下、ウェイクワードと記載）に応じて起動する。

特開２０１９－１８４８０９号公報

特許文献１に記載の技術では、音声アシスタント機能を利用したサービスの提供を受けることを望むユーザに対して、ウェイクワードを発するという作業を行わせる必要があり、利便性を向上させることができない、という問題が一例として挙げられる。

本発明は、上記に鑑みてなされたものであって、例えば利便性を向上させることができる情報処理装置を提供することを目的とする。

請求項１に記載の情報処理装置は、移動体内における乗員が無意識にとった姿勢を検出する姿勢検出部と、前記乗員に対して複数種類のサービスを実行可能とし、前記姿勢に基づいて、前記複数種類のサービスのうち少なくとも一つのサービスを実行するサービス実行部とを備えることを特徴とする。

図１は、実施の形態に係る情報処理システムの構成を示すブロック図である。 図２は、車載端末の構成を示すブロック図である。 図３は、情報処理装置の構成を示すブロック図である。 図４は、情報処理方法を示すフローチャートである。 図５は、情報処理方法を説明する図である。

以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

〔情報処理システムの概略構成〕
図１は、実施の形態に係る情報処理システム１の構成を示すブロック図である。
情報処理システム１は、移動体である車両ＶＥ（図１）の乗員ＰＡ（図５参照）に対して、当該乗員ＰＡの姿勢に応じたサービスを実行するシステムである。この情報処理システム１は、図１に示すように、車載端末２と、情報処理装置３とを備える。そして、これら車載端末２及び情報処理装置３は、無線通信網であるネットワークＮＥ（図１）を介して、通信を行う。
なお、情報処理装置３と通信を行う車載端末２としては、図１では１台である場合を例示しているが、複数の車両にそれぞれ搭載された複数台であっても構わない。また、１台の車両に乗車している複数の乗員に対してそれぞれサービスを実行するために、１台の車両に車載端末２が複数台、搭載されていても構わない。

〔車載端末の構成〕
図２は、車載端末２の構成を示すブロック図である。
車載端末２は、例えば、車両ＶＥに設置される据え置き型のナビゲーション装置またはドライブレコーダーである。なお、車載端末２としては、ナビゲーション装置またはドライブレコーダーに限らず、車両ＶＥの乗員ＰＡが利用するスマートフォン等の携帯型端末を採用しても構わない。この車載端末２は、図２に示すように、音声入力部２１と、音声出力部２２と、撮像部２３と、表示部２４と、センサ部２５と、端末本体２６とを備える。

音声入力部２１は、音声を入力して電気信号に変換するマイクロフォン２１１（図５参照）を含み、当該電気信号にＡ／Ｄ（Analog／Digital）変換等を行うことにより音声情報を生成する。本実施の形態において、音声入力部２１にて生成された音声情報は、デジタル信号である。そして、音声入力部２１は、当該音声情報を端末本体２６に出力する。
音声出力部２２は、スピーカ２２１（図５参照）を含み、端末本体２６から入力したデジタルの音声信号をＤ／Ａ（Digital／Analog）変換によってアナログの音声信号に変換し、当該スピーカ２２１から当該アナログの音声信号に応じた音声を出力する。

撮像部２３は、端末本体２６による制御の下、車両ＶＥの乗員ＰＡを撮影して撮影画像を生成する。そして、撮像部２３は、生成した撮影画像を端末本体２６に出力する。
表示部２４は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、端末本体２６による制御の下、各種の画像を表示する。

センサ部２５は、図２に示すように、ＧＮＳＳ（Global Navigation Satellite System）センサ２５１と、車速センサ２５２と、加速度センサ２５３と、舵角センサ２５４と、生体センサ２５５とを備える。
ＧＮＳＳセンサ２５１は、ＧＮＳＳを利用して、航法衛星から送信された測位用データを含む電波を受信する。当該測位用データは、緯度及び経度情報等から車両ＶＥの絶対的な位置を検出するために用いられる。なお、利用されるＧＮＳＳは、例えば、ＧＰＳ（Global Positioning System）であってもよいし、他のシステムであっても構わない。
車速センサ２５２は、車両ＶＥの速度を検出し、当該速度に応じた車速データを生成する。

加速度センサ２５３は、車両ＶＥにおける例えば鉛直方向の加速度を検出し、当該加速度に応じた振動データを生成する。当該振動データは、車両ＶＥが道路の凹凸、穴、または障害物の上を通った際に当該車両ＶＥに加わる鉛直方向の加速度に応じたデータである。すなわち、当該振動データは、車両ＶＥの走行経路の状態に関する本実施の形態に係る経路状態情報に相当する。
舵角センサ２５４は、車両ＶＥにおけるハンドル舵角を検出し、当該ハンドル舵角に応じた舵角データを生成する。

生体センサ２５５は、車両ＶＥの乗員ＰＡが座る座席に内蔵、車両ＶＥの乗員ＰＡが身に着けるウェアラブル機器、あるいは、車両ＶＥの乗員ＰＡ周辺に設置されるものであり、当該乗員ＰＡにおける心拍、脈波、呼吸、体動、及び脳波等の生体情報を検出し、当該生体情報に応じた生体データを生成する。
そして、センサ部２５は、上述した測位用データ、車速データ、振動データ、舵角データ、及び生体データ等の出力データを端末本体２６に出力する。

端末本体２６は、図２に示すように、通信部２６１と、制御部２６２と、記憶部２６３とを備える。
通信部２６１は、制御部２６２による制御の下、ネットワークＮＥを介して情報処理装置３との間で情報の送受信を行う。
制御部２６２は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部２６３に記憶された各種プログラムが実行されることにより実現され、車載端末２全体の動作を制御する。なお、制御部２６２は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって構成されても構わない。
記憶部２６３は、制御部２６２が実行する各種のプログラムや、当該制御部２６２が処理を行うときに必要なデータ等を記憶する。

〔情報処理装置の構成〕
図３は、情報処理装置３の構成を示すブロック図である。
情報処理装置３は、例えば、サーバ装置である。この情報処理装置３は、図３に示すように、通信部３１と、制御部３２と、記憶部３３とを備える。

通信部３１は、制御部３２による制御の下、ネットワークＮＥを介して車載端末２（通信部２６１）等との間で情報の送受信を行う。
制御部３２は、ＣＰＵやＭＰＵ等のコントローラによって、記憶部３３に記憶された各種プログラム（本実施の形態に係る情報処理プログラムを含む）が実行されることにより実現され、情報処理装置３全体の動作を制御する。なお、制御部３２は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣやＦＰＧＡ等の集積回路によって構成されても構わない。この制御部３２は、図３に示すように、画像取得部３２１と、姿勢検出部３２２と、情報取得部３２３と、サービス実行部３２４とを備える。

画像取得部３２１は、通信部３１を介して車載端末２から撮像部２３にて生成された撮影画像を取得する。
姿勢検出部３２２は、車両ＶＥの乗員ＰＡの姿勢を検出する。当該乗員ＰＡの姿勢は、当該乗員が無意識にとった姿勢を含む。本実施の形態では、姿勢検出部３２２は、所謂、骨格検知により当該姿勢を検出する。より具体的に、姿勢検出部３２２は、以下に示す学習モデルを用いた画像認識（ＡＩを用いた画像認識）により、画像取得部３２１にて取得された撮影画像内に被写体として含まれる車両ＶＥの乗員ＰＡの骨格を検知することで当該乗員ＰＡの姿勢を検出する。
当該学習モデルは、人が撮影された撮影画像に対して当該人の関節点の位置が予めラベリングされた画像を教師画像とし、当該教師画像に基づいて当該関節点の位置を機械学習（例えば深層学習等）することにより得られたモデルである。

情報取得部３２３は、以下に示す出力データ、道路交通情報、道路データ、施設情報、乗車時間情報、テンポ情報等の各種の情報を取得する。
当該出力データは、通信部３１を介して車載端末２から取得されるセンサ部２５の出力データである。
当該道路交通情報は、通信部３１を介してＶＩＣＳ（登録商標、Vehicle Information Communication System）センタから取得する渋滞情報や交通情報等の道路交通情報であって、上述した出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置に対応した道路交通情報である。

当該道路データは、記憶部３３に記憶された道路データであって、上述した出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置に対応した当該車両ＶＥが走行している道路を示す道路データである。すなわち、当該道路データは、車両ＶＥの走行経路に関する本実施の形態に係る走行経路情報に相当する。
当該施設情報は、記憶部３３に記憶された施設情報であって、上述した出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置周辺の施設を示す施設情報である。
なお、上述した道路データや施設情報の記憶場所は、記憶部３３に記憶された構成に限らず、その他の場所、例えば記憶部２６３としても構わない。

当該乗車時間情報は、通信部３１を介して車載端末２から取得される情報であって、車両ＶＥが連続して運転されている運転時間（例えば車両ＶＥのエンジンが連続してＯＮとなっている時間）に関する情報である。当該運転時間は、例えば、制御部２６２にて計測される。

当該テンポ情報は、通信部３１を介して車載端末２から取得される情報であって、当該車載端末２において再生されている楽曲のテンポ（ＢＰＭ（Beats Per Minute））に関する情報である。当該テンポ情報は、例えば、当該楽曲の楽曲データについて周知の解析方法により制御部２６２が解析することで生成された情報、あるいは、当該楽曲データ内部のタグデータ等に含まれているＢＰＭに関する情報である。

サービス実行部３２４は、車両ＶＥの乗員ＰＡに対して複数種類のサービスを実行可能とする。そして、サービス実行部３２４は、姿勢検出部３２２にて検出された当該乗員ＰＡの姿勢と、情報取得部３２３にて取得された各種の情報とに基づいて、当該複数種類のサービスのうち少なくとも一つのサービスを実行する。このサービス実行部３２４は、図３に示すように、エージェント起動部３２４１と、複数のサービスエージェント３２４２１～３２４２Ｎとを備える。
以下では、複数のサービスエージェント３２４２１～３２４２Ｎを特に区別する必要のないときは、単にサービスエージェント３２４２と記載する。

複数のサービスエージェント３２４２１～３２４２Ｎは、車両ＶＥの乗員ＰＡに対して、互いに異なるサービスをそれぞれ実行する。このサービスエージェント３２４２は、少なくとも一つのタスク（機能）を実行する少なくとも一つのアプリケーションプログラムによって構成されている。すなわち、本実施の形態に係る「サービスを実行する」とは、当該少なくとも一つのタスク（機能）を実行することを意味する。

エージェント起動部３２４１は、姿勢検出部３２２にて検出された車両ＶＥの乗員ＰＡの姿勢と、情報取得部３２３にて取得された各種の情報とに基づいて、サービスエージェント３２４２を起動するか否かを判定する。また、エージェント起動部３２４１は、サービスエージェント３２４２を起動すると判定した場合に、複数のサービスエージェント３２４２１～３２４２Ｎのうち、当該姿勢及び当該各種の情報に応じた少なくとも一つのサービスエージェント３２４２を選択し起動する。そして、当該起動した少なくとも一つのサービスエージェント３２４２は、サービスを実行する。

記憶部３３は、制御部３２が実行する各種のプログラム（本実施の形態に係る情報処理プログラム）の他、制御部３２が処理を行うときに必要なデータ等を記憶する。この記憶部３３は、図３に示すように、学習モデルＤＢ（データベース）３３１と、地図ＤＢ３３２とを備える。
学習モデルＤＢ３３１は、上述した学習モデルを記憶する。
地図ＤＢ３３２は、地図データを記憶する。当該地図データは、道路に相当するリンクと道路の接続部分（交差点）に相当するノードとにより表された道路データや、各施設と当該各施設の位置（以下、施設位置と記載）とがそれぞれ対応付けられた施設情報等を含む。

〔情報処理方法〕
次に、情報処理装置３（制御部３２）が実行する情報処理方法について説明する。
図４は、情報処理方法を示すフローチャートである。図５は、情報処理方法を説明する図である。具体的に、図５は、撮像部２３にて生成され、ステップＳ１にて取得される撮影画像ＩＭを示す図である。ここで、図５では、車両ＶＥの運転席に座った乗員（運転手）ＰＡを側方から撮影するように当該車両ＶＥ内に撮像部２３を設置した場合を例示している。
なお、撮像部２３の設置位置としては、上述した設置位置に限らない。例えば、乗員ＰＡを前方から撮影するように当該車両ＶＥ内に撮像部２３を設置しても構わない。また、本実施の形態に係る車両の乗員としては、車両ＶＥの運転席に座った乗員に限らず、助手席や後部座席に座った乗員等を含むものである。
また、車両ＶＥ内に設置される撮像部２３の数としては、一つに限らず、複数としても構わない。すなわち、一人の乗員ＰＡを複数の撮像部２３により撮影して、複数の視点から当該乗員ＰＡの姿勢を検出する構成を採用しても構わない。

先ず、画像取得部３２１は、通信部３１を介して車載端末２から撮像部２３にて生成された撮影画像ＩＭを取得する（ステップＳ１）。
ステップＳ１の後、姿勢検出部３２２は、学習モデルＤＢ３３１に記憶された学習モデルを用いた画像認識により、撮影画像ＩＭ内に被写体として含まれる車両ＶＥの乗員ＰＡの骨格を検知することで当該乗員ＰＡの姿勢を検出する（ステップＳ２：姿勢検出ステップ）。
ステップＳ２の後、情報取得部３２３は、各種の情報を取得する（ステップＳ３）。

ステップＳ３の後、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢と当該ステップＳ３にて取得された各種の情報とに基づいて、サービスエージェント３２４２を起動するか否かを判定する（ステップＳ４）。
サービスエージェント３２４２を起動しないと判定された場合（ステップＳ４：Ｎｏ）には、制御部３２は、ステップＳ１に戻る。
一方、サービスエージェント３２４２を起動すると判定した場合（ステップＳ４：Ｙｅｓ）には、エージェント起動部３２４１は、複数のサービスエージェント３２４２１～３２４２Ｎのうち、ステップＳ２にて検出された乗員ＰＡの姿勢とステップＳ３にて取得された各種の情報とに応じた少なくとも一つのサービスエージェント３２４２を選択し起動する（ステップＳ５）。これにより、当該起動した少なくとも一つのサービスエージェント３２４２は、サービスを実行する。すなわち、ステップＳ５は、本実施の形態に係るサービス実行ステップに相当する。
なお、ステップＳ４，Ｓ５の詳細については、後述する「サービスエージェントの具体例」において説明する。

〔サービスエージェントの具体例〕
上述したサービスエージェント３２４２としては、以下に示す第１～第１０のサービスエージェントを例示することができる。

〔第１のサービスエージェント（フードオーダーエージェント）〕
第１のサービスエージェントは、以下に示す第１，第２のタスク（機能）を実行するサービスエージェント３２４２である。
第１のタスク（機能）は、車両ＶＥの乗員ＰＡと対話するタスクである。より具体的に、第１のサービスエージェントは、第１のタスク（機能）を実行することにより、通信部３１を介して車載端末２から、当該乗員ＰＡが発した言葉（音声）を音声入力部２１が取り込み、当該音声に基づいて当該音声入力部２１にて生成された音声情報を取得する。また、第１のサービスエージェントは、当該取得した音声情報を認識し、当該音声情報が示す音声に返答する音声情報を、通信部３１を介して車載端末２に送信する。これにより、当該音声情報に応じた音声が音声出力部２２から出力され、当該乗員ＰＡと第１のサービスエージェントとの間で対話が行われる。

ここで、第１のタスク（機能）は、後述する第３，第４，第６，第８，第１０，第１２のタスク（機能）と以下の点で異なる。
具体的に、第１のサービスエージェントは、第１のタスク（機能）の実行中、ステップＳ３にて取得された出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置や当該車両ＶＥの目的地までのルート等を考慮する。そして、第１のサービスエージェントは、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡが受け取ることができる飲食物を当該乗員ＰＡに対して提案する。

第２のタスク（機能）は、上述した第１のタスク（機能）において、飲食物を提案するとともに、車両ＶＥの乗員ＰＡが当該飲食物を望んだ場合に実行されるタスクである。より具体的に、第１のサービスエージェントは、第２のタスク（機能）を実行することにより、当該飲食物のオーダーや配送を受け付ける外部の管理サーバに対して通信部３１を介してアクセスし、当該飲食物のオーダーや配送を依頼する。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「ハンドルに寄り掛かった姿勢（以下、第１の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第１のサービスエージェントを選択する。
ここで、エージェント起動部３２４１は、第１のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、乗車時間情報及びセンサ部２５の出力データ（生体センサ２５５にて生成された生体データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第１の姿勢であり、かつ、以下の第１，第２の場合の少なくとも一つの場合に、第１のサービスエージェントを選択する。

すなわち、第１の場合は、乗車時間情報が示す乗員ＰＡの運転時間が特定の閾値以上である場合である。第２の場合は、生体データが示す乗員ＰＡの心拍等から当該乗員ＰＡの状態が疲労のある状態であると推定される場合である。
以上のように、第１のサービスエージェントは、車両ＶＥの乗員ＰＡが疲労のある状態であって飲食を必要とする場合に起動する。

〔第２のサービスエージェント（休憩提案エージェント）〕
第２のサービスエージェントは、第３のタスク（機能）を実行するサービスエージェント３２４２である。
第３のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
ここで、第２のサービスエージェントは、第３のタスク（機能）の実行中、ステップＳ３にて取得された出力データ（ＧＮＳＳセンサ２５１にて受信した測位用データ）から推定される車両ＶＥの現在位置や当該車両ＶＥの目的地までのルート等を考慮する。そして、第２のサービスエージェントは、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡに対して現在位置付近のサービスエリアやコンビニエンスストア等の休憩場所を提案し、休憩を促す。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「あくびをした姿勢（以下、第２の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第２のサービスエージェントを選択する。
ここで、エージェント起動部３２４１は、第２のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、乗車時間情報、道路交通情報、及びセンサ部２５の出力データ（生体センサ２５５にて生成された生体データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第２の姿勢であり、かつ、以下の第３～第６の場合の少なくとも一つの場合に、第２のサービスエージェントを選択する。

すなわち、第３の場合は、乗車時間情報が示す乗員ＰＡの運転時間が特定の閾値以上である場合である。第４の場合は、生体データから推定される乗員ＰＡの起床時間が特定の時間よりも早い時間である場合である。第５の場合は、道路交通情報が示す車両ＶＥの走行中の道路が渋滞中である場合である。第６の場合は、生体データが示す乗員ＰＡの心拍等から当該乗員ＰＡの状態が眠気のある状態であると推定される場合である。
以上のように、第２のサービスエージェントは、車両ＶＥの乗員ＰＡが眠気のある状態であって休憩を必要とする場合に起動する。

〔第３のサービスエージェント（エンターテイメントエージェント）〕
第３のサービスエージェントは、以下に示す第４，第５のタスク（機能）を実行するサービスエージェント３２４２である。
第４のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
ここで、第３のサービスエージェントは、第４のタスク（機能）を実行することにより、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡに対してクイズを出す。
第５のタスク（機能）は、車載端末２に特定の楽曲データを再生させ、特定の音楽をかけるタスクである。具体的に、第３のサービスエージェントは、第５のタスク（機能）を実行することにより、通信部３１を介して車載端末２に特定の楽曲データを送信する。これにより、車載端末２は、当該楽曲データを再生する。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「窓等に肘をかけた姿勢（以下、第３の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第３のサービスエージェントを選択する。
ここで、エージェント起動部３２４１は、第３のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、乗車時間情報、道路データ、道路交通情報、及びセンサ部２５の出力データ（加速度センサ２５３にて生成された振動データ、生体センサ２５５にて生成された生体データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第３の姿勢であり、かつ、以下の第７～第１１の場合の少なくとも一つの場合に、第３のサービスエージェントを選択する。

すなわち、第７の場合は、乗車時間情報が示す乗員ＰＡの運転時間が特定の閾値以上である場合である。第８の場合は、道路データが示す車両ＶＥの走行中の道路が単調な道路（例えば、直線が続いている道路等）である場合である。第９の場合は、振動データが示す車両ＶＥにおける鉛直方向の加速度から車両ＶＥの走行中の道路が単調な道路（例えば、平滑な道路等）であると推定される場合である。第１０の場合は、道路交通情報が示す車両ＶＥの走行中の道路の交通量が特定の閾値以下である場合である。第１１の場合は、生体データが示す乗員ＰＡの心拍等から当該乗員ＰＡの状態が疲労のない状態であると推定される場合である。
以上のように、第３のサービスエージェントは、例えば車両ＶＥが単調な道路を走行中で、当該車両ＶＥの乗員ＰＡが退屈している場合に起動する。

〔第４のサービスエージェント（観光インフォエージェント）〕
第４のサービスエージェントは、以下に示す第６，第７のタスク（機能）を実行するサービスエージェント３２４２である。
第６のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
第７のタスク（機能）は、車両ＶＥの乗員ＰＡが当該車両ＶＥ外の物体（例えば、建物）に対して指を差した場合に、当該物体を認識するタスクである。より具体的に、第４のサービスエージェントは、第７のタスク（機能）を実行することにより、通信部３１を介して車載端末２から撮影画像ＩＭを取得する。また、第４のサービスエージェント、当該撮影画像ＩＭに基づいて、当該撮影画像ＩＭに被写体として含まれる乗員ＰＡの指の方向に位置する物体を認識する。当該認識された物体を説明する物体情報（例えば当該物体の名称等）は、例えば、上述した第６のタスク（機能）を実行することによって、乗員ＰＡに対して音声出力される。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「車両ＶＥ外を指差した姿勢（以下、第４の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第４のサービスエージェントを選択する。
ここで、エージェント起動部３２４１は、第４のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、施設情報も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第４の姿勢であり、かつ、施設情報が示す車両ＶＥの現在位置周辺の施設から当該車両ＶＥが観光地を走行中であると推定される場合に、第４のサービスエージェントを選択する。
以上のように、第４のサービスエージェントは、例えば車両ＶＥが観光地を走行中で、当該車両ＶＥの乗員ＰＡが当該車両ＶＥ外を指差した場合に起動する。

〔第５のサービスエージェント（セイフティエージェント）〕
第５のサービスエージェントは、以下に示す第８のタスク（機能）を実行するサービスエージェント３２４２である。
第８のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
ここで、第５のサービスエージェントは、第８のタスク（機能）を実行することにより、車両ＶＥの乗員ＰＡと対話を行いつつ、当該乗員ＰＡに対して安全のために両手でハンドルを持って運転することを促す。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「片手でハンドルを持っている姿勢（以下、第５の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第５のサービスエージェントを選択する。
ここで、エージェント起動部３２４１は、第５のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、以下の情報を考慮する。当該情報は、道路データ、及びセンサ部２５の出力データ（加速度センサ２５３にて生成された振動データ）の少なくとも一つである。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第５の姿勢であり、かつ、以下の第１２，第１３の場合の少なくとも一つの場合に、第５のサービスエージェントを選択する。

すなわち、第１２の場合は、道路データが示す車両ＶＥの走行中の道路がコーナーの続く山道である場合である。第１３の場合は、振動データが示す車両ＶＥにおける鉛直方向の加速度から車両ＶＥの走行中の道路がコーナーの続く山道であると推定される場合である。
以上のように、第５のサービスエージェントは、例えば車両ＶＥがコーナーの続く山道を走行中で、当該車両ＶＥの乗員ＰＡが危険な運転（片手でハンドルを持つ）をしている場合に起動する。

〔第６のサービスエージェント（ＤＪ（Disk Jockey）エージェント）〕
第６のサービスエージェントは、以下に示す第９のタスク（機能）を実行するサービスエージェント３２４２である。
第９のタスク（機能）は、車載端末２でかけられている音楽を楽しんで聞いてもらうように、当該聞いてもらう音楽を選曲したり、当該音楽にＤＪのエフェクトを入れたりするタスクである。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「一定のリズムで左右に揺れている姿勢（以下、第６の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第６のサービスエージェントを選択する。
ここで、エージェント起動部３２４１は、第６のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、テンポ情報も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡの姿勢が第４の姿勢であり、かつ当該第４の姿勢が示す左右に揺れている一定のリズムと、テンポ情報が示す車載端末２において再生されている楽曲のテンポとが略一致している場合に、第６のサービスエージェントを選択する。
以上のように、第６のサービスエージェントは、車載端末２において再生されている楽曲のテンポで車両ＶＥの乗員ＰＡがリズムをとっている場合に起動する。

〔第７のサービスエージェント（友達エージェント）〕
第７のサービスエージェントは、以下に示す第１０のタスク（機能）を実行するサービスエージェント３２４２である。
第１０のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。
ここで、第７のサービスエージェントは、第１０のタスク（機能）を実行することにより、ステップＳ１にて取得された撮影画像ＩＭや、ステップＳ３にて取得された生体データが示す乗員ＰＡの心拍等から推定される当該乗員ＰＡの感情に応じて当該乗員ＰＡと対話する。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「本やスマートフォンを見ている姿勢（以下、第７の姿勢と記載）」である場合に、ステップＳ４，Ｓ５において、第７のサービスエージェントを選択する。
以上のように、第７のサービスエージェントは、車両ＶＥの乗員ＰＡが本やスマートフォンを見ている場合に起動する。

〔第８のサービスエージェント（エマージェンシーエージェント）〕
第８のサービスエージェントは、以下に示す第１１のタスク（機能）を実行するサービスエージェント３２４２である。
第１１のタスク（機能）は、通信部３１及び車載端末２を介して車両ＶＥの動作を制御し、車両ＶＥを自動で路肩に緊急停止させるタスクである。ここで、第８のサービスエージェントは、第１１のタスク（機能）の実行中、車両ＶＥの動作を制御するにあたって、ステップＳ３にて取得された道路データ及びセンサ部２５の出力データ（車速センサ２５２にて生成された車速データ、及び舵角センサ２５４にて生成された舵角データ）を参照する。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「通常の運転姿勢でない姿勢（以下、第８の姿勢と記載）」で一定時間、継続した場合に、ステップＳ４，Ｓ５において、第８のサービスエージェントを選択する。当該通常の運転姿勢でない姿勢とは、頭が前や後等に倒れてしまっている、あるいは、前を見ることができない状態で体が倒れてしまっている姿勢等を例示することができる。
ここで、エージェント起動部３２４１は、第８のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、センサ部２５の出力データ（生体センサ２５５にて生成された生体データ）も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡが第８の姿勢を一定時間、継続し、生体データが示す当該乗員ＰＡの心拍等から当該乗員ＰＡの状態が意識のない状態であると推定される場合に、第８のサービスエージェントを選択する。
以上のように、第８のサービスエージェントは、車両ＶＥの乗員ＰＡが意識のない状態である場合に起動する。

〔第９のサービスエージェント（対話エージェント）〕
第９のサービスエージェントは、以下に示す第１２のタスク（機能）を実行するサービスエージェント３２４２である。
第１２のタスク（機能）は、上述した第１のタスク（機能）と同様に、車両ＶＥの乗員ＰＡと対話するタスクである。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「両手を頭の後ろに置いた姿勢（以下、第９の姿勢と記載）」で一定時間、継続した場合に、ステップＳ４，Ｓ５において、第９のサービスエージェントを選択する。
以上のように、第９のサービスエージェントは、車両ＶＥの乗員ＰＡが何か考え事をしている場合に起動する。

〔第１０のサービスエージェント（車内環境コントロールエージェント）〕
第１０のサービスエージェントは、以下に示す第１３のタスク（機能）を実行するサービスエージェント３２４２である。
第１３のタスク（機能）は、通信部３１及び車載端末２を介して、車両ＶＥのエアコン調整、音量調整、シートリクライニング等を行い、当該車両ＶＥの乗員ＰＡの快眠を促すタスクである。

そして、エージェント起動部３２４１は、ステップＳ２にて検出された乗員ＰＡの姿勢が「シートに寄り掛かった姿勢（以下、第１０の姿勢）」で一定時間、継続した場合に、ステップＳ４，Ｓ５において、第１０のサービスエージェントを選択する。
ここで、エージェント起動部３２４１は、第１０のサービスエージェントを選択するにあたって、乗員ＰＡの姿勢の他、ステップＳ３にて取得された各種の情報のうち、センサ部２５の出力データ（生体センサ２５５にて生成された生体データ）も考慮する。具体的に、エージェント起動部３２４１は、乗員ＰＡが第１０の姿勢を一定時間、継続し、生体データが示す当該乗員ＰＡの心拍等から当該乗員ＰＡの状態が睡眠状態であると指定される場合に、第１０のサービスエージェントを選択する。
以上のように、第１０のサービスエージェントは、車両ＶＥの乗員ＰＡが眠っている場合に起動する。

なお、サービスエージェント３２４２を起動しないと判定する場合（ステップＳ４：Ｎｏ）とは、例えば、上述した第１～第１０のサービスエージェントのいずれも選択しない場合に相当する。

以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態１に係る情報処理装置３は、車両ＶＥの乗員ＰＡが無意識にとった姿勢を検出し、当該姿勢に基づいて、複数種類のサービスのうち少なくとも一つのサービスを実行する。言い換えれば、当該姿勢に基づいて、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つが起動する。
すなわち、車両ＶＥの乗員ＰＡは、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つを起動させるために、従来のようにウェイクワードを発する必要がない。したがって、利便性を向上させることができる。

特に、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つは、車両ＶＥの乗員ＰＡの姿勢に応じて能動的に起動する。このため、当該乗員ＰＡにとって適切なタイミングで適切なサービスを実行することができる。

また、情報処理装置３は、所謂、骨格検知により車両ＶＥの乗員ＰＡの姿勢を検出する。このため、当該姿勢を高精度に検出することができ、適切なサービスエージェント３２４２を起動することができる。

また、情報処理装置３は、車両ＶＥの乗員ＰＡが無意識にとった姿勢と、乗車時間情報、当該乗員ＰＡの生体データ、及び車両ＶＥの走行中の道路の渋滞情報の少なくとも一つの情報とに基づいて、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つを起動する。このため、姿勢だけでは分からない乗員ＰＡの状態を当該少なくとも一つの情報により明確化することができる。そして、当該乗員ＰＡに対して当該明確化した状態に応じた適切なサービスを実行する（例えば乗員ＰＡが疲労のある状態であれば第１のサービスエージェントを起動する等）ことができる。

また、情報処理装置３は、車両ＶＥの乗員ＰＡが無意識にとった姿勢と、道路データ及び振動データのうち少なくとも一つの情報とに基づいて、複数のサービスエージェント３２４２１～３２４２Ｎのうち少なくとも一つを起動する。このため、姿勢だけでは分からない乗員ＰＡに必要なサービスを実行する（例えば第５のサービスエージェント（セイフティエージェント）を起動する等）ことができる。

（その他の実施形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態において、情報処理装置３の全ての構成を車載端末２に設けても構わない。この場合には、当該車載端末２は、本実施の形態に係る情報処理装置に相当する。また、情報処理装置３における制御部３２の一部の機能を車載端末２に設けても構わない。この場合には、情報処理システム１全体が本実施の形態に係る情報処理装置に相当する。

上述した実施の形態において、「サービスエージェントの具体例」において説明したように、一つのサービスエージェント３２４２のみが起動する構成としてもよく、あるいは、複数のサービスエージェント３２４２が略同時に起動する構成としても構わない。
上述した実施の形態では、サービスエージェント３２４２を起動するにあたって、車両ＶＥの乗員ＰＡの姿勢の他、情報取得部３２３にて取得される各種の情報を考慮していたが、これに限らず、当該乗員ＰＡの姿勢のみを考慮する構成を採用しても構わない。

３ 情報処理装置
３２１ 画像取得部
３２２ 姿勢検出部
３２３ 情報取得部
３２４ サービス実行部

Claims (1)

1. 移動体内における乗員が無意識にとった姿勢を検出する姿勢検出部と、
   前記姿勢に基づいて、飲食物のオーダーを受け付けるサービスを前記乗員に対して実行するサービス実行部とを備える
   ことを特徴とする情報処理装置。

Images