JP7453889B2 - 演算装置およびプログラム - Google Patents

Description

本発明は、演算装置およびプログラムに関する。

特許文献１には、車載装置に関し、「車載装置は、自車両に搭乗した自車ユーザを認識する認識手段と、自車両の現在地及び目的地を取得する取得手段と、自車ユーザと、現在地及び目的地とを示す第１信号を、自車両の外部装置に送信する送信手段と、外部装置において、自車ユーザの道路上の複数の地点各々における感情状態と地図情報とが関連付けられた情報である第１感情マップ、及び、自車ユーザを含む複数のユーザ各々の道路上の複数の地点各々における感情状態と地図情報とが関連付けられた情報である第２感情マップ、を用いて探索された現在地から目的地までの走行経路を示す第２信号を、外部装置から受信する受信手段と、第２信号により示される走行経路を提示する提示手段と、を備える」と記載されている。

特開２０１８－１００９３６号公報

一般に、いわゆるナビゲーション装置に対して自車の目的地を設定する場合、タッチパネルによる入力や音声入力などが用いられている。しかしながら、タッチパネルを用いた入力方法は手動操作が必要であり、音声入力を用いた方法は、音声認識の精度を良くするためにオーディオ機器から出力される音楽やユーザ同士の会話を一時的に中断する必要があり、いずれの場合も使い勝手が良くないと感じる場合がある。そのため、手動操作や音声入力以外のより簡単な目的地の設定方法が望まれている。

なお、特許文献１には、ユーザの感情を検出し、出発地点から最終案内地点までの間の目標とする感情種別を設定するとともに、感情と地点情報とに基づいて、設定された感情種別に対応する地点を含む走行経路を提案する技術が開示されている。しかしながら、同文献の技術では、目的地の設定にユーザの感情や表情を用いることは考慮されていない。

そこで、本発明は、車両において、より簡単に入力操作を行うことを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記の課題を解決する本発明の一態様に係る演算装置は、車両の乗員の表情を撮像した顔画像を用いて表情認識を行う表情認識部と、前記乗員の表情に対応付けられている所定地点を特定し、特定した当該地点を目的地に設定する目的地設定部と、を備え、前記表情認識部は、前記乗員の第１の前記顔画像を用いた表情認識により、前記乗員がキー表情をしているか否かを判定し、前記乗員が前記キー表情をしている場合、第１の前記顔画像より後に撮像された第２の前記顔画像を用いた表情認識を行い、前記目的地設定部は、第２の前記顔画像を用いた表情認識により特定された前記乗員の表情に基づいて、前記所定地点を特定する。

本発明によれば、車両において、より簡単に入力操作を行うことができる。

なお、上記以外の課題、構成および効果等は、以下の実施形態の説明により明らかにされる。

目的地設定システムの概略構成の一例を示した図である。 目的地設定表情情報の一例を示した図である。 目的地設定感情情報の一例を示した図である。 演算装置のハードウェア構成の一例を示した図である。 サーバ装置のハードウェア構成の一例を示した図である。 目的地設定処理の一例を示したフロー図である。 目的地設定処理における一連の流れを示した模式図である。 目的地設定処理における一連の流れを示した模式図である。

以下、本発明の一実施形態について説明する。

図１は、本実施形態に係る目的地設定システムの概略構成の一例を示した図である。図示するように、目的地設定システムは、演算装置１００と、サーバ装置２００と、を有している。また、演算装置１００と、サーバ装置２００とは、インターネット等の公衆網やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）あるいはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）など所定のネットワークＮを介して、相互通信可能に接続されている。

演算装置１００は、所定の演算処理を行う装置である。具体的には、演算装置１００は、車両の乗員（例えば、運転者などのユーザ）の表情または感情に基づいて情報の入力を行うための演算処理を行う。より具体的には、演算装置１００は、ユーザの表情または感情に対応する地点を特定し、特定した地点を目的地に設定するための演算処理を行う。

なお、演算装置１００は、例えば出発地および目的地を結ぶ推奨経路の探索、地図情報や道路交通情報および推奨経路の表示、および、推奨経路の誘導案内など、いわゆるナビゲーション機能を提供するナビゲーション装置により実現される。

図１に示すように、このような演算装置１００は、演算部１１０と、記憶部１２０と、通信部１３０と、を有している。

演算部１１０は、演算装置１００が行う様々な処理を実行する機能部である。具体的には、演算部１１０は、入力受付部１１１と、出力処理部１１２と、経路探索部１１３と、音声認識部１１４と、表情登録部１１５と、表情認識部１１６と、感情推定要求部１１７と、目的地設定部１１８と、を有している。

入力受付部１１１は、演算装置１００が有する入力装置を介して、情報や指示の入力を受け付ける機能部である。例えば、入力受付部１１１は、入力装置を介して、出発地や目的地の入力や、表情の登録指示をユーザから受け付ける。

出力処理部１１２は、様々な種類の情報を出力する機能部である。具体的には、出力処理部１１２は、地図や推奨経路などを表示するための画面情報を生成し、演算装置１００が有する表示装置に出力する。また、出力処理部１１２は、誘導案内などの音声情報を生成し、演算装置１００が有するスピーカあるいは車載スピーカに出力する。

経路探索部１１３は、出発地および目的地を結ぶ推奨経路を探索する機能部である。具体的には、経路探索部１１３は、入力受付部１１１を介して取得した出発地および目的地を結ぶ推奨経路を探索する。また、経路探索部１１３は、車両の現在地と、ユーザの表情認識あるいは感情推定の結果に基づき目的地設定部１１８が設定した目的地と、を結ぶ推奨経路を探索する。

音声認識部１１４は、音声認識を行う機能部である。具体的には、音声認識部１１４は、演算装置１００が有するマイクロフォンあるいは車載のマイクロフォンを介して取得した車内の音声を用いて音声認識を行い、ユーザが会話中か否かの判定を行う。なお、音声認識のアルゴリズムは特に限定されるものではなく、公知の技術が用いられれば良い。

表情登録部１１５は、ユーザの表情を登録する機能部である。具体的には、表情登録部１１５は、ユーザのキー表情と、目的地設定表情と、を登録する。

なお、キー表情とは、ユーザの表情またはユーザの感情に基づいて目的地を設定する処理（以下、「目的地設定処理」という場合がある）において、目的地を設定するための表情認識の開始トリガーとして検出される表情のことである。そのため、キー表情は、ユーザが普段しない表情（例えば、片目を閉じてウィンクした表情や口を尖らせた表情など、普段しない特異な表情）であることが好ましい。なお、目的地設定処理の詳細については後述する。

また、目的地設定表情とは、目的地設定処理の開始後、ユーザが目的地を設定する際に行う表情である。目的地設定表情には、目的地に設定したい所定地点に対応する複数種類の表情がある。なお、表情の種類はユーザの任意であり、例えばキー表情と異なる表情であって、笑顔、頬を膨らませた表情、キー表情と異なる側の目を閉じたウィンクの表情、口を大きく開けた表情、眉間にシワを寄せた表情など、どのような表情であっても良い。

表情登録部１１５は、入力受付部１１１を介してキー表情または目的地設定表情の登録指示を受け付けると、指示を受け付けてから所定時間（例えば、３秒間）の間に取得したユーザの顔画像を用いて表情の登録を行う。具体的には、表情登録部１１５は、キー表情または目的地設定表情をした際のユーザの目、眉毛、鼻、口および輪郭など顔の各パーツの形状、大きさおよび相対位置などの特徴を顔画像から抽出する。

また、キー表情を登録する場合、表情登録部１１５は、抽出した特徴をキー表情を識別する特徴として顔画像に対応付けたキー表情登録情報１２３を生成し、これを記憶部１２０に記憶する。なお、キー表情登録情報１２３には、通常、１つのキー表情の顔画像およびそれに対応する特徴が登録されている。キー表情登録情報１２３の詳細については後述する。

また、目的地設定表情を登録する場合、表情登録部１１５は、抽出した特徴を目的地設定表情を識別する特徴として顔画像に対応付け、かかる特徴および顔画像の組み合わせに対してユーザが指定する所定地点を対応付けた目的地設定表情情報１２４を生成する。また、表情登録部１１５は、生成した目的地設定表情情報１２４を記憶部１２０に記憶する。なお、目的地設定表情情報１２４には、通常、ユーザが目的地に設定したい複数の所定地点およびそれに対応する顔画像とその特徴とが登録されている。目的地設定表情情報１２４の詳細については後述する。

表情認識部１１６は、ユーザの表情認識を行う機能部である。表情認識とは、顔画像から人物の目、眉毛、鼻、口および輪郭など顔の各パーツの形状、大きさおよび相対位置などの特徴を抽出し、それらの特徴と一致する度合いが高い特徴を有する顔を複数の顔画像の中から特定するものである。なお、表情認識のアルゴリズムは特に限定されるものではなく、例えば隠れマルコフモデルや線形判別分析など公知の技術が用いられれば良い。

表情認識部１１６は、ユーザの顔画像を用いた表情認識により、ユーザがキー表情をしたか否かを判定する。具体的には、表情認識部１１６は、ユーザの顔画像を用いて表情認識を行い、かかる顔画像から抽出した特徴との一致度が所定値以上（例えば、８０％以上）の顔画像の特徴がキー表情登録情報１２３に登録されている場合、ユーザがキー表情をしたと判定する。

また、表情認識部１１６は、キー表情を検出した後、かかる検出から所定時間以内（例えば、３秒以内）に取得したユーザの顔画像を用いた表情認識により、ユーザが目的地設定表情情報１２４に登録されている所定の表情をしたか否かを判定する。具体的には、表情認識部１１６は、ユーザの顔画像を用いて表情認識を行い、かかる顔画像から抽出した特徴との一致度が所定値以上（例えば、８０％以上）の顔画像の目的地設定表情情報１２４に登録されている場合、ユーザがその特徴に対応する所定の表情をしたと判定する。

感情推定要求部１１７は、感情推定の実行を要求する機能部である。具体的には、ユーザの顔画像を用いた感情推定の実行要求を行う。より具体的には、感情推定要求部１１７は、表情認識部１１６による表情認識によりユーザの所定の表情が検出されなかった場合、通信部１３０を介して、ユーザの顔画像と共に感情推定の実行要求をサーバ装置２００に送信する。

目的地設定部１１８は、目的地を設定する機能部である。具体的には、目的地設定部１１８は、ユーザの表情またはユーザの感情に基づいて特定される所定地点を目的地に設定する。より具体的には、目的地設定部１１８は、表情認識部１１６により検出されたユーザの所定の表情に対応する地点を目的地設定表情情報１２４から特定し、特定した地点を目的地に設定する。

また、目的地設定部１１８は、ユーザの感情を示す情報を取得すると、ユーザの感情に対応する地点を所定情報（以下、「目的地設定感情情報」という場合がある）から特定し、特定した地点を目的地に設定する。なお、目的地設定感情情報１２５の詳細については後述する。

記憶部１２０は、様々な情報を記憶する機能部である。具体的には、記憶部１２０は、地図情報１２１と、地点情報１２２と、キー表情登録情報１２３と、目的地設定表情情報１２４と、目的地設定感情情報１２５と、を記憶している。

地図情報１２１は、地図を細分化した所定領域ごとに、かかる領域内の道路の詳細情報を格納したリンク情報を有している。また、リンク情報には、例えば道路の開始ノードおよび終了ノード、道路種別、道路名称、リンク長、移動時間（旅行時間）、リンク特性（例えば、上り車線、下り車線など）、各リンクの法定速度および走行レーンを識別する車線情報などの道路に関する情報が含まれている。

地点情報１２２は、地図上の施設や場所などの地点に関する情報を有している。具体的には、地点情報１２２は、施設や場所の名称と、住所や地図上の座標を示す位置情報と、が対応付けられて登録されている。

キー表情登録情報１２３は、キー表情が登録されている情報である。具体的には、キー表情登録情報１２３には、目的地設定処理において目的地を設定するための表情認識の開始トリガーとして検出されるキー表情の顔画像と、キー表情から抽出された特徴と、が対応付けられて登録されている。

図２は、目的地設定表情情報１２４の一例を示した図である。目的地設定表情情報１２４は、ユーザが目的地に設定したい所定地点と、各地点に対応するユーザの表情とが登録されている情報である。具体的には、目的地設定表情情報１２４は、顔画像１２４ａと、特徴１２４ｂと、地点１２４ｃと、が対応付けられたれコードを有している。

顔画像１２４ａは、目的地に設定したい地点を指定する際にユーザが行う表情の顔画像である。特徴１２４ｂは、対応する顔画像の表情から抽出された特徴である。地点１２４ｃは、ユーザにより指定された目的地の地点を示す情報である。なお、地点１２４ｃは、施設名や場所の名称であっても良く、地図上の座標位置であっても良い。このような目的地設定表情情報１２４は、表情登録部１１５により生成され、記憶部１２０に記憶される。

図３は、目的地設定感情情報１２５の一例を示した図である。目的地設定感情情報１２５は、ユーザの感情に応じて選択される複数の目的地の候補となる地点が登録されている情報である。具体的には、目的地設定感情情報１２５は、感情１２５ａと、地点１２５ｂと、が対応付けられたレコードを有している。

感情１２５ａは、推定されるユーザの感情を示す情報である。感情１２５ａには、例えばＨａｐｐｙ、Ｓａｄ、Ｔｉｒｅｄ、Ａｎｇｒｙといった複数の感情が登録されている。なお、感情の種類はこれらに限定されるものではない。地点１２５ｂは、推定されるユーザの感情に応じて、ユーザに提案する候補地点を示す情報である。なお、地点１２５ｂは、施設名や場所の名称であっても良く、地図上の座標位置であっても良い。このような目的地設定感情情報１２５は、予め記憶部１２０に記憶されている。

通信部１３０は、外部装置（例えば、サーバ装置２００）との間で情報通信を行う機能部である。具体的には、通信部１３０は、所定の場合にユーザの顔画像をサーバ装置２００に送信する。また、通信部１３０は、ユーザの感情を示す情報をサーバ装置２００から取得する。

以上、演算装置１００の機能構成（機能ブロック）の一例について説明した。

サーバ装置２００は、様々な演算処理を行う装置である。具体的には、サーバ装置２００は、感情推定モデル情報２２１を用いてユーザの感情推定を行う。なお、感情推定モデル情報２２１は、ニューラルネットワークなどをベースモデルとし、様々な人物の様々な表情の顔画像を用いて機械学習を行うことにより生成されたモデル情報である。

図１に示すように、このようなサーバ装置２００は、感情推定部２１０と、記憶部２２０と、通信部２３０と、を有している。

感情推定部２１０は、感情推定を行う機能部である。具体的には、感情推定部２１０は、ユーザの顔画像を感情推定モデル情報２２１に入力し、演算結果として出力される出力値に基づいてユーザの感情を推定する。より具体的には、感情推定部２１０は、通信部２３０を介してユーザの顔画像を取得すると、これを感情推定モデル情報２２１に入力し、その出力値として各種の感情の推定確率を取得する。

例えば、感情推定部２１０は、感情推定モデル情報２２１からの出力値として、「Ｈａｐｐｙ８０％、Ｓａｄ０％、Ｔｉｒｅｄ１０％、Ａｎｇｒｙ１０％」といった各種の感情の推定確率を取得する。また、感情推定部２１０は、最も高い推定確率の感情（本例では、Ｈａｐｐｙ）をユーザの感情として推定する。

なお、感情推定のアルゴリズムは特に限定されるものではなく、公知の技術が用いられれば良い。また、感情推定部２１０は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）が適用されても良い。

記憶部２２０は、様々な情報を記憶する機能部である。具体的には、記憶部２２０は、感情推定モデル情報２２１を記憶している。

通信部２３０は、外部装置（例えば、演算装置１００）との間で情報通信を行う機能部である。具体的には、通信部２３０は、演算装置１００からユーザの顔画像を取得する。また、通信部２３０は、感情推定の結果であるユーザの感情を示す情報を演算装置１００に送信する。

以上、サーバ装置２００の機能構成（機能ブロック）の一例について説明した。

次に、演算装置１００およびサーバ装置２００のハードウェア構成について説明する。

図４は、演算装置１００のハードウェア構成の一例を示した図である。図示するように、演算装置１００は、演算処理装置３００と、表示装置（ディスプレイ）３０２と、記憶装置３０３と、音声入出力装置３０４と、入力装置３０５と、ＲＯＭ装置３０６と、車速センサ３０７と、ジャイロセンサ３０８と、ＧＰＳ情報受信装置３０９と、ＶＩＣＳ情報受信装置３１０と、通信装置３１１と、を有している。また、通信装置３１１には、ユーザの顔画像を撮像する車内カメラ３２０が接続されている。

演算処理装置３００は、演算処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）３０１ａと、記憶装置３０３あるいはＲＯＭ装置３０６から読み出した各種情報を一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０１ｂと、ＣＰＵ３０１ａで実行されるプログラムなどを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０１ｃと、演算処理装置３００に各種ハードウェアを接続するためのＩ／Ｆ（インターフェイス）３０１ｄと、これらを相互に接続するバス３０１ｅと、を有している。

表示装置３０２は、グラフィックス情報を表示するユニットであって、例えば液晶ディスプレイや有機ＥＬディスプレイなどで構成される。記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）あるいは不揮発性メモリカードといった、少なくとも読み書きが可能な記憶媒体であって、様々な情報（例えば、地図情報１２１など）が格納されている。

音声入出力装置３０４は、運転者や同乗者の発した音声を集音するマイクロフォン３０４ａと、運転者などへの音声案内を出力するスピーカ３０４ｂと、を有する。なお、スピーカ３０４ｂは、車両に搭載されている車載のスピーカであっても良い。

入力装置３０５は、タッチパネル３０５ａやダイヤルスイッチ３０５ｂなどユーザからの指示入力を受け付ける装置である。ＲＯＭ装置３０６は、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭなどのＲＯＭあるいはＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カードなどの、少なくとも読み取りが可能な記憶媒体であって、例えば動画データや、音声データなどが記憶されている。

車速センサ３０７、ジャイロセンサ３０８およびＧＰＳ情報受信装置３０９は、演算装置１００が搭載される車両の現在位置を検出するために使用される。車速センサ３０７は、車速の算出に用いられる情報を出力する。具体的には、車速センサ３０７は、検出した車輪の回転数をパルス信号に変換し、所定の時間内におけるパルス信号数といった所定の情報を出力する。ジャイロセンサ３０８は、光ファイバジャイロや振動ジャイロなどで構成され、移動体の回転による角速度を検出する。ＧＰＳ情報受信装置３０９は、ＧＰＳ衛星からの信号を受信し、車両とＧＰＳ衛星間の距離と距離の変化率とを所定数（例えば、４つ）の衛星に対して測定することで車両の現在地、進行速度および進行方位を測定する。

ＶＩＣＳ情報受信装置３１０は、渋滞や事故あるいは道路工事に関する道路交通情報（ＶＩＣＳ情報）を受信する装置である。通信装置３１１は、外部装置（例えば、サーバ装置２００）との間で情報通信を行う通信モジュールなどである。

図５は、サーバ装置２００のハードウェア構成の一例を示した図である。図示するように、サーバ装置２００は、演算処理装置４０１と、主記憶装置４０２と、補助記憶装置４０３と、通信装置４０４と、これらの各装置を電気的に接続するバス４０５と、を有している。

演算処理装置４０１は、例えば演算処理を行うＣＰＵである。主記憶装置４０２は、読み出した各種情報を一時的に格納するＲＡＭやＣＰＵで実行されるプログラムなどを格納するＲＯＭなどのメモリ装置である。補助記憶装置４０３は、デジタル情報を記憶可能なＨＤＤやＳＳＤあるいはフラッシュメモリなどの不揮発性記憶装置である。通信装置４０４は、外部装置との間で情報通信を行う通信モジュールなどである。また、バス４０５は、これらの装置を相互通信可能に接続する通信線である。

以上、演算装置１００およびサーバ装置２００の各ハードウェア構成について説明した。

なお、演算装置１００の演算部１１０は、演算処理装置３００のＣＰＵ３０１ａに処理を行わせるプログラムによって実現される。これらのプログラムは、例えば記憶装置３０３あるいはＲＯＭ３０１ｃに格納されており、実行にあたってＲＡＭ３０１ｂ上にロードされ、ＣＰＵ３０１ａにより実行される。また、記憶部１２０は、ＲＡＭ３０１ｂ、ＲＯＭ３０１ｃあるいは記憶装置３０３によって実現されても良く、これらの組み合わせによって実現されても良い。また、通信部１３０は、ＶＩＣＳ情報受信装置３１０あるいは通信装置３１１によって実現されても良く、これらの組み合わせによって実現されても良い。

また、サーバ装置２００の感情推定部２１０は、演算処理装置４０１のＣＰＵに処理を行わせるプログラムによって実現される。これらのプログラムは、例えば主記憶装置４０２あるいは補助記憶装置４０３に格納されており、実行にあたってＲＡＭ上にロードされ、ＣＰＵにより実行される。また、記憶部２２０は、主記憶装置４０２あるいは補助記憶装置４０３によって実現されても良く、これらの組み合わせによって実現されても良い。また、通信部２３０は、通信装置４０４によって実現される。

なお、演算装置１００およびサーバ装置２００の各機能ブロックは、本実施形態において実現される各機能を理解容易にするために、主な処理内容に応じて分類したものである。したがって、各機能の分類の仕方やその名称によって、本発明が制限されることはない。また、演算装置１００およびサーバ装置２００の各構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、各機能部の全部または一部は、コンピュータに実装されるハードウェア（ＡＳＩＣといった集積回路など）により構築されてもよい。また、各機能部の処理が１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

［動作の説明］
図６は、演算装置１００が実行する目的地設定処理の一例を示したフロー図である。かかる処理は、例えば演算装置１００の起動と共に開始される。

処理が開始されると、音声認識部１１４は、乗員（ユーザ）が会話しているか否かを判定する（ステップＳ００１）。具体的には、音声認識部１１４は、マイクロフォン３０４ａを介して取得した車内の音声情報を用いて音声認識することで、ユーザが会話しているか否かを判定する。この処理は、ユーザが会話している場合、その表情が変化することでキー表情が誤検出されることを防止するためである。

そして、乗員（ユーザ）が会話していると判定した場合（ステップＳ００１でＹｅｓ）、音声認識部１１４は、処理をステップＳ００１に戻す。一方で、会話していないと判定した場合（ステップＳ００１でＮｏ）、音声認識部１１４は、処理をステップＳ００２に移行する。

ステップＳ００２では、表情認識部１１６は、キー表情を検出したか否かを判定する。具体的には、表情認識部１１６は、車内カメラ３２０から取得したユーザの顔画像を用いて表情認識を行い、キー表情登録情報１２３に登録されているユーザのキー表情を検出したか否かを判定する。

そして、ユーザのキー表情を検出していないと判定した場合（ステップＳ００２でＮｏ）、表情認識部１１６は、処理をステップＳ００１に戻す。一方で、キー表情を検出したと判定した場合（ステップＳ００２でＹｅｓ）、表情認識部１１６は、処理をステップＳ００３に移行する。

ステップＳ００３では、表情認識部１１６は、目的地設定表情情報１２４に登録されている所定の表情を検出したか否かを判定する。具体的には、表情認識部１１６は、キー表情の検出後、所定時間以内（例えば、３秒以内）に車内カメラ３２０から取得したユーザの顔画像を用いて表情認識を行い、目的地設定表情情報１２４に登録されている所定の表情を検出したか否かを判定する。

そして、所定の表情を検出していないと判定した場合（ステップＳ００３でＮｏ）、表情認識部１１６は、処理をステップＳ０１０に移行する。一方で、所定の表情を検出したと判定した場合（ステップＳ００３でＹｅｓ）、表情認識部１１６は、処理をステップＳ００４に移行する。

ステップＳ００４では、目的地設定部１１８は、検出された表情に対応する地点を目的地設定表情情報１２４から特定する。また、目的地設定部１１８は、特定した地点を目的地に設定し（ステップＳ００５）、処理をステップＳ００１に戻す。

なお、ステップＳ００３で、所定の表情を検出していないと判定された場合（ステップＳ００３でＮｏ）に移行するステップＳ０１０では、感情推定要求部１１７は、通信部１３０を介して、ユーザの顔画像と共に感情推定の実行要求をサーバ装置２００に送信する。

なお、サーバ装置２００の感情推定部２１０は、通信部２３０を介して演算装置１００から取得したユーザの顔画像を感情推定モデル情報２２１に入力し、演算結果として出力される出力値に基づいてユーザの感情を推定する。また、感情推定部２１０は、通信部２３０を介して、推定したユーザの感情を演算装置１００に送信する。

次に、演算装置１００の目的地設定部１１８は、感情推定の結果を取得したか否かを判定する（ステップＳ０１１）。そして、取得していないと判定した場合（ステップＳ０１１でＮｏ）、目的地設定部１１８は、再度ステップＳ０１１の処理を行う。一方で、感情推定の結果を取得したと判定した場合（ステップＳ０１１でＹｅｓ）、目的地設定部１１８は、処理をステップＳ０１２に移行する。

ステップＳ０１２では、目的地設定部１１８は、感情推定の結果が示すユーザの感情に対応付けられている候補地点を目的地設定感情情報１２５から特定する。

次に、目的地設定部１１８は、候補地点の中から目的地に設定する地点を特定する（ステップＳ０１３）。具体的には、目的地設定部１１８は、地点情報１２２を用いて、各候補地点の位置を特定する。また、目的地設定部１１８は、ＧＰＳ情報受信装置３０９から出力される位置情報に基づいて、ユーザの車両位置（現在地）を特定する。また、目的地設定部１１８は、ユーザの現在地に最も近い候補地点を目的地に設定する地点として特定する。

次に、目的地設定部１１８は、特定した地点を目的地に設定するか否かをユーザに提案して確認する（ステップＳ０１４）。具体的には、出力処理部１１２は、特定された地点の名称などを含む所定の音声情報（例えば、「＊＊＊公園を目的地に設定しましょうか？」など）をスピーカ３０４ｂに出力する。

次に、表情認識部１１６は、提案した地点を目的地に設定する指示をユーザから受け付けたか否かを判定する（ステップＳ０１５）。具体的には、出力処理部１１２は、ステップＳ０１４で音声情報を出力した後、例えば「目的地に設定する場合は、キー表情をしてください」などの音声情報を生成し、スピーカ３０４ｂに出力する。また、表情認識部１１６は、かかる音声情報が出力された後、所定時間以内（例えば、３秒以内）に車内カメラ３２０から取得したユーザの顔画像を用いて表情認識を行い、ユーザのキー表情を検出した場合、提案した地点を目的地に設定する指示をユーザから受け付けたと判定する。

そして、目的地に設定する指示をユーザから受け付けていないと表情認識部１１６が判定した場合（ステップＳ０１５でＮｏ）、すなわち、表情認識部１１６がユーザのキー表情を検出できなかった場合、目的地設定部１１８は、処理をステップＳ００１に戻す。一方で、目的地に設定する指示をユーザから受け付けたと表情認識部１１６が判定した場合（ステップＳ０１５でＹｅｓ）、目的地設定部１１８は、ステップＳ０１４でユーザに提案した地点を目的地に設定し（ステップＳ０１６）、処理をステップＳ００１に戻す。

なお、経路探索部１１３は、車両の現在地と、目的地設定部１１８により設定された目的地と、を結ぶ推奨経路を車両の走行予定経路として設定する。

図７および図８は、目的地設定処理における一連の流れを示した模式図である。図７に示すように、ユーザは、運転中に目的地を設定したい場合、キー表情をする。このとき、演算装置１００は、車内カメラ３２０で撮像された顔画像に基づいてユーザのキー表情を検出する。また、ユーザは、キー表情をした後に、目的地に設定したい地点に対応付けて登録した所定の表情をする。そうすると、演算装置１００は、かかる表情を検出し、対応する地点を目的地に設定して、現在地から目的地までの経路を算出する。このように、ユーザは、手動による入力操作や音声入力を行わずに目的地を設定することができる。

また、図８に示すように、所定の表情が検出されない場合、例えばユーザが目的地に設定したい所定地点に対応付けて登録した表情（この場合、笑顔）をすることができない場合、演算装置１００は、所定の表情を検出できないため、かかる表情の顔画像を用いてユーザの感情を推定するようサーバ装置２００に要求する。サーバ装置２００は、ユーザの顔画像を用いた感情推定を行う。また、演算装置１００は、サーバ装置２００が推定したユーザの感情に対応する地点を特定し、かかる地点を目的地に設定するか否かをユーザに提案および確認する。演算装置１００は、例えば「＊＊公園を目的地に設定しましょうか？」といった音声情報をスピーカ３０４ｂに出力する。ユーザは、かかる地点を目的地に設定する場合、キー表情をする。演算装置１００は、ユーザのキー表情を検出すると、提案した地点を目的地に設定する指示をユーザから取得したとして、かかる地点を目的地に設定する。また、演算装置１００は、現在地から設定した目的地までの経路を算出する。

以上、本実施形態に係る演算装置およびサーバ装置の処理について説明した。このような演算装置によれば、車両において、より簡単に入力操作を行うことができる。特に、ユーザは、キー表情を行い、その後、自身が目的地に設定したい地点に対応する表情をすることで、目的地を簡単に設定することができる。そのため、ユーザは、タッチパネルによる手動入力や、会話やオーディオを停止して音声入力を行う必要はなく、予め登録しておいた表情をするだけで簡単に入力操作を行うことができる。

また、予め登録しておいた目的地に対応する所定の表情をすることができない場合あるいは意図的に所定の表情をしない場合、その時の表情からユーザの感情をサーバ装置が推定し、推定結果に基づいて所定の地点が目的地として提案される。そのため、ユーザは、その時の感情に応じた目的地の提案を受けることができ、かつ、キー表情をすることで提案を受けた地点を目的地として設定することができる。以上の通り、本実施形態に係る演算装置およびサーバ装置は、このような利便性の高い目的地の設定サービスをユーザに提供することができる。

なお、本発明は、上記の実施形態に限られるものではなく、様々な変形例が可能である。例えば、演算装置１００の記憶部１２０に記憶された電話帳（図示せず）の所定の電話番号と、ユーザの所定の表情と、を対応付けて登録し、ハンズフリー通話において、ユーザの表情に基づいて所定の電話番号に発信されるようにしても良い。具体的には、演算装置１００は、ユーザのキー表情を検出するとハンズフリー通話を行うための処理を開始し、ユーザの所定の表情を検出した場合、対応する電話番号に発信する処理を実行する。

このような演算装置によれば、ユーザの表情に対応付けられている所定の電話番号に発信し、手動操作を行うことなくハンズフリー通話を実現することができる。

また、演算装置１００の出力処理部１１２は、所定の処理において、音声ガイダンスをスピーカ３０４ｂに出力しても良い。具体的には、出力処理部１１２は、キー表情が検出された後に、「目的地に設定したい地点に対応する表情をしてください」といった音声ガイダンスを生成し、これをスピーカ３０４ｂに出力する。また、表情認識部１１６によりユーザの所定の表情が検出されなかった場合、出力処理部１１２は、例えば「登録されている表情を検出できなかったため、現在の感情に応じた目的地をご案内します」といった音声ガイダンスを生成し、これをスピーカ３０４ｂに出力する。

このような演算装置によれば、ユーザは、目的地の設定処理が実行されていること、および、その処理段階を知ることができる。特に、キー表情の検出および所定の表情の検出は、ガイダンスが無ければ次々と処理が進行する。そのため、演算装置は、音声ガイダンスを出力することで、現在どの処理を行っているのかをユーザに認識させることができる。

また、前述の実施形態では、サーバ装置２００がユーザの感情推定を実行したが、同様の処理を演算装置１００が実行しても良い。この場合、サーバ装置２００が有する感情推定部２１０および感情推定モデル情報２２１を演算装置１００が有していれば良い。

このような第１の変形例に係る演算装置によっても、車両において、より簡単に入力操作を行うことができる。特に、サーバ装置を介さず、演算装置が感情推定を行うため、通信環境が良くないエリアを走行している場合でも、安定して感情推定の処理を行うことができる。

また、前述の実施形態では、目的地設定処理を演算装置１００が行ったが、これをサーバ装置２００が行っても良い。具体的には、前述の実施形態と同様に、キー表情登録情報１２３および目的地設定表情情報１２４の生成は、演算装置１００で実行される。また、これらの情報は、通信部１３０を介してサーバ装置２００に送信され、サーバ装置２００の記憶部２２０に格納される。

また、サーバ装置２００では、前述の実施形態と同様に、目的地設定処理が行われる。なお、ユーザの顔画像は、演算装置１００の通信部１３０を介して、順次サーバ装置２００に送信される。

また、サーバ装置２００で目的地として設定する地点が特定されると、通信部２３０を介して、演算装置１００に送信される。演算装置１００は、サーバ装置２００から取得した地点を目的地に設定し、車両の現在地から設定した目的地までの推奨経路を算出する。

このような演算装置とサーバ装置の連携によれば、演算装置の処理負荷を軽減することができる。

また、前述の実施形態において、演算装置１００が実行した処理をスマートフォンあるいはタブレット端末で行っても良い。この場合、例えばスマートフォンに内蔵される主記憶装置（例えば、ＲＡＭまたはＲＯＭ）あるいは補助記憶装置（例えば、小型のメモリ装置）にインストールされたアプリケーションプログラム（以下、「アプリ」という場合がある）が実行されることにより、演算装置１００と同様の演算部１１０が実現されれば良い。

具体的には、演算装置１００の演算部１１０に相当するスマートフォンの各機能部は、スマートフォンが備える演算処理装置（例えば、ＣＰＵ）に処理を行わせるアプリケーションプログラムによって実現される。これらのプログラムは、例えば主記憶装置あるいは補助記憶装置に格納されており、実行にあたって主記憶装置にロードされ、演算処理装置により実行される。また、スマートフォンは、内蔵される通信装置（通信モジュールなど）によってサーバ装置２００との間の情報通信を実現する。

また、スマートフォンは、内蔵カメラを用いてユーザの顔画像を撮像する。また、スマートフォンは、アプリの実行により、演算装置１００と同様の目的地設定処理を実行する。なお、地図情報１２１、キー表情登録情報１２３、目的地設定表情情報１２４および目的地設定感情情報１２５は、いずれもスマートフォンの主記憶装置あるいは補助記憶装置に記憶されていれば良い。

また、サーバ装置２００で実行された感情推定についても、スマートフォンが実行しても良い。すなわち、演算装置１００およびサーバ装置２００で実行された全ての処理をスマートフォンが単体で実行しても良い。なお、この場合、サーバ装置２００が有する感情推定部２１０および感情推定モデル情報２２１をスマートフォンが有していれば良い。すなわち、スマートフォンのアプリケーションプログラムが実行されることで感情推定部が実現され、感情推定モデル情報２２１は、スマートフォンの主記憶装置あるいは補助記憶装置に記憶されていれば良い。

このようなスマートフォンあるいはタブレット端末によっても、車両において、より簡単に入力操作を行うことができる。特に、スマートフォンは、高性能な演算処理装置、内蔵カメラおよびスピーカを備えているため、車内カメラの設置が不要となる上、演算装置やサーバ装置と同様に、目的地設定処理を実行することができる。

また、本発明は、上記の実施形態や変形例などに限られるものではなく、これら以外にも様々な実施形態および変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態や変形例の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００・・・演算装置、１１０・・・演算部、１１１・・・入力受付部、１１２・・・出力処理部、１１３・・・経路探索部、１１４・・・音声認識部、１１５・・・表情登録部、１１６・・・表情認識部、１１７・・・感情推定要求部、１１８・・・目的地設定部、１２０・・・記憶部、１２１・・・地図情報、１２２・・・地点情報、１２３・・・キー表情登録情報、１２４・・・目的地設定表情情報、１２５・・・目的地設定感情情報、１３０・・・通信部、２００・・・サーバ装置、２１０・・・感情推定部、２２０・・・記憶部、２２１・・・感情推定モデル情報、２３０・・・通信部、３００・・・演算処理装置、３０１ａ・・・ＣＰＵ、３０１ｂ・・・ＲＡＭ、３０１ｃ・・・ＲＯＭ、３０１ｄ・・・Ｉ／Ｆ、３０１ｅ・・・バス、３０２・・・表示装置、３０３・・・記憶装置、３０４・・・音声入出力装置、３０４ａ・・・マイクロフォン、３０４ｂ・・・スピーカ、３０５・・・入力装置、３０５ａ・・・タッチパネル、３０５ｂ・・・ダイヤルスイッチ、３０６・・・ＲＯＭ装置、３０７・・・車速センサ、３０８・・・ジャイロセンサ、３０９・・・ＧＰＳ情報受信装置、３１０・・・ＶＩＣＳ情報受信装置、３１１・・・通信装置、３２０・・・車内カメラ、４０１・・・演算処理装置、４０２・・・主記憶装置、４０３・・・補助記憶装置、４０４・・・通信装置、４０５・・・バス、Ｎ・・・ネットワーク

Claims (8)

1. 車両の乗員の表情を撮像した顔画像を用いて表情認識を行う表情認識部と、
   前記乗員の表情に対応付けられている所定地点を特定し、特定した当該地点を目的地に設定する目的地設定部と、を備え、
   前記表情認識部は、
   前記乗員の第１の前記顔画像を用いた表情認識により、前記乗員がキー表情をしているか否かを判定し、
   前記乗員が前記キー表情をしている場合、第１の前記顔画像より後に撮像された第２の前記顔画像を用いた表情認識を行い、
   前記目的地設定部は、
   第２の前記顔画像を用いた表情認識により特定された前記乗員の表情に基づいて、前記所定地点を特定する
   ことを特徴とする演算装置。
2. 請求項１に記載の演算装置であって、
   前記目的地設定部は、
   前記乗員の表情が前記所定地点に対応する表情ではない場合、前記表情から推定される前記乗員の感情に対応付けられている所定地点を特定し、特定した当該地点を目的地としてユーザに提案する
   ことを特徴とする演算装置。
3. 請求項２に記載の演算装置であって、
   前記表情認識部は、
   第２の前記顔画像よりも後に撮像された第３の前記顔画像を用いた表情認識を行い、
   前記目的地設定部は、
   第３の前記顔画像を用いた表情認識により前記乗員が前記キー表情をしていることが検出された場合、提案した前記地点を前記目的地に設定する
   ことを特徴とする演算装置。
4. 車両の乗員の表情を撮像した顔画像を用いて表情認識を行う表情認識部と、
   前記乗員の表情に対応付けられている所定地点を特定し、特定した当該地点を目的地に設定する目的地設定部と、
   音声認識により前記乗員が会話しているか否かを判定する音声認識部と、を備え、
   前記表情認識部は、
   前記乗員が会話している場合、前記表情認識を行わない
   ことを特徴とする演算装置。
5. 車両の乗員の表情を撮像した顔画像を用いて表情認識を行う表情認識部と、
   前記乗員の表情に対応付けられている所定地点を特定し、特定した当該地点を目的地に設定する目的地設定部と、
   前記乗員の表情が前記所定地点に対応する表情ではない場合、前記顔画像を用いた感情推定の実行要求を外部装置に送信する感情推定要求部と、を備える
   ことを特徴とする演算装置。
6. コンピュータを演算装置として機能させるプログラムであって、
   前記コンピュータを、
   車両の乗員の表情を撮像した顔画像を用いて表情認識を行う表情認識部と、
   前記乗員の表情に対応付けられている所定地点を特定し、特定した当該地点を目的地に設定する目的地設定部と、して機能させ、
   前記表情認識部は、
   前記乗員の第１の前記顔画像を用いた表情認識により、前記乗員がキー表情をしているか否かを判定し、
   前記乗員が前記キー表情をしている場合、第１の前記顔画像より後に撮像された第２の前記顔画像を用いた表情認識を行い、
   前記目的地設定部は、
   第２の前記顔画像を用いた表情認識により特定された前記乗員の表情に基づいて、前記所定地点を特定する
   ことを特徴とするプログラム。
7. コンピュータを演算装置として機能させるプログラムであって、
   前記コンピュータを、
   車両の乗員の表情を撮像した顔画像を用いて表情認識を行う表情認識部と、
   前記乗員の表情に対応付けられている所定地点を特定し、特定した当該地点を目的地に設定する目的地設定部と、
   音声認識により前記乗員が会話しているか否かを判定する音声認識部と、して機能させ、
   前記表情認識部は、
   前記乗員が会話している場合、前記表情認識を行わない
   ことを特徴とするプログラム。
8. コンピュータを演算装置として機能させるプログラムであって、
   前記コンピュータを、
   車両の乗員の表情を撮像した顔画像を用いて表情認識を行う表情認識部と、
   前記乗員の表情に対応付けられている所定地点を特定し、特定した当該地点を目的地に設定する目的地設定部と、
   前記乗員の表情が前記所定地点に対応する表情ではない場合、前記顔画像を用いた感情推定の実行要求を外部装置に送信する感情推定要求部と、して機能させる
   ことを特徴とするプログラム。

Images