JP6999540B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

車両の搭乗者の顔画像に基づいて搭乗者の感情を推定する感情推定処理を実行する装置が知られていた（例えば、特許文献１参照）。また、人物のニュートラルな表情の顔画像を用いて人物の感情を推定する技術が知られていた（例えば、特許文献２参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８－１０６５３０号公報
［特許文献２］特開２０１６－０７６２５９号公報

車両の搭乗者のニュートラルな表情の顔画像を効率的に取得可能な技術を提供することが望ましい。

本発明の第１の態様によれば、情報処理装置が提供される。情報処理装置は、一の移動体の状況を取得する状況取得部を備えてよい。情報処理装置は、一の移動体の状況が予め定められた状況であるときに一の移動体に搭載された撮像部によって撮像された一の移動体の搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として格納する格納実行部を備えてよい。

上記情報処理装置は、上記撮像部によって撮像された上記一の移動体の搭乗者の顔画像と、上記格納実行部によって格納された上記搭乗者のニュートラルな表情の顔画像とを比較することによって上記搭乗者の感情を推定する感情推定部を備えてよい。上記状況取得部は、上記一の移動体が移動する経路の状況を取得してよく、上記格納実行部は、上記一の移動体が移動する経路の状況が予め定められた状況であるときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。

上記一の移動体は自動車であってよく、上記状況取得部は、上記一の移動体が走行する道路の状況を取得してよい。上記格納実行部は、上記一の移動体の位置から上記一の移動体の移動方向の予め定められた距離の道路が直線道路であり、上記一の移動体が当該直線道路を走行しているときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。上記格納実行部は、上記一の移動体の位置から上記一の移動体が予め定められた時間移動する場合に走行する道路が直線道路であり、上記一の移動体が当該直線道路を走行しているときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。

上記格納実行部は、上記直線道路に他の車両が存在しないことを条件に、上記一の移動体が当該直線道路を走行しているときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。上記格納実行部は、上記直線道路に信号機が存在しないことを条件に、上記一の移動体が当該直線道路を走行しているときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。上記格納実行部は、上記直線道路に交差点が存在しないことを条件に、上記一の移動体が当該直線道路を走行しているときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。

上記一の移動体は自動車であってよく、上記状況取得部は、上記一の移動体のハンドルの操作状況を取得してよく、上記格納実行部は、上記一の移動体のハンドルの操作状況が予め定められた状況であるときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。上記格納実行部は、上記一の移動体のハンドルの回転角度が基準位置から予め定められた範囲内であるときに上記撮像部によって撮像された上記搭乗者の顔画像を、上記搭乗者のニュートラルな表情の顔画像として格納してよい。

本発明の第２の態様によれば、コンピュータを、上記情報処理装置として機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る車両１００の一例を概略的に示す。 車両１００の構成の一例を概略的に示す。 情報処理装置２００の機能構成の一例を概略的に示す。 画像取得エリア４２０の一例を概略的に示す。 画像取得エリア４４０の一例を概略的に示す。 情報処理装置２００による処理の流れの一例を概略的に示す。 情報処理装置２００による処理の流れの一例を概略的に示す。 情報管理サーバ３００の機能構成の一例を概略的に示す。 情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る車両１００の一例を概略的に示す。車両１００は、搭乗者を乗せて移動する移動体の一例であってよい。車両１００は、情報処理装置２００を備えてよい。情報処理装置２００は、車両１００の搭乗者の感情を推定する感情推定処理機能を有してよい。

本実施形態において、車両１００に搭乗している者を区別しない場合、搭乗者と記載し、運転している者としていない者とを区別する場合、前者を運転者５２、後者を同乗者５４と記載する。車両１００が自動運転車である場合、運転者５２は、運転席に座っている者であってよい。同乗者５４は、助手席に座っている者であってよい。同乗者５４は、後部座席に座っている者であってよい。

情報処理装置２００は、搭乗者の画像を用いて搭乗者の感情を推定する感情推定処理を実行可能であってよい。情報処理装置２００は、車両１００が備える撮像部によって撮像された搭乗者の画像を取得する。撮像部は、車両１００の車内の全体を撮像可能な１台のカメラ１１０を有してよい。情報処理装置２００は、当該カメラ１１０から、運転者５２の画像及び同乗者５４の画像を取得してよい。

撮像部は、複数のカメラ１１０を有してもよい。情報処理装置２００は、複数のカメラ１１０のそれぞれによって撮像された運転者５２の画像及び同乗者５４の画像を、当該複数のカメラ１１０から取得してよい。撮像部は、例えば、運転席及び助手席を撮像可能なカメラ１１０と、後部座席を撮像可能なカメラ１１０とを有する。撮像部は、運転席を撮像可能なカメラ１１０と、助手席を撮像可能なカメラ１１０とを有してもよい。撮像部は、後部座席の複数の同乗者５４のそれぞれを撮像可能な複数のカメラ１１０を有してもよい。

情報処理装置２００は、例えば、搭乗者のニュートラルな表情の顔画像を格納する。ニュートラルな表情とは、いわゆる素の表情であってよい。搭乗者の素の表情とは、例えば、搭乗者が何も意識していないときの表情である。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の顔画像と、ニュートラルな表情の顔画像とを比較することによって、搭乗者の感情を推定してよい。

情報処理装置２００は、例えば、ニュートラルな表情との相違と、人間の感情パターンとを対応付けた対応付けデータを予め格納しておく。対応付けデータは、例えば、ニュートラルな表情に対して口角が上がっていることとポジティブな感情とを対応付け、ニュートラルな表情に対して口角が下がっていることとネガティブな感情とを対応付ける。対応付けデータは、ニュートラルな表情との相違の度合と、感情の度合とをさらに対応付けてよい。例えば、対応付けデータは、ニュートラルな表情に対して、より口角が上がっているほど、より高い度合を対応付ける。情報処理装置２００は、カメラ１１０によって撮像された搭乗者の画像、ニュートラルな表情の顔画像、及び当該対応付けデータを用いて、感情のパターンのいずれかと、感情の度合とを特定することにより、搭乗者の感情の推定結果とする。

人間の感情のパターンとして、例えば、人間の感情を活性度（Ａｒｏｕｓａｌ）と覚醒度（Ｖａｌｅｎｃｅ）の２軸で表し、感情の度合いを原点からの距離で表すラッセル（Ｒｕｓｓｅｌｌ）の円環モデルに基づく感情のパターンを採用し得る。また、例えば、人間の感情を、８つの基本感情（喜び、信頼、恐れ、驚き、悲しみ、嫌悪、怒り、期待）と、隣り合う２つの感情の組み合わせによる応用感情とに分類したプルチック（Ｐｌｕｔｃｈｉｋ）の感情の輪に基づく感情のパターンを採用し得る。これらに限らず、本実施形態に係る情報処理装置２００は、任意の感情のパターンを採用し得る。

搭乗者のニュートラルな表情の顔画像は、例えば、初期設定によって取得することができる。例えば、情報処理装置２００は、搭乗者が車両１００に搭乗したときに、搭乗者にニュートラルな表情をするよう促し、カメラ１１０によって撮像した搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として格納する。しかし、この場合、搭乗者に初期設定を強いることになり、搭乗者に煩わしいと感じさせてしまう場合がある。また、搭乗者が初期設定を行わなかった場合に、搭乗者の表情による感情推定処理が実行できなくなってしまったり、推定精度が低下したりしてしまう場合がある。さらに、搭乗者に意識してニュートラルな表情をさせると不自然な表情となってしまう場合があり、結果として、推定精度が低下してしまう場合がある。

そこで、搭乗者のニュートラルな表情の顔画像を自動的に取得することが考えられる。例えば、搭乗者が車両１００に搭乗したときや、車両１００の走行中に搭乗者を撮像することによって、搭乗者の画像を取得する。しかし、例えば、カーブや高速道路を走行している時や、駐車時など特殊な状況で撮像してしまうと、素の状態ではない搭乗者の顔画像を取得してしまう可能性がある。例えば、駐車するために鏡を凝視する表情は、「怒」の感情を抱いているときの表情に近くなってしまう。

本実施形態に係る情報処理装置２００は、車両１００の状況を監視して、搭乗者が素の表情をしている可能性が高い状況になったときにカメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として格納する。これにより、素の状態ではない搭乗者の顔画像を、ニュートラルな表情の顔画像として取得してしまう可能性を低減できる。搭乗者の顔画像を搭乗者のニュートラルな表情の顔画像として格納するとは、例えば、搭乗者の顔画像に、ニュートラルな表情の顔画像であることを示す情報を対応付けて格納することであってよい。また、搭乗者の顔画像を搭乗者のニュートラルな表情の顔画像として格納するとは、例えば、搭乗者のニュートラルな表情の顔画像を格納するための格納領域に、搭乗者の顔画像を格納することであってよい。

情報処理装置２００は、ニュートラルな表情の顔画像として格納した搭乗者の顔画像を、他の車両１００等と共有してもよい。例えば、情報処理装置２００は、車両１００に搭乗した搭乗者の識別情報を取得しておき、搭乗者の顔画像を格納するときに、当該搭乗者の識別情報を対応付けて格納する。そして、情報処理装置２００は、識別情報が対応付けられている搭乗者の顔画像を、ネットワーク１０を介して情報管理サーバ３００に送信する。

搭乗者の識別情報は、例えば、情報管理サーバ３００によって割り振られるユーザＩＤである。搭乗者を識別可能な識別情報は、例えば搭乗者が所有する携帯電話の番号等、搭乗者を識別することができれば、どのような情報であってもよい。

ネットワーク１０は、任意のネットワークであってよい。例えば、ネットワーク１０は、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信システム、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信システム、及び５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信システム等の移動体通信システムを含んでよい。ネットワーク１０は、インターネット、公衆無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及び任意の専用網等を含んでもよい。

情報管理サーバ３００は、複数の情報処理装置２００から収集した顔画像を識別情報毎に登録しておく。情報管理サーバ３００は、例えば、識別情報を含む要求を受信した場合であって、当該識別情報に対応する顔画像が登録されている場合に、要求の送信元に対して、顔画像を送信する。要求の送信元は、例えば、車両１００の情報処理装置２００である。情報処理装置２００は、例えば、情報処理装置２００を搭載している車両１００に搭乗者が搭乗したときに、当該搭乗者の識別情報を取得して、識別情報を含む要求を情報管理サーバ３００に送信し、情報管理サーバ３００から顔画像を受信する。要求の送信元は、人物の顔画像に基づく感情推定処理を実行する装置であれば、任意の装置であり得る。

図２は、車両１００の構成の一例を概略的に示す。図２に示す各種構成は、車両１００が備えるナビゲーションシステムの一部であってもよい。

車両１００は、カメラ１１０を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能なカメラ１１０を備える場合を例示する。図２において例示する画角１１１が示すように、カメラ１１０によれば、運転席１６２、助手席１６４、及び後部座席１６６の搭乗者を撮像可能である。図２におけるカメラ１１０の配置は例示であり、カメラ１１０は、運転席１６２、助手席１６４、及び後部座席１６６のすべてを撮像可能であれば任意の場所に配置されてよい。なお、車両１００は、運転席１６２、助手席１６４、及び後部座席１６６のそれぞれを撮像する複数のカメラ１１０を備えてもよい。

車両１００は、車両１００の前方を撮像するカメラ１１２を備えてよい。図２におけるカメラ１１２の配置は例示であり、カメラ１１２は、車両１００の前方を撮像することができれば任意の場所に配置されてよい。カメラ１１２は、いわゆるフロントカメラであってよい。また、カメラ１１２は、いわゆるドライブレコーダであってよい。

車両１００は、マイク１２２を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するマイク１２２を備える場合を例示する。図２におけるマイク１２２の配置は例示であり、マイク１２２は、運転席１６２、助手席１６４及び後部座席１６６のすべての搭乗者の音声を拾うことができれば、任意の場所に配置されてよい。車両１００は、複数のマイク１２２を備えてもよい。複数のマイク１２２は、例えば、運転席１６２用のマイク１２２、助手席１６４用のマイク１２２、及び後部座席１６６用のマイク１２２を含む。

車両１００は、スピーカ１２４を備える。図２では、車両１００が、運転席１６２、助手席１６４、及び後部座席１６６のすべてに対応するスピーカ１２４を備える場合を例示する。図２におけるスピーカ１２４の配置は例示であり、スピーカ１２４は、任意の場所に配置されてよい。車両１００は、複数のスピーカ１２４を備えてもよい。

車両１００は、ディスプレイ１３０を備える。図２におけるディスプレイ１３０の配置は例示であり、ディスプレイ１３０は、主に運転席１６２及び助手席１６４から閲覧可能であれば、任意の場所に配置されてよい。ディスプレイ１３０は、タッチパネルディスプレイであってよい。車両１００は、複数のディスプレイ１３０を備えてもよい。例えば、車両１００は、運転席１６２及び助手席１６４用のディスプレイ１３０と、後部座席１６６用のディスプレイ１３０とを備える。

車両１００は、無線通信アンテナ１４２を備える。無線通信アンテナ１４２は、ネットワーク１０上の装置と通信するためのアンテナであってよい。車両１００は、例えば、無線通信アンテナ１４２によって、移動体通信システムにおける無線基地局及び無線ルータ等を介してネットワーク１０上の装置と通信する。なお、無線通信アンテナ１４２は、車車間通信及び路車間通信等を行うためのアンテナであってもよく、車両１００は、車車間通信及び路車間通信等を介して、ネットワーク１０上の装置と通信してもよい。

車両１００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）アンテナ１４４を備える。ＧＰＳアンテナ１４４は、ＧＰＳ衛星から位置測定用の電波を受信する。車両１００は、ＧＰＳアンテナ１４４が受信する位置測定用の電波を用いて、車両１００の現在地を測位してよい。車両１００は、さらに自立航法による測位を組み合わせることによって、車両１００の現在地を測位してもよい。車両１００は、公知の任意の測位技術を用いて、車両１００の現在地を測位してよい。

車両１００は、車両１００の搭乗者の生体情報を検知可能な不図示のセンサを備えてもよい。当該センサは、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置され、搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を検知する。車両１００は、搭乗者が身に着けているウェアラブルデバイスと通信接続する近距離無線通信部を備えていてもよく、ウェアラブルデバイスによって検知された搭乗者の生体情報を、当該ウェアラブルデバイスから受信してもよい。近距離無線通信部は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等によってウェアラブルデバイスと通信接続する。

上述の各種構成は、情報処理装置２００が備えてもよい。情報処理装置２００は、車両１００が備えるナビゲーションシステムと一体であってよく、また、別体であってもよい。

図３は、情報処理装置２００の機能構成の一例を概略的に示す。情報処理装置２００は、画像取得部２０２、音声取得部２０４、センサ情報取得部２０６、状況取得部２１２、識別情報取得部２１４、格納実行部２１６、画像格納部２１８、画像送信部２２０、及び感情推定部２３０を備える。なお、情報処理装置２００がこれらのすべての構成を備えることは必須とは限らない。

画像取得部２０２は、車両１００の搭乗者の画像を取得する。画像取得部２０２は、車両１００の撮像部によって撮像された搭乗者の画像を取得する。画像取得部２０２は、１００の撮像部によって撮像される搭乗者の画像を継続的に取得してよい。

音声取得部２０４は、車両１００の搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から入力された搭乗者の音声を取得する。音声取得部２０４は、車両１００のマイク１２２から搭乗者の音声を継続的に取得してよい。

センサ情報取得部２０６は、センサによって検知された車両１００の搭乗者の生体情報を取得する。センサ情報取得部２０６は、例えば、ハンドル１５０、運転席１６２、助手席１６４、及び後部座席１６６等に配置されたセンサによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該センサから取得する。また、センサ情報取得部２０６は、例えば、搭乗者が身に着けているウェアラブルデバイスによって検知された搭乗者の心拍、脈拍、発汗、血圧、及び体温等の生体情報を、当該ウェアラブルデバイスから取得する。

状況取得部２１２は、車両の状況を取得する。状況取得部２１２は、例えば、車両１００のナビゲーションシステムによって管理されている車両１００の状況を、ナビゲーションシステムから取得する。車両１００のナビゲーションシステムは、車両１００の位置情報、車両１００が走行している周辺の地図データ及び道路データ、車両１００の速度、加速度、ステアリングの操作状態、及びブレーキの操作状態等から、車両１００の状況を判定してよい。車両１００の状況の判定は、状況取得部２１２によって行われてもよい。状況取得部２１２は、車両１００のナビゲーションシステムから受信した情報を用いて、車両１００の状況を判定してよい。

車両１００の状況は、例えば、車両１００の走行速度に関する情報を含む。車両１００の走行速度に関する情報は、例えば、車両１００が通常速度で走行していること、車両１００が加速していること、車両１００が急加速したこと、急ブレーキが行われたこと、及び車両１００が急停止したこと等を含む。

車両１００の状況は、車両１００の前方の状況を含む。状況取得部２１２は、カメラ１１２によって撮像された画像によって、車両１００の前方の状況を取得してよい。状況取得部２１２は、車両１００が移動する経路の状況を取得してよい。状況取得部２１２は、車両１００が走行する道路の状況を取得してよい。例えば、状況取得部２１２は、車両１００の前方の道路の種類を取得する。具体例として、状況取得部２１２は、車両１００の前方の道路が直線道路であること、カーブであること、及びトンネルであること等を取得する。また、状況取得部２１２は、例えば、車両１００の前方の道路が、起伏のない平坦な道路であること、及び起伏のある道路であること等を取得する。

また、状況取得部２１２は、例えば、車両１００の前方に他の車両が存在すること又はしないことを取得する。また、状況取得部２１２は、例えば、車両１００の前方に信号機が存在すること又はしないことを取得する。また、状況取得部２１２は、例えば、車両１００の前方に交差点が存在すること又はしないことを取得する。また、状況取得部２１２は、例えば、車両１００の前方のトンネルが存在すること又はしないことを取得する。

状況取得部２１２は、車両１００が走行している周辺の地図データ及び道路データによって、車両１００の前方の状況を取得してよい。状況取得部２１２は、例えば、車両１００の前方の道路の種類を取得する。具体例として、状況取得部２１２は、車両１００の前方の道路が直線道路であること、カーブであること、及びトンネルであること等を取得する。また、状況取得部２１２は、例えば、車両１００の前方に信号機が存在すること又はしないことを取得する。また、状況取得部２１２は、例えば、車両１００の前方に交差点が存在すること又はしないことを取得する。また、状況取得部２１２は、例えば、車両１００の前方のトンネルが存在すること又はしないことを取得する。

状況取得部２１２は、車両１００のナビゲーションシステムにおいて、車両１００の目的地までのルートが設定されている場合、当該ルートに基づいて、車両１００の前方の状況を取得してよい。例えば、状況取得部２１２は、当該ルートと、車両１００の周辺の地図データ及び道路データとを用いて、車両１００の前方の状況を取得する。

また、状況取得部２１２は、例えば、車両１００のハンドル１５０の操作状況を取得する。状況取得部２１２は、ハンドル１５０の回転角度を取得してよい。状況取得部２１２は、ハンドル１５０の回転角度が基準位置から予め定められた範囲内であるか否かを取得してよい。予め定められた範囲は、任意に設定可能であってよく、また、変更可能であってよい。

識別情報取得部２１４は、車両１００の搭乗者の識別情報を取得する。識別情報取得部２１４は、例えば、画像取得部２０２によって取得される搭乗者の顔画像に対して人物認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。また、識別情報取得部２１４は、例えば、音声取得部２０４によって取得される搭乗者の音声に対して話者認識技術を適用することによって人物を特定し、特定した人物の識別情報を取得する。識別情報取得部２１４は、搭乗者が所有する携帯通信端末から、近距離無線通信を介して、搭乗者の識別情報を受信してもよい。

格納実行部２１６は、状況取得部２１２によって取得された車両１００の状況が予め定められた状況であるときにカメラ１１０によって撮像された搭乗者の画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。格納実行部２１６は、例えば、車両１００の状況が予め定められた状況であるときにカメラ１１０によって撮像された運転者５２の画像を、運転者５２のニュートラルな表情の顔画像として画像格納部２１８に格納する。格納実行部２１６は、状況取得部２１２によって取得された車両１００の状況が予め定められた複数の状況のいずれかと一致したときにカメラ１１０によって撮像された搭乗者の画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納してよい。格納実行部２１６は、搭乗者の画像を画像格納部２１８に格納するときに、搭乗者の識別情報を対応付けて画像格納部２１８に格納してもよい。

予め定められた状況は、車両１００が当該状況であるときに搭乗者の表情が素の表情である可能性が高い状況として登録された状況であってよい。例えば、車両１００の前方が直線道路である場合、当該直線道路を走行するときの運転者５２の表情は素の表情である可能性が高いので、車両１００の前方が直線道路である状況が登録され得る。また、例えば、車両１００の前方が直線道路であり、かつ、他の車両、信号機、交差点及びトンネル等が存在しない場合、当該直線道路を走行するときの運転者５２の表情は素の表情である可能性が高いので、このような状況が登録され得る。また、例えば、車両１００のハンドル１５０操作が行われておらず、ハンドル１５０の回転角度が基準位置から予め定められた範囲内である場合、運転者５２の表情は素の表情である可能性が高く、このような状況が登録され得る。

格納実行部２１６は、例えば、車両１００の位置から車両１００の移動方向の予め定められた距離の道路が直線道路であり、車両１００が当該直線道路を走行しているときにカメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。予め定められた距離は、任意に設定可能であってよく、また、変更可能であってよい。

格納実行部２１６は、例えば、車両１００の位置から車両１００が予め定められた時間移動する場合に走行する道路が直線道路であり、車両１００が当該直線道路を走行しているときにカメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。予め定められた時間は、任意に設定可能であってよく、また、変更可能であってよい。格納実行部２１６は、例えば、車両１００のルートと車両１００の走行速度から、車両１００の位置から車両１００が予め定められた時間移動する場合に走行する道路が直線道路であるか否かを判定してよい。当該判定は、状況取得部２１２によって行われてもよい。

格納実行部２１６は、状況取得部２１２によって取得された車両１００のハンドル１５０の操作状況が予め定められた状況であるときにカメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納してもよい。格納実行部２１６は、例えば、車両１００のハンドル１５０の回転角度が基準位置から予め定められた範囲内であるときにカメラ１１０によって撮像された運転者５２の顔画像を、運転者５２のニュートラルな表情の顔画像として画像格納部２１８に格納する。これにより、運転者５２がハンドル１５０を回転させておらず、素の表情をしている可能性が高いタイミングで撮像された運転者５２の顔画像を、運転者５２のニュートラルな表情の顔画像として格納することができる。

画像送信部２２０は、画像格納部２１８に対応付けて格納されている、識別情報が対応付けられた搭乗者の顔画像を、情報管理サーバ３００に送信する。画像送信部２２０は、顔画像を、ネットワーク１０を介して情報管理サーバ３００に送信してよい。これにより、搭乗者のニュートラルな表情の顔画像を複数の車両１００の間で共有することができ、複数の車両１００全体における感情推定精度の向上に貢献することができる。

感情推定部２３０は、感情推定処理を実行して搭乗者の感情を推定する。感情推定部２３０は、画像取得部２０２によって取得された搭乗者の顔画像を用いた感情推定処理を実行してよい。感情推定部２３０は、画像取得部２０２によって取得された搭乗者の顔画像と、画像格納部２１８に格納されている当該搭乗者のニュートラルな表情の顔画像とを比較することによって、当該搭乗者の感情を推定してよい。また、感情推定部２３０は音声取得部２０４の音声情報とセンサ情報取得部２０６が取得したセンサ情報とを画像取得部２０２によって取得された搭乗者の顔画像と適宜組み合わせて、当該搭乗者の感情を推定してもよい。

車両１００に搭乗する搭乗者の顔は、搭乗者の体調、髪の長さ、髪型、眼鏡をかけているか否か、及び日焼けしているか否か等の状態に応じて変わり得るので、搭乗者のニュートラルな表情の顔画像として、できるだけ新しいものを用いることが、感情推定処理を行う上で好ましい。本実施形態に係る情報処理装置２００によれば、できる限り新しく、かつ、搭乗者が素の表情をしている可能性が高い顔画像を用いることができ、感情推定処理の推定精度の向上に貢献し得る。

図４は、画像取得エリア４２０の一例を概略的に示す。画像取得エリア４２０は、情報処理装置２００が、カメラ１１０によって撮像された搭乗者の顔画像を搭乗者のニュートラルな表情の顔画像として格納するエリアの一例であってよい。

格納実行部２１６は、車両１００の位置から車両１００の移動方向の予め定められた距離４１０の道路が直線道路である場合に、当該直線道路を画像取得エリア４２０と判定してよい。格納実行部２１６は、車両１００が画像取得エリア４２０を走行しているときにカメラ１１０によって撮像された搭乗者の顔画像を、当該搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。

格納実行部２１６は、車両１００の位置から車両１００の移動方向の予め定められた距離４１０の道路が直線道路である場合であっても、当該直線道路、すなわち、図４で例示する距離４１０の範囲内に、他の車両が存在する場合、当該直線道路を画像取得エリア４２０と判定しない。すなわち、格納実行部２１６は、当該直線道路に、他の車両が存在しないことを条件に、車両１００が当該直線道路を走行しているときにカメラ１１０によって撮像された搭乗者の顔画像を、当該搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。例えば、他の車両の走行速度が低下して車両１００との車間距離が短くなったり、他の車両が急停止したりすることによって、搭乗者の感情が変化する可能性がある。本実施形態に係る格納実行部２１６によれば、他の車両が存在する場合には、ニュートラルな表情の顔画像の取得を行わないようにできるので、素の表情ではない搭乗者の顔画像をニュートラルな表情の顔画像として取得してしまう可能性を低減することができる。

格納実行部２１６は、車両１００の位置から車両１００の移動方向の予め定められた距離４１０の道路が直線道路である場合であっても、当該直線道路、すなわち、図４で例示する距離４１０の範囲内に、信号機が存在する場合、当該直線道路を画像取得エリア４２０と判定しない。すなわち、格納実行部２１６は、当該直線道路に、信号機が存在しないことを条件に、車両１００が当該直線道路を走行しているときにカメラ１１０によって撮像された搭乗者の顔画像を、当該搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。例えば、信号機が黄色に変わったりした場合、搭乗者が焦り等を感じて、搭乗者の感情が変化する可能性がある。本実施形態に係る格納実行部２１６によれば、信号機が存在する場合には、ニュートラルな表情の顔画像の取得を行わないようにできるので、素の表情ではない搭乗者の顔画像をニュートラルな表情の顔画像として取得してしまう可能性を低減することができる。

格納実行部２１６は、車両１００の位置から車両１００の移動方向の予め定められた距離４１０の道路が直線道路である場合であっても、当該直線道路、すなわち、図４で例示する距離４１０の範囲内に、交差点が存在する場合、当該直線道路を画像取得エリア４２０と判定しない。すなわち、格納実行部２１６は、当該直線道路に、交差点が存在しないことを条件に、車両１００が当該直線道路を走行しているときにカメラ１１０によって撮像された搭乗者の顔画像を、当該搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。例えば、車両１００が交差点に近づいた場合に、車両１００の搭乗者の緊張が高まって、搭乗者の感情が変化する可能性がある。本実施形態に係る格納実行部２１６によれば、交差点が存在する場合には、ニュートラルな表情の顔画像の取得を行わないようにできるので、素の表情ではない搭乗者の顔画像をニュートラルな表情の顔画像として取得してしまう可能性を低減することができる。

図５は、画像取得エリア４４０の一例を概略的に示す。画像取得エリア４４０は、情報処理装置２００が、カメラ１１０によって撮像された搭乗者の顔画像を搭乗者のニュートラルな表情の顔画像として格納するエリアの一例であってよい。

格納実行部２１６は、例えば、車両１００のナビゲーションシステムにおいて目的地までのルート４３０が設定されている場合に、画像取得エリア４４０を事前に決定しておいてもよい。格納実行部２１６は、例えば、ルート４３０のうち、車両１００のより近くに位置する直線道路を特定し、特定した直線道路を画像取得エリア４４０とする。格納実行部２１６は、ルート４３０のうち、車両１００のより近くに位置し、かつ、信号機、交差点及びトンネルが存在しない直線道路を特定し、特定した直線道路を画像取得エリア４４０としてもよい。

格納実行部２１６は、車両１００が画像取得エリア４４０を走行しているときにカメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納してよい。

このように、車両１００により近い範囲で画像取得エリア４４０を決定することによって、搭乗者のニュートラルな表情の顔画像をより速く取得可能にでき、搭乗者のニュートラルな表情の顔画像をより速く搭乗者の感情推定に利用可能にできる。

図６は、情報処理装置２００による処理の流れの一例を概略的に示す。図６は、格納実行部２１６が画像取得エリアを事前に特定して、画像取得エリア内において撮像された搭乗者の顔画像を格納する処理の流れを示す。

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、格納実行部２１６が、車両１００のルートを示すルート情報を取得する。Ｓ１０４では、格納実行部２１６が、ルート情報が示すルートから、画像取得エリアを特定する。

Ｓ１０６では、格納実行部２１６が、車両１００がＳ１０４において特定した画像取得エリア内に位置するか否かを判定する。位置すると判定した場合、Ｓ１０８に進む。Ｓ１０８では、格納実行部２１６が、カメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。

Ｓ１１０では、格納実行部２１６が、車両１００が画像取得エリア外に位置するか否かを判定する。位置すると判定した場合、処理を終了する。

位置しないと判定した場合、Ｓ１０８に戻り、カメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。このように、格納実行部２１６は、車両１００が画像取得エリア内を走行している間、搭乗者の顔画像を複数回に渡って画像格納部２１８に格納してよい。なお、画像取得エリア内に位置する間に搭乗者の顔画像を画像格納部２１８に格納する回数は、１回のみであってよく、また、予め定められた回数であってもよい。

図７は、情報処理装置２００による処理の流れの一例を概略的に示す。図７は、情報処理装置２００が、車両１００が走行している間、車両１００の状況を監視しながら、状況に応じて搭乗者の顔画像を格納する処理の流れを説明する。

Ｓ２０２では、状況取得部２１２が、車両１００の前方の道路の状況を取得する。Ｓ２０４では、格納実行部２１６が、車両１００の前方の道路が直線道路であるか否かを判定する。直線道路であると判定した場合、Ｓ２０６に進み、直線道路でないと判定した場合、Ｓ２０２に戻る。

Ｓ２０６では、格納実行部２１６が、車両１００の前方に、画像の取得を阻害するものとして予め定められた阻害物が有るか否かを判定する。阻害物は、例えば、他の車両である。阻害物は、例えば、信号機である。阻害物は、例えば、交差点である。阻害物は、例えば、トンネルである。阻害物が有ると判定した場合、Ｓ２０２に戻り、無いと判定した場合、Ｓ２０８に進む。

Ｓ２０８では、格納実行部２１６が、カメラ１１０によって撮像された搭乗者の顔画像を、搭乗者のニュートラルな表情の顔画像として画像格納部２１８に格納する。Ｓ２１０では、格納実行部２１６が、搭乗者のニュートラルな表情の顔画像の格納数が、予め設定された数と等しいか否かを判定する。等しくないと判定した場合、Ｓ２０２に戻り、等しいと判定した場合、処理を終了する。

図８は、情報管理サーバ３００の機能構成の一例を概略的に示す。情報管理サーバ３００は、顔画像受信部３０２、顔画像格納部３０４、要求受信部３０６、及び顔画像送信部３０８を備える。

顔画像受信部３０２は、複数の情報処理装置２００から、ネットワーク１０を介して、識別情報が対応付けられた顔画像を受信する。顔画像格納部３０４は、顔画像受信部３０２が受信した顔画像を格納する。

要求受信部３０６は、識別情報を含む、顔画像の要求を受信する。顔画像送信部３０８は、要求受信部３０６が要求を受信した場合に、要求に含まれる識別情報に対応する顔画像が顔画像格納部３０４に格納されているか否かを判定し、格納されている場合に、要求の送信元に、対応付けられている顔画像を送信する。

図９は、情報処理装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、上記実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、上記実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、上記実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びタッチパネルのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。コンピュータ１２００は、ディスプレイデバイス１２１８を備えていなくてもよく、その場合、グラフィックコントローラ１２１６は、イメージデータが外部のディスプレイデバイスに表示されるようにする。

通信インタフェース１２２２は、無線通信ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、ＵＳＢポート等を介して、様々な入出力ユニットを入出力コントローラ１２２０に接続してよい。

プログラムは、ＤＶＤ－ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ－ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

上記実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

上記実施形態では、移動体の例として車両１００を挙げて説明したが、これに限らない。移動体は、例えば、電車、飛行機、及び船舶等であってよい。上記実施形態における予め定められた状況は、移動体の種類に応じて、移動体が当該状況であるときに移動体の搭乗者の表情が素の表情である可能性が高い状況として登録され得る。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ ネットワーク、５２ 運転者、５４ 同乗者、１００ 車両、１１０ カメラ、１１１ 画角、１１２ カメラ、１２２ マイク、１２４ スピーカ、１３０ ディスプレイ、１４２ 無線通信アンテナ、１４４ ＧＰＳアンテナ、１５０ ハンドル、１６２ 運転席、１６４ 助手席、１６６ 後部座席、２００ 情報処理装置、２０２ 画像取得部、２０４ 音声取得部、２０６ センサ情報取得部、２１２ 状況取得部、２１４ 識別情報取得部、２１６ 格納実行部、２１８ 画像格納部、２２０ 画像送信部、２３０ 感情推定部、３００ 情報管理サーバ、３０２ 顔画像受信部、３０４ 顔画像格納部、３０６ 要求受信部、３０８ 顔画像送信部、４１０ 距離、４２０ 画像取得エリア、４３０ ルート、４４０ 画像取得エリア、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２２６ ＤＶＤドライブ、１２２７ ＤＶＤ－ＲＯＭ、１２３０ ＲＯＭ、１２４０ 入出力チップ

Claims (12)

1. 一の移動体の状況を取得する状況取得部と、
   前記一の移動体の状況が予め定められた状況であるときに前記一の移動体に搭載された撮像部によって撮像された前記一の移動体の搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する格納実行部と
   を備える情報処理装置。
2. 前記撮像部によって撮像された前記一の移動体の搭乗者の顔画像と、前記格納実行部によって格納された前記搭乗者のニュートラルな表情の顔画像とを比較することによって前記搭乗者の感情を推定する感情推定部
   を備える、請求項１に記載の情報処理装置。
3. 前記状況取得部は、前記一の移動体が移動する経路の状況を取得し、
   前記格納実行部は、前記一の移動体が移動する経路の状況が予め定められた状況であるときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項１又は２に記載の情報処理装置。
4. 前記一の移動体は自動車であり、
   前記状況取得部は、前記一の移動体が走行する道路の状況を取得する、請求項３に記載の情報処理装置。
5. 前記格納実行部は、前記一の移動体の位置から前記一の移動体の移動方向の予め定められた距離の道路が直線道路であり、前記一の移動体が当該直線道路を走行しているときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項４に記載の情報処理装置。
6. 前記格納実行部は、前記一の移動体の位置から前記一の移動体が予め定められた時間移動する場合に走行する道路が直線道路であり、前記一の移動体が当該直線道路を走行しているときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項４に記載の情報処理装置。
7. 前記格納実行部は、前記直線道路に他の車両が存在しないことを条件に、前記一の移動体が当該直線道路を走行しているときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項５又は６に記載の情報処理装置。
8. 前記格納実行部は、前記直線道路に信号機が存在しないことを条件に、前記一の移動体が当該直線道路を走行しているときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項５から７のいずれか一項に記載の情報処理装置。
9. 前記格納実行部は、前記直線道路に交差点が存在しないことを条件に、前記一の移動体が当該直線道路を走行しているときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項５から８のいずれか一項に記載の情報処理装置。
10. 前記一の移動体は自動車であり、
    前記状況取得部は、前記一の移動体のハンドルの操作状況を取得し、
    前記格納実行部は、前記一の移動体のハンドルの操作状況が予め定められた状況であるときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項２に記載の情報処理装置。
11. 前記格納実行部は、前記一の移動体のハンドルの回転角度が基準位置から予め定められた範囲内であるときに前記撮像部によって撮像された前記搭乗者の顔画像を、前記搭乗者のニュートラルな表情の顔画像として格納する、請求項１０に記載の情報処理装置。
12. コンピュータを、請求項１から１１のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

Images