JP6389346B1 - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】対象者の状態、及び対象者のサービスに関する評価に応じた適切な対応を行うことができる技術を実現する。
【解決手段】対象者を含む撮像画像を参照して、対象者の状態を判定し、対象者の状態、及び、対象者に提供されるサービス又はその候補に関する評価の少なくとも何れを出力するかを判断し、出力すると判断した情報を出力する。
【選択図】図１

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

従来、ユーザの現在の状況を考慮して、シーンに応じた最適な出力形態でコンテンツを提供するコンテンツ提供システムが知られている（例えば、特許文献１参照）。特許文献１に記載のコンテンツ提供システムでは、ユーザが使用する複数のデバイスに対して、ユーザの現在の状況を考慮して、適切なデバイスに適切な形態でコンテンツを提供している。

また、被撮影者の顔領域を含む対象画像を撮影して、撮影した画像データに基づいて、表示手段に表示させる映像コンテンツを選択する技術が知られている（例えば、特許文献２参照）。特許文献２に記載の技術は、表示手段に複数の映像を表示するとともに、被撮影者の顔領域を含む対象画像を撮影して、撮影した画像データに基づいて、表示手段に表示された複数の映像コンテンツの中から、被撮影者が集中している１つの映像コンテンツを選択して、表示手段に表示させている。

特開２０１５−５２９８１号公報（２０１５年３月１９日公開） 特開２００６−２７７１９２号公報（２００６年１０月１２日公開）

しかしながら、上述のような従来技術では、対象者に対して提供することができるサービスが限定的であり、さらに、対象者の状態や、対象者のサービスに対する評価に応じた適切な対応ができないという問題がある。

本発明の一態様は、上述の事情に鑑みてなされたものであり、対象者の状態、及び対象者のサービスに関する評価に応じた適切な対応を行うことができる技術を実現することを目的とする。

前記の課題を解決するために、本発明の一態様に係る情報処理装置は、取得部と、状態判断部と、出力判断部と、出力部とを備えた情報処理装置であって、前記取得部は、対象者を含む撮像画像を取得し、前記状態判断部は、前記撮像画像を参照して、前記対象者の状態を判定し、前記出力判断部は、前記対象者の状態、及び、前記対象者に提供されるサービス又はその候補に関する評価の少なくとも何れを出力するかを判断し、前記出力部は、上記出力判断部が出力すると判断した情報を出力する構成である。

前記の構成によれば、出力判断部は、対象者の状態、及び、対象者に提供されるサービス又はその候補に関する評価の少なくとも何れを出力するかを判断する。よって、情報処理装置から出力される情報を受信する外部の装置では、複数の対象者からの状態情報、及び評価情報を収集して利用することができ、対象者の状態、及び対象者のサービスに関する評価に応じた適切な対応を行うことができる。

また、本発明の一態様に係る情報処理装置は、前記状態判断部が判断した対象者の状態を参照して、前記対象者に提供するサービスを決定するサービス決定部を更に備えている構成である。

前記の構成によれば、多様なサービスの中から、対象者の状態に応じた適切なサービスを対象者に提供することができるため、ユーザにとって満足度の高いサービスを提供することができる。

また、本発明の一態様に係る情報処理装置は、前記取得部は、更に、前記対象者に対して提供するサービスの候補と、当該サービス候補に関する評価情報とを含むサービス情報を取得し、前記サービス決定部は、前記サービス情報を更に参照して、前記対象者に提供するサービスを決定する構成である。

前記の構成によれば、サービス決定部は、サービスの候補と、サービス候補に関する評価情報とを含むサービス情報を参照して提供するサービスを決定するため、多様なサービスの中から、より対象者に適したサービスを提供することができる。

また、本発明の一態様に係る情報処理装置は、前記サービス候補に関する評価情報には、前記対象者とは異なる者に関連付けられた評価情報、及び、前記対象者に関連付けられた過去の評価情報の少なくとも何れかが含まれる構成である。

前記の構成によれば、対象者の過去の評価情報だけではなく、対象者とは異なる者に関連付けられた評価情報をも参照して、対象者に提供するサービスを決定するため、多様なサービスの中から、より対象者に適したサービスを提供することができる。

また、本発明の一態様に係る情報処理装置は、前記サービスは、画像を含むコンテンツの再生であり、前記サービス決定部は、前記サービス情報に含まれる１又は複数のコンテンツに関する評価情報を参照して、再生するコンテンツを切り替える構成である。

前記の構成によれば、対象者の状態と、当該状態を参照して得られる評価とに応じて、再生するコンテンツを切り替えるため、多様な画像コンテンツの中から、より対象者に適した画像コンテンツを提供することができる。

また、本発明の一態様に係る情報処理装置は、前記状態判断部は、前記対象者の状態が、所定の通常状態とは異なる異常状態にあるか否かを判定し、前記出力判断部は、前記対象者の状態が異常状態にあるか否かに応じて、出力する情報を切り替える構成である。

前記の構成によれば、対象者の状態が、所定の通常状態とは異なる異常状態にある場合には、異常であることを示す情報のみを送付することができ、対象者の状態に応じて、適切な対応を行うことができる。

また、本発明の一態様に係る情報処理装置は、前記状態判断部は、前記対象者の状態が、所定の通常状態とは異なる異常状態にあるか否かを判定し、前記出力部は、前記対象者の状態が異常状態にあるか否かに応じて、状態情報を出力する先の装置を切り替える構成である。

前記の構成によれば、対象者の状態が、所定の通常状態とは異なる異常状態にあるか否かに応じて、状態情報を出力する先の装置を切り替えるため、対象者に提供するサービスを、例えばコンテンツ配信から、通報システムへの通報に、変更することができ、より対象者に適したサービスを提供することができる。

また、本発明の一態様に係る情報処理装置は、前記対象者の状態を提示する提示部を更に備えている構成である。

前記の構成によれば、対象者の状態を、対象者とは異なる者に提示することができるため、対象者の状態が異常状態にある場合には、対象者とは異なる者に対象者の異常を知らせることができる。

前記の課題を解決するために、本発明の一態様に係る情報処理システムは、前記の情報処理装置と、前記情報処理装置から出力される前記状態情報、及び前記評価情報の少なくとも何れかを、取得するサーバと、を備えた構成である。

前記の構成によれば、サーバにおいて複数の情報処理装置からそれぞれ出力される状態情報、及び前記評価情報を管理することができるため、複数の対象者のそれぞれに適切なサービスを提供することができる。

前記の課題を解決するために、本発明の一態様に係る情報処理方法は、対象者を含む撮像画像を取得する撮像画像取得ステップと、前記撮像画像を参照して、前記対象者の状態を判定する状態判定ステップと、前記対象者の状態、及び、前記対象者に提供されるサービス又はその候補に関する評価の少なくとも何れを出力するかを判断する出力判断ステップと、出力すると判断した情報を出力する情報出力ステップと、を含む方法である。

前記の構成によれば、対象者の状態、及び、前記対象者に提供されるサービス又はその候補に関する評価の少なくとも何れかを出力するため、対象者の状態、及び、対象者のサービスに関する評価に応じて、対象者に適切な対応を行うことができる。

前記の課題を解決するために、本発明の一態様に係る情報処理プログラムは、前記の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記取得部と、前記状態判断部と、前記出力判断部と、前記出力部としてコンピュータを機能させる構成である。

前記の構成によれば、コンピュータの機能を利用して、対象者の状態、及び対象者のサービスに関する評価に応じた適切な対応を行うことができる。

本発明の一態様によれば、対象者の状態、及び対象者のサービスに関する評価に応じた適切な対応を行うことができる。

本実施形態に係る情報処理システムの概略構成を示すブロック図である。 情報処理装置を適用した表示装置の構成を模式的に示す図である。 状態情報と、評価情報との関係を示す図である。 評価記録部に記録されている評価テーブルを示す図である。 全ユーザ評価記録部に記録されている評価テーブルを示す図である。 制御部の処理の流れを示すフローチャートである。

以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る情報処理装置１００の概略構成を示すブロック図である。情報処理装置１００は、例えば、図１に示されるとおり、対象者の状態を判定し、対象者の状態、及び対象者に提供されるサービス又はその候補に関する評価の少なくとも何れかを出力する情報処理システム１の機能ユニットとして用いられる。

情報処理装置１００は、画像取得部１０１と、状態判断部１０２と、出力判断部１０８とを含んでいる。情報処理装置１００は、画像取得部１０１の機能により、対象者を含む撮像画像を取得する。情報処理装置１００は、状態判断部１０２の機能により、画像取得部１０１によって取得された対象者を含む撮像画像を参照して、対象者の属性を判定する。対象者の属性は、例えば、対象者の性別、年齢、人種等である。情報処理装置１００は、判定した対象者の属性に応じたサービスを対象者に提供する。

また、情報処理装置１００は、状態判断部１０２の機能により、画像取得部１０１によって取得された対象者を含む撮像画像を参照して、対象者の状態を判定する。対象者の状態は、例えば、対象者の機嫌や体調状態である。
情報処理装置１００は、出力判断部１０８の機能により、対象者の状態、及び対象者のサービスに対する評価の少なくとも何れかを出力することを判断する。情報処理装置１００は、例えば、対象者の体調状態が異常な状態であると判定した場合に、対象者の状態を出力することを判断する。情報処理装置１００は、例えば、外部の装置に対して対象者の状態の異常を通報することで、対象者にとって必要な援助を要請してもよい。

情報処理装置１００は、更に、評価作成部１０３を備えている。評価作成部１０３は、状態判断部１０２の機能により判定された対象者の状態を参照して対象者に提供したサービスに対する対象者の評価を作成する。情報処理装置１００は、作成したサービスに対する対象者の評価を参照して、対象者に提供するサービスを切り替えてもよい。情報処理装置１００は、対象者に提供するサービスを切り替える際に、サービスの候補と、当該サービスの候補に関する、対象者とは異なる者の評価の情報とを取得して、対象者に提供するサービスを決定してもよい。

また、情報処理装置１００は、評価作成部１０３の機能により作成した、対象者に提供したサービスに対する対象者の評価を外部の装置である全ユーザ評価記録部１５０に提供してもよい。

全ユーザ評価記録部１５０には、複数の対象者の、各サービスに対する評価の情報が記憶されている。そして、全ユーザ評価記録部１５０は、記録した各サービスに対する複数の対象者の評価の情報を、対象者とは異なる者の評価の情報として、複数の情報処理装置１００に提供する。

なお、対象者に提供するサービスは、例えば、画像を含むコンテンツの再生であってもよい。情報処理装置１００は、画像コンテンツをディスプレイ表示するコンテンツ表示部１２０を備えた表示装置に通信可能に構成され、当該表示装置にコンテンツを提供する構成であってもよい。また、情報処理装置１００は、コンテンツ表示部１２０を備えた表示装置と一体に構成されていても良い。

情報処理装置１００は、例えば、車載された表示装置にコンテンツを提供する装置である。また、情報処理装置１００は、車載された表示装置に限らず、子供用ベッドや、勉強コンテンツ提供装置にコンテンツを提供する装置であってもよい。

情報処理装置１００を、車載された表示装置に適用した場合には、例えば、車の後部座席に座っている子供を対象者として用いることができる。そして、情報処理装置１００は、対象者である子供の年齢や性別などの属性と、子供の状態や機嫌、集中度に応じて、コンテンツ表示部１２０に表示する動画像のコンテンツを切り替えてもよい。これにより、子供が機嫌良く集中して視聴することができるコンテンツを提供することができ、運転席で車を運転している親も、運転に集中することができる。

また、情報処理装置１００を、子供用ベッドに設置された表示装置に適用した場合には、例えば、子供用ベッドに寝ている子供を対象者として用いることができる。そして、情報処理装置１００は、対象者である子供の年齢や性別などの属性と、子供の状態や機嫌、集中度に応じて、コンテンツ表示部１２０に表示する動画像のコンテンツを切り替えてもよい。例えば、子供が眠たそうにしている状態であれば、子供を眠りに誘うことができるようなコンテンツを提供したり、子供が眠りから覚めてぐずっている状態の時には、子供の機嫌を良くすることができるコンテンツを提供してもよい。これにより、子供が機嫌良く、安全に子供用ベッドで過ごすことができるように、コンテンツを提供することができ、子供用ベッドから離れた場所で家事等を行っている親が安心して家事に集中することができる。

また、情報処理装置１００を、勉強コンテンツ提供装置に適用した場合には、例えば、勉強する者を対象者として用いることができる。そして、情報処理装置１００は、勉強者の状態や機嫌、集中度に応じて、コンテンツ表示部１２０に表示する勉強コンテンツを切り替えてもよい。例えば、対象者がコンテンツの内容が難しくて困っている状態の場合には、情報処理装置１００は、コンテンツに関するヒントや説明を表示したり、コンテンツの難易度を切り替えたりすることができてもよい。また、対象者のコンテンツに対する集中度が低い場合には、再生するコンテンツを、対象者の興味を引くような、例えばゲーム形式の問題や面白い雑学を紹介する動画像等のコンテンツに切り替えてもよい。

これらの構成により、本実施形態では、対象者の状態を示す状態情報、及び当該状態情報を参照して得られる評価情報の少なくとも何れかを、外部の装置に出力し、共有することにより対象者に対してより多様なサービスを提供することができる。

§２ 構成例
以下、本発明の実施形態に係る情報処理装置１００の構成について、図１、及び図２に基づいて詳細に説明する。図１は、情報処理装置１００の概略構成を示すブロック図である。図２は、情報処理装置１００を、車載の表示装置１０にコンテンツを提供する装置として用いた場合の構成例を模式的に示す図である。

図１に示すように、情報処理装置１００は、情報処理システム１の構成要素として用いられる。情報処理システム１は、情報処理装置１００、コンテンツ表示部１２０、全ユーザ評価記録部１５０、コンテンツサーバ１７０、及び外部システム１４０を含んでいる。なお、情報処理装置１００と、コンテンツ表示部１２０とは、表示装置１０に一体に備えられている構成であってもよい。

図２に示すように、コンテンツ表示部１２０は、液晶ディスプレイ等のディスプレイデバイスであり、情報処理装置１００から提供される画像データに基づく画像をディスプレイ表示可能に構成されている。表示装置１０は、コンテンツ表示部１２０の周囲を囲む枠部に設けられた撮像部１５を備えている。撮像部１５は、例えばＣＭＯＳやＣＣＤ等のイメージセンサと、レンズとが組み合わされたカメラであり、コンテンツ表示部１２０に表示されている画像コンテンツの視聴対象者を撮像可能に構成されている。

なお、撮像部１５は、表示装置１０とは別体に設けられている構成であってもよく、コンテンツ表示部１２０が表示するコンテンツ画像の視聴対象者を撮像可能に、居室内や車内に設けられていてもよい。また、撮像部１５は、１つの表示装置１０に対して複数設けられている構成であってもよいし、１つまたは複数の撮像部１５が、複数の表示装置１０に対して設けられている構成であってもよい。

表示装置１０は、例えば、車の後部座席用に設けられた所謂リアモニターであっても良く、チャイルドシートに着座する子供を視聴の対象者として好適に用いることができるものである。表示装置１０は、前方の座席の背面部や、取付アームを用いてチャイルドシートに取り付けて使用することができる。また、表示装置１０は、対象者の位置や高さに応じて、コンテンツ表示部１２０の高さや向きが調整可能に構成されているのが望ましい。

情報処理装置１００は、表示装置１０に内蔵されている構成とすることができ、コンテンツサーバ１７０、及び外部システム１４０と無線通信を介して通信可能に構成されている。また、情報処理装置１００は、図示は省略するが、車内のカーナビゲーションシステムや、車内のスマートフォン等の携帯型端末と有線通信又は無線通信を介して通信可能に構成されているのが望ましい。そして、情報処理装置１００によって処理された各種情報は、カーナビゲーションシステムや、携帯型端末で確認可能な構成であるのが望ましい。

図１に示すように、全ユーザ評価記録部１５０は、情報処理装置１００と無線通信を介して通信可能な外部サーバであり、複数の情報処理装置１００からそれぞれ送信される、後述の状態情報、及び評価情報を記録している。なお、評価情報とは、対象者に提供可能なサービス候補に関する評価情報であり、対象者とは異なる者に関連付けられた評価情報、及び、対象者に関連付けられた過去の評価情報の少なくとも何れかが含まれている。

コンテンツサーバ１７０は、対象者に提供可能なコンテンツ（情報）が記憶されている外部サーバである。コンテンツサーバ１７０には、例えば、様々なジャンルの動画像が記憶されている。なお、全ユーザ評価記録部１５０は、コンテンツサーバ１７０上に設けられている構成であってもよい。

外部システム１４０は、セキュリティーサービスを提供する事業者等によって管理、及び運営されるセキュリティシステムである。外部システム１４０は、情報処理装置１００から、対象者の異常を知らせる通報を受けた際に、対象者の元に人員を出動させる指示を行ったり、対象者の状態に応じて救急や消防に連絡を行ったりする。

〔情報処理装置１００の構成について〕
情報処理装置１００は、画像取得部１０１と、状態判断部１０２と、出力判断部１０８と、出力部１３０とを含んでいる。また、情報処理装置１００は、評価作成部１０３、評価記録部１０４、及び評価送信部１０５を含んでいる。また、情報処理装置１００は、コンテンツ判断部１０６、及びコンテンツ切替部１０７を含んでいる。また、情報処理装置１００は、表示部１３１を備えている。
状態判断部１０２、出力判断部１０８、出力部１３０、評価作成部１０３、評価記録部１０４、評価送信部１０５、コンテンツ判断部１０６、及びコンテンツ切替部１０７は、情報処理装置１００の全体を統括的に制御する制御部に含まれている。

画像取得部１０１は、対象者を含む撮像画像を取得する。なお、本実施形態において対象者とは、コンテンツ表示部１２０が表示するコンテンツ画像の視聴対象者を示しているが、これに限定されるものではない。対象者とは、情報処理装置１００によって処理された情報に基づくサービスを提供する対象者であれば良く、情報処理装置１００は、画像コンテンツの提供の他に、対象者の安全監視サービス等のその他のサービスを提供する対象者であってもよい。

画像取得部１０１は、上述した撮像部１５から対象者を含む撮像画像を取得する。なお、画像取得部１０１が、撮像部１５の機能を備えている構成であってもよい。画像取得部１０１は、取得した対象者を含む撮像画像を状態判断部１０２に提供する。なお、画像取得部１０１は、例えば顔認識機能等の画像解析機能を有し、撮像画像から対象者を認識し、対象者に係る画像、例えば対象者の顔の画像、を撮像画像から抽出して、状態判断部１０２に提供してもよい。

状態判断部１０２は、画像取得部１０１から提供された撮像画像を参照して、対象者の状態を判定する。例えば、状態判断部１０２は、対象者が、コンテンツ表示部１２０に表示されているコンテンツ画像を集中して視ているか否かを、画像取得部１０１から提供された撮像画像を参照して判断する。対象者が、コンテンツ画像を集中して視ているか否かは、公知の技術を用いて判断することができる。例えば、状態判断部１０２は、対象者の視線を撮像画像から検出して、コンテンツ画像を視ている時間を計測し、コンテンツ画像の放映時間との割合から、対象者の集中度を算出してもよい。

また、状態判断部１０２は、画像取得部１０１から提供された撮像画像を参照して、対象者の顔の表情から対象者の泣いている、笑っている、集中している等の機嫌を判断してもよい。状態判断部１０２は、公知の技術を用いて対象者の顔の表情から対象者の機嫌を判断することができる。例えば、状態判断部１０２は、撮像画像から、対象者の目の開閉度、目尻の形状、しわの形状、口角の形状、口の開閉度等の情報を基に、対象者の機嫌を判断してもよい。状態判断部１０２は、対象者の機嫌を判断し、判断結果を示す情報を対象者の笑顔度としてもよい。

また、状態判断部１０２は、画像取得部１０１から提供された撮像画像を参照して、対象者の状態が所定の通常状態とは異なる異常状態にあるか否かを判定することができてもよい。状態判断部１０２は、公知の技術を用いて、対象者の状態が所定の通常状態とは異なる異常状態にあるか否かを判定する構成とすることができる。なお、所定の通常状態とは異なる異常状態とは、例えば、対象者が意識を失った状態や、大きな怪我を負った状態等のような状態である。

例えば、状態判断部１０２は、撮像画像を参照して、対象者の表情、集中度、及び対象者の動作や体の動きから対象者の状態を判断してもよい。状態判断部１０２は、撮像画像を参照して判断した対象者の状態が体調急変や、危険な状態を示す異常状態であると判定すると、判定結果を、出力判断部１０８に提供する。

このように、状態判断部１０２は、画像取得部１０１から提供された撮像画像を参照して、対象者の状態を判定する。そして、状態判断部１０２は、判定結果に基づいて、対象者の状態を示す状態情報を生成し、当該状態情報を評価作成部１０３に対して提供する。また、状態判断部１０２は、対象者の状態が所定の通常状態とは異なる異常状態にあると判定した場合には、判定結果を出力判断部１０８に提供する。

また、状態判断部１０２は、画像取得部１０１から提供された撮像画像を参照して、対象者の性別、年齢、及び人種等の属性を判断することができてもよい。状態判断部１０２は、対象者の属性を示す属性情報を、状態情報とともに評価作成部１０３に対して提供する。また、状態判断部１０２は、対象者の属性を示す属性情報を、コンテンツ判断部１０６に提供する。

出力判断部１０８は、対象者の状態、及び、対象者に提供されるサービス又はその候補に関する評価の少なくとも何れを出力するかを判断する。出力判断部１０８は、状態判断部１０２が判断した対象者の状態に応じて、情報の出力先と、出力する情報とを切り換える。例えば出力判断部１０８は、対象者の状態が通常の場合には、対象者の状態と、評価作成部１０３が作成した評価とを出力する。一方で、出力判断部１０８は、対象者の状態が異常の場合には、対象者の状態のみを出力する。

このように、出力判断部１０８は、（Ａ）状態判断部が判断した対象者の状態、（Ｂ）コンテンツ判断部が取得した、複数の対象者の各サービスに対する評価の一部、及び（Ｃ）評価作成部が作成した、対象者の各サービスに対する評価の少なくとも何れかを出力することを判断する。出力判断部１０８は、これらの（Ａ）〜（Ｃ）のうち、複数の情報を出力することを決定してもよい。

また、状態判断部１０２は、対象者の状態が、所定の通常状態とは異なる異常状態にあるか否かを判定し、出力判断部１０８は、対象者の状態が異常状態にあるか否かに応じて、出力する情報を切り替える。これにより、例えば車の後部座席や子供用ベッドなどの監視対象領域内にいる子供の機嫌や集中度に応じた評価を出力するとともに、当該監視対象領域内での子供の状態が異常状態に有る場合には、異常状態を知らせる情報を出力することができる。

評価作成部１０３は、状態判断部１０２から提供された対象者の状態を示す状態情報を参照して、対象者のコンテンツ画像に対する評価を示す評価情報を生成する。ここで、本実施形態における対象者とは、情報処理装置１００によって提供されるサービスを受ける対象者であり、評価情報とは、情報処理装置１００によって対象者に提供されるサービスに関する評価情報である。

図３は、状態判断部１０２が判定した対象者の状態を示す状態情報と、当該状態情報を参照して評価作成部１０３によって得られる評価情報との関係を示す図である。図３に示すように、状態情報には、例えば、対象者のコンテンツ画像に対する集中度と、対象者の笑顔度に関する情報が含まれている。

評価作成部１０３は、対象者の集中度、及び対象者の笑顔度に基づいて、１〜５の５段階で、対象者のコンテンツ画像に対する評価情報を作成する。例えば、評価作成部１０３は、対象者の集中度、及び対象者の笑顔度が共に８０％以上であれば、５段階評価で最も高い“５”を対象者のコンテンツに対する評価情報として作成する。また、評価作成部１０３は、対象者の集中度、及び対象者の笑顔度が共に６０％以上８０％未満であれば、５段階評価で上から２番目に高い“４”を対象者のコンテンツに対する評価情報として作成する。また、評価作成部１０３は、対象者の集中度、及び対象者の笑顔度が共に４０％以上６０％未満であれば、５段階評価で中間の評価である“３”を対象者のコンテンツに対する評価情報として作成する。また、評価作成部１０３は、対象者の集中度、及び対象者の笑顔度が共に２０％以上４０％未満であれば、５段階評価で下から２番目の評価である“２”を対象者のコンテンツに対する評価情報として作成する。さらに、評価作成部１０３は、対象者の集中度、及び対象者の笑顔度が共に０％以上２０％未満であれば、５段階評価で最も低い評価である“１”を対象者のコンテンツに対する評価情報として作成する。

評価作成部１０３は、状態情報を参照して作成した評価情報を、状態判断部１０２から提供された対象者の属性を示す属性情報とともに、評価記録部１０４に提供する。

評価記録部１０４は、評価作成部１０３によって作成された評価情報を、所定期間記録する。評価記録部１０４は、ＲＯＭ（Read Only Memory）、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などの「一時的でない有形の媒体」から構成されている。評価記録部１０４には、評価情報が、対象者の属性情報に関連付けて記憶されている。また、評価記録部１０４には、コンテンツ切替部１０７から、コンテンツ表示部１２０に表示しているコンテンツに関する情報が提供される。

図４は、評価記録部１０４に記録されている評価テーブルを示す図である。図４に示すように、評価記録部１０４に記録されている評価テーブルには、対象者の年齢や性別などの属性情報と、対象者の異常状態の有無を示す情報と、対象者に提供しているコンテンツを示す情報と、評価情報とが、コンテンツの配信時間に対応付けて記憶されている。

評価記録部１０４には、コンテンツ毎に、当該コンテンツに対する評価情報と、コンテンツの配信時間と、対象者の属性に関連付けて記憶されてもよい。なお、コンテンツの配信中に、対象者の異常状態が検出された場合には、制御部は、コンテンツの配信を停止して、異常状態が有る旨のログを評価テーブルに記録する構成であってもよい。

評価送信部１０５は、外部のサーバである全ユーザ評価記録部１５０に、評価記録部１０４に記憶した評価情報を対象者の属性情報、及びコンテンツに関する情報とともに送信する。評価送信部１０５は、これらの情報を所定間隔毎に全ユーザ評価記録部１５０に送信する。評価送信部１０５は、例えば、毎日決まった時間に、これらの情報を全ユーザ評価記録部１５０に送信する構成であってもよい。評価送信部１０５が、全ユーザ評価記録部１５０に情報を送信する回数は、数日に一回でも良いし、一日に一回でも良いし、一日に複数回であっても良い。また、評価送信部１０５は、コンテンツ配信が停止されたタイミングで、全ユーザ評価記録部１５０に情報を送信する構成であってもよい。

評価送信部１０５は、前回送信した情報の次の情報から、全ユーザ評価記録部１５０に情報を送信する構成であってもよい。また、評価送信部１０５によって送信済みの情報については、評価記録部１０４から削除される構成であり、評価送信部１０５は、評価記録部１０４に記録されている情報を全て全ユーザ評価記録部１５０に送信する構成であってもよい。

図５は、全ユーザ評価記録部１５０に記録されている評価テーブルを示す図である。図５に示すように、全ユーザ評価記録部１５０に記録されている評価テーブルには、コンテンツの配信時間と、送信元の機器を特定するための機器IDとに関連付けて、対象者の年齢や性別などの属性情報と、対象者の異常状態の有無を示す情報と、対象者に提供しているコンテンツを示す情報と、評価情報とが記憶されている。

コンテンツ判断部１０６は、状態判断部１０２によって生成された状態情報、及び評価作成部１０３によって作成された評価情報の少なくとも何れかに基づいて、対象者に提供するコンテンツについての判断を行う。また、コンテンツ判断部１０６は、状態判断部１０２によって生成された対象者の属性を示す属性情報と、全ユーザ評価記録部１５０、及び評価記録部１０４に格納されている評価情報の少なくとも何れか一方と、を参照して対象者に提供するコンテンツを選択する。コンテンツ判断部１０６は、例えば、対象者の年齢、性別、人種等の属性と、対象者とは異なる同様の属性の者に関連付けられた評価情報と、を参照して、当該属性の者に好まれているコンテンツを選択してもよい。

具体的には、コンテンツ判断部１０６は、対象者が４歳男であって、現在視聴中のコンテンツの評価が１である場合に、評価記録部１０４に格納されている、図４の評価情報を参照して、対象者と同様の属性の者による評価がより高いコンテンツＡ又はコンテンツＥを選択してもよい。

また、コンテンツ判断部１０６は、対象者が５歳女であって、現在視聴中のコンテンツの評価が３である場合に、全ユーザ評価記録部１５０に格納されている、図５の評価情報を参照して、対象者と同様の属性の者による評価がより高いコンテンツJを選択してもよい。

また、コンテンツ判断部１０６は、評価作成部１０３によって作成された評価が所定の評価以下の場合、例えば５段階中の３以下の場合、に対象者の属性情報と、全ユーザ評価記録部１５０、及び評価記録部１０４に格納されている評価情報の少なくとも何れか一方と、を参照して対象者に提供するコンテンツを選択する。

また、コンテンツ判断部１０６は、コンテンツ切替部１０７を介して、コンテンツサーバ１７０から、対象者に対して提供可能なコンテンツの候補を取得可能な構成であってもよい。全ユーザ評価記録部１５０が、コンテンツサーバ１７０上に設けられている構成では、コンテンツ判断部１０６は、全ユーザ評価記録部１５０から対象者に対して提供可能なコンテンツの候補を取得してもよい。

このように、コンテンツ判断部１０６は、対象者に対して提供するコンテンツの候補と、当該コンテンツの候補に関する評価情報とを含むサービス情報を取得可能である。そして、コンテンツ判断部１０６は、取得したサービス情報を更に参照して、対象者に提供するコンテンツを決定してもよい。また、コンテンツ判断部１０６は、サービス情報に含まれる１又は複数のコンテンツに関する評価情報を参照して、対象者に提供するコンテンツを決定してもよい。

さらに、情報処理装置１００が、車載のナビゲーションシステムと連携しており、コンテンツ判断部１０６は、ナビゲーションシステムに設定された目的までの到着予測時間に応じた長さのコンテンツを、コンテンツの候補と、当該コンテンツに関する評価情報とを参照して、選択することができる構成であってもよい。

コンテンツ判断部１０６は、対象者に提供するコンテンツを決定すると、コンテンツ表示部１２０に表示されているコンテンツを、切り替える切替指示をコンテンツ切替部１０７に対して出力する。

コンテンツ切替部１０７は、コンテンツ判断部１０６が出力した切替指示を参照して、画像を含むコンテンツをコンテンツサーバ１７０から取得する。そして、コンテンツ切替部１０７は、再生するコンテンツを、切替指示を参照してコンテンツサーバ１７０から取得したコンテンツに切り替える。

なお、本実施形態では、対象者を含む撮像画像を取得する画像取得部１０１を取得部とも呼称する。さらに、本実施形態では、サービス情報を取得するコンテンツ判断部１０６と、コンテンツをコンテンツサーバ１７０から取得するコンテンツ切替部１０７と、を総称して「サービス決定部」とも呼称する。

出力部１３０は、状態判断部１０２によって、対象者の状態が、所定の通常状態とは異なる異常状態にあると判定された場合に、対象者の状態を表示部１３１に出力するとともに、外部システム１４０に出力する。

これらの構成によれば、対象者が異常状態に無い場合には、対象者の状態を示す状態情報、及び当該状態情報を参照して得られる評価情報の少なくとも何れかが、外部の装置である全ユーザ評価記録部１５０に出力される。また、対象者が異常状態に有る場合には、対象者の状態を示す状態情報、及び当該状態情報を参照して得られる評価情報の少なくとも何れかが他の外部の装置である外部システム１４０に出力される。このように、出力判断部１０８は、対象者の状態が異常状態にあるか否かに応じて、状態情報を出力する先の装置を切り替える。

表示部１３１は、状態判断部１０２によって、対象者の状態が、所定の通常状態とは異なる異常状態にあると判定された場合に、対象者の状態を提示する提示部として機能する。表示部１３１は、ディスプレイデバイスであり、出力部１３０から出力される警告表示指示に応じて、警告情報を表示する。なお、対象者の状態を提示する方法は、表示部１３１への警告情報の表示に因る方法に限らず、警報音や、警告ランプの点灯等の他の提示方法に因るものであっても良い。

表示部１３１は、情報処理装置１００とは別体のディスプレイデバイスであってもよく、カーナビゲーションシステムの表示ディスプレイや、スマートフォン等の携帯型端末の表示ディスプレイ、或いは情報処理装置１００と通信可能に構成されたモニターであっても良い。

例えば、表示部１３１が、カーナビゲーションシステムの表示ディスプレイである場合には、対象者である後部座席の子供が、所定の通常状態とは異なる異常状態にあると判定された場合に、対象者の状態が運転席の親に提示される。このように、後部座席の子供の状態が、所定の通常状態とは異なる異常状態となった場合には、親は子供の異常に迅速に気が付くことができる。よって、後部座席の子供の状態が確認できない運転時であっても、子供の状態を心配することなく、安心して運転に集中することができる。

（情報処理装置１００の処理の流れについて）
図６は、情報処理装置１００の処理の流れの一例を示すフローチャートである。

（ステップＳ１）
画像取得部１０１によって、対象者を含む撮影画像が取得される。

（ステップＳ２）
状態判断部１０２は、画像取得部１０１が取得した撮像画像を参照して、対象者の属性を推定する。

（ステップＳ３）
コンテンツ判断部１０６は、状態判断部１０２によって推定された対象者の属性に応じたコンテンツを取得する。コンテンツ判断部１０６は、対象者の属性と、評価記録部１０４に記録されている対象者に関連付けられた過去の評価情報、及び全ユーザ評価記録部１５０から取得した対象者とは異なる者に関連付けられた評価情報の少なくとも何れかと、を参照して、取得するコンテンツを選択し、コンテンツ切替部１０７を介してコンテンツを取得する。

（ステップＳ４）
状態判断部１０２は、画像取得部１０１が取得した撮像画像を参照して、対象者の状態を判断する。状態判断部１０２は、対象者の状態を示す状態情報を生成して、ステップＳ５、及びステップＳ９に進む。

（ステップＳ５）
評価作成部１０３は、状態判断部１０２が生成した対象者の状態を示す状態情報を参照して、対象者のコンテンツに関する評価を示す評価情報を生成する。

（ステップＳ６）
コンテンツ判断部１０６は、評価作成部１０３によって作成された評価情報を参照して、対象者のコンテンツに関する評価が一定以上であるか否かを判断する。コンテンツ判断部１０６は、対象者のコンテンツに関する評価が一定以上であると判定すると（ステップＳ６でＹｅｓ）、ステップＳ７に進む。コンテンツ判断部１０６は、対象者のコンテンツに関する評価が一定以上ではないと判定すると（ステップＳ６でＮｏ）、ステップＳ１３に進む。

（ステップＳ７）
コンテンツ判断部１０６は、コンテンツのコンテンツ表示部１２０における表示が終了したか否かを判定する。コンテンツ判断部１０６は、コンテンツの表示が終了したと判定すると（ステップＳ７でＹｅｓ）、ステップＳ８に進む。コンテンツ判断部１０６は、コンテンツの表示が終了していないと判定すると（ステップＳ７でＮｏ）、ステップＳ１に戻り処理を継続する。

（ステップＳ８）
評価記録部１０４は、評価作成部１０３によって作成された評価情報を記録して、処理を終了する。

（ステップＳ９）
状態判断部１０２は、対象者の状態が所定の通常状態とは異なる異常状態にあるか否かを判定する。状態判断部１０２は、対象者の状態が異常状態にあると判定すると（ステップＳ９でＹｅｓ）、ステップＳ１０に進む。状態判断部１０２は、対象者の状態が異常状態にないと判定すると（ステップＳ９でＮｏ）、処理を終了する。

（ステップＳ１０）
状態判断部１０２は、対象者が乗車している車が自動運転中、つまり運転者が同乗していない状態で走行中、であるか否かを判定する。状態判断部１０２は、自動運転中であると判定すると（ステップＳ１０でＹｅｓ）、ステップＳ１２へ進む。状態判断部１０２は、自動運転中でないと判定すると（ステップＳ１０でＮｏ）、ステップＳ１１へ進む。

（ステップＳ１１）
状態判断部１０２の判断に応じて、出力判断部１０８は、出力部１３０に対して通報指示を出力し、表示部１３１に警告表示を表示させることにより運転者に対象者の状態が異常状態である旨を知らせる。出力部１３０は、状態判断部１０２からの通報指示に基づいて、運転者に対象者の状態が異常状態である旨を知らせると共に、外部システム１４０に異常を知らせてもよい。

（ステップＳ１２）
状態判断部１０２の判断に応じて、出力判断部１０８は、出力部１３０に対して通報指示を出力し、外部システム１４０に対象者の状態が異常状態である旨を通知する。このように、車が自動運転中であるときに、対象者の状態が異常状態となった場合には、外部システム１４０に対象者の状態が異常状態である旨が通知されるため、対象者は安心して自動運転車を利用することができる。

（ステップＳ１３）
ステップＳ６において、コンテンツ判断部１０６が対象者のコンテンツに関する評価が一定以上ではないと判定すると、評価記録部１０４は、評価作成部１０３によって作成された当該コンテンツに対する対象者の評価情報を記録して、ステップＳ１４に進む。

（ステップＳ１４）
コンテンツ判断部１０６は、コンテンツのコンテンツ表示部１２０における表示が終了したか否かを判定する。コンテンツ判断部１０６は、コンテンツの表示が終了したと判定すると（ステップＳ１４でＹｅｓ）、処理を終了する。コンテンツ判断部１０６は、コンテンツの表示が終了していないと判定すると（ステップＳ１４でＮｏ）、ステップＳ１５に進む。

（ステップＳ１５）
コンテンツ判断部１０６は、評価記録部１０４に記録されている対象者に関連付けれた過去の評価情報、及び全ユーザ評価記録部１５０から取得した対象者とは異なる者に関連付けられた評価情報の少なくとも何れかと、を参照して、取得するコンテンツを選択し、コンテンツ切替部１０７を介してコンテンツを取得する。

（ステップＳ１６）
コンテンツ切替部１０７は、コンテンツ表示部１２０に表示するコンテンツを、新たにコンテンツサーバ１７０から取得したコンテンツに切り替えて、ステップS４に戻り処理を継続する。なお、画像取得部１０１は、情報処理装置１００が動作中には、例えば所定時間間隔で対象者を含む撮像画像を取得している。そして、状態判断部１０２は、対象者の状態を、画像取得部１０１が撮像画像を取得するタイミングで定期的に判定する構成であってもよい。画像取得部１０１が、撮像画像を取得する周期を短くすることで、状態判断部１０２は、対象者の状態を逐次に判定することができる。

〔ソフトウェアによる実現例〕
情報処理装置１００の制御ブロック（特に状態判断部１０２、出力判断部１０８、出力部１３０、評価作成部１０３、評価記録部１０４、評価送信部１０５、コンテンツ判断部１０６、及びコンテンツ切替部１０７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、状態判断部１０２による対象者の状態判断、出力判断部１０８による出力する情報の切り換えと出力先の切り替え、及び、コンテンツ判断部１０６によるコンテンツの判断のための分類及び学習処理の具体構成は本実施形態を限定するものではなく、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、３Ｄデータをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データアーギュメンテーション（Deta Argumentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には
、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

また、状態判断部１０２による対象者の状態判断処理、及び、コンテンツ判断部１０６によるコンテンツ判断処理に用いられる機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理システム
１００ 情報処理装置
１０ 表示装置
１０１ 画像取得部
１０２ 状態判断部
１０３ 評価作成部
１０４ 評価記録部
１０５ 評価送信部
１０６ コンテンツ判断部（サービス決定部）
１０７ コンテンツ切替部（サービス決定部）
１０８ 出力判断部
１２０ コンテンツ表示部
１３０ 出力部
１３１ 表示部（提示部）
１４０ 外部システム
１５０ 全ユーザ評価記録部
１７０ コンテンツサーバ

Claims (11)

1. 取得部と、状態判断部と、評価作成部と、出力判断部と、出力部とを備えた情報処理装置であって、
   前記取得部は、対象者を含む撮像画像を取得し、
   前記状態判断部は、前記撮像画像を参照して、前記対象者の視線及び表情の少なくとも何れかから、前記対象者の状態を判定し、
   前記評価作成部は、前記状態判断部から提供された前記対象者の状態を示す状態情報を参照して、前記対象者に提供されるサービス又はその候補に関する前記対象者の評価を示す評価情報を生成し、
   前記出力判断部は、
   前記状態判断部によって判定された前記対象者の状態を示す前記状態情報、及び、
   前記評価作成部によって生成された前記対象者に提供されるサービス又はその候補に関する評価を示す前記評価情報、の少なくとも何れを出力するかを判断し、
   前記出力部は、
   前記出力判断部が出力すると判断した情報を出力する
   ことを特徴とする情報処理装置。
2. 前記状態判断部が判断した対象者の状態を参照して、前記対象者に提供するサービスを決定するサービス決定部を更に備えている
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記取得部は、更に、前記対象者に対して提供するサービスの候補と、当該サービス候補に関する前記評価情報とを含むサービス情報を取得し、
   前記サービス決定部は、前記サービス情報を更に参照して、前記対象者に提供するサービスを決定する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記サービス候補に関する前記評価情報には、
   前記対象者とは異なる者に関連付けられた前記評価情報、及び、
   前記対象者に関連付けられた過去の前記評価情報の少なくとも何れかが含まれることを特徴とする請求項３に記載の情報処理装置。
5. 前記サービスは、画像を含むコンテンツの再生であり、
   前記サービス決定部は、前記サービス情報に含まれる１又は複数のコンテンツに関する前記評価情報を参照して、再生するコンテンツを切り替える
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記状態判断部は、
   前記対象者の状態が、所定の通常状態とは異なる異常状態にあるか否かを判定し、
   前記出力判断部は、
   前記対象者の状態が異常状態にあるか否かに応じて、出力する情報を切り替える
   ことを特徴とする請求項１から５の何れか１項に記載の情報処理装置。
7. 前記状態判断部は、
   前記対象者の状態が、所定の通常状態とは異なる異常状態にあるか否かを判定し、
   前記出力部は、
   前記対象者の状態が異常状態にあるか否かに応じて、前記状態情報を出力する先の装置を切り替える
   ことを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
8. 前記対象者の状態を提示する提示部を更に備えている
   ことを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
9. 請求項１〜８の何れか一項に記載の情報処理装置と、
   前記情報処理装置から出力される前記状態情報、及び前記評価情報の少なくとも何れかを、取得するサーバと、を備えたことを特徴とする情報処理システム。
10. 対象者を含む撮像画像を取得する撮像画像取得ステップと、
    前記撮像画像を参照して、前記対象者の視線及び表情の少なくとも何れかから、前記対象者の状態を判定する状態判定ステップと、
    前記対象者の状態を示す状態情報を参照して、前記対象者に提供されるサービス又はその候補に関する前記対象者の評価を示す評価情報を生成する評価生成ステップと、
    前記対象者の状態を示す前記状態情報、及び、前記対象者に提供されるサービス又はその候補に関する評価を示す前記評価情報の少なくとも何れを出力するかを判断する出力判断ステップと、
    出力すると判断した情報を出力する情報出力ステップと、を含む
    ことを特徴とする情報処理方法。
11. 請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記取得部と、前記状態判断部と、前記出力判断部と、前記出力部として
    コンピュータを機能させるための情報処理プログラム。

Images