JP6572629B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、顔認識技術に代表されるユーザ認識技術が広く利用されている。例えば、複数人が利用する可能性があるサービスに関して、ユーザを認識して、認識したユーザに対応するサービスを提供するための技術が開発されている。

例えば、下記特許文献１では、テレビ会議システムにおいて、遠隔地の会議参加者を認識して、会議参加者の属性情報を視覚的に表示する技術が開示されている。

特開２００４−１２９０７１号公報

上記特許文献１に記載されているようなユーザ認識を伴うサービスにおいては、ユーザ認識の成功／失敗に応じて提供されるサービスが切り替えられる。しかし、例えば登録された情報と完全に一致しなければ認証が成功せず、サービスを受けることができない等の不便さがあった。

そこで、本開示では、ユーザ認識を伴うサービスをより柔軟に提供することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、ユーザに関する観測結果を示す第１の観測情報を取得する取得部と、前記取得部により取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化を認識する認識部と、前記認識部による認識結果に応じて出力を制御する出力制御部と、を備える情報処理装置が提供される。

また、本開示によれば、ユーザに関する観測結果を示す第１の観測情報を取得することと、取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化をプロセッサにより認識することと、認識結果に応じて出力を制御することと、を含む情報処理方法が提供される。

また、本開示によれば、コンピュータを、ユーザに関する観測結果を示す第１の観測情報を取得する取得部と、前記取得部により取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化を認識する認識部と、前記認識部による認識結果に応じて出力を制御する出力制御部と、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザ認識を伴うサービスをより柔軟に提供することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る情報処理システムの概要を説明するための説明図である。 本実施形態に係る情報処理システムの論理的な構成の一例を示すブロック図である。 本実施形態に係る観測装置の配置の一例を説明するための説明図である。 本実施形態に係る情報処理システムにより提供されるサービスの一例を説明するための説明図である。 本実施形態に係るサーバにおいて実行されるＤＢの更新処理の流れの一例を示すフローチャートである。 本実施形態に係るサーバにおいて実行される認識処理の流れの一例を示すフローチャートである。 本実施形態に係るサーバにおいて実行される情報提供処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理システムに係る具体例を説明するための説明図である。 本実施形態に係る情報処理システムに係る具体例を説明するための説明図である。 本実施形態に係る情報処理システムに係る具体例を説明するための説明図である。 本実施形態に係る情報処理システムに係る具体例を説明するための説明図である。 本実施形態に係る情報処理システムに係る具体例を説明するための説明図である。 本実施形態に係る情報処理システムに係る具体例を説明するための説明図である。 本実施形態に係る情報処理システムに係る具体例を説明するための説明図である。 本実施形態に係るサーバにおいて実行される一日の処理の流れの一例を示すフローチャートである。 本実施形態に係るサーバにおいて実行される一日の処理の流れの一例を示すフローチャートである。 本実施形態に係るサーバにおいて実行される認識結果の履歴の修正処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて端末装置１００Ａ、１００Ｂ及び１００Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、端末装置１００Ａ、１００Ｂ及び１００Ｃを特に区別する必要が無い場合には、単に端末装置１００と称する。

なお、説明は以下の順序で行うものとする。
１．概要
２．第１の実施形態
２．１．構成例
２．２．技術的特徴
２．３．処理の流れ
２．４．具体例
３．ハードウェア構成例
４．まとめ

＜＜１．概要＞＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概要を説明する。

図１は、本実施形態に係る情報処理システムの概要を説明するための説明図である。図１に示すように、端末装置１００は、天井に吊るされ、テーブル１０の天面に上方から情報を表示（即ち、投影）する装置である。端末装置１００は、テーブル１０に表示した情報に対するユーザ操作に応じたサービスをユーザに提供する。このような、テーブル１０の天面に情報を出力する形態は、テーブルトップスクリーンとも称される。

端末装置１００は、画像センサ、深度センサ、及びマイク等の図示しない観測部（図２に示す観測部１１０）を含み、ユーザに関する情報を観測する。例えば、端末装置１００は、テーブル１０上の一領域を観測領域２０として、観測領域２０内に存在する物体を対象として観測を行う。図１に示した例では、端末装置１００は、観測領域２０内に位置するユーザの手の位置、服、手の形状、手の動き、指先がテーブル１０に接しているか否か等を観測し得る。

端末装置１００は、プロジェクタ、スピーカ等の図示しない出力部（図２に示す出力部１２０）を含み、ユーザへ情報を出力する。例えば、端末装置１００は、テーブル１０上の一領域を表示領域３０として、アプリケーション画面等を出力する。なお、観測領域２０と表示領域３０とは一致していてもよい。

ユーザ認識技術として広く用いられている顔認識技術は、図１に示したようなユーザの手しか観測されないケースにおいては利用困難である。また、顔を観測可能なケースにおいても、表情の変化、体調の変化、メガネの有無等によって、顔認識技術だけではユーザを認識することが困難な場合がある。そのため、顔以外に基づいてユーザが認識される技術が提供されることが望ましい。

また、例えばユーザの体格、髪型又は服等をユーザ認識に用いるとしても、特に服に関して日々、さらには時間帯によって変化するので、正確にユーザを認識することは困難な場合がある。

そこで、上記事情を一着眼点にして本開示の一実施形態に係る情報処理システムを創作するに至った。本実施形態に係る情報処理システムは、ユーザ認識を伴うサービスをより柔軟に提供することが可能である。以上、本実施形態に係る情報処理システムの概要を説明した。

＜＜２．第１の実施形態＞＞
続いて、図２及び図３を参照して、本実施形態に係る情報処理システムの構成例を説明する。

＜２．１．構成例＞
図２は、本実施形態に係る情報処理システム１の論理的な構成の一例を示すブロック図である。図２に示すように、情報処理システム１は、端末装置１００、観測装置２００及びサーバ３００を含む。

（１）端末装置１００
図２に示すように、端末装置１００は、観測部１１０及び出力部１２０を含む。

観測部１１０は、ユーザに関する観測結果を示す情報（以下、観測情報とも称する）を取得する機能を有する。例えば、観測部１１０は、画像センサ、深度センサ、又はマイク等を含み、画像情報、深度情報、音声情報等に基づいて観測情報を取得する。他にも、観測情報は、生体情報、位置情報、加速度情報等の、任意のセンサ装置により取得される情報に基づいて取得され得る。

出力部１２０は、ユーザへ情報を出力する機能を有する。例えば、出力部１２０は、プロジェクタ、ディスプレイ、タッチパネル、振動装置、又はスピーカ等を含み、画像表示、音声出力、振動、光の明滅等を行う。

端末装置１００は、観測部１１０により取得された観測情報をサーバ３００へ送信し、サーバ３００から受信した情報を出力部１２０により出力する。

（２）観測装置２００
図２に示すように、観測装置２００は、観測部２１０を含む。観測部２１０の機能は、観測部１１０と同様であるため、ここでの詳細な説明は省略する。

ここで、情報処理システム１は、複数の観測装置２００を含み得る。この点について、図３を参照して説明する。

図３は、本実施形態に係る観測装置２００の配置の一例を説明するための説明図である。図３に示した例では、ひとつの家の中に、複数の観測装置２００（即ち、観測装置２００Ａ、２００Ｂ及び２００Ｃ）が配置されている。詳しくは、観測装置２００Ａは、洗面所の鏡の上に配置されており、起床したばかりのユーザの全身を対象に観測（例えば、撮影）可能である。観測装置２００Ｂは、玄関の鏡の上に配置されており、出勤前のユーザの全身を撮影可能である。観測装置２００Ｃは、スマートフォンであり、ユーザが自分で自分を撮影するために使用した場合、ユーザの顔又は全身を撮影可能である。一方で、端末装置１００は、例えば居間に配置されており、例えばユーザの手を撮影可能である。このように、観測装置２００は、端末装置１００が観測することが困難な、例えばユーザの顔等を観測対象とすることが可能である。

ここで、観測装置２００Ａ及び２００Ｂのように、鏡の付近に設けられる場合、観測装置は正面からユーザの顔及び全身〜上半身を撮影することが可能となる。そのため、サーバ３００は、観測装置２００Ａ又は２００Ｂにより観測されたユーザを精度よく認識可能である。また、観測装置２００Ｃのようなユーザ固有の観測装置２００は、ユーザ名と画像とを対応付けて取得することが可能であるので、サーバ３００における認識負荷が軽減される。他にも、観測装置２００は、監視カメラ又はインターフォンのカメラ等であってもよく、その場合は既存のインフラを有効活用することができる。

なお、図３に示した例では、観測装置２００は画像を撮影可能なカメラとして実現されているが、本技術はこれに限定されない。例えば、観測装置２００は、マイク、生体センサ、慣性センサ（ジャイロセンサ又は加速度センサ等）、光センサ等の多様な装置として実現され得る。

情報処理システム１は、観測装置２００と同様に、複数の端末装置１００を含んでいてもよく、例えばひとつの家の中に複数の端末装置１００が配置されていてもよい。

（３）サーバ３００
図２に示すように、サーバ３００は、取得部３１０、認識部３２０、記憶制御部３３０及び出力制御部３４０を含む。なお、サーバ３００は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、サーバ３００は、これらの構成要素の動作以外の動作も行い得る。取得部３１０、認識部３２０、記憶制御部３３０及び出力制御部３４０の機能は、後に詳しく説明する。

（４）ＤＢ（Data Base）４００
ＤＢ４００は、様々なデータを一時的に又は恒久的に記憶する記憶部として機能する。例えば、ＤＢ４００は、端末装置１００又は観測装置２００により観測された観測情報を記憶する。

以上、本実施形態に係る情報処理システムの構成例を説明した。続いて、本実施形態に係る情報処理システム１の技術的特徴を説明する。

＜２．２．技術的特徴＞
（１）枠組み
情報処理システム１は、ユーザを認識し、認識したユーザに対応するサービスを提供する。以下では、情報処理システム１の基本的な処理の枠組みを説明する。

（ａ）観測情報の蓄積
サーバ３００（例えば、取得部３１０）は、端末装置１００又は観測装置２００により観測された観測情報を取得する。そして、サーバ３００（例えば、記憶制御部３３０）は、取得された観測情報を、後述する認識処理により認識されたユーザと対応付けてＤＢ４００に記憶させる。これにより、ＤＢ４００にユーザ毎の観測情報が蓄積される。また、後述する認識処理によりユーザに関する変化が認識された場合、サーバ３００は、ユーザに関する変化をＤＢ４００に記憶させる。これにより、ＤＢ４００に記憶された情報が、最新のユーザの状況を反映したものとなる。

（ｂ）認識処理
サーバ３００（例えば、取得部３１０）は、端末装置１００又は観測装置２００により観測された観測情報を取得する。また、サーバ３００（例えば、記憶制御部３３０）は、ＤＢ４００に記憶された観測情報を取得する。ここで、認識の対象となるリアルタイムに取得される観測情報を第１の観測情報とも称し、ＤＢ４００に蓄積された過去の観測情報を第２の観測情報とも称する。また、第１の観測情報と第２の観測情報とを特に区別する必要がない場合、観測情報と総称する。

サーバ３００（例えば、認識部３２０）は、ユーザ及びユーザに関する変化を認識する。具体的には、サーバ３００は、取得された第１の観測情報を、ＤＢ４００に記憶された第２の観測情報の少なくとも一部と照合することで、ユーザ及びユーザに関する変化を認識する。例えば、サーバ３００は、第１の観測情報のうち第２の観測情報と一致する情報の割合が高ければ、第１の観測情報に係るユーザは第２の観測情報に対応付けられたユーザであると判定する。そして、サーバ３００は、第１の観測情報のうち第２の観測情報と一致しない情報については、ユーザに関する変化であると認識する。

図３に示した配置例を想定して、認識処理について説明する。例えば、サーバ３００は、端末装置１００により撮影されたユーザの手の部分の撮像画像（第１の観測情報）を、観測装置２００により撮影されたユーザ全身の撮像画像（第２の観測情報）のうち手の部分と照合することで、ユーザの認識を行う。また、サーバ３００は、観測装置２００Ｂにより撮影された出勤前のユーザの全身の撮像画像（第１の観測情報）を、観測装置２００Ａにより撮影された起床したばかりのユーザの全身の撮像画像（第２の観測情報）と照合することで、ユーザが服を着替えたことを認識する。このように、サーバ３００は、第１の観測情報と第２の観測情報とが部分的に一致して部分的に一致しない場合であっても、ユーザを認識可能であるし、ユーザに関する変化を認識可能である。

一例として、服の変化についてさらに説明する。サーバ３００は、服を着替える、上着を着る／脱ぐといった行動を追跡し、その都度ＤＢ４００を更新してもよい。これにより、顔が認識できない小さな画像、又は顔が映っていない画像であっても、サーバ３００は、服を着替えた後のユーザを認識することが可能である。

（ｃ）サービスの提供
サーバ３００（例えば、出力制御部３４０）は、認識結果に応じて出力を制御する。例えば、サーバ３００は、ユーザの認識結果及びユーザに関する変化の認識結果に応じたコンテンツを、端末装置１００により出力させる。コンテンツには、アプリケーションの画面、画像（静止画像／動画像）、ＢＧＭ等の音声などが含まれ得る。以下、図４を参照して、情報処理システム１により提供されるサービスの一例を説明する。

図４は、本実施形態に係る情報処理システム１により提供されるサービスの一例を説明するための説明図である。図４では、一日のユーザの行動に沿って提供されるサービスの一例を示している。ただし、事前準備として、ユーザは、観測装置２００Ｃにより自身の顔を撮影して、ユーザ登録を行ったものとする。例えば、サーバ３００は、ユーザに新たに付与する識別情報とユーザの顔画像とを対応付けてＤＢ４００に記憶させることで、ユーザ登録を行う。その際、ユーザの名前等の属性情報等が、ユーザ入力により登録されてもよい。

例えば、サーバ３００は、観測装置２００Ａにより観測された、起床後に洗面中のユーザの撮像画像に基づいて、ユーザを認識すると共にユーザの服の特徴を認識し、ユーザの服の特徴を示す情報をＤＢ４００に記憶させる。サーバ３００は、ユーザの服から、ユーザが起床直後であることを認識することができる。そして、サーバ３００は、テーブル１０で朝食４１を食べるユーザのために、端末装置１００によりニュースアプリケーションの画面４２を自動的に表示させる。

また、サーバ３００は、観測装置２００Ｂにより観測された、仕事を終えて帰宅したユーザの撮像画像に基づいて、ユーザを認識すると共にユーザの服の特徴を認識し、ユーザの服の特徴を示す情報をＤＢ４００に記憶させる。サーバ３００は、ユーザの服から、ユーザが仕事後帰宅したことを認識することができる。そして、サーバ３００は、テーブル１０で夕食４３を食べるユーザのために、端末装置１００により明日のスケジュールを示すスケジュールアプリケーションの画面４４を自動的に表示させる。

なお、本明細書では、情報処理システム１が情報を出力すること、及び端末装置１００が情報を出力することは、サーバ３００が端末装置１００により情報を出力させることと同義である。

（２）観測情報
（ａ）内容
観測情報は、多様に考えられる。観測情報は、以下に一例を示す情報の少なくともいずれかを含み得る。

・ユーザの身体に関する特徴を示す情報
例えば、観測情報は、以下に示すユーザの身体に関する特徴を示す情報を含み得る。これらの観測情報は、例えば生体センサにより取得されてもよいし、撮像画像、収音音声等の任意の情報に基づいて認識されてもよい。

−顔の特徴
−身体的特徴
ジェスチャーする際の手の形状
体格
体重
年齢
性別
脈拍
体臭
呼吸の速さ、深さ
体温
声
歩幅
利き手
皮膚の色

・ユーザの行動に関する特徴
例えば、観測情報は、以下に示すユーザの行動に関する特徴を示す情報を含み得る。これらの観測情報は、例えば慣性センサにより取得されてもよいし、撮像画像、収音音声等の任意の情報に基づいて認識されてもよい。

−行動
動作
位置
−嗜好特徴
いつも見るコンテンツ
最初に押すボタン
−癖
貧乏ゆすりの周波数
鼻歌
強い光への反応（瞬き等の驚き方の特徴）
機器が振動した時の反応
モスキート音への反応
待ち時間をわざと作ってイライラさせた際の反応
動物や食べ物の写真を提供した時の反応
ドアの閉め方
立っているときの体の揺れ方
腕の組み方
腕（指）の指し方
頭の掻き方
語尾の言い回し
箸の持ち方
ペンの持ち方
筆跡
テーブルの天面等に描かれた図形（丸、四角等）の特徴（大きさ、形状等）
足音
乗車位置

・ユーザの生活に関する特徴
例えば、観測情報は、以下に示すユーザの生活に関する特徴を示す情報を含み得る。これらの観測情報は、例えば撮像画像、収音音声、Ｗｅｂから取得された情報等の任意の情報に基づいて認識されてもよい。

−住環境
いつも座る場所
どこから画角に入ってくるか（お母さんはキッチン側から入ることが多い等）
寝る位置
ドアの開閉履歴
食器（自分専用マグカップ、箸等）
−生活リズム
起床時間
テーブルに座る順番
食べる速さ
食べる順番
役割（ゴミ捨て、洗濯）
−人間関係
ソーシャルメディアの情報

・ユーザが装着若しくは携行する物に関する特徴
例えば、観測情報は、以下に示すユーザが装着若しくは携行する物に関する特徴を示す情報を含み得る。これらの観測情報は、例えば撮像画像、赤外線センサにより取得された情報、ＤＢ４００に記憶されたユーザの所有物を示す情報等の任意の情報に基づいて認識されてもよい。

−装飾品
頭部：帽子、かつら、髪の色
顔部：メガネ、イヤリング
首部：マフラー、ネックレス
腕部：腕時計、指輪、手袋、ネイル
胴部：ネクタイピン、キーホルダー、ネクタイ、服（色、模様、ブランドロゴ等）
足部：ズボン、スカート、靴、スリッパ、靴下
−情報を格納した装飾品
赤外線反射塗料で模様を印刷した指輪又はブレスレット

（ｂ）取得処理
上記説明したように、観測情報は、ユーザに関する特徴を示す情報である。端末装置１００又は観測装置２００は、各種センサ装置から得られた生データを対象とした認識処理を行うことで観測情報を取得して、サーバ３００へ観測情報を送信する。なお、生データがサーバ３００に送信され、サーバ３００において観測情報が得られてもよい。

（３）ユーザ認識の確信度
サーバ３００（例えば、認識部３２０）は、取得された第１の観測情報を、ＤＢ４００に記憶された第２の観測情報の少なくとも一部と照合することで、ユーザ及びユーザに関する変化を認識する。

ここで、例えば服は他のユーザとの間で重複する場合がある等、観測情報の一部が一致する場合であってもユーザを一意に認識することが困難な場合が有る。そのため、サーバ３００は、確からしさ（精度）に幅を持たせてユーザ認識を行う。ユーザ認識の確からしさを、以下では確信度とも称する。例えば、顔認識技術を用いた認識結果の確信度が最も高く、続いて身体的特徴、癖の順に確信度が低下していく。この順位は、誤認識率に基づいて設定され得る。また、服に関しては、例えば単色の服に基づく認識結果の確信度は低く、模様（即ち、特徴量）の多い服に基づく認識結果の確信度は高く設定されてもよい。

サーバ３００は、ユーザ認識の確信度を向上させるための処理を行い得る。例えば、サーバ３００は、複数の観測情報を組み合わせてユーザ認識を行ってもよい。具体的には、サーバ３００は、服が一致するか否かに加えて、手の形状が一致するか否か等を組み合わせることで、ユーザ認識の確からしさを向上させる。このように、複数の観測情報を組み合わせてユーザ認識が行われることで、認識のロバスト性が向上し、例えば服を用いたなりすましが防止される。他にも、サーバ３００は、例えば端末装置１００に加えて、他の端末装置１００又は観測装置２００により得られた観測情報を組み合わせることで、ユーザ認識の確信度を向上させてもよい。

（４）確信度に応じた出力
サーバ３００（例えば、出力制御部３４０）は、確信度に応じて出力を制御してもよい。例えば、サーバ３００は、確信度が低い場合は一般的な情報を出力させ、確信度が高まるにつれてよりユーザに特化した情報を出力させる等、確信度に応じて異なる出力を行い得る。これにより、例えばユーザ認識が確実でない場合であっても、少なくとも何らかの情報をユーザに提供することができる、といった柔軟なサービスの提供が実現される。

例えば、サーバ３００は、確信度を示す情報を出力させてもよい。例えば、サーバ３００は、表示されるポインタ等の表示オブジェクトの色又は濃さ等を確信度に応じて変化させてもよいし、確信度を示すメーターを増減させてもよい。他にも、サーバ３００は、確信度の高さを音で出力させてもよい。これにより、ユーザは、ユーザ認識の確からしさを知得することができる。本特徴については、図９を参照して後に具体的に説明する。

例えば、サーバ３００は、認識されたユーザのプライバシーに関する情報の出力可否を確信度に応じて制御してもよい。例えば、サーバ３００は、確信度が閾値を超えない場合は、ユーザのプライバシーに関する情報を出力せず、確信度が閾値を超えた場合に出力する。確信度の閾値は複数設定されていてもよく、確信度が向上するにつれてサーバ３００が出力可能な情報の範囲が広がってもよい。このような制御により、確信度に応じた段階的な出力が可能となり、ユーザのプライバシーが適切に守られる。なお、家族間でしか端末装置１００が使用されない等の状況下では、確信度の閾値は緩和されてもよい。本特徴については、図８を参照して後に具体的に説明する。

例えば、サーバ３００は、情報の出力可否に係る確信度の閾値を示す情報を出力させてもよい。これにより、ユーザは、所望する情報が出力されない原因が、確信度が足りないためであることを知ることが可能となり、パスワードを用いてログインする等、確信度を向上させるための行動を行うことができる。

さらに、サーバ３００は、確信度を向上させるための行動をユーザに促すための情報を出力させてもよい。換言すると、サーバ３００は、第１の観測情報を増加させるための行動をユーザに促すための情報（例えば、行うべき行動を指示する情報）を出力させてもよい。この情報に従ってユーザが行動すれば、サーバ３００は、ユーザ認識の確信度をより向上させることができる。また、サーバ３００は、出力した情報が、確信度を向上させるための行動をユーザに促すための情報であることを示す情報を出力させてもよい。本特徴については、図１３を参照して後に具体的に説明する。

例えば、サーバ３００は、確信度に応じて情報の出力場所を制御してもよい。例えば、サーバ３００は、確信度が高いユーザのための情報を、当該ユーザ付近、又はテーブルの中央等に出力させてもよい。一方で、サーバ３００は、確信度が低いユーザのための情報は、デフォルトの表示位置、複数のユーザの中心等に出力させてもよい。

（５）時系列の学習
（ａ）ＤＢ４００の情報の更新
サーバ３００（例えば、記憶制御部３３０）は、認識結果に応じてＤＢ４００に記憶された第２の観測情報を更新する。これにより、ＤＢ４００に記憶された情報が、最新のユーザの状況を反映したものとなるので、ユーザ認識の精度をより向上させることが可能となる。

例えば、サーバ３００は、認識されたユーザに対応付けられた第２の観測情報に、ユーザの変化に係る第１の観測情報を追加する又は置き換えることで、更新を行う。以下、表１に示したＤＢ４００に記憶される第２の観測情報の一例を参照しながら、この点について説明する。

上記表１に示すように、ＤＢ４００は、「現在」の情報と「履歴」の情報とをカテゴリごとに記憶し得る。例えば、サーバ３００は、観測された情報と、ＤＢ４００に記憶された「現在」の情報とを照合することで認識処理を行う。ここで、観測された情報と、ＤＢ４００に記憶された「現在」の情報とが一致しない場合、サーバ３００は、「履歴」の情報と照合することで認識処理を行ってもよい。サーバ３００は、変化が認識された場合には「現在」の情報を更新し、変化に対応する情報が「履歴」にも無い場合には「履歴」の情報を更新する。

例えば、ユーザの服が変化した場合、サーバ３００は、「現在着ている服」の情報を変化後の服を示す情報に置き換える。また、ユーザが履歴には無い新しい服を着ていた場合、サーバ３００は、「所有している服」に、新たな服を示す情報を追加する。このようにして、ＤＢ４００に記憶された第２の観測情報は、最新のユーザの状況を反映したものに更新される。なお、服に関しては、ユーザが着替えている状況が観測された場合、サーバ３００はより容易にＤＢ４００を更新することが可能である。着替える前の服に基づいてユーザを認識しておくことが可能なためである。

サーバ３００は、端末装置１００又は観測装置２００により得られた情報以外にも、多様な情報に基づいてＤＢ４００に記憶された情報を更新してもよい。例えば、サーバ３００は、第２の観測情報をユーザの購入履歴に基づいて更新してもよい。例えば、ユーザがＷｅｂで新たな服を購入した場合、サーバ３００は、購入に関する情報をＷｅｂから取得して、表１に示した「所有している服」に、購入された新たな服を示す情報を追加する。これにより、サーバ３００は、ユーザが新たな服を着た場合にも、履歴と照合してユーザを認識することができるので、誤認識する確率を低下させることができる。

（ｂ）ＤＢ４００の情報の修正
サーバ３００は、ＤＢ４００に記憶された情報を修正してもよい。例えば、サーバ３００は、認識結果を示す情報をユーザに提供して、ユーザ指示に基づいて修正を行う。

詳しくは、サーバ３００（出力制御部３４０）は、認識されたユーザについて、認識結果の履歴を示す情報を出力させる。例えば、サーバ３００は、ユーザの一日の認識結果の履歴（例えば、ユーザが認識された場所、認識された行動、及び認識された服を示す情報の履歴）を示す情報を表示させる。これにより、ユーザは、自身の一日を振り返ることができる。そして、サーバ３００（記憶制御部３３０）は、出力された認識結果の履歴を示す情報に対するユーザ操作に応じて、ＤＢ４００に記憶された第２の観測情報を更新する。これにより、ユーザは、誤った認識結果を修正することが可能である。本特徴については、図１４〜図１７を参照して後に具体的に説明する。

以上、本実施形態に係る情報処理システム１の技術的特徴を説明した。続いて、図５〜図７を参照して、本実施形態に係る情報処理システム１において実行される処理の流れを説明する。

＜２．３．処理の流れ＞
（１）ＤＢ更新処理
図５は、本実施形態に係るサーバ３００において実行されるＤＢ４００の更新処理の流れの一例を示すフローチャートである。

図５に示すように、まず、取得部３１０は、端末装置１００又は観測装置２００から観測情報を取得する（ステップＳ１０２）。次いで、認識部３２０は、ユーザ及びユーザに関する変化を認識する（ステップＳ１０４）。例えば、認識部３２０は、取得部３１０により取得されたユーザの撮像画像に基づいて、顔認識技術によりユーザを認識すると共に、服の変化を認識する。なお、ここでの処理は、図６を参照して後に詳しく説明する。

次に、記憶制御部３３０は、認識されたユーザがＤＢ４００に登録済みであるか否かを判定する（ステップＳ１０６）。登録済みでないと判定された場合（ステップＳ１０６／ＮＯ）、記憶制御部３３０は、認識されたユーザにユーザＩＤを付与してユーザ登録を行う（ステップＳ１０８）。

その後、記憶制御部３３０は、ユーザに関する変化の有無を判定する（ステップＳ１１０）。ユーザに関する変化があったと判定された場合（ステップＳ１１０／ＹＥＳ）、記憶制御部３３０は、ＤＢ４００に記憶された情報を更新する（ステップＳ１１２）。未登録のユーザに関しては、記憶制御部３３０は、取得された観測情報を新たに付与したユーザＩＤに対応付けてＤＢ４００に記憶させる。

以上により、サーバ３００は、ＤＢ更新処理を終了する。

（２）認識処理
図６は、本実施形態に係るサーバ３００において実行される認識処理の流れの一例を示すフローチャートである。本フローに係る処理は、図５に示したステップＳ１０４に相当する。

図６に示すように、まず、認識部３２０は、端末装置１００又は観測装置２００により取得された第１の観測情報と、ＤＢ４００に記憶された第２の観測情報の少なくとも一部とを照合することで、ユーザを認識する（ステップＳ２０２）。例えば、認識部３２０は、身体の一部のみが撮像画像（第１の観測情報）に含まれている等の場合、その身体の一部に関して、ＤＢ４００に記憶された第２の観測情報と一致するか否かを照合する。なお、認識部３２０は、動き検出処理、及び背景差分検出処理等を用いて、ユーザの身体を背景から分離して識別してもよい。そして、認識部３２０は、第１の観測情報に係るユーザは、ＤＢ４００に記憶された複数の人物のうち一致度合が最も高い第２の観測情報に対応付けられたユーザであると認識する。

次いで、認識部３２０は、ユーザ認識の確信度が閾値以上であるか否かを判定する（ステップＳ２０４）。

確信度が閾値以上であると判定された場合（ステップＳ２０４／ＹＥＳ）、認識部３２０は、認識したユーザは、登録済みのユーザであると判定する（ステップＳ２０６）。そして、認識部３２０は、ユーザに関する変化を抽出する（ステップＳ２０８）。例えば、認識部３２０は、第１の観測情報と第２の観測情報との差分を、ユーザに関する変化として抽出する。

一方で、確信度が閾値未満であると判定された場合（ステップＳ２０４／ＮＯ）、認識部３２０は、第１の観測情報の観測対象であるユーザは、未登録のユーザであると判定する。

以上により、サーバ３００は、認識処理を終了する。

（３）情報提供処理
図７は、本実施形態に係るサーバ３００において実行される情報提供処理の流れの一例を示すフローチャートである。

図７に示すように、まず、取得部３１０は、端末装置１００又は観測装置２００から観測情報を取得する（ステップＳ３０２）。次いで、認識部３２０は、ユーザ及びユーザに関する変化を認識する（ステップＳ３０４）。ここでの処理は、図６を参照して上記説明した通りである。そして、出力制御部３４０は、認識されたユーザへの情報を端末装置１００により出力させる（ステップＳ３０６）。

以上により、サーバ３００は、情報提供処理を終了する。

＜２．４．具体例＞
続いて、図８〜図１７を参照して、具体例を説明する。

（１）服に基づくユーザ認識
まず、図１を参照して上記説明した、テーブルトップスクリーンにおける、服に基づくユーザ認識について説明する。

図１に示した端末装置１００は、観測領域２０を対象として上方から観測（例えば、画像撮影）するため、顔がカメラの画角に入らず、顔認識技術を用いたユーザ認識が困難である。

そのため、サーバ３００は、観測領域２０内に入った手の大きさ、形等でユーザを認識してもよい。また、サーバ３００は、観測領域２０内に入った服の袖部分に基づいてユーザを認識してもよい。例えば、サーバ３００は、他の観測装置２００により得られたユーザの全身画像に基づいて、顔認識技術により認識したユーザと対応付けて服の色及び模様といった服の特徴量を予め記憶しておく。そして、サーバ３００は、観測領域２０に入った服の袖部分の特徴量を、記憶した服の袖部分の特徴量と照合することで、ユーザを認識する。サーバ３００は、これらの情報を組み合わせることで、ユーザ認識の確信度を向上させることが可能である。

このように、顔認識技術を用いたユーザ認識が困難な場合であっても、ユーザを認識してユーザに特化したコンテンツの提供が可能となる。例えば、情報処理システム１は、認識したユーザがよく見るコンテンツをテーブル１０の中央に表示したり、ユーザの位置付近にスケジュールを表示したりしてもよい。

また、情報処理システム１は、確信度に応じて出力を制御してもよい。例えば、情報処理システム１は、手の大きさ及び服の両方によりユーザを認識した場合には、ユーザのプライバシーに関する情報を含むコンテンツを表示する。一方で、情報処理システム１は、いずれか一方によりユーザを認識した場合には、一般的なコンテンツを表示する。この点について、図８を参照して説明する。

図８は、本実施形態に係る情報処理システム１に係る具体例を説明するための説明図である。例えば、手の大きさのみに基づいてユーザ認識が行われ、確信度が低い場合には、情報処理システム１は、ユーザのプライバシーに関する情報を含まないニュースアプリケーションの画面５１を表示する。その後、袖部分の服に基づくユーザ認識が行われ、確信度が高まった場合には、情報処理システム１は、ユーザのプライバシーに関する情報を含むスケジュールアプリケーションの画面５２を表示する。

コンテンツの一例として、情報処理システム１は、服に基づく提案を行ってもよい。例えば、サーバ３００は、認識したユーザのスケジュールを参照して、例えば長く外出する場合は午後の気温低下に合せて長袖のシャツに着替えるよう提案する情報を出力させてもよい。また、サーバ３００は、例えば平日なのにスーツを着ていない場合にはユーザが会社を休んだと認識して、体温が高ければ近くの病院の情報を出力させ、平熱であればゲームコンテンツを出力させる。

また、情報処理システム１は、確信度を示す情報を表示してもよい。この点について、図９を参照して説明する。

図９は、本実施形態に係る情報処理システム１に係る具体例を説明するための説明図である。例えば、確信度が低い場合には、情報処理システム１は、符号５３に示すように、ポインタの色を薄く表示する。一方で、確信度が高い場合には、情報処理システム１は、符号５４に示すように、ポインタの色を濃く表示する。

（２）装飾品に基づくユーザ認識
続いて、図１０を参照して、図１に示したテーブルトップスクリーンにおける、装飾品に基づくユーザ認識について説明する。

図１０は、本実施形態に係る情報処理システム１に係る具体例を説明するための説明図である。図１０に示した例では、ユーザは、情報コード（例えば、バーコード、二次元コード等）６２が赤外線反射塗料で印刷された指輪６１を装着している。情報コード６２には、例えばユーザの識別情報等が格納される。端末装置１００は、観測領域２０内に入った情報コード６２を赤外線カメラ等で観測する。これにより、サーバ３００は、ユーザを容易に認識することが可能となる。

他にも、赤外線カメラを用いた観測に関しては、赤外線反射素材入りのマニキュア、又は赤外線反射パターンを印刷したシール等の利用が考えられる。

（３）生体情報に基づくユーザ認識
続いて、図１１を参照して、図１に示したテーブルトップスクリーンにおける、生体情報に基づくユーザ認識について説明する。

図１１は、本実施形態に係る情報処理システム１に係る具体例を説明するための説明図である。図１１に示した椅子６３の、座面６４及び足裏６５には圧力センサが設けられている。椅子６３は、例えば、テーブル１０の付近に配置され、ユーザが椅子６３に座ると体重が観測される。サーバ３００は、例えば洗面所に設けられたカメラ及び体重計から得られた観測情報に基づいてユーザと体重とを対応付けて予め記憶しておき、椅子６３により観測された体重と照合することでユーザを認識する。これにより、サーバ３００は、ユーザを認識することが可能となる。椅子６３には、脈拍、体温、体臭、又は呼吸等の他の生体情報を検出するためのセンサが設けられていてもよく、サーバ３００は、これらの情報を組み合わせることで、ユーザ認識の確信度を向上させることが可能である。

（４）音に基づくユーザ認識
続いて、図１２を参照して、図１に示したテーブルトップスクリーンにおける、音に基づくユーザ認識について説明する。

図１２は、本実施形態に係る情報処理システム１に係る具体例を説明するための説明図である。ドア６６は、端末装置１００が設けられた居間とキッチンとを繋ぐドアである。ドア６７は、端末装置１００が設けられた居間と玄関とを繋ぐドアである。サーバ３００は、例えば父親であればドアの開閉音が大きく、母親であればドアの開閉音が小さい、といった開閉音の傾向を予め記憶しておき、ドア６６又は６７の開閉音と照合することでユーザを認識する。これにより、サーバ３００は、ユーザを認識することが可能となる。サーバ３００は、足音又は鼻歌等の他の音を組み合わせることで、ユーザ認識の確信度を向上させることが可能である。開閉音の代わりに、ドア開閉の強さが、ドアに搭載されたセンサにより観測され、ユーザ認識に用いられてもよい。他にも、サーバ３００は、母親はドア６６から出入りすることが多く、父親はドア６７から出入りすることが多い、といった傾向を加味してユーザを認識してもよい。

（５）癖に基づくユーザ認識
続いて、図１に示したテーブルトップスクリーンにおける、癖に基づくユーザ認識について説明する。

例えば、サーバ３００は、貧乏ゆすりの周波数等のユーザの癖を予め記憶しておき、観測された貧乏ゆすりの周波数に基づいてユーザを認識してもよい。これにより、サーバ３００は、ユーザを認識することが可能となる。また、サーバ３００は、服等の他の観測情報と組み合わせることで、ユーザ認識の確信度を向上させることが可能である。なお、パスワードを入力してログインする等のログイン操作が予めされている状態で（即ち、ユーザが確実に認識された状態で）、ユーザの癖が記憶されることが望ましい。誤認識を防ぐためである。

同様に、その他のユーザの行動に関する特徴、及びユーザの生活に関する特徴に基づく認識処理が行われてもよい。例えば、一般的に家族内におけるテーブルの着席位置は決まっているので、サーバ３００は、テーブルの着席位置を予め記憶しておき、着席位置に基づいてユーザを認識してもよい。

サーバ３００は、確信度を向上させるための行動をユーザに促すための情報を出力させてもよい。この点について、図１３を参照して説明する。

図１３は、本実施形態に係る情報処理システム１に係る具体例を説明するための説明図である。図１３では、ユーザの癖として、「待ち時間をわざと作ってイライラさせた際の反応」を誘導するための情報の表示例を示している。具体的には、端末装置１００は、アプリケーション画面７１へのスクロール操作に対し、スクロールを遅くしている。さらに、端末装置１００は、スクロール処理中であることを示すアイコン７２を表示している。スクロールが遅いことにより待ち時間が発生するので、「待ち時間をわざと作ってイライラさせた際の反応」が誘導される。さらに、端末装置１００は、アプリケーション画面７１のスクロール処理の遅れが、確信度を向上させるための行動をユーザに促すために発生していることを示す情報７３を表示している。これにより、ユーザは、単にスクロールが遅いのか、確信度を向上させるためにスクロールが遅くなっているのかを区別することが可能である。

（６）ユーザの一日の行動の認識結果の履歴の提供
続いて、図１４〜図１７を参照して、図１に示したテーブルトップスクリーンにおいて提供される、ユーザの一日の行動の認識結果の履歴を示す情報について説明する。

（ａ）ユーザの行動の一例
例えば、ユーザは、下記の表２に示す行動を行ったものとする。

（ｂ）ＵＩ例
図１４は、本実施形態に係る情報処理システム１に係る具体例を説明するための説明図である。例えば、端末装置１００は、行動確認ボタン８１を表示しており、ユーザが行動確認ボタン８１をタッチすると、ユーザの一日の行動に関する認識結果の履歴を示す認識履歴情報８２を表示する。認識履歴情報８２には、上記表２に示したユーザの一日の行動に関する認識結果が含まれている。ここで、表２と認識履歴情報８２とを比較すると、１０：００ＡＭに赤色の服に着替えたことが誤認識されている。これは、例えば他のユーザの認識結果である。このような誤認識が有る場合、ユーザは、誤認識された項目をタッチすることで削除ウィンドウ８３を表示させ、誤認識された項目を削除することができ、これに基づいてＤＢ４００が更新される。

（ｃ）処理の流れ
図１５及び図１６は、本実施形態に係るサーバ３００において実行される一日の処理の流れの一例を示すフローチャートである。

図１５に示すように、まず、サーバ３００は、洗面所のカメラ（観測装置２００）により撮影された顔画像に基づいてユーザを認識して（ステップＳ４０２）、服についてＤＢ４００を更新する（ステップＳ４０４）。

次いで、サーバ３００は、食卓のカメラ（端末装置１００）により撮影された服（例えば、袖部分）の画像に基づいてユーザを認識して（ステップＳ４０６）、認識したユーザが好むニュースを表示させる（ステップＳ４０８）。

次に、サーバ３００は、ユーザの自室の監視カメラ（観測装置２００）により撮影された顔及び服の画像に基づいてユーザを認識して（ステップＳ４１０）、さらにユーザがスーツに着替えたことを認識して服装についてＤＢ４００を更新する（ステップＳ４１２）。

次いで、サーバ３００は、玄関のカメラ（観測装置２００）により撮影された顔及び服の画像に基づいてユーザを認識して（ステップＳ４１４）、さらにユーザが外出したことを認識して行動についてＤＢ４００を更新する（ステップＳ４１６）。

次に、図１６に示すように、サーバ３００は、ＧＮＳＳによりユーザが会社に到着したことを認識して、現在地についてＤＢを更新する（ステップＳ４１８）。

次いで、サーバ３００は、更衣室の監視カメラにより撮影された顔及び服の画像に基づいてユーザを認識して（ステップＳ４２０）、さらにユーザが赤い服に着替えたことを認識して服装についてＤＢ４００を更新する（ステップＳ４２２）。上記説明したように、ユーザは赤い服には着替えておらず、当該認識は誤認識である。

次に、サーバ３００は、ユーザが昼食の写真をＳＮＳにアップロードしたことを認識して行動についてＤＢ４００を更新する（ステップＳ４２４）。

次いで、サーバ３００は、ユーザがスマートフォンでニュースを閲覧したことを認識して閲覧履歴についてＤＢ４００を更新する（ステップＳ４２６）。

次に、サーバ３００は、玄関のカメラにより撮影された顔及び服の画像に基づいてユーザを認識して（ステップＳ４２８）、さらにユーザが帰宅したことを認識して行動についてＤＢ４００を更新する（ステップＳ４３０）。以上により、処理は終了する。

図１７は、本実施形態に係るサーバ３００において実行される認識結果の履歴の修正処理の流れの一例を示すフローチャートである。

図１７に示すように、まず、サーバ３００は、認識履歴情報を表示させる（ステップＳ５０２）。次いで、サーバ３００は、ユーザ操作に応じて誤った情報をＤＢ４００から削除して（ステップＳ５０４）、さらにユーザ操作に応じて正しい情報でＤＢ４００を更新する（ステップＳ５０６）。例えば、図１４に示した例に関しては、サーバ３００は、ユーザが赤い服には着替えたことを示す情報をＤＢ４００から削除する。以上により、処理は終了する。

＜＜３．ハードウェア構成例＞＞
最後に、図１８を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１８は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１８に示す情報処理装置９００は、例えば、図２に示した端末装置１００、観測装置２００、サーバ３００又はＤＢ４００を実現し得る。本実施形態に係る端末装置１００、観測装置２００、サーバ３００又はＤＢ４００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す取得部３１０、認識部３２０、記憶制御部３３０及び出力制御部３４０を形成し得る。また、ＣＰＵ９０１は、例えば図２に示す観測部１１０及び観測部２１０の一部を形成していてもよく、例えば生のセンサデータを対象とした認識処理を行うことで観測情報を取得する。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

他にも、入力装置９０６は、ユーザに関する情報をセンシングするセンサにより形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を測定するＧＮＳＳモジュールを含んでもよい。

入力装置９０６は、例えば、図２に示す観測部１１０及び観測部２１０の一部を形成していてもよく、例えば生のセンサデータの入力を受け付ける。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置及び上記音声出力装置は、例えば、図２に示す出力部１２０を形成し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示すＤＢ４００を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。本実施形態では、通信装置９１３は、端末装置１００、観測装置２００、サーバ３００及びＤＢ４００の各々に含まれ、相互にデータを送受信し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜４．まとめ＞＞
以上、図１〜図１８を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、サーバ３００は、ユーザに関する観測結果を示す第１の観測情報を取得して、取得した第１の観測情報を記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化を認識し、認識結果に応じた出力を制御する。サーバ３００は、ユーザを認識するだけでなく、ユーザに関する変化を認識することが可能であるので、ユーザ認識を伴うサービスをより柔軟に提供することが可能である。

例えば、サーバ３００は、ユーザ認識の確信度に応じたサービスを提供する。これにより、例えばユーザ認識が確実でない場合であっても、少なくとも何らかの情報をユーザに提供することができる、といった柔軟なサービスの提供が実現される。

また、サーバ３００は、認識結果に応じてＤＢ４００に記憶された第２の観測情報を更新する。これにより、ＤＢ４００に記憶された情報が、最新のユーザの状況を反映したものとなるので、ユーザ及びユーザに関する変化の認識の精度をより向上させることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、端末装置１００がテーブルトップスクリーン型の装置として実現される例を示したが、本技術はかかる例に限定されない。例えば、端末装置１００は、スマートフォン、タブレット端末、ＰＣ、デジタルサイネージ等の環境設置型の端末、カーナビゲーションシステム等の多様な装置として実現されてもよい。

また、上記実施形態では、情報処理システム１が、端末装置１００、観測装置２００、サーバ３００、及びＤＢ４００に分離して形成される例を示したが、本技術は係る例に限定されない。例えば、端末装置１００及び観測装置２００の各々に、サーバ３００及びＤＢ４００が含まれていてもよい。その場合、端末装置１００及び観測装置２００は、単体でユーザを認識してサービスを提供することが可能である。端末装置１００及び観測装置２００の各々は、相互に観測情報を共有することが望ましい。

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザに関する観測結果を示す第１の観測情報を取得する取得部と、
前記取得部により取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化を認識する認識部と、
前記認識部による認識結果に応じて出力を制御する出力制御部と、
を備える情報処理装置。
（２）
前記出力制御部は、ユーザ認識の確からしさを示す確信度に応じて出力を制御する、前記（１）に記載の情報処理装置。
（３）
前記出力制御部は、前記確信度を示す情報を出力させる、前記（２）に記載の情報処理装置。
（４）
前記出力制御部は、認識されたユーザのプライバシーに関する情報の出力可否を前記確信度に応じて制御する、前記（２）又は（３）に記載の情報処理装置。
（５）
前記出力制御部は、前記出力可否に係る前記確信度の閾値を示す情報を出力させる、前記（４）に記載の情報処理装置。
（６）
前記出力制御部は、前記確信度を向上させるための行動をユーザに促すための情報を出力させる、前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記出力制御部は、前記確信度に応じて情報の出力場所を制御する、前記（２）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記情報処理装置は、前記認識結果に応じて前記記憶部に記憶された前記第２の観測情報を更新する記憶制御部をさらに備える、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記記憶制御部は、認識されたユーザに対応付けられた前記第２の観測情報に、前記変化に係る前記第１の観測情報を追加する又は置き換える、前記（８）に記載の情報処理装置。
（１０）
前記出力制御部は、認識されたユーザについて、前記認識結果の履歴を示す情報を出力させる、前記（８）又は（９）に記載の情報処理装置。
（１１）
前記記憶制御部は、前記認識結果の履歴を示す情報に対するユーザ操作に応じて前記記憶部に記憶された前記第２の観測情報を更新する、前記（１０）に記載の情報処理装置。
（１２）
前記記憶制御部は、前記第２の観測情報をユーザの購入履歴に基づいて更新する、前記（８）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記第１の観測情報及び前記第２の観測情報は、ユーザの身体に関する特徴を示す情報、ユーザの行動に関する特徴を示す情報、ユーザの生活に関する特徴を示す情報、又はユーザが装着若しくは携行する物に関する特徴を示す情報の少なくともいずれかを含む、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
ユーザに関する観測結果を示す第１の観測情報を取得することと、
取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化をプロセッサにより認識することと、
認識結果に応じて出力を制御することと、
を含む情報処理方法。
（１５）
コンピュータを、
ユーザに関する観測結果を示す第１の観測情報を取得する取得部と、
前記取得部により取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化を認識する認識部と、
前記認識部による認識結果に応じて出力を制御する出力制御部と、
として機能させるためのプログラム。

１ 情報処理システム
１０ テーブル
２０ 観測領域
３０ 表示領域
１００ 端末装置
１１０ 観測部
１２０ 出力部
２００ 観測装置
２１０ 観測部
３００ サーバ
３１０ 取得部
３２０ 認識部
３３０ 記憶制御部
３４０ 出力制御部
４００ ＤＢ

Claims (15)

1. ユーザに関する観測結果を示す第１の観測情報を取得する取得部と、
   前記取得部により取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化を認識する認識部と、
   前記認識部による認識結果に応じて出力を制御する出力制御部と、
   を備え、
   前記記憶部は、最新の前記第２の観測情報と前記第２の観測情報の履歴とを記憶し、
   前記認識部は、前記第１の観測情報を最新の前記第２の観測情報の少なくとも一部と照合し、一致しない前記第１の観測情報については前記第２の観測情報の履歴と照合する、情報処理装置。
2. 前記出力制御部は、ユーザ認識の確からしさを示す確信度に応じて出力を制御する、請求項１に記載の情報処理装置。
3. 前記出力制御部は、前記確信度を示す情報を出力させる、請求項２に記載の情報処理装置。
4. 前記出力制御部は、認識されたユーザのプライバシーに関する情報の出力可否を前記確信度に応じて制御する、請求項２又は３に記載の情報処理装置。
5. 前記出力制御部は、前記出力可否に係る前記確信度の閾値を示す情報を出力させる、請求項４に記載の情報処理装置。
6. 前記出力制御部は、前記確信度を向上させるための行動をユーザに促すための情報を出力させる、請求項２〜５のいずれか一項に記載の情報処理装置。
7. 前記出力制御部は、前記確信度に応じて情報の出力場所を制御する、請求項２〜６のいずれか一項に記載の情報処理装置。
8. 前記情報処理装置は、前記認識結果に応じて前記記憶部に記憶された前記第２の観測情報を更新する記憶制御部をさらに備える、請求項１〜７のいずれか一項に記載の情報処理装置。
9. 前記記憶制御部は、認識されたユーザに対応付けられた最新の前記第２の観測情報を前記変化に係る前記第１の観測情報に置き換え、認識されたユーザに対応付けられた前記第２の観測情報の履歴に前記変化に係る前記第１の観測情報を追加する、請求項８に記載の情報処理装置。
10. 前記出力制御部は、認識されたユーザについて、前記認識結果の履歴を示す情報を出力させる、請求項８又は９に記載の情報処理装置。
11. 前記記憶制御部は、前記認識結果の履歴を示す情報に対するユーザ操作に応じて前記記憶部に記憶された前記第２の観測情報を更新する、請求項１０に記載の情報処理装置。
12. 前記記憶制御部は、前記第２の観測情報をユーザの購入履歴に基づいて更新する、請求項８〜１１のいずれか一項に記載の情報処理装置。
13. 前記第１の観測情報及び前記第２の観測情報は、ユーザの身体に関する特徴を示す情報、ユーザの行動に関する特徴を示す情報、ユーザの生活に関する特徴を示す情報、又はユーザが装着若しくは携行する物に関する特徴を示す情報の少なくともいずれかを含む、請求項１〜１２のいずれか一項に記載の情報処理装置。
14. ユーザに関する観測結果を示す第１の観測情報を取得することと、
    取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化をプロセッサにより認識することと、
    認識結果に応じて出力を制御することと、
    を含み、
    前記記憶部は、最新の前記第２の観測情報と前記第２の観測情報の履歴とを記憶し、
    前記認識することは、前記第１の観測情報を最新の前記第２の観測情報の少なくとも一部と照合し、一致しない前記第１の観測情報については前記第２の観測情報の履歴と照合することを含む、情報処理方法。
15. コンピュータを、
    ユーザに関する観測結果を示す第１の観測情報を取得する取得部と、
    前記取得部により取得された前記第１の観測情報を、記憶部に記憶された第２の観測情報の少なくとも一部と照合することでユーザ及びユーザに関する変化を認識する認識部と、
    前記認識部による認識結果に応じて出力を制御する出力制御部と、
    として機能させ、
    前記記憶部は、最新の前記第２の観測情報と前記第２の観測情報の履歴とを記憶し、
    前記認識部は、前記第１の観測情報を最新の前記第２の観測情報の少なくとも一部と照合し、一致しない前記第１の観測情報については前記第２の観測情報の履歴と照合する、プログラム。

Images