JP7216084B2 - 情報処理装置、プログラム、及び、センシングデバイス - Google Patents

Description

本発明は、情報処理装置、プログラム、及び、センシングデバイスに関する。

一般に、化粧品の販売店では、消費者の肌の状態に応じた商品の販売を提案するために、消費者の肌の状態の分析が行われている。

従来、人の肌の状態を分析するために、肌の状態を光学的に検出する光学センサが用いられている。例えば、特開２０１１－１４９９０１号公報には、複数波長域の光による像を撮像するために規則的に配列された複数の受光部を有する装置が開示されている。

しかし、光学的に検出された肌の状態は、肌の表面の光学特性に強く依存する。そのため、特開２０１１－１４９９０１号公報で得られる検出結果は、肌の内部の状態を反映していない。したがって、肌を含む生体組織の状態の判定の精度は、十分に高くない。

本発明の目的は、生体組織の状態の判定の精度を向上させることである。

本発明の一態様は、
ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
前記振動情報に基づいて、前記ユーザの生体組織の状態を判定する手段を備え、
前記判定の結果を記憶装置に記憶する手段を備える、
情報処理装置である。

本発明によれば、生体組織の状態の判定の精度を向上させることができる。

本実施形態の情報処理システムの概略図である。 図１の情報処理システムの構成を示すブロック図である。 本実施形態の概要の説明図である。 本実施形態のユーザ情報データベースのデータ構造を示す図である。 本実施形態のセンシングログ情報データベースのデータ構造を示す図である。 本実施形態のレコメンド情報マスタデータベースのデータ構造を示す図である。 本実施形態の情報処理のシーケンス図である。 図７の情報処理において表示される画面例を示す図である。 図７の情報処理において表示される画面例を示す図である。 図７のセンシングの詳細な処理のフローチャートである。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの概略図である。図２は、図１の情報処理システムの構成を示すブロック図である。

図１に示すように、ユーザＵは、センシングデバイス１０の構成要素である一対のセンサ１５を自身の両耳に装着する。
図１～図２に示すように、情報処理システム１は、センシングデバイス１０と、サーバ３０とを備える。
センシングデバイス１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

センシングデバイス１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。センシングデバイス１０は、例えば、以下の少なくとも１つである。
・ユーザＵの両耳の内側に装着可能なインナーイヤー型デバイス（つまり、イヤフォン型デバイス）
・ユーザＵの両耳の外側に装着可能なアウターイヤー型デバイス（つまり、ヘッドフォン型デバイス）
・インナーイヤー型デバイス、又は、アウターイヤー型デバイス、及び、コンピュータ（一例として、スマートフォン、タブレット端末、又は、パーソナルコンピュータ）の組合せ

サーバ３０は、センシングデバイス１０から送信されたリクエストに応じたレスポンスをセンシングデバイス１０に提供する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。

（１－１）センシングデバイスの構成
図２を参照して、センシングデバイス１０の構成について説明する。

図２に示すように、センシングデバイス１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４と、一対のセンサ１５と、波形出力部１６と、一対の音声出力部１７と、を備える。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、センシングデバイス１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。

入出力インタフェース１３は、センシングデバイス１０に接続される入力デバイスからユーザの指示を取得し、かつ、センシングデバイス１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ、及び、音声出力部１７である。

通信インタフェース１４は、センシングデバイス１０とサーバ３０との間の通信を制御するように構成される。

一対のセンサ１５は、センシングデバイス１０を装着したユーザＵの肌の振動を検出し、且つ、検出した振動に応じた電気信号（以下「振動信号」という）を生成するように構成される。

波形出力部１６は、振動素子（不図示）に接続される。波形出力部１６は、所定の周波数で振動素子を振動させることにより、センシングデバイス１０を装着したユーザＵに対して、所定の波形を有する振動を付加するように構成される。波形出力部１６は、例えば、一対のセンサ１５のうち一方の近傍（例えば、ユーザＵがセンシングデバイス１０を装着したときに、ユーザＵの両耳のうち一方の耳の近傍に接触する位置）に配置される。

一対の音声出力部１７は、プロセッサ１２によって生成された音声信号に基づく音声を出力するように構成される。

（１－２）サーバの構成
図２を参照して、サーバ３０の構成について説明する。

図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。

入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０とセンシングデバイス１０との間の通信を制御するように構成される。

（２）実施形態の概要
本実施形態の概要について説明する。図３は、本実施形態の概要の説明図である。

図３に示すように、ユーザＵは、一対のセンサ１５を両耳に装着する。
ユーザＵの両耳に装着された一対のセンサ１５は、ユーザＵの生体組織の振動を検出する。
センシングデバイス１０は、一対のセンサ１５から検出結果（振動）に関する振動情報を取得し、且つ、振動情報に基づいて、ユーザＵの生体組織の状態を判定するように構成される。

本実施形態によれば、一対のセンサ１５が取得した振動に応じた生体組織の状態を判定する。これにより、生体組織の状態の判定の精度を向上させることができる。

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

（３－１）ユーザ情報データベース
本実施形態のユーザ情報データベースについて説明する。図４は、本実施形態のユーザ情報データベースのデータ構造を示す図である。

図４のユーザ情報データベースには、ユーザに関するユーザ情報が格納される。
ユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「認証情報」フィールドと、「画像」フィールドと、「ユーザ属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。

「ユーザＩＤ」フィールドには、ユーザを識別するユーザＩＤ（「ユーザ識別情報」の一例）が格納される。「ユーザＩＤ」フィールドの情報は、ユーザ情報データベースの各レコードの主キーである。

「ユーザ名」フィールドには、ユーザの名称に関する情報（例えば、テキスト）が格納される。

「認証情報」フィールドには、ログイン認証のために参照される認証情報が格納される。認証情報は、例えば、以下の少なくとも１つである。
・パスワード
・指紋のパターンに関する情報
・顔の特徴量に関する情報
・ワンタイム認証コード

「画像」フィールドには、ユーザの画像（例えば、ユーザの肌の画像、及び、ユーザの髪の画像の少なくとも１つ）の画像データが格納される。

「ユーザ属性」フィールドには、ユーザの属性に関するユーザ属性情報が格納される。「ユーザ属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、を含む。

「性別」フィールドには、ユーザの性別に関する情報が格納される。

「年齢」フィールドには、ユーザの年齢に関する情報が格納される。

（３－２）センシングログ情報データベース
本実施形態のセンシングログ情報データベースについて説明する。図５は、本実施形態のセンシングログ情報データベースのデータ構造を示す図である。

図５のセンシングログ情報データベースには、センシングデバイス１０によって取得された情報の履歴（以下「センシングログ情報」という）が格納される。
センシングログ情報データベースは、「ログＩＤ」フィールドと、「判定日時」フィールドと、「波形ファイル」フィールドと、「振幅」フィールドと、「位置」フィールドと、「方向」フィールドと、「速度」フィールドと、「状態」フィールドと、を含む。各フィールドは、互いに関連付けられている。
センシングログ情報データベースは、ユーザＩＤに関連付けられている。

「ログＩＤ」フィールドには、センシングログ情報を識別するログＩＤが格納される。「ログＩＤ」フィールドの情報は、センシングログ情報データベースの各レコードの主キーである。

「判定日時」フィールドには、生体組織の状態の判定の実行日時に関する情報が格納される。

「波形ファイル」フィールドには、センシングデバイス１０によって検出された振動の波形を示す波形ファイルが格納される。

「振幅」フィールドには、センシングデバイス１０によって検出された振動の振幅に関する情報が格納される。

「位置」フィールドには、センシングデバイス１０の検出が実行されたときにユーザＵが触れた接触部位に関する接触部位情報が格納される。

「方向」フィールドには、センシングデバイス１０の検出が実行されたときにユーザＵが触れた接触部位の変位方向に関する情報が格納される。

「速度」フィールドには、センシングデバイス１０の検出が実行されたときにユーザＵが触れた接触部位の変位速度に関する情報が格納される。

「状態」フィールドには、生体組織の状態の判定結果に関する情報が格納される。「状態」フィールドは、複数のサブフィールド（「凹凸」フィールド、及び、「ケアレベル」フィールド）を含む。

「凹凸」フィールドには、生体組織（肌及び髪の少なくとも１つ）の凹凸に関する情報（例えば、凹凸の程度を示す数値）が格納される。

「ケアレベル」フィールドには、生体組織（肌及び髪の少なくとも１つ）に対するケアの適正レベルに関する情報（例えば、ケアの適正を示す数値）が格納される。ケアの適正レベルに関する情報は、例えば、肌ケアのために肌に塗布された塗布物（一例として、肌ケア用クリーム）の塗布の強度及び位置の適正レベルを示す。

（３－３）レコメンド情報マスタデータベース
本実施形態のレコメンド情報マスタデータベースについて説明する。図６は、本実施形態のレコメンド情報マスタデータベースのデータ構造を示す図である。

図６のレコメンド情報マスタデータベースには、生体組織の状態に応じてユーザに提示すべきレコメンド情報が格納される。
レコメンド情報マスタデータベースは、「レコメンドＩＤ」フィールドと、「状態」フィールドと、「レコメンド情報」フィールドと、を含む。

「レコメンドＩＤ」フィールドには、レコメンド情報を識別するレコメンドＩＤが格納される。「レコメンドＩＤ」フィールドの情報は、レコメンド情報マスタデータベースの各レコードの主キーである。

「状態」フィールドには、生体組織の状態の指標（例えば、凹凸及びケアレベル）毎に、生体組織の状態に関する情報が格納される。

「レコメンド情報」フィールドには、生体組織の状態の判定結果に基づいてユーザに対して推奨されるレコメンド情報が格納される。「レコメンド情報」フィールドは、複数のサブフィールド（「アドバイス」フィールド及び「推奨アイテム」フィールド）を含む。各サブフィールドは、互いに、関連付けられている。

「アドバイス」フィールドには、生体組織の状態に応じて推奨されるアドバイスに関するレコメンドアドバイス情報が格納される。レコメンドアドバイス情報は、例えば、以下の少なくとも１つを含む。
・生体組織のケアの方法
・ケアアイテムの使用方法

「推奨アイテム」フィールドには、生体組織の状態に応じて使用が推奨されるケアアイテムに関するレコメンドアイテム情報（例えば、当該アイテムを識別するアイテムＩＤ）が格納される。

（４）情報処理
本実施形態の情報処理について説明する。図７は、本実施形態の情報処理のシーケンス図である。図８～図９は、図７の情報処理において表示される画面例を示す図である。図１０は、図７のセンシングの詳細な処理のフローチャートである。

図７に示すように、センシングデバイス１０は、ログイン情報の受付（Ｓ１００）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１００（図８）をディスプレイに表示する。

画面Ｐ１００は、操作オブジェクトＢ１００と、フィールドオブジェクトＦ１００と、を含む。
フィールドオブジェクトＦ１００は、ログイン情報（例えば、ユーザＩＤ及びパスワード）のユーザ入力を受け付けるオブジェクトである。
操作オブジェクトＢ１００は、ログインリクエストを実行させるためのユーザ指示を受け付けるオブジェクトである。

ステップＳ１００の後、センシングデバイス１０は、ログインリクエスト（Ｓ１０１）を実行する。
具体的には、ユーザがフィールドオブジェクトＦ１００にログイン情報を入力し、且つ、操作オブジェクトＢ１００を操作すると、プロセッサ１２は、ログインリクエストデータをサーバ３０に送信する。
ログインリクエストデータは、以下の情報を含む。
・フィールドオブジェクトＦ１００に入力されたユーザＩＤ
・フィールドオブジェクトＦ１００に入力されたパスワード

ステップＳ１０１の後、サーバ３０は、ログインリクエストデータに基づいて、ユーザ認証（Ｓ３００）を実行する。
具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤに関連付けられたパスワードを特定する。
プロセッサ３２は、特定したパスワードと、ログインリクエストデータに含まれるパスワードと、を照合する。
２つのパスワードが一致する場合、ユーザ認証に成功する。
２つのパスワードが一致しない場合、ユーザ認証に失敗する。

ステップＳ３００の後、サーバ３０は、ログインレスポンス（Ｓ３０１）を実行する。
具体的には、ステップＳ３００でユーザ認証に成功した場合、プロセッサ３２は、ログインレスポンスデータをセンシングデバイス１０に送信する。

ステップＳ３０１の後、センシングデバイス１０は、音楽再生（Ｓ１０２）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０１（図８）をディスプレイに表示する。

画面Ｐ１０１は、操作オブジェクトＢ１０１と、フィールドオブジェクトＦ１０１と、を含む。
フィールドオブジェクトＦ１０１は、再生対象となる音楽ファイルを指定するためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトＢ１０１は、フィールドオブジェクトＦ１０１で受け付けられたユーザ指示によって指定される音楽ファイルの再生を開始するためのユーザ指示を受け付けるオブジェクトである。

ユーザがフィールドオブジェクトＦ１０１に音楽ファイルを指定するためのユーザ指示を与え、且つ、操作オブジェクトＢ１０１を操作すると、プロセッサ１２は、指定された音楽ファイルに基づく音声信号を生成する。
プロセッサ１２は、生成した音声信号を音声出力部１７に送信する。
一対の音声出力部１７は、プロセッサ１２から送信された音声信号を出力する。
これにより、ユーザは、フィールドオブジェクトＦ１０１に指定した音楽ファイルに対応する音楽を聴くことができる。

ステップＳ１０２の後、センシングデバイス１０は、センシング（Ｓ１０３）を実行する。
具体的には、ステップＳ１０３は、図１０のフローチャートに従って実行される。

図１０に示すように、センシングデバイス１０は、キャリブレーション（Ｓ１０３０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０２（図８）をディスプレイに表示する。
画面Ｐ１０２には、ユーザＵの顔の特定の部位（例えば、鼻、眉毛、及び、耳たぶ）を順番に触れることをユーザＵに促すためのメッセージが表示される。

プロセッサ１２は、波形出力部１６に、所定のキャリブレーション制御信号を与える。
波形出力部１６は、プロセッサ１２から与えられたキャリブレーション制御信号に従い、所定のキャリブレーション周波数で振動素子を振動させる。振動素子が振動すると、センシングデバイス１０を装着したユーザＵの肌に、所定の波形を有する振動（以下「キャリブレーション振動」という）が加えられる。
一対のセンサ１５は、ユーザＵの肌を伝搬した振動（以下「キャリブレーション用伝搬振動」という）を検出し、且つ、キャリブレーション用伝搬振動に応じた電気信号を生成する。
プロセッサ１２は、一対のセンサ１５によって生成された電気信号に基づいて、キャリブレーション用伝搬振動の波形を生成する。
プロセッサ１２は、キャリブレーション波形と、キャリブレーション用伝搬振動の波形と、を比較することにより、検出振動の歪を計算する。この歪は、キャリブレーション振動がユーザＵの肌を伝搬する間に、ユーザＵの身体特性（例えば、顔の大きさ）及びセンシングデバイス１０の装着位置の少なくとも１つに起因して発生する。
プロセッサ１２は、計算した歪に応じた動作パラメータを波形出力部１６に与える。これにより、ユーザＵの身体特性及びセンシングデバイス１０の装着位置の少なくとも１つに応じて、波形出力部１６の動作に関する動作パラメータが補正される。

ステップＳ１０３０の後、測定（Ｓ１０３１）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０３（図８）をディスプレイに表示する。
画面Ｐ１０３には、ユーザＵの所望の部位（例えば、ユーザＵが気になっている部位）に触れることをユーザＵに促すためのメッセージが表示される。

一対のセンサ１５は、ユーザＵの肌を伝搬した振動（以下「センシング用伝搬振動」という）を検出し、且つ、センシング用伝搬振動に応じた電気信号を生成する。

ステップＳ１０３１は、所定時間の間、継続的に実行される（Ｓ１０３２－ＮＯ）。
所定時間の測定（Ｓ１０３１）が終了すると（Ｓ１０３２－ＹＥＳ）、センシングデバイス１０は、検出結果の生成（Ｓ１０３３）を実行する。
具体的には、プロセッサ１２は、一対のセンサ１５によって生成された電気信号に基づいて、センシング用伝搬振動の波形に関する波形データを生成する。
プロセッサ１２は、波形データに基づいて、振動情報を生成する。振動情報は、例えば、以下の少なくとも１つを含む
・振動周波数
・センシング用伝搬振動の振幅（一例として、振幅の平均値、左右のセンサ１５によって取得された振幅の差）
・左右のセンサ１５によって取得された波形データの位相差
・接触部位
・接触部位の変位方向
・接触部位の変位速度

ステップＳ１０３３の後、センシングデバイス１０は、判定リクエスト（Ｓ１０４）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０４（図９）をディスプレイに表示する。

画面Ｐ１０４は、測定が終了したことを示すメッセージと、操作オブジェクトＢ１０４と、を含む。
操作オブジェクトＢ１０４は、判定リクエストを実行させるためのユーザ指示を受け付けるオブジェクトである。

ユーザＵが操作オブジェクトＢ１０４を操作すると、プロセッサ１２は、判定リクエストデータをサーバ３０に送信する。
判定リクエストデータは、以下の情報を含む。
・ステップＳ１０３３で生成された波形データ
・ステップＳ１０３３で特定された部位に関する情報
・ステップＳ１０３３で計算された振幅の平均値
・ステップＳ１０３３で計算された方向及び速度

ステップＳ１０４の後、サーバ３０は、判定（Ｓ３０２）を実行する。
具体的には、記憶装置３１には、状態判定モデルが記憶されている。
状態判定モデルは、センシング用伝搬振動の波形に基づいて生体組織（例えば、肌又は髪）の状態を判定するためのモデルである。状態判定モデルの入力及び出力は、以下のとおりである。
・入力：波形データ
・出力：生体組織の状態
プロセッサ３２は、判定リクエストデータに含まれる波形データを状態判定モデルに入力することにより、ユーザＵの生体組織の状態を判定する。

ステップＳ３０２の後、サーバ３０は、レコメンド（Ｓ３０３）を実行する。
具体的には、プロセッサ３２は、レコメンド情報マスタデータベース（図６）を参照して、生体組織の状態の判定結果（一例として、凹凸及びケアレベルの組合せ）に関連付けられたレコードを特定する。
プロセッサ３２は、特定したレコードの「レコメンド情報」フィールドのレコメンド情報（つまり、アドバイス及び推奨アイテム）を特定する。

ステップＳ３０３の後、サーバ３０は、データベースの更新（Ｓ３０４）を実行する。
具体的には、プロセッサ３２は、ログインリクエストデータに含まれるユーザＩＤに関連付けられたセンシングログ情報データベース（図５）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「ログＩＤ」フィールドには、新規のログＩＤが格納される。
・「判定日時」フィールドには、ステップＳ３０２の実行日時に関する情報が格納される。
・「波形ファイル」フィールドには、判定リクエストデータに含まれる波形データが格納される。
・「振幅」フィールドには、判定リクエストデータに含まれる振幅の平均値が格納される。
・「位置」フィールドには、判定リクエストデータに含まれる部位に関する情報が格納される。
・「方向」フィールドには、判定リクエストデータに含まれる方向に関する情報が格納される。
・「速度」フィールドには、判定リクエストデータに含まれる速度に関する情報が格納される。
・「状態」フィールドには、ステップＳ３０２で判定された生体組織の状態の判定結果に関する情報が格納される。

ステップＳ３０４の後、サーバ３０は、判定レスポンス（Ｓ３０５）を実行する。
具体的には、プロセッサ３２は、判定レスポンスデータをセンシングデバイス１０に送信する。

第１例として、判定レスポンスデータは、以下の情報を含む。
・ステップＳ３０４で「状態」フィールドに記憶された生体組織の状態の判定結果に関する情報
・ステップＳ３０２で特定されたレコードの「レコメンド情報」フィールド（つまり、「アドバイス」フィールド及び「推奨アイテム」フィールド）のレコメンド情報

第２例として、記憶装置３１には、生体組織の状態毎に、当該状態を再現する音声に関する音声データが記憶されている。音声データには、例えば、様々な状態の肌サンプル又は毛髪サンプルに触れたときの音が録音されている。
この場合、判定レスポンスデータは、ステップＳ３０４で「状態」フィールドに記憶された生体組織の状態の判定結果に対応する音声データを含む。

ステップＳ３０５の後、センシングデバイス１０は、判定結果の提示（Ｓ１０５）を実行する。

ステップＳ１０５の第１例として、プロセッサ１２は、第１例の判定レスポンスデータに基づいて、画面Ｐ１０５をディスプレイに表示する。

画面Ｐ１０５は、表示オブジェクトＡ１０５ａ～Ａ１０５ｂを含む。
表示オブジェクトＡ１０５ａには、ステップＳ１０３３で特定された接触部位と、判定レスポンスデータに含まれる生体組織の状態の判定結果に関する情報と、が表示される。
表示オブジェクトＡ１０５ｂには、判定レスポンスデータに含まれるレコメンド情報が表示される。
この場合、ユーザＵは、視覚によって、自身の生体組織の状態を認識することができる。

ステップＳ１０５の第２例として、プロセッサ１２は、第２例の判定レスポンスデータに基づいて、音声データに対応する音声を提示する。
この場合、ユーザＵは、聴覚によって、自身の生体組織の状態を認識することができる。

このように、本実施形態によれば、一対のセンサ１５によって検出されたセンシング用伝搬振動の波形に基づいて、ユーザＵの生体組織（例えば、肌又は髪）の状態が判定される。したがって、生体組織の状態の判定の精度を向上させることができる。

（５）変形例
本実施形態の変形例について説明する。

（５－１）変形例１
変形例１について説明する。変形例１は、センシング用伝搬振動の波形に基づいてユーザＵの筋肉組織の状態を判定する例である。

変形例１のセンシングデバイス１０は、ステップＳ１０３１において、ユーザＵの筋肉の筋音を検出し、且つ、筋音に応じた電気信号を生成する。

センシングデバイス１０は、ステップＳ１０３３において、センシング用伝搬振動の波形に関する波形データと、筋音に関する筋音データと、を生成する。

センシングデバイス１０は、ステップＳ１０４において、センシング用伝搬振動の波形に関する波形データと、筋音データと、を含む判定リクエストデータをサーバ３０に送信する。

変形例１のサーバ３０は、ステップＳ３０２（図７）において、判定リクエストデータに含まれる波形データ及び筋音データに基づいて、ユーザＵの表情を判定する。
具体的には、記憶装置３１には、表情判定モデルが記憶されている。
状態判定モデルは、センシング用伝搬振動の波形に基づいて表情を判定するためのモデルである。表情判定モデルの入力及び出力は、以下のとおりである。
・入力：波形データ及び筋音データ
・出力：表情
プロセッサ３２は、判定リクエストデータに含まれる波形データ及び筋音データを表情判定モデルに入力することにより、ユーザＵの表情を判定する。

サーバ３０は、ステップＳ３０３において、ユーザＵの表情の判定結果に基づいて、レコメンド情報を決定する。
具体的には、プロセッサ３２は、レコメンド情報マスタデータベース（図６）を参照して、表情の判定結果に関連付けられたレコードを特定する。
プロセッサ３２は、特定したレコードの「レコメンド情報」フィールドのレコメンド情報を特定する。

変形例１によれば、一対のセンサ１５によって検出されたセンシング用伝搬振動の波形に基づいて、ユーザＵの筋肉組織の状態（例えば、表情）が判定される。したがって、筋肉組織の状態の判定の精度を向上させることができる。

（５－２）変形例２
変形例２について説明する。変形例２は、生体組織の状態の時間変化に応じたレコメンド情報を提供する例である。

変形例２のサーバ３０は、ステップＳ３０３（図７）において、生体組織の状態の時間変化に応じたレコメンド情報を判定する。
具体的には、記憶装置３１には、レコメンド判定モデルが記憶されている。
レコメンド判定モデルは、生体組織の状態の時間変化に基づいてレコメンド情報を判定するためのモデルである。レコメンド判定モデルの入力及び出力は以下のとおりである。
・入力：生体組織の状態の時間変化
・出力：レコメンド情報

プロセッサ３２は、ログインリクエストデータに含まれるユーザＩＤに関連付けられたセンシングログ情報データベース（図５）を特定する。
プロセッサ３２は、特定したセンシングログ情報データベースにおいて、「判定日時」フィールドの情報が所定条件を満たすレコードを抽出する。所定条件は、例えば、ステップＳ３０３の実行日時を基準として、遡って所定期間内（一例として、１ヶ月以内）の日時を示すことである。
プロセッサ３２は、抽出したレコードの「状態」フィールドの情報を参照して、生体組織の状態の時間変化を判定する。
プロセッサ３２は、判定した生体組織の状態の時間変化をレコメンド判定モデルに入力することにより、レコメンド情報を決定する。

変形例２によれば、生体組織の状態の時間変化に応じたレコメンド情報がユーザＵに提示される。これにより、ユーザＵにより適合するレコメンド情報を提示することができる。

（５－３）変形例３
変形例３について説明する。変形例３は、ユーザＵの生体組織の状態を判定するときに、他のユーザの判定結果を参照する例である。

変形例３のサーバ３０は、ステップＳ３０２（図７）において、他のユーザの判定結果を参照して、ユーザＵの生体組織の状態を判定する。
具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤ（つまり、判定の対象となる対象ユーザＵのユーザＩＤ）に関連付けられた「ユーザ属性」フィールドのユーザ属性情報（以下「対象ユーザ属性情報」という）を特定する。対象ユーザＵは、「第１ユーザ」の一例である。対象ユーザ属性情報は、「第１ユーザ属性情報」の一例である。
プロセッサ３２は、ユーザ情報データベースを参照して、特定した対象ユーザ属性情報に対応するユーザ情報（以下「参照ユーザ属性情報」という）に関連付けられたユーザＩＤ（以下「参照ユーザＩＤ」という）を特定する。「対象ユーザ属性情報に対応するユーザ属性情報」とは、以下の何れかの条件を満たすユーザ属性情報である。参照ユーザ属性情報は、「第２ユーザ属性情報」の一例である。
・対象ユーザ属性情報と同一のユーザ属性情報
・「性別」フィールドの情報が対象ユーザ属性情報と同一のユーザ属性情報
・「年齢」フィールドの情報と対象ユーザ情報の年齢との差が所定値以下であるユーザ属性情報

プロセッサ３２は、参照ユーザＩＤに関連付けられたセンシングログ情報データベース（図５）の「波形ファイル」フィールドを参照して、参照ユーザＩＤに対応する参照ユーザ（「第２ユーザ」の一例）の波形データを特定する。
プロセッサ３２は、判定リクエストデータに含まれる波形データと、参照ユーザの波形データと、を状態判定モデルに入力することにより、ユーザＵの生体組織の状態を判定する。

変形例３によれば、対象ユーザＵの波形データだけでなく、参照ユーザの波形データも参照して、対象ユーザＵの生体組織の状態を判定する。つまり、状態判定モデルに入力される波形データの数は、本実施形態より多い。これにより、判定の精度を向上させることができる。

（６）本実施形態の小括
本実施形態について小括する。

本実施形態の第１態様は、
ユーザＵの両耳に装着され、且つ、ユーザＵの生体組織の振動を検出する一対のセンサ１５から、振動に関する振動情報を取得する手段（例えば、ステップＳ３０２の処理を実行するプロセッサ３２）を備え、
振動情報に基づいて、ユーザＵの生体組織の状態を判定する手段（例えば、ステップＳ３０２の処理を実行するプロセッサ３２）を備え、
前記判定の結果を記憶装置に記憶する手段（例えば、ステップＳ３０４の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。

第１態様によれば、肌の振動に応じて生体組織の状態が判定される。これにより、生体組織の状態の判定の精度を向上させることができる。

本実施形態の第２態様は、
判定の結果をユーザＵに提示する手段（例えば、ステップＳ３０５の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。

第２態様によれば、ユーザＵは容易に生体組織の状態を知ることができる。

本実施形態の第３態様は、
提示する手段は、判定の結果に対応する音声をユーザＵに提示する、
情報処理装置（例えば、サーバ３０）である。

第３態様によれば、振動から判定された生体組織の状態を、振動と親和性の高い音声という形態で知らせることができる。

本実施形態の第４態様は、
判定が行われた時間に関する時間情報の少なくとも１つと、判定の結果と、を関連付けて記憶装置３１に記憶する手段（例えば、ステップＳ３０４の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。

第４態様によれば、生体組織の状態の時間変化を記録することができる。

本実施形態の第５態様は、
判定する手段は、記憶装置３１に記憶された複数の判定の結果に基づいて、生体組織の状態の動的変化を判定する、
情報処理装置（例えば、サーバ３０）である。

第５態様によれば、生体組織の状態の時間変化を記録することができる。

本実施形態の第６態様は、
ユーザＵの属性に関するユーザ属性情報と、判定の結果と、を関連付けて記憶装置３１に記憶する手段（例えば、ステップＳ３０４の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。

第６態様によれば、ユーザ属性毎に、生体組織の状態を記録することができる。

本実施形態の第７態様は、
一対のセンサ１５を装着した第１ユーザから、第１ユーザの第１ユーザ属性情報を取得する手段を備え、
記憶装置３１に記憶されたユーザ属性情報の中から、第１ユーザ属性情報に対応する少なくとも１つの第２ユーザ属性情報を特定する手段を備え、
判定する手段は、一対のセンサ１５から取得した第１振動情報と、第２ユーザ属性情報に関連付けられた第２振動情報と、に基づいて、第１ユーザの生体組織の状態を判定する、
情報処理装置（例えば、サーバ３０）である。

第７態様によれば、あるユーザ（第１ユーザ）の生体組織の状態を判定するときに、他のユーザ（第２ユーザ）の生体組織の状態の判定結果を参照する。これにより、生体組織の状態の判定の精度を向上させることができる。

本実施形態の第８態様は、
判定する手段は、ユーザＵがユーザＵの肌に触れた接触部位の位置を判定する、
情報処理装置（例えば、サーバ３０）である。

第８態様によれば、振動から接触部位の位置を判定する。これにより、接触部位の位置に応じた様々な処理が実現可能になる。

本実施形態の第９態様は、
判定する手段は、接触部位の位置の変位を判定する、
情報処理装置（例えば、サーバ３０）である。

第９態様によれば、振動から接触部位の位置の変位を判定する。これにより、接触部位の位置の変化に応じた様々な処理が実現可能になる。

本実施形態の第１０態様は、
判定する手段は、ユーザＵの肌の状態、髪の状態、及び、表情の少なくとも１つを判定する、
情報処理装置（例えば、サーバ３０）である。

本実施形態の第１１態様は、
コンピュータ（例えば、プロセッサ３２）を、上記の何れかに記載の各手段として機能させるためのプログラムである。

本実施形態の第１２態様は、
上記の何れかに記載の情報処理装置（例えば、サーバ３０）と接続可能であり、且つ、ユーザＵの耳に装着可能なセンシングデバイス１０であって、
ユーザＵの両耳に接触し、且つ、ユーザＵの生体組織の振動を検出する一対のセンサ１５を備え
音声を出力する音声出力部１７を備える、
センシングデバイス１０である。

第１２態様によれば、肌の振動は、比較的小型のセンサ１５によって測定される。これにより、生体組織の状態を判定するためのセンシングデバイス１０を小型化することができる。
また、第１２態様によれば、一対のセンサ１５は、ユーザＵの両耳に装着可能であるので、ユーザＵの使用に対する心理障壁を低減することができる。その結果、ユーザＵは、違和感を覚えることなくセンシングデバイス１０を使用することができる。これは、ユーザＵによるセンシングデバイス１０の使用頻度（つまり、センシングログ情報の取得頻度）の増加を導く。

本実施形態の第１３態様は、
ユーザＵの身体特性、及び、センシングデバイス１０の装着位置の少なくとも１つに基づいて、キャリブレーションを実行する手段（例えば、ステップＳ１０３０の処理を実行するプロセッサ１２）を更に備える、
センシングデバイス１０である。

第１３態様によれば、ユーザＵの身体的特性、及び、ユーザＵによるによるセンシングデバイス１０の装着位置に関わらず、測定精度を向上させることができる。

（７）その他の変形例

記憶装置１１は、ネットワークＮＷを介して、センシングデバイス１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

上記の情報処理の各ステップは、センシングデバイス１０のみでも実行可能である。この場合、記憶装置３１に記憶されたデータベースは、記憶装置１１に記憶される。

画面Ｐ１０２～Ｐ１０４に含まれるメッセージは、一対の音声出力部１７を介してユーザＵに提示されてもよい。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ 情報処理システム
１０ センシングデバイス
１１ 記憶装置
１２ プロセッサ
１３ 入出力インタフェース
１４ 通信インタフェース
１５ センサ
１６ 波形出力部
１７ 音声出力部
３０ サーバ
３１ 記憶装置
３２ プロセッサ
３３ 入出力インタフェース
３４ 通信インタフェース

Claims (14)

1. ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
   前記振動情報に基づいて、前記ユーザが前記ユーザの肌に触れた接触部位の位置を判定する手段を備え、
   前記判定の結果を記憶装置に記憶する手段を備える、
   情報処理装置。
2. 前記判定する手段は、前記ユーザの肌の状態、髪の状態、及び、表情の少なくとも１つを判定する、請求項１に記載の情報処理装置。
3. ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
   前記振動情報に基づいて、前記ユーザの肌の状態、髪の状態、及び、表情の少なくとも１つを判定する手段を備え、
   前記判定の結果を記憶装置に記憶する手段を備える、
   情報処理装置。
4. 前記判定する手段は、前記ユーザが前記ユーザの肌に触れた接触部位の位置を判定する、請求項３に記載の情報処理装置。
5. 前記判定する手段は、前記接触部位の位置の変位を判定する、
   請求項１、請求項２、又は、請求項４に記載の情報処理装置。
6. 前記判定の結果を前記ユーザに提示する手段を備える、
   請求項１～請求項５の何れかに記載の情報処理装置。
7. 前記提示する手段は、前記判定の結果に対応する音声を前記ユーザに提示する、
   請求項６に記載の情報処理装置。
8. 前記判定が行われた時間に関する時間情報の少なくとも１つと、前記判定の結果と、を関連付けて前記記憶装置に記憶する手段を備える、請求項１～請求項７の何れかに記載の情報処理装置。
9. 前記判定する手段は、前記記憶装置に記憶された複数の判定の結果に基づいて、前記生体組織の状態の動的変化を判定する、請求項８に記載の情報処理装置。
10. 前記ユーザの属性に関するユーザ属性情報と、前記判定の結果と、を関連付けて前記記憶装置に記憶する手段を備える、請求項１～請求項９の何れかに記載の情報処理装置。
11. 前記一対のセンサを装着した第１ユーザから、第１ユーザの第１ユーザ属性情報を取得する手段を備え、
    前記記憶装置に記憶されたユーザ属性情報の中から、前記第１ユーザ属性情報に対応する少なくとも１つの第２ユーザ属性情報を特定する手段を備え、
    前記判定する手段は、前記一対のセンサから取得した第１振動情報と、前記第２ユーザ属性情報に関連付けられた第２振動情報と、に基づいて、前記第１ユーザの生体組織の状態を判定する、請求項１０に記載の情報処理装置。
12. コンピュータを、請求項１～請求項１１の何れかに記載の情報処理装置の各手段として機能させるためのプログラム。
13. 請求項１～請求項１１の何れかに記載の情報処理装置と接続可能であり、且つ、前記ユーザの耳に装着可能なセンシングデバイスであって、
    ユーザの両耳に接触し、且つ、ユーザの生体組織の振動を検出する一対のセンサを備え
    音声を出力する音声出力部を備える、
    センシングデバイス。
14. 前記ユーザの身体特性、及び、前記センシングデバイスの装着位置の少なくとも１つに基づいて、キャリブレーションを実行する手段を更に備える、請求項１３に記載のセンシングデバイス。

Images