JP7195314B2 - バイノーラル音処理装置、情報処理装置、及び、プログラム - Google Patents

Description

本発明は、バイノーラル音処理装置、情報処理装置、及び、プログラムに関する。

一般に、人体に塗布される塗布物（例えば、化粧料）が被塗布者に与える触感には個人差がある。
例えば、化粧料の消費者は、化粧料を使用することによって得られる美容効果だけでなく、化粧料を使用したときの触感（例えば、肌触り）を考慮して、化粧料を選定する。
一方、化粧料の販売者は、美容効果及び触感の両方を消費者に訴求することにより、化粧料の販売を促進する。

特開２００３－１８６９６２号公報には、触感を考慮した化粧料の選定を支援するために、触感に関するパラメータを消費者に入力させ、且つ、消費者によって入力されたパラメータに応じた化粧料のレシピを提示する技術が開示されている。

しかし、特開２００３－１８６９６２号公報の技術では、消費者に触感を体験させることができない。そのため、提示されたレシピに対応する化粧料を実際に使用したときに消費者が感じる触感は、パラメータを入力したときに消費者が想像した触感とは異なる可能性がある。
特に、近年急速に普及しているオンラインショッピングでは、消費者は、化粧料の触感を体験することができない

つまり、従来、塗布物を使用する前に、塗布物の触感を消費者が体験することはできない。

本発明の目的は、塗布物を使用する前に、塗布物の触感を消費者に体験させることである。

本発明の一態様は、
複数の塗布物のそれぞれを識別する塗布物識別情報と、各塗布物を肌に塗布したときの音がバイノーラル録音されたバイノーラル音源情報と、を関連付けて記憶する手段を備え、
複数の塗布物の中から少なくとも１つの塗布物を識別する塗布物識別情報を決定する手段を備え、
前記決定された塗布物識別情報に関連付けられたバイノーラル音源情報を選択する手段を備え、
前記選択されたバイノーラル音源情報を出力する手段を備える、
バイノーラル音処理装置である。

本発明によれば、塗布物を使用する前に、塗布物の触感を消費者に体験させることができる。

本実施形態の音声処理システムの構成を示す概略図である。 図１の音声処理システムの構成を示すブロック図である。 本実施形態の概要の説明図である。 本実施形態の塗布物情報データベースのデータ構造を示す図である。 本実施形態の情報処理のフローチャートである。 図５の情報処理において表示される画面例を示す図である。 変形例１の概要の説明図である。 変形例１のユーザ情報データベースのデータ構造を示す図である。 変形例１の情報処理のフローチャートである。 図９の情報処理において表示される画面例を示す図である。 変形例２の概要の説明図である。 変形例２の情報処理のフローチャートである。 変形例３の概要の説明図である。 変形例３の情報処理のフローチャートである。 変形例４の概要の説明図である。 変形例４の情報処理のフローチャートである。 図１６の情報処理において表示される画面例を示す図である。 変形例５の概要の説明図である。 変形例５の情報処理のフローチャートである。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）音声処理システムの構成
音声処理システムの構成について説明する。図１は、本実施形態の音声処理システムの構成を示す概略図である。図２は、図１の音声処理システムの構成を示すブロック図である。

図１及び図２に示すように、音声処理システム１は、バイノーラル音処理装置１０と、音声出力装置２０と、サーバ３０と、を備える。
バイノーラル音処理装置１０及び音声出力装置２０は、有線通信又は無線通信によって接続される。バイノーラル音処理装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
ユーザＵは、音声出力装置２０を介して、バイノーラル音処理装置１０によって処理された音声（例えば、バイノーラル音）を聴くことができる。

バイノーラル音処理装置１０は、バイノーラル音の音声信号を生成するように構成される。
また、バイノーラル音処理装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。バイノーラル音処理装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。

音声出力装置２０は、バイノーラル音処理装置１０から送信された音声信号に対応するバイノーラル音を出力するように構成される。音声出力装置２０は、例えば、ヘッドフォン、又は、イヤフォンである。

サーバ３０は、バイノーラル音処理装置１０から送信されたリクエストに応じたレスポンスをバイノーラル音処理装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。

（１－１）バイノーラル音処理装置の構成
図２を参照して、バイノーラル音処理装置１０の構成について説明する。

図２に示すように、バイノーラル音処理装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、バイノーラル音の処理のためのアプリケーション）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、バイノーラル音処理装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。

入出力インタフェース１３は、バイノーラル音処理装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、バイノーラル音処理装置１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース１４は、バイノーラル音処理装置１０とサーバ３０との間の通信を制御するように構成される。

（１－２）サーバの構成
図２を参照して、サーバ３０の構成について説明する。

図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。

入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０とバイノーラル音処理装置１０との間の通信を制御するように構成される。

（２）実施形態の概要
本実施形態の概要について説明する。図３は、本実施形態の概要の説明図である。

バイノーラル音処理装置１０には、バイノーラル音源情報が記憶されている。バイノーラル音源情報は、人体に塗布可能な塗布物に関連付けられている。塗布物とは、例えば、肌に塗布可能な化粧料である。化粧料としては、例えば、メーキャップ用化粧料、スキンケア用化粧料、ヘアケア用化粧料などが挙げられる。化粧料の形態は、例えば、固体、液体、スプレー状などが挙げられる。
バイノーラル音源情報には、各塗布物を人体に塗布したときに鼓膜に伝わる振動によって再現されるバイノーラル音が記録されている。
ユーザＵが所望の塗布物を指定すると、バイノーラル音処理装置１０は、指定された塗布物に関連付けられたバイノーラル音源情報を音声出力装置２０に出力する。
音声出力装置２０は、バイノーラル音処理装置１０から出力されたバイノーラル音源情報に記録されたバイノーラル音を出力する。

このような塗布物のバイノーラル音は、聴覚と、聴覚に付随して生じる触覚と、を刺激することにより、ユーザＵに対して、塗布物を使用したときの触感を体験させることができる。本実施形態では、ユーザＵに所望の塗布物のバイノーラル音を聴かせることにより、所望の塗布物を使用したときの触感を提示することができる。

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置１１に記憶される。

（３－１）塗布物情報データベース
本実施形態の塗布物情報データベースについて説明する。図４は、本実施形態の塗布物情報データベースのデータ構造を示す図である。

図４の塗布物情報データベースには、塗布物に関する塗布物情報が格納される。
塗布物情報データベースは、「塗布物ＩＤ」フィールドと、「塗布物名」フィールドと、「推奨属性」フィールドと、「バイノーラル音源」フィールドと、「コンテンツ」フィールドと、を含む。各フィールドは、互いに関連付けられている。

「塗布物ＩＤ」フィールドには、塗布物を識別する塗布物ＩＤ（「塗布物識別情報」の一例）が格納される。塗布物ＩＤは、塗布物情報データベースのレコード（以下「塗布物情報レコード」という）の主キーである。

「塗布物名」フィールドには、塗布物の名称に関する情報（例えば、テキスト）が格納される。

「推奨属性」フィールドには、塗布物の使用が推奨されるユーザ属性に関する情報（以下「推奨属性情報」という）が格納される。「推奨属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、「肌状態」フィールドと、を含む。

「性別」フィールドには、塗布物の使用が推奨される性別に関する情報が格納される。

「年齢」フィールドには、塗布物の使用が推奨される年齢に関する情報が格納される。

「肌状態」フィールドには、塗布物の使用が推奨される肌状態に関する情報が格納される。

「バイノーラル音源」フィールドには、塗布物を塗布したときの振動音が記録されたバイノーラル音源ファイル（「バイノーラル音源情報」の一例）が格納される。

「コンテンツ」フィールドには、塗布物に関するコンテンツのコンテンツファイルが格納される。コンテンツは、例えば、以下の少なくとも１つを含む。
・動画コンテンツ
・静止画コンテンツ
・ＣＧ（Computer Graphics）コンテンツ
・音声コンテンツ

（４）情報処理
本実施形態の情報処理について説明する。図５は、本実施形態の情報処理のフローチャートである。図６は、図５の情報処理において表示される画面例を示す図である。

図５に示すように、バイノーラル音処理装置１０は、塗布物の指定の受付（Ｓ１００）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１００（図６）をディスプレイに表示する。

画面Ｐ１００は、操作オブジェクトＢ１００ａ～Ｂ１００ｂを含む。
操作オブジェクトＢ１００ａ～Ｂ１００ｂは、塗布物を指定するためのユーザ指示を受け付けるオブジェクトである。操作オブジェクトＢ１００ａ～Ｂ１００ｂには、塗布物ＩＤが割り当てられている。

例えば、ユーザＵが操作オブジェクトＢ１００ａを操作すると、プロセッサ１２は、操作オブジェクトＢ１００ａに割り当てられた塗布物ＩＤを特定する。これにより、塗布物の指定が受け付けられる。

ステップＳ１００の後、バイノーラル音処理装置１０は、バイノーラル音源の選択（Ｓ１０１）を実行する。
具体的には、プロセッサ１２は、塗布物情報データベース（図４）を参照して、ステップＳ１００で特定された塗布物ＩＤに関連付けられた「バイノーラル音源」フィールドの情報（つまり、バイノーラル音源ファイル）を読み出す。

ステップＳ１０１の後、バイノーラル音処理装置１０は、バイノーラル音の再生（Ｓ１０２）を実行する。
具体的には、プロセッサ１２は、ステップＳ１０１で読み出したバイノーラル音源ファイルを開くことにより、バイノーラル音源ファイルに記録されたバイノーラル音の音声信号を生成する。
プロセッサ１２は、生成した音声信号を音声出力装置２０に送信する。
音声出力装置２０は、プロセッサ１２から送信された音声信号に基づいて、バイノーラル音を出力する。

本実施形態によれば、ユーザＵは、音声出力装置２０によって出力されるバイノーラル音を聴くことにより、所望の塗布物を使用したときの触感を体験することができる。

（５）変形例
本実施形態の変形例について説明する。

（５－１）変形例１
変形例１について説明する。変形例１は、塗布物、及び、ユーザＵのユーザ属性の組合せに応じたバイノーラル音を出力する例である。

（５－１－１）変形例１の概要
変形例１の概要について説明する。図７は、変形例１の概要の説明図である。

図７のバイノーラル音処理装置１０には、バイノーラル音源情報が記憶されている。バイノーラル音源情報は、塗布物及びユーザ属性の組合せ（例えば、ユーザＵのユーザ属性から使用が推奨される塗布物）に関連付けられている。
ユーザＵが所望の塗布物を指定すると、バイノーラル音処理装置１０は、指定された塗布物及びユーザＵのユーザ属性の組合せに関連付けられたバイノーラル音源情報を音声出力装置２０に出力する。
音声出力装置２０は、バイノーラル音処理装置１０から出力されたバイノーラル音源情報に記録されたバイノーラル音を出力する。

変形例１では、ユーザＵの所望の塗布物のうち、ユーザＵのユーザ属性が関連付けられた塗布物のバイノーラル音を聴かせることにより、ユーザＵにとって使用が推奨される塗布物を塗布したときに感じる触感を提示することができる。

（５－１－２）データベース
変形例１のデータベースについて説明する。

（５－１－２－１）ユーザ情報データベース
変形例１のユーザ情報データベースについて説明する。図８は、変形例１のユーザ情報データベースのデータ構造を示す図である。

図８のユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、「行動履歴」フィールドと、を含む。
各フィールドは、互いに関連付けられている。

「ユーザＩＤ」フィールドには、ユーザＵを識別するユーザＩＤ（「ユーザ識別情報」の一例）が格納される。ユーザＩＤは、ユーザ情報データベースのレコード（以下「ユーザ情報レコード」という）の主キーである。

「ユーザ名」フィールドには、ユーザＵのユーザ名に関する情報（例えば、テキスト）が格納される。

「ユーザ属性」フィールドには、ユーザＵの属性に関するユーザ属性情報が格納される。「ユーザ属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、「肌状態」フィールドと、を含む。

「性別」フィールドには、ユーザＵの性別に関する情報が格納される。

「年齢」フィールドには、ユーザＵの年齢に関する情報が格納される。

「肌状態」フィールドには、ユーザＵの肌状態に関する肌状態情報が格納される。「肌状態」フィールドには、以下の少なくとも１つの方法によりユーザ情報データベースに格納される。
・プロセッサ１２は、ユーザＵによって入力された肌状態情報を「肌状態」フィールドに格納する。
・プロセッサ１２は、通信インタフェース１４を介して、肌状態情報を取得可能なデバイス（例えば、スマートフォン）から送信された肌状態情報を「肌状態」フィールドに格納する。
・プロセッサ１２は、ユーザＵが装着したウェアラブルデバイスから送信された肌状態情報を「肌状態」フィールドに格納する。

「行動履歴」フィールドには、ユーザＵの行動の履歴に関する行動履歴情報が格納される。「行動履歴」フィールドは、「閲覧履歴」フィールドと、「購入履歴」フィールドと、を含む。

「閲覧履歴」フィールドには、ウェブサイトの閲覧履歴に関する閲覧履歴情報（一例として、ユーザＵが閲覧したウェブサイトのＵＲＬ（Uniform Resource Locator））が格納される。

「購入履歴」フィールドには、商品の購入履歴に関する購入履歴情報（一例として、ユーザＵが購入した塗布物の塗布物ＩＤ、及び、購入日に関する情報）が格納される。

（５－１－３）情報処理
変形例１の情報処理について説明する。図９は、変形例１の情報処理のフローチャートである。図１０は、図９の情報処理において表示される画面例を示す図である。

図９に示すように、バイノーラル音処理装置１０は、ユーザ情報の取得（Ｓ１１０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１１０（図１０）をディスプレイに表示する。

画面Ｐ１１０は、操作オブジェクトＢ１１０と、フィールドオブジェクトＦ１１０と、を含む。
フィールドオブジェクトＦ１１０は、ユーザ情報の入力を受け付けるオブジェクトである。
操作オブジェクトＢ１１０は、フィールドオブジェクトＦ１１０に入力されたユーザ情報を確定させるためのユーザ指示を受け付けるオブジェクトである。

例えば、ユーザＵがフィールドオブジェクトＦ１１０にユーザＩＤを入力し、且つ、操作オブジェクトＢ１１０を操作すると、プロセッサ１２は、ユーザ情報データベース（図８）を参照して、フィールドオブジェクトＦ１１０に入力されたユーザＩＤに関連付けられたユーザ情報レコードを特定する。

ステップＳ１１０の後、バイノーラル音処理装置１０は、バイノーラル音源の選択（Ｓ１１１）を実行する。

ステップＳ１１１の第１例では、プロセッサ１２は、塗布物情報データベース（図４）の「推奨属性」フィールドを参照して、ステップＳ１１１で特定したユーザ情報レコードに含まれるユーザ属性情報（例えば、性別、年齢、及び、肌状態に関する情報）に対応する塗布物情報レコードを特定する。
プロセッサ１２は、塗布物情報レコードの「バイノーラル音源」フィールドの情報（つまり、バイノーラル音源ファイル）を読み出す。

ステップＳ１１１の第２例では、記憶装置１１には、ユーザＵの行動履歴、及び、ユーザＵが嗜好する塗布物の相関モデルが記憶されている。相関モデルの入力は、ユーザＵの行動履歴である。相関モデルの出力は、塗布物情報である。
プロセッサ１２は、ステップＳ１１１で特定したユーザ情報レコードに含まれる「行動履歴」フィールドの情報（例えば、「閲覧履歴」フィールド及び「購入履歴」フィールドの少なくとも１つの情報）を相関モデルに入力することにより、ユーザＵに対して使用が推奨される塗布物に関する塗布物情報（例えば、塗布物ＩＤ）を予測する。
プロセッサ１２は、塗布物情報データベース（図４）を参照して、予測した塗布物ＩＤに関連付けられた「バイノーラル音源」フィールドの情報（つまり、バイノーラル音源ファイル）を読み出す。

ステップＳ１１１の後、バイノーラル音処理装置１０は、図５と同様に、バイノーラル音の再生（Ｓ１０２）を実行する。

変形例１によれば、ユーザＵは、音声出力装置２０によって出力されるバイノーラル音を聴くことにより、自身の属性を考慮して使用が推奨される塗布物を使用したときの触感を体験することができる。

（５－２）変形例２
変形例２について説明する。変形例２は、ユーザＵの動きに応じて最適化されたバイノーラル音を出力する例である。

（５－２－１）変形例２の概要
変形例２の概要について説明する。図１１は、変形例２の概要の説明図である。

図１１に示すように、音声出力装置２０から出力されるバイノーラル音を聴いている間に、ユーザＵが動くと、バイノーラル音処理装置１０は、ユーザＵの動きに応じてバイノーラル音を補正する。
音声出力装置２０は、バイノーラル音処理装置１０によって補正されたバイノーラル音を出力する。

（５－２－２）情報処理
変形例２の情報処理について説明する。図１２は、変形例２の情報処理のフローチャートである。

図１２に示すように、バイノーラル音処理装置１０は、図９と同様に、ステップＳ１００～Ｓ１０１を実行する。

ステップＳ１０１の後、バイノーラル音処理装置１０は、動き情報の取得（Ｓ１２０）を実行する。
具体的には、バイノーラル音処理装置１０は、ユーザの動きを検出するように構成されたモーションセンサ（不図示）に接続される。モーションセンサは、例えば、以下の少なくとも１つを含む。
・ユーザＵの画像を検出するイメージセンサ
・ユーザＵの体の一部（例えば、手）の加速度を検出する加速度センサ
・ユーザＵの体の一部（例えば、手）の角加速度を検出するジャイロセンサ
・地磁気を検出する地磁気センサ

プロセッサ１２は、モーションセンサによって検出された情報（例えば、画像、加速度、ジャイロ、及び、地磁気の少なくとも１つ）に基づいて、ユーザＵの動きを計算する。

ステップＳ１２０の後、バイノーラル音処理装置１０は、バイノーラル音の補正（Ｓ１２１）を実行する。
具体的には、記憶装置１１には、ユーザＵの動き毎の補正パラメータが格納されている。
プロセッサ１２は、ステップＳ１２０で計算した動きに対応する補正パラメータを用いて、バイノーラル音の音声特性を補正する。音声特性は、例えば、以下の少なくとも１つを含む。
・周波数(一例として、再生速度)
・音圧
・左右のバイノーラル音の時間差(一例として、位相差)

ステップＳ１２１の後、バイノーラル音処理装置１０は、図９と同様に、ステップＳ１０２を実行する。

変形例２によれば、バイノーラル音処理装置１０は、ユーザＵの動きに応じてバイノーラル音を補正する。これにより、ユーザＵに対して、バイノーラル音を聴いている間の動きに応じて、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。
また、ユーザＵは、自身の動きに応じて最適化されたバイノーラル音を聴くことができる。これにより、バイノーラル音を聴いている間にユーザＵが動いたとしても、塗布物を使用するときの触感をユーザＵに正しく伝達することができる。
より具体的には、ユーザＵが自分の肌を撫でる速度に応じて周波数を補正することにより、肌を撫でる動作に応じたインタラクティブな触感を提示することができる。
ユーザＵが自分の肌を撫でる位置及び方向に応じて左右のバイノーラル音の時間差を補正することにより、肌を撫でる位置及び方向に応じたインタラクティブな触感を提示することができる。
ユーザＵが自分の肌を撫でる強さに応じて音圧を補正することにより、肌を撫でる強さに応じたインタラクティブな触感を提示することができる。
ユーザＵが自分の肌を撫でる際に生じる実際の音の逆位相の音をバイノーラル音に重畳することにより、実際の音が打ち消されるので、触感のみに対応するバイノーラル音を提示することができる。

（５－３）変形例３
変形例３について説明する。変形例３は、ユーザＵの環境に応じて最適化されたバイノーラル音を出力する例である。

（５－３－１）変形例３の概要
変形例３の概要について説明する。図１３は、変形例３の概要の説明図である。

図１３に示すように、音声出力装置２０から出力されるバイノーラル音を聴いている間に、ユーザＵの環境（つまり、バイノーラル音の再生環境）に関する環境情報に応じて、バイノーラル音処理装置１０は、バイノーラル音を補正する。
音声出力装置２０は、バイノーラル音処理装置１０によって補正されたバイノーラル音を出力する。

（５－３－２）情報処理
変形例３の情報処理について説明する。図１４は、変形例３の情報処理のフローチャートである。

図１４に示すように、バイノーラル音処理装置１０は、図９と同様に、ステップＳ１００～Ｓ１０１を実行する。

ステップＳ１０１の後、バイノーラル音処理装置１０は、環境情報の取得（Ｓ１３０）を実行する。
具体的には、バイノーラル音処理装置１０は、ユーザＵが存在する環境に関する環境情報を検出するように構成された環境センサ（不図示）に接続される。センサは、例えば、以下の少なくとも１つを含む。
・温度を検出する温度センサ
・湿度を検出する湿度センサ
・ユーザＵが曝露する紫外線レベルを検出するセンサ

プロセッサ１２は、入出力インタフェース１３を介して、環境センサによって検出された環境情報を取得する。

ステップＳ１３０の後、バイノーラル音処理装置１０は、バイノーラル音の補正（Ｓ１３１）を実行する。
具体的には、記憶装置１１には、環境情報毎の補正パラメータが格納されている。
プロセッサ１２は、ステップＳ１３０で取得した環境情報に対応する補正パラメータを用いて、バイノーラル音の音声特性を補正する。音声特性は、例えば、以下の少なくとも１つを含む。
・周波数(一例として、再生速度)
・音圧
・左右のバイノーラル音の時間差(一例として、位相差)

ステップＳ１３１の後、バイノーラル音処理装置１０は、図９と同様に、ステップＳ１０２を実行する。

変形例３によれば、バイノーラル音処理装置１０は、ユーザＵが存在する環境（つまり、バイノーラル音の再生環境）に応じてバイノーラル音を補正する。これより、ユーザＵに対して、環境に応じた触感を体験させることができる。

（５－４）変形例４
変形例４について説明する。変形例４は、塗布物に関するコンテンツに合わせてバイノーラル音を出力する例である。

（５－４－１）変形例４の概要
変形例４の概要について説明する。図１５は、変形例４の概要の説明図である。

図４に示すように、塗布物情報データベースには、塗布物ＩＤと、バイノーラル音源ファイルと、コンテンツファイルと、が関連付けて記憶されている。
図１５に示すように、バイノーラル音処理装置１０は、コンテンツ（例えば、ユーザＵが指定した画像コンテンツ）が選択されると、選択されたコンテンツに対応するコンテンツファイルに関連付けられたバイノーラル音源ファイルを開くことにより、当該バイノーラル音源ファイルに対応する音声信号を生成する。
音声出力装置２０は、バイノーラル音処理装置１０によって生成された音声信号に基づいて、バイノーラル音を出力する。

（５－４－２）情報処理
変形例４の情報処理について説明する。図１６は、変形例４の情報処理のフローチャートである。図１７は、図１６の情報処理において表示される画面例を示す図である。

図１６に示すように、バイノーラル音処理装置１０は、コンテンツの指定の受付（Ｓ１３０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１３０（図１７）をディスプレイに表示する。

画面Ｐ１３０は、操作オブジェクトＢ１３０と、フィールドオブジェクトＦ１３０と、を含む。
フィールドオブジェクトＦ１３０は、コンテンツファイルのファイル名を指定するためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトＢ１３０は、フィールドオブジェクトＦ１３０に指定されたファイル名を確定させるためのユーザ指示を受け付けるオブジェクトである。

ユーザＵがフィールドオブジェクトＦ１３０に任意のファイル名を指定し、且つ、操作オブジェクトＢ１３０を操作すると、プロセッサ１２は、フィールドオブジェクトＦ１３０に指定されたファイル名を取得する。

ステップＳ１３０の後、バイノーラル音処理装置１０は、バイノーラル音源の選択（Ｓ１３１）を実行する。
具体的には、プロセッサ１２は、塗布物情報データベース（図４）を参照して、ステップＳ１３０で取得したファイル名に対応するコンテンツファイルに関連付けられたバイノーラル音源ファイルを読み出す。

ステップＳ１３１の後、バイノーラル音処理装置１０は、コンテンツ及びバイノーラル音の再生（Ｓ１３２）を実行する。
具体的には、プロセッサ１２は、ステップＳ１３０で取得したファイル名に対応するコンテンツファイルを開くことにより、画面Ｐ１３１（図１６）をディスプレイに表示する。

画面Ｐ１３１は、表示オブジェクトＡ１３１を含む。
表示オブジェクトＡ１３１には、当該コンテンツファイルに対応するコンテンツ（例えば、塗布物のプロモーション動画）が再生される。

プロセッサ１２は、表示オブジェクトＡ１３１で再生されたコンテンツと同期するように、ステップＳ１３１で読み出したバイノーラル音源ファイルに記録されたバイノーラル音の音声信号を生成する。
プロセッサ１２は、生成した音声信号を音声出力装置２０に送信する。
音声出力装置２０は、プロセッサ１２から送信された音声信号に基づいて、バイノーラル音を出力する。

変形例４によれば、バイノーラル音処理装置１０は、ユーザＵによって指定されたコンテンツと同期して、バイノーラル音を提示する。これにより、ユーザＵに対して、所望のコンテンツを提示しながら、当該コンテンツで紹介される塗布物を使用したときの触感を体験させることができる。

なお、変形例４では、バイノーラル音処理装置１０は、ステップＳ１３０において、ＣＧコンテンツの指定を受け付けた場合、ステップＳ１３２において、ユーザ指示に応じてＣＧコンテンツを変化させ、且つ、変化後のＣＧコンテンツに応じたバイノーラル音を再生してもよい。

一例として、メーキャップのプロフェッショナルがユーザＵの顔の画像に対して塗布物を塗布するというシナリオのＣＧコンテンツが指定された場合、ユーザＵは、バイノーラル音処理装置１０に対して、以下の少なくとも１つのユーザ指示を与えることができる。
・塗布物を塗布すべき部位（全部又は一部）を指定するための指示
・塗布物の塗布方法（例えば、薄塗り又は厚塗り）を指定するための指示
プロセッサ１２は、ユーザ指示に応じて、ディスプレイに表示したＣＧコンテンツを変化させ、且つ、変化後のＣＧコンテンツに応じてバイノーラル音源情報も変化させる。

この場合、バイノーラル音処理装置１０は、ユーザ指示に応じたＣＧコンテンツ及びバイノーラル音を提示する。これにより、ユーザＵに対して、ＣＧコンテンツを体験している間のユーザ指示に応じて、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。

（５－５）変形例５
変形例５について説明する。変形例５は、バイノーラル音の再生中に、塗布物の成分の経時的変化に合わせてバイノーラル音を補正する例である。

（５－５－１）変形例５の概要
変形例５の概要について説明する。図１８は、変形例５の概要の説明図である。

図１８に示すように、音声出力装置２０から出力されるバイノーラル音を聴いている時間の経過に応じて、バイノーラル音処理装置１０は、バイノーラル音を補正する。
音声出力装置２０は、バイノーラル音処理装置１０によって補正されたバイノーラル音を出力する。

（５－５－２）情報処理
変形例５の情報処理について説明する。図１９は、変形例５の情報処理のフローチャートである。

図１９に示すように、バイノーラル音処理装置１０は、図９と同様に、ステップＳ１００～Ｓ１０１を実行する。

ステップＳ１０１の後、バイノーラル音処理装置１０は、バイノーラル音の補正（Ｓ１４０）を実行する。
具体的には、記憶装置１１には、塗布物ＩＤ毎に、時間の経過と共に変化する触感に対応する補正パラメータが格納されている。
プロセッサ１２は、ステップＳ１００で特定された塗布物ＩＤに関連付けられた補正パラメータを特定する。
プロセッサ１２は、バイノーラル音の再生時間に基づいて、特定した補正パラメータを用いて、バイノーラル音の音声特性を補正する。音声特性は、例えば、以下の少なくとも１つを含む。
・周波数(一例として、再生速度)
・音圧
・左右のバイノーラル音の時間差(一例として、位相差)

ステップＳ１３１の後、バイノーラル音処理装置１０は、図９と同様に、ステップＳ１０２を実行する。

変形例５によれば、バイノーラル音処理装置１０は、再生時間に応じてバイノーラル音を補正する。これにより、ユーザＵに対して、塗布物を使用するときの触感の時間変化を体験させることができる。

（６）本実施形態の小括
本実施形態について小括する。

本実施形態の第１態様は、
複数の塗布物のそれぞれを識別する塗布物識別情報（例えば、塗布物ＩＤ）と、各塗布物を肌に塗布したときの音がバイノーラル録音されたバイノーラル音源情報（例えば、バイノーラル音源ファイル）と、を関連付けて記憶する手段（例えば、記憶装置１１）を備え、
複数の塗布物の中から少なくとも１つの塗布物を識別する塗布物識別情報を決定する手段（例えば、ステップＳ１００の処理を実行するプロセッサ１２）を備え、
決定された塗布物識別情報に関連付けられたバイノーラル音源情報を選択する手段（例えば、ステップＳ１０１の処理を実行するプロセッサ１２）を備え、
選択されたバイノーラル音源情報を出力する手段（例えば、ステップＳ１０２の処理を実行するプロセッサ１２）を備える、
バイノーラル音処理装置１０である。

第１態様によれば、バイノーラル音処理装置１０は、塗布物に対応するバイノーラル音をユーザＵに提示する。これにより、塗布物を使用する前に、塗布物の触感をユーザＵ（例えば、塗布物の消費者）に体験させることができる。

本実施形態の第２態様は、
決定する手段は、操作者の指示に応じて、塗布物識別情報を決定する、
バイノーラル音処理装置１０である。

第２態様によれば、バイノーラル音処理装置１０は、所望の塗布物に対応するバイノーラル音をユーザＵに提示する。これにより、塗布物を使用する前に、所望の塗布物の触感をユーザＵ（例えば、塗布物の消費者）に体験させることができる。

バイノーラル音源情報と、ユーザの属性に関するユーザ属性情報と、を関連付けて記憶する手段を備え、
ユーザの属性に関するユーザ属性情報（例えば、ステップＳ１１０の処理を実行するプロセッサ１２）を取得する手段を備え、
選択する手段は、決定された塗布物識別情報、及び、取得されたユーザ属性情報に関連付けられたバイノーラル音源情報を選択する、
バイノーラル音処理装置１０である。

第３態様によれば、バイノーラル音処理装置１０は、ユーザＵのユーザ属性に応じたバイノーラル音をユーザＵに提示する。これにより、ユーザＵに適した塗布物の触感をユーザＵ（例えば、塗布物の消費者）に体験させることができる。

本実施形態の第４態様は、
ユーザに対して使用が推奨される塗布物を予測する手段（例えば、ステップＳ１１１の処理を実行するプロセッサ１２）を備え、
塗布物識別情報を決定する手段は、決定された塗布物の塗布物識別情報を取得する、バイノーラル音処理装置１０である。

第４態様によれば、バイノーラル音処理装置１０は、ユーザＵに対して使用が推奨される塗布物のバイノーラル音をユーザＵに提示する。これにより、ユーザＵに対して使用が推奨される塗布物の触感をユーザＵ（例えば、塗布物の消費者）に体験させることができる。

本実施形態の第５態様は、
塗布物を決定する手段は、ユーザの肌の状態に基づいて、塗布物を決定する、
バイノーラル音処理装置１０である。

第５態様によれば、バイノーラル音処理装置１０は、ユーザＵの肌状態に基づいて使用が推奨される塗布物のバイノーラル音をユーザＵに提示する。これにより、ユーザＵの肌状態に応じた塗布物の触感をユーザＵ（例えば、塗布物の消費者）に体験させることができる。

本実施形態の第６態様は、
ユーザの行動履歴に基づいて、ユーザに対して使用が推奨される塗布物を予測する手段（例えば、ステップＳ１１１の処理を実行するプロセッサ１２）を備え、
選択する手段は、予測された塗布物の塗布物識別情報に関連付けられたバイノーラル音源情報を選択する、
バイノーラル音処理装置１０である。

第６態様によれば、バイノーラル音処理装置１０は、ユーザＵの行動履歴に基づいて使用が推奨される塗布物のバイノーラル音をユーザＵに提示する。これにより、ユーザＵの行動の傾向に応じた塗布物の触感をユーザＵ（例えば、塗布物の消費者）に体験させることができる。

本実施形態の第７態様は、
行動履歴は、ユーザがアクセスしたウェブサイトの閲覧履歴、及び、ユーザが購入した塗布物の購入履歴の少なくとも１つである、
バイノーラル音処理装置１０である。

第７態様によれば、バイノーラル音処理装置１０は、ユーザＵのウェブサイトの閲覧履歴、及び、ユーザが購入した塗布物の購入履歴の少なくとも１つに基づいて使用が推奨される塗布物のバイノーラル音を提示する。これにより、ユーザＵの行動の傾向及び購買の傾向の少なくとも１つに応じた塗布物の触感をユーザＵ（例えば、塗布物の消費者）に体験させることができる。

本実施形態の第８態様は、
塗布物を使用するユーザの動きに関する動き情報を取得する手段（例えば、ステップＳ１２０の処理を実行するプロセッサ１２）を備え、
取得された動き情報に応じて、選択されたバイノーラル音源情報を補正する手段（例えば、ステップＳ１２１の処理を実行するプロセッサ１２）を備え、
出力する手段は、補正されたバイノーラル音源情報を出力する、
バイノーラル音処理装置１０である。

第８態様によれば、バイノーラル音処理装置１０は、バイノーラル音を聴いている間のユーザＵの動きに応じてバイノーラル音を補正する。これにより、ユーザＵに対して、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。
また、バイノーラル音を聴いている間にユーザＵが動いたとしても、塗布物を使用するときの触感をユーザＵに正しく伝達することができる。

本実施形態の第９態様は、
動き情報を取得する手段は、イメージセンサ、加速度センサ、ジャイロセンサ、及び、地磁気センサの少なくとも１つから、動き情報を取得する、
バイノーラル音処理装置１０である。

第９態様によれば、画像、加速度、角加速度、及び、地磁気の少なくとも１つから特定される動き情報に応じて、塗布物を使用するときの触感をユーザＵに正しく伝達することができる。

本実施形態の第１０態様は、
ユーザの環境に関する環境情報を取得する手段（例えば、ステップＳ１３０の処理を実行するプロセッサ１２）を備え、
取得された環境情報に応じて、選択されたバイノーラル音源情報を補正する手段（例えば、ステップＳ１３１の処理を実行するプロセッサ１２）を備え、
出力する手段は、補正されたバイノーラル音源情報を出力する、
バイノーラル音処理装置１０である。

第１０態様によれば、バイノーラル音処理装置１０は、ユーザＵが存在する環境（つまり、バイノーラル音の再生環境）に応じて、バイノーラル音を補正する。これにより、ユーザＵに対して、環境に応じた触感を体験させることができる。

本実施形態の第１１態様は、
塗布物に関する動画コンテンツと、バイノーラル音源情報と、を関連付けて記憶する手段を備え、
選択する手段は、再生される動画コンテンツに関連付けられたバイノーラル音源情報を選択し、
動画コンテンツの再生時間に応じて、バイノーラル音源情報を補正する、
バイノーラル音処理装置１０である。

第１１態様によれば、バイノーラル音処理装置１０は、ユーザＵによって指定されたコンテンツと同期してバイノーラル音を提示する。これにより、ユーザＵに対して、所望のコンテンツを提示しながら、当該コンテンツで紹介される塗布物を使用したときの触感を体験させることができる。

本実施形態の第１２態様は、
塗布物に関するＣＧコンテンツと、バイノーラル音源情報と、を関連付けて記憶する手段を備え、
選択する手段は、再生されるＣＧコンテンツに関連付けられたバイノーラル音源情報を選択し、
ＣＧコンテンツの再生中に受け付けられた操作者の指示に応じて、バイノーラル音源情報を変化させる、
バイノーラル音処理装置１０である。

第１２態様によれば、ユーザＵに対して、ＣＧコンテンツを体験している間に与えられた指示（例えば、ユーザ指示）に応じて、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。

本実施形態の第１３態様は、
各塗布物を人体に塗布したときの組成の時間変化を予測するための予測モデルを参照して、決定された塗布物識別情報によって識別される塗布物の組成の時間変化を予測する手段を備え、
予測された時間変化に基づいて、選択されたバイノーラル音源情報を時間変換する手段を備え、
出力する手段は、時間変換されたバイノーラル音源情報を出力する、
バイノーラル音処理装置１０である。

第１３態様によれば、バイノーラル音処理装置１０は、再生時間に応じてバイノーラル音を補正する。これにより、ユーザＵに対して、塗布物を使用するときの触感の時間変化を体験させることができる。

本実施形態の第１４態様は、
コンピュータ（例えば、プロセッサ１２）に、上記の何れかの各手段を実現させるためのプログラムである。

（７）その他の変形例

記憶装置１１は、ネットワークＮＷを介して、バイノーラル音処理装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

バイノーラル音処理装置１０及び音声出力装置２０は、一体に構成されてもよい。この場合、バイノーラル音処理装置１０及び音声出力装置２０は、有線通信又は無線通信ではなく、電気回路によって接続される。

バイノーラル音処理装置１０が実行するステップの少なくとも一部は、サーバ３０が実行してもよい。この場合、バイノーラル音処理装置１０は、サーバ３０に対して、情報処理のリクエストを送信する。
サーバ３０は、バイノーラル音処理装置１０から送信されたリクエストに応じた情報処理を実行し、かつ、当該情報処理の結果を含むレスポンスをバイノーラル音処理装置１０に送信する。
バイノーラル音処理装置１０は、サーバ３０から送信されたレスポンスに含まれる情報処理の結果に基づいて、音声出力装置２０に音声信号を送信する。

記憶装置１１に記憶されるデータベースの少なくとも１つは、記憶装置３１に記憶されてもよい。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ ：音声処理システム
１０ ：バイノーラル音処理装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２０ ：音声出力装置
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

Claims (14)

1. 複数の塗布物のそれぞれを識別する塗布物識別情報と、各塗布物を肌に塗布したときの音がバイノーラル録音されたバイノーラル音源情報と、を関連付けて記憶する手段を備え、
   複数の塗布物の中から少なくとも１つの塗布物を識別する塗布物識別情報を決定する手段を備え、
   前記決定された塗布物識別情報に関連付けられたバイノーラル音源情報を選択する手段を備え、
   前記選択されたバイノーラル音源情報を出力する手段を備える、
   バイノーラル音処理装置。
2. 前記決定する手段は、操作者の指示に応じて、前記塗布物識別情報を決定する、
   請求項１に
   記載のバイノーラル音処理装置。
3. 前記バイノーラル音源情報と、ユーザの属性に関するユーザ属性情報と、を関連付けて記憶する手段を備え、
   ユーザの属性に関するユーザ属性情報を取得する手段を備え、
   前記選択する手段は、前記決定された塗布物識別情報、及び、前記取得されたユーザ属性情報に関連付けられたバイノーラル音源情報を選択する、
   請求項１に記載のバイノーラル音処理装置。
4. 前記ユーザに対して使用が推奨される塗布物を決定する手段を備え、
   前記塗布物識別情報を決定する手段は、前記決定された塗布物の塗布物識別情報を取得する、
   請求項３に記載のバイノーラル音処理装置。
5. 前記塗布物を決定する手段は、前記ユーザの肌の状態に基づいて、前記塗布物を決定する、
   請求項４に記載のバイノーラル音処理装置。
6. ユーザの行動履歴に基づいて、前記ユーザに対して使用が推奨される塗布物を予測する手段を備え、
   前記選択する手段は、前記予測された塗布物の塗布物識別情報に関連付けられたバイノーラル音源情報を選択する、
   請求項１～５の何れかに記載のバイノーラル音処理装置。
7. 前記行動履歴は、前記ユーザがアクセスしたウェブサイトの閲覧履歴、及び、前記ユーザが購入した塗布物の購入履歴の少なくとも１つである、
   請求項６に記載のバイノーラル音処理装置。
8. 塗布物を使用するユーザの動きに関する動き情報を取得する手段を備え、
   前記取得された動き情報に応じて、前記選択されたバイノーラル音源情報を補正する手段を備え、
   前記出力する手段は、前記補正されたバイノーラル音源情報を出力する、
   請求項１～７の何れかに記載のバイノーラル音処理装置。
9. 前記動き情報を取得する手段は、イメージセンサ、加速度センサ、ジャイロセンサ、及び、地磁気センサの少なくとも１つから、前記動き情報を取得する、
   請求項８に記載のバイノーラル音処理装置。
10. ユーザの環境に関する環境情報を取得する手段を備え、
    前記取得された環境情報に応じて、前記選択されたバイノーラル音源情報を補正する手段を備え、
    前記出力する手段は、前記補正されたバイノーラル音源情報を出力する、
    請求項１～９の何れかに記載のバイノーラル音処理装置。
11. 前記塗布物に関する動画コンテンツと、前記バイノーラル音源情報と、を関連付けて記憶する手段を備え、
    前記選択する手段は、再生される動画コンテンツに関連付けられたバイノーラル音源情報を選択し、
    前記動画コンテンツの再生時間に応じて、前記バイノーラル音源情報を補正する、
    請求項１～１０の何れかに記載にバイノーラル音処理装置。
12. 前記塗布物に関するＣＧ（Computer Graphics）コンテンツと、前記バイノーラル音源情報と、を関連付けて記憶する手段を備え、
    前記選択する手段は、再生されるＣＧコンテンツに関連付けられたバイノーラル音源情報を選択し、
    前記ＣＧコンテンツの再生中に受け付けられた操作者の指示に応じて、前記バイノーラル音源情報を変化させる、
    請求項１～１１の何れかに記載にバイノーラル音処理装置。
13. 各塗布物を人体に塗布したときの組成の時間変化を予測するための予測モデルを参照して、前記決定された塗布物識別情報によって識別される塗布物の組成の時間変化を予測する手段を備え、
    前記予測された時間変化に基づいて、前記選択されたバイノーラル音源情報を時間変換する手段を備え、
    前記出力する手段は、前記時間変換されたバイノーラル音源情報を出力する、
    請求項１～１２の何れかに記載のバイノーラル音処理装置。
14. コンピュータに、請求項１～１３の何れかに記載の各手段を実現させるためのプログラム。
    
    
    

Images