JP7181322B2 - 推定装置、推定方法および推定プログラム - Google Patents

Description

本発明は、推定装置、推定方法および推定プログラムに関する。

従来、音声を介して入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような情報の一例として、入力された会話から話題を特定し、特定した話題と関連するコンテンツを提供する技術が知られている。

特表２００７－５１９０４７号公報 特開２０１４－２０６９８９号公報

ここで、上述した従来技術を電子商取引に適用するといった手法が考えられる。例えば、利用者の発言から利用者が所望する商品や役務等（以下、「取引対象」と記載する。）を特定し、特定した取引対象の提案や注文を行うといった手法が考えられる。

しかしながら、このような技術では、利用者の所望を必ずしも反映させているとは言えない場合がある。例えば、従来技術では、取引対象の名称等、所望する取引対象を特定するための情報を利用者が発言しなかった場合には、利用者が所望する取引対象を適切に特定することができない場合がある。

本願は、上記に鑑みてなされたものであって、利用者が取引対象の情報を意識的に発言せずとも、利用者が所望する取引対象を推定することを目的とする。

本願に係る推定装置は、利用者が滞在する所定の施設内に設置された検出装置であって、周囲の音を検出する検出装置から、当該検出装置によって検出された前記利用者の声と環境音とを収集する収集部と、前記収集部により収集された前記利用者の声であって、取引対象に対する評価を示す声と環境音とに基づいて、利用者が所望する取引対象を推定する推定部とを有することを特徴とする。

実施形態の一態様によれば、利用者が取引対象の情報を意識的に発言せずとも、利用者が所望する取引対象を推定することができる。

図１は、実施形態に係る情報提供装置が実行する推定処理の一例を示す図である。 図２は、実施形態に係る情報提供装置の構成例を示す図である。 図３は、実施形態に係る音声データベースに登録される情報の一例を示す図である。 図４は、実施形態に係る利用者データベースに登録される情報の一例を示す図である。 図５は、実施形態に係る購入履歴データベースに登録される情報の一例を示す図である。 図６は、実施形態に係る情報提供装置が実行する推定処理の流れの一例を示すフローチャートである。 図７は、ハードウェア構成の一例を示す図である。

以下に、本願に係る推定装置、推定方法および推定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る推定装置、推定方法および推定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［実施形態］
〔１－１．情報提供装置の一例〕
まず、図１を用いて、推定装置の一例である情報提供装置が実行する推定処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する推定処理の一例を示す図である。

情報提供装置１０は、後述する推定処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。図１では、情報提供装置１０は、インターネット等の所定のネットワークＮを介して、利用者Ｕ０１が使用する端末装置１００（例えば、図２）や、後述する検出装置Ｓ０１と通信を行うことができる。なお、情報提供装置１０は、任意の利用者が使用する任意の数の端末装置１００や、任意の数の検出装置Ｓ０１と通信が可能であってもよい。

検出装置Ｓ０１は、利用者Ｕ０１が利用する装置であり、周囲の音声を取得するマイク等の音声検出装置を有する。そして、検出装置Ｓ０１は、検出した音声に応じた各種の処理を実行する装置である。例えば、検出装置Ｓ０１は、利用者Ｕ０１が居住する住居Ｈ０１内に配置され、住居Ｈ０１内で生じた音を検出する。音声解析技術を用いて、利用者Ｕ０１が発声した言葉の内容を特定し、特定した内容に応じて、コンテンツの提供や各種電子商店街への注文等を実現する任意の装置であってもよい。例えば、検出装置Ｓ０１は、スピーカーを有し、曲名や作曲者等といった曲を示唆する情報を利用者Ｕ０１が発生した場合には、かかる情報が示唆する曲の再生を行ってもよい。

また、検出装置Ｓ０１は、例えば、壁などに任意の映像を投影するプロジェクターの機能を有する装置であってもよく、例えば、マイクやスピーカーの機能を有する電球若しくは照明装置であってもよい。また、検出装置Ｓ０１は、いわゆるアシスタントロボットであってもよい。

〔１－２．推定処理の一例〕
ここで、例えば、「シャンプー買っといて」等というように、利用者が意識的に行った発言を解析して利用者が所望する商品や役務等の取引対象を特定し、電子商店街を介して、特定した取引対象を購入するといった処理が考えられる。しかしながら、従来技術では、利用者が意識的に、商品名等を発言しなければ、利用者が所望する取引対象を特定することができない。

そこで、情報提供装置１０は、以下の推定処理を実行する。まず、情報提供装置１０は、周囲の環境音を検出する検出装置Ｓ０１によって検出された環境音、すなわち、住居Ｈ０１内の音を環境音として収集する。そして、情報提供装置１０は、収集された環境音に基づいて、利用者が所望する取引対象を推定する。

より具体的には、情報提供装置１０は、環境音として、検出装置Ｓ０１が検出した利用者Ｕ０１の周囲の環境音を収集する。例えば、情報提供装置１０は、住宅Ｈ０１内で水が流れる音、ドアの開け閉めの音、テレビの音等、住宅Ｈ０１内における各種の環境音を収集する。

また、情報提供装置１０は、環境音として、利用者が無意識に発した音を収集する。例えば、情報提供装置１０は、利用者のくしゃみや咳、無意識に発したつぶやき声、無意識に発した発言であって、「あ！無い！」等といった対象が不明な発言等を環境音として収集する。なお、情報提供装置１０は、利用者Ｕ０１と他の利用者との会話を環境音として収集してもよい。また、情報提供装置１０は、利用者Ｕ０１が検出装置Ｓ０１に対して発した発言以外の任意の発言を、環境音として収集してもよい。すなわち、環境音とは、利用者Ｕ０１以外の物体等から発生される音のみならず、利用者Ｕ０１が無意識的に発した言葉、咳やくしゃみ等といった音、他人との会話、電話を介した会話等、検出装置Ｓ０１に対して発生された利用者Ｕ０１の声以外の音を含むものである。

そして、情報提供装置１０は、収集した環境音から、利用者Ｕ０１が所望する取引対象を推定する。より具体的には、情報提供装置１０は、取引対象として、電子商取引の対象となる商品または役務を推定する。

〔１－３．推定処理の具体例〕
ここで、図１を用いて、情報提供装置１０が実行する推定処理の具体例について説明する。なお、図１に示す例では、利用者Ｕ０１は、住居Ｈ０１内における浴室ＢＲ内におり、入浴中であるものとする。また、図１に示す例では、浴室ＢＲ内の備品として、例えば、シャンプーが無くなっていたものとする。

例えば、検出装置Ｓ０１は、住居Ｈ０１内に配置されており、住居Ｈ０１内における各種の環境音を収集する。ここで、例えば、検出装置Ｓ０１は、シャンプーが無くなっていることに気付いた利用者Ｕ０１の「あ！無い！」等といった発言の音声ＳＷ０１と、シャワーから水が流れ出る「シャー」等といった音声ＳＷ０２とを環境音として検出し、検出した環境音を情報提供装置１０へと送信する（ステップＳ１）。このような場合、情報提供装置１０は、環境音に基づいて、利用者が所望する取引対象を推定する（ステップＳ２）。例えば、情報提供装置１０は、検出装置Ｓ０１が検出した環境音から、「あ！無い！」等といった利用者の声を含む音声ＳＷ０１と、シャワーの水が流れ出る音声ＳＷ０２とを抽出する（ステップＳ３）。

ここで、「あ！無い！」等という音声ＳＷ０１等、利用者Ｕ０１が無意識的に発する音声には、利用者が何かを所望しているという状態を推定することは可能であるが、利用者が所望する取引対象が何であるかを推定することが困難である。例えば、音声ＳＷ０１に商品名や商品の種別が含まれていない場合には、利用者が所望する取引対象を推定することが難しい。

そこで、情報提供装置１０は、音声ＳＷ０１と同時期に収集された環境音、すなわち、利用者Ｕ０１の声以外の環境音である音声ＳＷ０２から、利用者Ｕ０１が所望する取引対象を推定する（ステップＳ４）。例えば、情報提供装置１０は、「シャー」等という音声ＳＷ０２を解析した場合には、利用者Ｕ０１が浴室ＢＲ内でシャワーを浴びているといった利用者Ｕ０１の状態を推定することができる。そこで、情報提供装置１０は、音声ＳＷ０２から、利用者が所望すると推定される取引対象の候補を推定する。より具体的には、情報提供装置１０は、音声ＳＷ０２から、利用者Ｕ０１が浴室ＢＲ内でシャワーを浴びているといった利用者Ｕ０１の状態を推定し、推定した状態において利用者Ｕ０１が所望するであろう取引対象の候補を推定する。例えば、情報提供装置１０は、「シャンプー」、「タオル」、「石鹸」等を取引対象の候補とする。

続いて、情報提供装置１０は、音声ＳＷ０１等、利用者Ｕ０１の発言から、推定した取引対象の確度を上げる（ステップＳ５）。例えば、図１に示す例では、利用者Ｕ０１は、「あ！無い！」といった発言、すなわち、取引対象の状態を示す内容の発言を行っている。そこで、情報提供装置１０は、利用者Ｕ０１の発言から、取引対象の状態を推定し、ステップＳ４にて推定した候補の中から推定した状態になりえるものを、利用者が所望する取引対象として選択する。例えば、情報提供装置１０は、「あ！無い！」といった発言から、取引対象が、利用者Ｕ０１が気づかないうちに無くなるという状態になりえるものであると推定する。そして、情報提供装置１０は、「シャンプー」、「タオル」、「石鹸」等の中から、利用者Ｕ０１が気づかないうちに無くなるという状態になりやすいもの、すなわち「シャンプー」を、利用者が所望する取引対象として選択する。

そして、情報提供装置１０は、選択した取引対象の注文を提案する提案情報や、選択した取引対象と関連する商品や役務の広告を、利用者Ｕ０１に対して配信する（ステップＳ６）。例えば、情報提供装置１０は、「ＡＡシャンプー新発売！！」等といった内容の広告Ｃ０１を検出装置Ｓ０１に配信し、音声等として出力させることで、利用者Ｕ０１へと広告Ｃ０１の内容を伝えることができる。

〔１－４．推定処理のバリエーション〕
上述したように、情報提供装置１０は、検出装置Ｓ０１が検出した環境音に基づいて、利用者Ｕ０１が所望する取引対象を推定した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置１０が環境音から取引対象を推定する処理の他の例について説明する。なお、以下に示す例は、あくまで一例であり、情報提供装置１０は、利用者Ｕ０１が検出装置Ｓ０１に対して発した発言以外の音声を環境音として用いるのであれば、任意の環境音から利用者Ｕ０１の状態や取引対象が取りうる状態を推定してよく、推定内容に基づいて利用者Ｕ０１が所望する任意の取引対象を推定してよい。

例えば、情報提供装置１０は、利用者Ｕ０１が「あ！無い！」といった発言を行った場合には、取引対象が無くなる状態となりうるものであると推定する。また、情報提供装置１０は、このような発言を行った際に、犬の声や犬が使用する食器が床に置かれる音等が検出されていた場合には、利用者Ｕ０１が犬に餌を与える状態であると推定する。このような推定結果からは、犬用の餌が無くなっている状態であると推定できる。そこで、情報提供装置１０は、利用者Ｕ０１が所望する取引対象が、犬用の餌であると推定してもよい。

また、例えば、情報提供装置１０は、利用者Ｕ０１が「いいな」等といった発言を行った場合には、利用者Ｕ０１の状態を利用者Ｕ０１が心地よく感じていると推定する。また、情報提供装置１０は、このような発言を行った際に、多くの水が流れている音や、他の人々の音、ペンギンやイルカの鳴き声等が含まれる場合には、利用者Ｕ０１が水族館にいると推定する。このような推定結果からは、利用者Ｕ０１が水族館を気に入っていると推定できる。そこで、情報提供装置１０は、利用者Ｕ０１が所望する取引対象が、水族館、海、魚類等の書籍であると推定してもよい。すなわち、情報提供装置１０は、利用者Ｕ０１が直接的に所望する取引対象のみならず、利用者Ｕ０１の所望と関連性を有する取引対象を、利用者Ｕ０１が所望する取引対象として推定してもよい。

また、情報提供装置１０は、上述した音声以外にも、利用者Ｕ０１の行動に起因して利用者Ｕ０１の周囲に存在する物体が発した音をさらに収集し、収集した音に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。例えば、ポンプ式の容器を何回か押したが、中身が出てこなかった際の音が含まれる場合には、洗剤やシャンプー等のポンプ式の容器に充填される取引対象が無くなったと推定してもよい。また、情報提供装置１０は、チューブ式の容器から中身が飛び散る際の音が含まれる場合には、マヨネーズ等のチューブ式の容器に充填される取引対象が無くなったと推定してもよい。すなわち、情報提供装置１０は、任意の取引対象が無くなった際に生じる特徴的な音声に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。

また、情報提供装置１０は、上述した音声以外にも、例えば、冷蔵庫を開け閉めする音が含まれ、かつ、利用者Ｕ０１が「無い！」等の発言を行っている場合には、卵等、冷蔵庫内に配置される取引対象が無くなったと推定してもよい。また、情報提供装置１０は、洗濯機の操作音とともに、「無い！」等の発言が行われた場合には、洗濯用洗剤や漂白剤が無くなったと推定してもよい。

このように、情報提供装置１０は、検出装置Ｓ０１が検出した環境音の中から、取引対象の推定に利用可能な任意の音であって、取引対象や利用者Ｕ０１の状態を推定する際の指標となる特徴的な音を抽出する。そして、情報提供装置１０は、抽出した音から、利用者Ｕ０１や取引対象の状態を推定し、推定結果に基づいて、利用者Ｕ０１が所望する取引対象を推定すればよい。

なお、情報提供装置１０は、上述した各種の処理を組み合わせることで、取引対象の推定精度を向上させてもよい。すなわち、情報提供装置１０は、環境音に含まれる様々な音声から、利用者Ｕ０１や取引対象の状態を徐々に限定することで、取引対象の確度を上昇させてもよい。また、情報提供装置１０は、上述した推定処理に基づいて、利用者の瞬間的なニーズのみならず、潜在的なニーズを満たす取引対象を推定してもよい。

また、情報提供装置１０は、環境音を収集した日時において利用者Ｕ０１が所望する取引対象のみならず、利用者Ｕ０１が無意識的に所望する取引対象や、将来所望すると予測される取引対象等を推定してもよい。例えば、情報提供装置１０は、利用者Ｕ０１が無意識的に発する音（例えば、ため息の音や足音等）を環境音として収集し、収集した環境音に基づいて、利用者Ｕ０１が無意識的に所望すると予測される取引対象を推定してもよい。また、情報提供装置１０は、例えば、ポンプ式容器のポンプを押下する回数が変化した場合には、将来、シャンプーが無くなると予測し、利用者Ｕ０１が将来所望すると予測される取引対象として、シャンプーを特定してもよい。

〔１－５．複数デバイスの組み合わせ〕
また、情報提供装置１０は、検出装置Ｓ０１のみならず、複数の検出装置が取得した環境音に基づいて、取引対象を推定してもよい。例えば、情報提供装置１０は、住宅Ｈ０１内に設置された複数のマイク等によって収集された環境音や、複数台の検出装置Ｓ０１によって収集された環境音に基づいて、取引対象を推定してもよい。また、例えば、情報提供装置１０は、例えば、利用者Ｕ０１が使用する端末装置や、ウェアラブルデバイス等の任意の装置によって取得された環境音に基づいて、取引対象の推定を行ってもよい。

〔１－６．各種の情報を用いた推定処理〕
また、情報提供装置１０は、環境音に加えて、他の情報を加味することで、利用者Ｕ０１が所望する取引対象の推定精度を向上させてもよい。例えば、情報提供装置１０は、利用者Ｕ０１の位置を示す位置情報をさらに収集し、環境音と、位置情報とに基づいて、利用者が所望する取引対象を推定してもよい。具体的な例を挙げると、情報提供装置１０は、ＧＰＳ（Global Positioning System）や、ビーコン、各種センシング技術等を用いて、利用者Ｕ０１が居る住宅Ｈ０１内の位置（部屋等）や、利用者Ｕ０１が居る施設を特定する。また、情報提供装置１０は、例えば、利用者Ｕ０１が使用する端末装置やウェアラブルデバイスが検出した環境音を収集する。そして、情報提供装置１０は、例えば、利用者Ｕ０１が部屋にいるか、利用者Ｕ０１がどの施設に居るか、どのような環境音が収集されたか等に応じて、利用者Ｕ０１が所望する取引対象を推定してもよい。

また、情報提供装置１０は、利用者が発した発言以外の音に基づいて、利用者が所望する取引対象を推定してもよい。例えば、情報提供装置１０は、咳やくしゃみ等の音を収集した場合には、利用者Ｕ０１が所望する取引対象として、風邪薬やマスク等を推定してもよい。また、例えば、情報提供装置１０は、足音等から、利用者Ｕ０１の身体的な状態を推定し、推定結果に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。より具体的には、情報提供装置１０は、足音のリズムが所定の条件を満たす場合には、利用者Ｕ０１が足を痛めたと推定し、湿布を取引対象として推定してもよい。

また、情報提供装置１０は、利用者Ｕ０１が他の利用者と行っている会話中に行った発言、利用者Ｕ０１が行ったつぶやきや独り言、利用者Ｕ０１が電話中に行なった発言等、検出装置Ｓ０１等に対する明確な指示以外の音声を環境音として収集し、収集した音声に基づいて取引対象を推定してもよい。また、情報提供装置１０は、例えば、テレビなどの音声を環境音として収集し、収集した音声に基づいて取引対象を推定してもよい。例えば、情報提供装置１０は、テレビの音声から、利用者Ｕ０１が視聴している取引対象を推定する。そして、例えば、情報提供装置１０は、「いいな」等といった発言、すなわち、利用者Ｕ０１が使用している取引対象に好意的な印象を有する旨を示す発言を行った場合には、推定した取引対象を利用者Ｕ０１が所望していると判断し、かかる取引対象に関する情報や広告等を利用者Ｕ０１に配信してもよい。また、情報提供装置１０は、利用者Ｕ０１と他の利用者との会話を解析し、所望する取引対象や好きな取引対象の発言が含まれる場合は、その取引対象を利用者Ｕ０１が所望する取引対象としてもよい。

また、情報提供装置１０は、利用者Ｕ０１が取得した取引対象の履歴、すなわち、利用者Ｕ０１が購入した取引対象の履歴に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。例えば、情報提供装置１０は、環境音から、利用者Ｕ０１が石鹸またはシャンプーを所望していると推定可能な場合は、利用者Ｕ０１が購入した取引対象の履歴を参照する。そして、情報提供装置１０は、例えば、利用者Ｕ０１がシャンプーを購入してから所定の日時が経過していない一方で、石鹸を購入してから所定の日時が経過していた場合には、石鹸が無くなったと推定し、利用者Ｕ０１が石鹸を所望していると推定してもよい。

〔１－７．情報提供の態様について〕
ここで、情報提供装置１０は、利用者Ｕ０１が所望すると推定された取引対象を示す情報を、任意の形式で利用者Ｕ０１に対して提供してもよい。例えば、情報提供装置１０は、推定した取引対象と関連する広告を配信してもよく、推定した取引対象を注文して良いか否かの問合せを提供してもよい。また、情報提供装置１０は、利用者Ｕ０１に対して、推定した取引対象のリストを、所定の時間間隔（例えば、ひと月ごと）で提供してもよい。また、このような処理を実行する場合、情報提供装置１０は、利用者Ｕ０１が実際に購入した取引対象については、リストから除外してもよい。

また、情報提供装置１０は、検出された環境音や利用者Ｕ０１の現在位置等に応じたタイミングで、取引対象を示す情報を提供してもよい。より具体的には、情報提供装置１０は、利用者Ｕ０１が所望すると推定された取引対象のうち、利用者Ｕ０１の現在位置と関連性を有する取引対象の情報を、利用者Ｕ０１に対して提供してもよい。例えば、情報提供装置１０は、利用者Ｕ０１が書店にいる場合には、利用者Ｕ０１が所望すると推定される取引対象のうち、書籍の情報を利用者Ｕ０１に対して提供してもよい。

また、情報提供装置１０は、推定した取引対象を、例えば、電子商店街の仮想的なカートに入れておき、カートの中身を示すリストを利用者Ｕ０１に提示することで、迅速な取引対象の購入を実現してもよい。また、例えば、情報提供装置１０は、取引対象を利用者Ｕ０１が所望する確度が所定の閾値よりも高い場合は、取引対象の情報を提示するのではなく、直接、電子商店街への発注を行ってもよい。

〔１－８．その他〕
なお、情報提供装置１０は、上述した処理を任意の態様で組み合わせて実行して良い。例えば、情報提供装置１０は、環境音、利用者の発言、利用者の位置等の任意の情報を任意に組み合わせることで、利用者Ｕ０１が所望すると推定される取引対象の推定精度を向上させてもよい。また、情報提供装置１０は、例えば、環境音に含まれる特徴的な音（例えば、ポンプ型の容器を押下する音等）の回数等に基づいて、取引対象を推定してもよい。

なお、情報提供装置１０は、上述した処理を、あらかじめモデリングされたモデルに基づいて実行してもよい。このようなモデルは、検出装置Ｓ０１が検出した環境音の中から、所定の特徴音を抽出してもよく、取引対象の推定に用いられる各種の音声を抽出することができるものである。このようなモデルは、取引対象の推定に用いられる各種の音声の特徴をあらかじめ学習したものであってもよく、例えば、ディープラーニング等の各種学習技術によって学習が行われたものであってもよい。

〔２．情報提供装置の構成〕
以下、上記した推定処理を実現する情報提供装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る情報提供装置の構成例を示す図である。図２に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、利用者が使用する各種の端末装置である端末装置１００や検出装置Ｓ０１との間で情報の送受信を行う。なお、例えば、端末装置１００は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、音声データベース３１、利用者データベース３２、および購入履歴データベース３３を記憶する。

音声データベース３１には、検出装置Ｓ０１が検出した音声、すなわち、環境音が登録されている。例えば、図３は、実施形態に係る音声データベースに登録される情報の一例を示す図である。図３に示す例では、音声データベース３１には、「検出装置」、「音声データ」、および「収集日時」等といった項目を有する情報が登録される。なお、音声データベース３１には、図３に示す情報以外にも、検出装置に関連する各種の情報（例えば、設置位置等）等が登録されていてもよい。

ここで、「検出装置」とは、環境音を検出した検出装置を示す情報である。また、「音声データ」とは、検出装置が検出した音声、すなわち、環境音のデータである。また、「収集日時」とは、環境音を収集した日時を示す情報である。なお、図３に示す例では、「音声データ＃１」や「日時＃１」といった概念的な値を記載したが、実際には、任意の形式の音声ファイルや、日時を示す値等が登録される。

例えば、図３に示す例では、音声データベース３１には、検出装置「Ｓ０１」、音声データ「音声データ＃１」、収集日時「日時＃１」等が対応付けて登録されている。このような情報は、検出装置Ｓ０１によって、「日時＃１」に収集された環境音のデータが「音声データ＃１」である旨を示す。

図２に戻り、利用者データベース３２には、利用者に関する各種の情報が登録される。例えば、図４は、実施形態に係る利用者データベースに登録される情報の一例を示す図である。図４に示す例では、利用者データベース３２には、「利用者」および「検出データ」という項目を有する情報が登録される。なお、利用者データベース３２には、図４に示す情報以外にも、各利用者に関連する各種の情報、例えば、性別や年代といった各種の属性を示す属性情報等が登録されていてもよい。

ここで、「利用者」とは、対応付けられた検出データがどの利用者に関連するデータであるかを示す情報である。また、「検出データ」とは、例えば、ＧＰＳの位置測位技術や各種のセンシング技術により特定された利用者の位置を示す位置情報や、利用者について各種のセンシング技術により検出された各種の情報である。なお、図４に示す例では、「検出データ＃１」といった概念的な値を記載したが、実際には、位置や任意のセンシング結果を示す情報が登録される。

例えば、図４に示す例では、利用者データベース３２には、利用者「利用者＃１」、検出データ「検出データ＃１」等が対応付けて登録されている。このような情報は、検出データ「検出データ＃１」が示す位置に、利用者＃１が示す利用者（例えば、利用者Ｕ０１）が居る旨等を示す。すなわち、利用者データベース３２には、ＩｏＴ（Internet of Things）に関連する各種のセンシング技術により検出された情報であって、各利用者に関連する情報が登録されることとなる。

図２に戻り、購入履歴データベース３３には、利用者Ｕ０１が購入した取引対象の履歴が登録されている。例えば、図５は、実施形態に係る購入履歴データベースに登録される情報の一例を示す図である。図５に示す例では、購入履歴データベース３３には、「購入者」、「購入品」および「購入日時」等といった項目を有する情報が登録される。なお、購入履歴データベース３３には、図５に示す情報以外にも、各利用者が購入した取引対象に関する情報が登録されていてもよい。

ここで、「購入者」とは、対応付けられた取引対象を購入した利用者を示す情報である。また、「購入品」とは、利用者が購入した商品や役務等の取引対象を示す情報である。また、「購入日時」とは、利用者が取引対象を購入した日時を示す情報である。例えば、図５に示す例では、購入履歴データベース３３には、購入者「利用者＃１」、購入品「シャンプー」、購入日時「日時＃１」とが対応付けて登録されている。このような情報は、例えば、購入者「利用者＃１」が示す利用者によって、購入日時「日時＃１」が示す日時に、購入品「シャンプー」が購入された旨を示す。

図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図２に示すように、制御部４０は、収集部４１、推定部４２、および提供部４３を有する。収集部４１は、周囲の環境音を検出する検出装置Ｓ０１によって検出された環境音を収集する。そして、収集部４１は、検出装置Ｓ０１によって検出された環境を、検出装置Ｓ０１を示す情報や、環境音の検出日時と対応付けて、音声データベース３１に登録する。

ここで、収集部４１は、環境音として、利用者Ｕ０１の周囲の環境音を収集してもよく、利用者Ｕ０１が無意識に発した声や足音等の音を収集してもよい。また、収集部４１は、環境音として、複数の検出装置Ｓ０１が検出した環境音を収集してもよく、利用者Ｕ０１の友人との会話や電話での発言、独り言等といった利用者Ｕ０１の発言、すなわち、検出装置Ｓ０１に対する指示以外の各種の発言を環境音として収集してもよい。

また、収集部４１は、くしゃみの音や咳の音等といった利用者Ｕ０１が発した音を収集してもよく、ポンプ型容器のポンプを押下する音や洗濯機を操作する音等、利用者Ｕ０１の行動に起因して利用者Ｕ０１の周囲に存在する物体が発した音を収集してもよい。また、収集部４１は、環境音以外にも、利用者Ｕ０１に関する各種の情報であって、利用者Ｕ０１が所望する取引対象の推定に用いる情報の収集してもよい。例えば、収集部４１は、利用者Ｕ０１の位置を示す位置情報を収集してもよい。

推定部４２は、収集された環境音に基づいて、利用者が所望する取引対象として、電子商取引の対象となる商品または役務を推定する。例えば、推定部４２は、音声データベース３１を参照し、利用者Ｕ０１と対応付けられた音声データを抽出する。そして、推定部４２は、抽出した音声データ、すなわち、環境音から利用者Ｕ０１の状態や、利用者Ｕ０１が所望する取引対象の候補の状態等を推定し、推定結果に基づいて、利用者Ｕ０１が所望する取引対象を推定する。

なお、推定部４２は、利用者データベース３２や購入履歴データベース３３に登録された各種の情報に基づいて、取引対象の推定精度（すなわち、確度）を向上させてもよい。例えば、推定部４２は、環境音から、取引対象の推定対象となる利用者Ｕ０１を特定し、利用者Ｕ０１に関する検出データや、購入履歴等を利用者データベース３２や購入履歴データベース３３から取得する。また、推定部４２は、環境音と位置情報に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよく、環境音と環境音に含まれる利用者の発言に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。また、推定部４２は、利用者Ｕ０１が発した音や、利用者Ｕ０１の行動に起因する物体の音等に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。また、推定部４２は、利用者Ｕ０１が購入した取引対象の履歴に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。

提供部４３は、利用者Ｕ０１が所望すると推定された取引対象を示す情報を、利用者Ｕ０１に対して提供する。例えば、提供部４３は、推定部４２によって推定された取引対象のリストや、関連する広告等を利用者Ｕ０１が使用する端末装置１００に配信してもよい。また、提供部４３は、利用者Ｕ０１の位置が、利用者Ｕ０１が所望すると推定された取引対象と関連する位置である場合は、その取引対象を示す情報を提供してもよい。例えば、提供部４３は、利用者Ｕ０１が書店の中や近傍に位置する場合には、利用者Ｕ０１が所望すると推定される取引対象のうち、書籍に関する取引対象の情報を提供してもよい。

〔３．情報提供装置の処理フロー〕
次に、図６を用いて、情報提供装置１０が実行する推定処理の手順の一例について説明する。図６は、実施形態に係る情報提供装置が実行する推定処理の流れの一例を示すフローチャートである。例えば、情報提供装置１０は、環境音を収集する（ステップＳ１０１）。そして、情報提供装置１０は、環境音に含まれる音声から、利用者Ｕ０１が所望すると推定される取引対象の候補を特定し（ステップＳ１０２）、環境音に含まれる利用者の発言や購入履歴、利用者の現在位置等に基づいて、各候補を利用者Ｕ０１が所望する確度を求める（ステップＳ１０３）。そして、情報提供装置１０は、確度が最も高い候補を利用者Ｕ０１が所望する取引対象として推定し（ステップＳ１０４）、推定した取引対象の情報を利用者Ｕ０１に対して提供し（ステップＳ１０５）、処理を終了する。

〔４．変形例〕
上記では、情報提供装置１０による推定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置１０が実行する推定処理のバリエーションについて説明する。

〔４－１．環境音について〕
上述した例では、情報提供装置１０は、検出装置Ｓ０１が検出した環境音に基づいて、利用者が所望する取引対象を推定した。ここで、上述した各種の推定処理は、あくまで一例であり、情報提供装置１０は、上述した推定処理以外にも、任意の態様で推定処理を実行して良い。

例えば、情報提供装置１０は、環境音として、雨が住宅Ｈ０１に当たる音などを検出した場合には、傘やレインコート等を利用者Ｕ０１が所望する取引対象の候補としてもよい。また、情報提供装置１０は、例えば、マウスのクリック音やキーボードの押下音等、利用者Ｕ０１が音の出ないコンテンツを閲覧する際に取得可能な環境音に基づいて、利用者Ｕ０１の状態を推定し、推定結果に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。また。情報管理装置１０は、利用者Ｕ０１が飲食中に取得可能な環境音、運動中に取得可能な環境音、遊戯中に取得可能な環境音等から、利用者Ｕ０１の状態を推定し、推定結果に基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。また、上述した例以外にも、情報提供装置１０は、環境音から任意のコンテキストを特定し、特定したコンテキストに応じて、利用者Ｕ０１が所望する取引対象を推定してもよい。

また、情報提供装置１０は、環境音に含まれる利用者Ｕ０１の声を処理のトリガとして用いてもよい。例えば、検出装置Ｓ０１は、利用者Ｕ０１の声を検出した場合には、利用者Ｕ０１の声が含まれる日時から所定の範囲の間に取得された音声を環境音として情報提供装置１０に送信してもよい。その他、上述した推定処理は、任意のタイミングで実行、実現が行われてよい。

〔４－２．情報提供について〕
また、例えば、情報提供装置１０は、環境音以外にも、例えば、利用者Ｕ０１が装着する眼鏡型のウェアラブルデバイスを用いて、利用者Ｕ０１が視認しているものと関連性を有する取引対象の情報を提供してもよい。また、情報提供装置１０は、アビリティトラッカの技術を用いて、利用者Ｕ０１が各取引対象に対して有する興味の度合いをリスト化し、かかるリストに基づいて、利用者Ｕ０１が所望する取引対象を推定してもよい。

なお、例えば、情報提供装置１０は、取引対象として、商品のみならず、利用者Ｕ０１が所望する役務の提供を推定してもよい。例えば、情報提供装置１０は、利用者Ｕ０１が所定の役務の提供を所望していると環境音から推定される場合は、かかる役務を提供する提供者に対して、その利用者Ｕ０１に対して役務を提供するように通知を行ってもよい。すなわち、情報提供装置１０は、利用者Ｕ０１が所望する取引対象の情報を、利用者Ｕ０１のみならず、その取引対象と関連する他の利用者に対して提供してもよい。例えば、情報提供装置１０は、ある商品を利用者Ｕ０１が所望していると推定される場合は、その商品を販売する販売者に対し、利用者Ｕ０１がその商品を所望している旨を通知してもよい。

〔４－３．装置構成〕
なお、情報提供装置１０は、任意の数の端末装置１００と通信可能に接続されていてもよく、任意の数の検出装置Ｓ０１と通信可能に接続されていてもよい。また、情報提供装置１０は、端末装置１００と通信を行うフロントエンドサーバと、検出装置Ｓ０１と通信するとともに、上述した推定処理を実行するバックエンドサーバとが協調して動作することで、実現されてもよい。

〔４－４．環境音と利用者に関する音との関係について〕
ここで、上述した説明では、情報提供装置１０は、検出装置Ｓ０１が収集した環境音として、利用者Ｕ０１の周囲の環境音や利用者Ｕ０１が無意識に発した音を収集し、収集した環境音に基づいて、利用者が所望する取引対象を推定した。ここで、情報提供装置１０は、様々な環境に対して利用者Ｕ０１が意識的に発した音に基づいて、利用者が所望する取引対象を推定してもよい。例えば、情報管理装置１０は、テレビなどを閲覧中に、「いいね」といったつぶやきや、指を鳴らしたり拍手を行ったりする音、すなわち、利用者Ｕ０１の行為に起因して発せられた音に基づいて、利用者が所望する取引対象を推定してもよい。

すなわち、情報提供装置１０は、様々な環境音と、その環境音そもののや環境音に起因する状態等に対する利用者の意識的又は無意識的な反応を示す音（すなわち、利用者の発言や利用者が発した音）とに基づいて、利用者が所望する取引対象を推定する。このような処理においては、情報提供装置１０は、環境音に利用者が無意識的に発した音を含めてもよい。このような処理の結果、情報提供装置１０は、利用者が所望する取引対象の推定精度を向上させることができる。

〔４－５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示した収集部４１、推定部４２および提供部４３は、統合されてもよい。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５．プログラム〕
また、上述してきた実施形態に係る情報提供装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔６．効果〕
上述したように、情報提供装置１０は、周囲の環境音を検出する検出装置Ｓ０１によって検出された環境音を収集する。そして、情報提供装置１０は、収集された環境音に基づいて、利用者が所望する取引対象を推定する。

より具体的には、情報提供装置１０は、利用者の周囲の環境音や、利用者が無意識に発した音、複数の検出装置Ｓ０１が検出した環境音等を収集する。

そして、情報提供装置１０は、取引対象として、電子商取引の対象となる商品または役務を推定する。

また、情報提供装置１０は、利用者の位置を示す位置情報をさらに収集し、環境音と、位置情報とに基づいて、利用者が所望する取引対象を推定する。

また、情報提供装置１０は、利用者の発言をさらに収集し、環境音と、利用者の発言とに基づいて、利用者が所望する取引対象を推定する。

また、情報提供装置１０は、利用者が発した音をさらに収集し、環境音と、利用者が発した音とに基づいて、利用者が所望する取引対象を推定する。

また、情報提供装置１０は、利用者の行動に起因して利用者の周囲に存在する物体が発した音をさらに収集し、環境音と、物体が発した音とに基づいて、利用者が所望する取引対象を推定する。

また、情報提供装置１０は、利用者が取得した取引対象の履歴に基づいて、利用者が所望する取引対象を推定する。

また、情報提供装置１０は、推定された取引対象を示す情報を利用者に対して提供する。例えば、情報提供装置１０は、利用者の位置を示す位置情報をさらに収集し、収集された位置情報が示す利用者の位置が、推定された取引対象と関連する位置である場合は、取引対象を示す情報を提供する。

上述した少なくともいずれかの処理の結果、情報提供装置１０は、利用者が取引対象の情報を意識的に発言せずとも、利用者が所望する取引対象を推定することができる。また、情報提供装置１０は、環境音と他の情報とを組み合わせて用いることで、利用者が所望する取引対象の推定精度を向上させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、配信手段や配信回路に読み替えることができる。

１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 音声データベース
３２ 利用者データベース
３３ 購入履歴データベース
４０ 制御部
４１ 収集部
４２ 推定部
４３ 提供部
Ｓ０１ 検出装置
１００ 端末装置

Claims (14)

1. 利用者が滞在する所定の施設内に設置された検出装置であって、周囲の音を検出する検出装置から、当該検出装置によって検出された前記利用者の声と環境音とを収集する収集部と、
   前記収集部により収集された前記利用者の声であって、取引対象に対する評価を示す声と環境音とに基づいて、利用者が所望する取引対象を推定する推定部と
   を有することを特徴とする推定装置。
2. 前記収集部は、前記環境音として、前記利用者の周囲の環境音を収集する
   ことを特徴とする請求項１に記載の推定装置。
3. 前記収集部は、前記利用者の声として、前記利用者が無意識に発した音を収集する
   ことを特徴とする請求項１または２に記載の推定装置。
4. 前記推定部は、前記取引対象として、電子商取引の対象となる商品または役務を推定する
   ことを特徴とする請求項１～３のうちいずれか１つに記載の推定装置。
5. 前記収集部は、複数の前記検出装置が検出した環境音と前記利用者の声とを収集する
   ことを特徴とする請求項１～４のうちいずれか１つに記載の推定装置。
6. 前記収集部は、前記利用者の位置を示す位置情報をさらに収集し、
   前記推定部は、前記環境音と、前記位置情報とに基づいて、前記利用者が所望する取引対象を推定する
   ことを特徴とする請求項１～５のうちいずれか１つに記載の推定装置。
7. 前記収集部は、前記利用者の発言をさらに収集し、
   前記推定部は、前記環境音と、前記利用者の発言とに基づいて、前記利用者が所望する取引対象を推定する
   ことを特徴とする請求項１～６のうちいずれか１つに記載の推定装置。
8. 前記収集部は、前記利用者が発した音をさらに収集し、
   前記推定部は、前記環境音と、前記利用者が発した音とに基づいて、前記利用者が所望する取引対象を推定する
   ことを特徴とする請求項１～７のうちいずれか１つに記載の推定装置。
9. 前記収集部は、前記利用者の行動に起因して当該利用者の周囲に存在する物体が発した音をさらに収集し、
   前記推定部は、前記環境音と、前記物体が発した音とに基づいて、前記利用者が所望する取引対象を推定する
   ことを特徴とする請求項１～８のうちいずれか１つに記載の推定装置。
10. 前記推定部は、前記利用者が取得した取引対象の履歴に基づいて、前記利用者が所望する取引対象を推定する
    ことを特徴とする請求項１～９のうちいずれか１つに記載の推定装置。
11. 前記推定部により推定された取引対象を示す情報を前記利用者に対して提供する提供部
    をさらに有することを特徴とする請求項１～１０のうちいずれか１つに記載の推定装置。
12. 前記収集部は、前記利用者の位置を示す位置情報をさらに収集し、
    前記提供部は、前記収集部により収集された位置情報が示す利用者の位置が、前記推定部により推定された取引対象と関連する位置である場合は、当該取引対象を示す情報を提供する
    ことを特徴とする請求項１１に記載の推定装置。
13. 推定装置が実行する推定方法であって、
    利用者が滞在する所定の施設内に設置された検出装置であって、周囲の音を検出する検出装置から、当該検出装置によって検出された前記利用者の声と環境音とを収集する収集工程と、
    前記収集工程により収集された前記利用者の声のうち、取引対象の状態を示す声であって、取引対象に対する評価を示す声と環境音とに基づいて、利用者が所望する取引対象を推定する推定工程と
    を含むことを特徴とする推定方法。
14. コンピュータに、
    利用者が滞在する所定の施設内に設置された検出装置であって、周囲の音を検出する検出装置から、当該検出装置によって検出された前記利用者の声と環境音とを収集する収集手順と、
    前記収集手順により収集された前記利用者の声のうち、取引対象の状態を示す声であって、取引対象に対する評価を示す声と環境音とに基づいて、利用者が所望する取引対象を推定する推定手順と
    を実行させるための推定プログラム。

Images