JP7008365B2 - 靴及び当該靴と連携する情報処理システム - Google Patents

Description

本発明は、音を処理する靴及び当該靴と連携する情報処理システムに関する。

従来から、靴にセンサを設けて、当該センサから得られるデータを処理してユーザに提示するシステムが提案されている。しかしながら、靴において収集される音に着目しているものはあまりなく、音からどのようなデータ処理でどのような結果が得られるかについての検討はほとんどなされていない。

特開２０１８－１４３４１２号公報

従って、本発明の目的は、一側面によれば、靴で収集される音に基づき様々なサービスを行うことができるようにすることである。

本発明に係る靴は、マイクロフォンと、加速度センサと、記憶装置と、通信部と、加速度センサで検出された加速度値が所定の閾値以上である期間について、マイクロフォンから入力される音信号に対して音響特徴量を生成して記憶装置に格納し、靴を識別する識別子と記憶装置に格納された音響特徴量とを通信部に外部装置へ送信させる処理部とを有する。

また、本発明に係る情報処理システムは、靴で生成され且つ当該靴から得られた音響特徴量から、当該靴の底と地面とが擦れる音に関連する音響特徴量を抽出する抽出手段と、抽出した音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させる処理手段とを有する。

一側面によれば、靴で収集される音に基づき様々なサービスを行うことができるようになる。

図１は、第１の実施の形態に係るシステムの概要を示す図である。 図２は、靴内部のセンサ装置の機能構成例を示す図である。 図３は、特徴量抽出部の機能構成例を示す図である。 図４は、周波数分析部の構成例を示す図である。 図５は、時間構造分析部の構成例を示す図である。 図６は、記憶部に格納される音響特徴量の例を示す図である。 図７は、敷きマット、スマートフォン及びサーバの機能構成例を示す図である。 図８は、負荷状態分析の結果を表示する画面例を示す図である。 図９は、歩き方分析の結果を表示する画面例を示す図である。 図１０は、消耗分析の結果を表示する画面例を示す図である。 図１１は、第２の実施の形態に係るシステムの概要を示す図である。 図１２は、店舗端末及びサーバの構成例を示す図である。 図１３は、第３の実施の形態における靴のヒールの層構造を模式的に示す図である。 図１４は、第３の実施の形態における靴の消耗度合いの推定を説明するための図である。 図１５は、第３の実施の形態における消耗分析部の構成例を示す図である。

［実施の形態１］
本実施の形態におけるシステム全体の概要を図１に示す。

ユーザは、以下で述べる構成を有する靴１を履いて外出し、例えば帰宅時に靴１を脱いで、別途用意した敷きマット３に置くものとする。そして、例えばユーザが有するスマートフォン５は、敷きマット３を介して、靴１から靴識別子及び音響特徴量等を読み出して、インターネット等のネットワーク９を介して、サービス提供者のサーバ７へ、読み出したデータを送信する。

これに対して、サーバ７は、靴１で生成され且つ靴１から得られた音響特徴量等を受信して、所定の処理を実行し、その処理結果をスマートフォン５に返信する。スマートフォン５は、サーバ７の処理結果を受信して、その表示装置に表示する。サーバ７において行われる処理は、例えば、ユーザの筋力低下度合いを分析するユーザ状態分析処理、左右の足の歩き方を分析する歩き方分析処理、靴のアウトソールの消耗分析処理などである。これらの処理結果、すなわち分析結果が、スマートフォン５の表示装置に表示される。

図１におけるスマートフォン５は、一例であって、パーソナルコンピュータなどの他の情報処理装置であっても良い。また、靴１と敷きマット３との通信は無線通信が好ましいが、敷きマット３とパーソナルコンピュータ等の情報処理装置との通信は、無線通信であっても良いし、ＵＳＢ（Universal Serial Bus）等による有線通信であってもよい。無線通信の規格は、特に限定されないが、例えばＢｌｕｅｔｏｏｔｈ、ＢＬＥ（Bluetooth Low Energy。Bluetoothは登録商標。）等であっても良い。

靴１は、内部、例えばスタックヒール内部やその近辺に、センサ装置を備える。このセンサ装置１０の機能構成例を図２に示す。なお、本実施の形態では、右足用の靴も左足用の靴も両方とも、図２に示すセンサ装置１０を有する。

図２に示すように、センサ装置１０は、加速度センサ１１と、マイクロフォン１２と、処理部１３と、記憶部１４と、無線通信部１５と、受電及び電力供給部１６とを有する。マイクロフォン１２は、センサ装置１０内部だけではなく、センサ装置１０の外部であって、より適切に音を収集できる、靴１の適切な位置に配置されることもある。また、マイクロフォン１２の数は２以上となる場合もある。

処理部１３は、センサ装置１０の制御を行うと共に、マイクロフォン１２から入力される音信号をディジタル化するＡ／Ｄ変換部１３１と、加速度センサ１１からの加速度の出力に応じてディジタル化された音信号（すなわち音データ）に対する特徴量抽出処理を実行する特徴量抽出部１３２とを有する。特徴量抽出部１３２は、特徴量抽出処理の処理結果である音響特徴量と当該音響特徴量に係る時刻データなどを記憶部１４に格納する。

無線通信部１５は、敷きマット３と無線通信可能になると処理部１３に通知し、処理部１３から指示されると、記憶部１４に格納されている音響特徴量等と靴１の識別子とを、敷きマット３に送信する。処理部１３は、スマートフォン５等から指示されると、記憶部１４に格納されている音響特徴量等のデータを消去する等の処理も行う。靴１の識別子は、靴１固有の識別子であるが、左右のいずれであるかをも特定できるものとする。なお、靴１の識別子は、購入時に、例えばユーザの識別子等と対応付けて、例えばサーバ７に登録されている。

受電及び電力供給部１６は、敷きマット３からのワイヤレス電力伝送に応じて、内部の電池などを充電し、センサ装置１０において電力を用いる構成要素に電力供給を行う。

図３を用いて、特徴量抽出部１３２の構成例について説明する。特徴量抽出部１３２は、接触タイミング検知部１３２１と、周波数分析部１３２２と、時間構造分析部１３２３とを有する。接触タイミング検知部１３２１は、加速度データが閾値以上であるか否かを判定し、周波数分析部１３２２及び時間構造分析部１３２３に、加速度データが閾値以上である期間における音データに対して処理を行うように指示する。

周波数分析部１３２２は、周波数特徴量を生成し、当該周波数特徴量に係る時刻データに対応付けて記憶部１４に格納する。時間構造分析部１３２３は、時間構造特徴量を生成し、当該時間構造特徴量に係る時刻データに対応付けて記憶部１４に格納する。本実施の形態では、音響特徴量は、この周波数特徴量及び時間構造特徴量を含むが、いずれか一方のみであっても良く、さらにその一部の場合もある。

図４に、周波数分析部１３２２の構成例を示す。周波数分析部１３２２は、切出部１３２２１と、窓関数１３２２２と、ＦＦＴ１３２２３と、第１計算部１３２２４と、第２計算部１３２２５とを有する。切出部１３２２１は、図４において模式的に示すように、時系列の音データを、所定時間の切り出し幅で、一部重複を持たせてずらしながら切り出す処理を行う。窓関数１３２２２は、予め用意された窓関数を、切り出された音データに対して適用する。ＦＦＴ１３２２３は、窓関数で処理された音データに対して、周知のＦＦＴ（Fast Fourier Transformation）を行う。第１計算部１３２２４は、ＦＦＴ結果から、帯域毎の振幅スペクトルの二乗を累積する処理を行う。これによってサブバンドパワーが周波数特徴量として得られる。または、ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstralなど）を算出するようにしても良い。ＭＦＣＣについては、例えば、Davis, S. Mermelstein, P. (1980) Comparison of Parametric Representations for Monosyllabic Word Recognition in Continuously Spoken Sentences. In IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 28 No. 4, pp. 357-366を参照のこと。

さらに、第２計算部１３２２５は、スペクトル形状に関する特徴量を算出する。スペクトル形状に関する特徴量は、スペクトルの傾き（パワースペクトルの平均微分値）、重心周波数（振幅スペクトルを重みとした中心値）、ピーク周波数（スペクトルの最大値）などである。スペクトル形状に関する特徴量も、周波数特徴量である。なお、第２計算部１３２２５が設けられない場合もある。

図５に、時間構造分析部１３２３の構成例を示す。時間構造分析部１３２３は、切出部１３２３１と、第３計算部１３２３２とを有する。切出部１３２３１は、周波数分析部１３２２の切出部１３２２１と同様の処理を行う。第３計算部１３２３２は、時間構造に関する特徴量を算出する。より具体的には、例えば、傾き値として包絡信号の平均微分値を算出したり、ゼロ交差率として単位時間あたりの符号反転回数を算出する。これらが時間構造特徴量である。

特徴量抽出部１３２は、このような処理を行うことで、例えば図６に示すようなデータを記憶部１４に蓄積してゆく。ここで音響特徴量がＮ種類で時刻データが対応付けられている例を示している。

このように加速度が閾値以上の期間について音響特徴量を生成しておき、敷きマット３を介してサーバ７に送ることにしているのは、記憶部１４に蓄積するデータの量を抑制し、無線通信部１５の送信速度が遅い場合でも、できるだけ短時間で送信し終わるようにするためである。敷きマット３が自宅にあって毎日敷きマット３に靴１を置くことができる場合であれば良いが、何日も外出する場合もあるので、できるだけ記憶部１４に蓄積されるデータの量を少なくすることが好ましい。

次に、図７を用いて、敷きマット３、スマートフォン５、及びサーバ７の機能構成例を示す。

敷きマット３は、靴１の無線通信部１５と通信する第１通信部３１と、靴１の受電及び電力供給部１６にワイヤレス電力伝送を行う給電部３４と、スマートフォン５等と通信を行う第２通信部３３と、これらの制御を行う制御部３２とを有する。スマートフォン５は、敷きマット３と通信を行う第１通信部５１と、ネットワーク９を介してサーバ７と通信を行う第２通信部５５と、本実施の形態に係るクライアントアプリケーション５３を実行することで実現されるユーザインターフェース部５３１及び制御部５３２とを有する。サーバ７は、ネットワーク９を介してスマートフォン５等と通信を行う通信部７１と、通信部７１で受信した、靴１からの音響特徴量等を処理して処理結果をスマートフォン５等に送信するユーザ状態分析部７３、歩き方分析部７５及び消耗分析部７７と、ユーザの音響特徴量等を蓄積するデータベース（ＤＢ）７９とを有する。

例えば、スマートフォン５でクライアントアプリケーション５３が起動されると、例えば、制御部５３２は、第１通信部５１を介して敷きマット３とのリンクを確立し、さらに、敷きマット３の制御部３２に靴１のセンサ装置１０とのリンクを確立させる。この際、制御部５３２は、靴１の靴識別子を靴１のセンサ装置１０から取得する。なお、左足用の靴と右足用の靴はそれぞれ独立して処理を行う。

そして、スマートフォン５を有するユーザは、ユーザインターフェース部５３１を介して靴１から音響特徴量等の読み出しを指示すると、制御部５３２は、第１通信部５１を介して敷きマット３に読み出し指示を行う。敷きマット３の制御部３２は、第２通信部３３を介して読み出し指示を受信すると、第１通信部３１を介して靴１のセンサ装置１０に読み出し指示を出力する。靴１のセンサ装置１０における無線通信部１５を介して読み出し指示を受信した処理部１３は、無線通信部１５に、記憶部１４に格納されている音響特徴量等を敷きマット３へ送信させる。

敷きマット３の制御部３２は、第１通信部３１を介して音響特徴量等を受信すると、第２通信部３３を介して転送する。スマートフォン５の制御部５３２は、第１通信部５１を介して音響特徴量等を受信すると、例えばユーザインターフェース５３１を介して当該音響特徴量等のサーバ７への送信の可否をユーザに問う。ユーザが送信を許可すると、制御部５３２は、靴識別子と共に音響特徴量等を第２通信部５５を介してサーバ７に送信する。サーバ７の通信部７１は、スマートフォン５から靴識別子及び音響特徴量を受信すると、当該データをＤＢ７９に蓄積する。なお、ＤＢ７９には、靴識別子に対応付けて、ユーザの識別情報やユーザの他のデータを保持する。

その後、スマートフォン５の制御部５３２は、ユーザインターフェース部５３１を介してユーザに所望のサービスの選択を促す。本実施の形態では、サーバ７のユーザ状態分析部７３によるユーザ状態分析、歩き方分析部７５による歩き方分析、消耗分析部７７による靴の消耗分析といったサービスを選択肢として提示する。

ユーザによってサービスの選択がなされると、制御部５３２は、ユーザインターフェース部５３１を介してその選択を受け付け、第２通信部５５を介して、サーバ７における対応する分析部に対して処理の要求を送信する。サーバ７の通信部７１は、サービスの要求を受信すると、要求先の分析部へサービスの要求を出力する。

ユーザ状態分析部７３は、抽出部及び処理部を有している。ユーザ状態分析部７３の抽出部は、音響特徴量に対応付けられている時刻データから、加速度が閾値以上であった期間を特定する。そして、ユーザ状態分析部７３の抽出部は、その期間の各々について、保持している音響特徴量から、特定のサブバンドパワー（例えば３０００Ｈｚ以上のサブバンドパワー）を抽出する。そして、ユーザ状態分析部７３の処理部は、例えば３０００Ｈｚ以上のサブバンドパワーの総和等の統計量に対応する数値を例えば時系列で表示するためのデータを生成する。その後、ユーザ状態分析部７３の処理部は、生成したデータを、通信部７１を介してスマートフォン５へ送信し、ユーザインターフェース部５３１を介してスマートフォン５の表示装置に表示させる。

例えば、図８に示すようなデータが表示される。図８の例では、上段に、例えば１日において、音響特徴量が生成された時間帯、すなわち、加速度が閾値以上であった時間帯を示すグラフを含む。この例では、２つの時間帯がハッチングにて示されている。そして、第１の時間帯について筋力低下度合いの推移を示すグラフが、図８の中段に示されている。図８のグラフの縦軸は筋力低下度合いを表し、横軸は時間を表す。また、過去の平均値、又は筋力低下度合いが高いと判断する基準値Ｔｈもグラフ上に示すことで、筋力低下度合いの状態をよりわかりやすくしている。

図８では第２の時間帯についてのグラフについては省略しているが、下段に分析結果を含んでいる。分析結果は、例えば基準値Ｔｈとの比較結果を表しており、筋力低下度合いが基準値Ｔｈを超えている時間が長ければ、筋力低下ですり足になっています、といったメッセージを示すようにする。

これまで歩行音から筋力低下度合いを提示することは行われていない。筋力低下度合いが高い場合、筋力低下によって脚を適切に上げて歩行することができておらず、靴１の底面（特にヒール）と地面とが擦れることによって例えば３０００Ｈｚ以上のサブバンドパワーが大きな値を示すようになる。このように、筋力低下度合いを提示することによって、ユーザに対して歩き方の改善に繋がる筋力増強を促すことができるようになる。なお、疲れや癖があっても筋力低下とみなされてしまう場合もあるが、その場合でも歩き方の改善が促されることになる。

歩き方分析部７５は、抽出部及び処理部とを有しており、抽出部は、処理対象となる期間における音響特徴量から、左足についての特定の音響特徴量と右足についての特定の音響特徴量とを抽出し、処理部は、それらを比較可能な態様で表示するためのデータを生成する。特定の音響特徴量は、靴１の底が地面と擦れる音に関連する音響特徴量（例えば３０００Ｈｚ以上のサブバンドパワー（例えばその総和等の統計量））である。例えば、左足についての特定の音響特徴量の時間変化と、右足についての特定の音響特徴量の時間変化とをグラフ化して、それらの波形の違いを可視化するようにしても良い。その後、歩き方分析部７５の処理部は、生成したデータを、通信部７１を介してスマートフォン５へ送信し、ユーザインターフェース部５３１を介してスマートフォン５の表示装置に表示させる。

例えば、図９に示すようなデータが表示される。図９の例では、上段には、左側に左足についての特定の音響特徴量の時間変化を表し、右側に右足についての特定の音響特徴量の時間変化を表すグラフを含む。このようにすれば、左と右の波形の差で、左右のバランスの善し悪しが分かるようになる。

また、図９の例では、下段に、分析結果も示すようになっている。例えば、左足についての特定の音響特徴量の時間積分値と、右足についての特定の音響特徴量の時間積分値との差が閾値以内か否かで、又は波形の形状の一致度などによって、バランスの善し悪しを判断して、「左右が均等の歩き方になっていません」といったメッセージを生成する。

一般に、自分自身の歩き方の癖に気が付くことは難しく、靴底のすり減り具合を確認して歩き方の癖を知ることが多い。左右の音響特徴量の差異から、左右の靴の地面への当たり方の違いを判別できる。よって、左右均等な歩き方の改善の有無を、左右の音響特徴量の差異が小さくなるか否かで確認することができる。

消耗分析部７７は、抽出部及び処理部を有しており、抽出部は、処理対象となる期間における音響特徴量から、靴１の底面が地面と擦れる音に関連する特定の音響特徴量（例えば３０００Ｈｚ以上のサブバンドパワー）を抽出し、処理部は、その時間変化に基づき靴１の消耗度合いを推定し、この消耗度合いを表示するためのデータを生成する。より具体的には、靴１のアウトソールがすり減ると、歩く際にヒールが地面を擦る音が次第に長くなる。従って、消耗分析部７７の処理部は、靴１の底面が地面と擦れる音に関する特定の音響特徴量の総和等の統計量が所定の閾値以上となっている持続期間を計算し、当該持続期間の、使用開始時等の基準時からの変化量などから消耗度合いを算出する。消耗度合いは、左足の靴と右足の靴のそれぞれについて算出される。消耗度合いの時間変化を提示するようにしても良い。その後、消耗分析部７７の処理部は、生成したデータを、通信部７１を介してスマートフォン５へ送信し、ユーザインターフェース部５３１を介してスマートフォン５の表示装置に表示させる。なお、消耗度合いについてのデータについては、今回計算した期間のデータをＤＢ７９に格納しておけば、後にそのデータを用いることができるようになる。

例えば、図１０に示すようなデータが表示される。図１０の例では、上段には、図９と同様に、左側に左足についての特定の音響特徴量の時間変化（直近の時間帯における時間変化）を表し、右側に右足についての特定の音響特徴量の時間変化を表すグラフを含む。図１０の中段には、左足の靴のアウトソールについての消耗度合いの時間変化と、右足の靴のアウトソールの消耗度合いの時間変化とを示すグラフが含まれる。中段のグラフは、左足の閾値Ｔｈｌ及び右足のＴｈｒを示して、閾値を越えているか否かを認識できるようになっている。図１０の下段には、左足の靴と右足の靴の各々について閾値を越えているか否かを判定した結果として、左のアウトソールが消耗しています、そろそろ買い替えを検討ください、というメッセージを含む。

このようにすれば、客観的な消耗度合いを認識でき、買い替えのタイミングを知ることができるようになる。

なお、材質の差に基づき靴１の底の部位毎に消耗度合いを分析できる場合もある。また、消耗度合いの現在の変化率などに基づき、閾値を超える時期を予測するなどの処理を行うようにしても良い。

以上のように、靴１において得られた音データに基づく音響特徴量を分析することで、歩き方や靴の状態についての情報を提示できるようになる。

なお、靴１への電力供給方法については、ワイヤレス電力伝送を想定していたが、場合によっては敷きパッド３などから有線で電力供給して電池に蓄電したり、十分な容量を有する一次電池を内蔵させるようにしても良い。

また、採用すべき通信規格は、実施時期におけるコストその他の実施状況に応じて適切なものを選べば良い。

さらに、サーバ７は、１台のコンピュータでは無く、複数台のコンピュータで処理を分担している場合もある。

［実施の形態２］
第１の実施の形態では、例えば自宅に敷きマット３を用意して、スマートフォン５などの情報処理装置を介してサーバ７にアクセスするような態様であったが、ユーザがそれだけのものを用意しなければならず、ユーザに負担が大きい。

本実施の形態では、ユーザは靴１を購入すれば、その購入店又は提携先の店舗などに行くことで、第１の実施の形態と同様又はそれ以上のメリットを得られるようにする。

図１１に、第２の実施の形態に係るシステムの概要を示す。

本実施の形態に係る靴１ｂは、基本的に第１の実施の形態における靴１と同様である。但し、ユーザ宅に敷きマット３を置かないことにする場合には、ワイヤレス電力伝送を採用せず一次電池を靴１ｂに内蔵させることで対応する場合もある。但し、店舗にワイヤレス電力伝送のためのマットなどを用意しても良い。また、ユーザは、購入時に、購入した靴１ｂの識別子と、ユーザの会員ＩＤを含む会員データとを対応付けて、本システムに登録しておくものとする。

ユーザは、第１の実施の形態と同様に靴１ｂを履いて歩き回るが、時々本実施の形態に係る店舗端末２００が設置されている店舗に出向くことになる。ここでは、店舗端末２００は、無人レジ端末の例を示しているが、本サービスのみを提供するような店舗端末であってもよい。

店舗端末２００は、敷きマット３ｂと接続されており、敷きマット３ｂは店舗端末２００を操作する際に立つ位置に、配置される。例えば、ユーザは、店舗端末２００が設置されている店舗に買い物するために出向き、決済をするために店舗端末２００の前に立つ。そうすると、店舗端末２００は、敷きマット３ｂを介して、靴１ｂから音響特徴量及び靴識別子を読み出す。なお、敷きマット３ｂから靴１ｂに対してワイヤレス電力伝送を行うようにしても良い。

無人レジとしての機能として、店舗端末２００は、例えば、ユーザに対する情報の入出力を行うための表示部２１０と、商品に付されたＩＤタグの読取り部２２０と、領収書などを出力する印刷部２３１と、紙幣投入部２３２と、硬貨投入部２３３と、おつり出力部２３４などを有している。

店舗端末２００は、ネットワーク９を介して、本実施の形態に係るサービスに関連する処理を実行するサーバ７ｂに接続されている。よって、店舗端末２００は、読み出した靴１ｂからの音響特徴量及び靴識別子を、ネットワーク９を介してサーバ７ｂに送信する。

サーバ７ｂには、靴識別子に対応付けて会員ＩＤを含む会員データが保持されているので、サーバ７ｂは、靴識別子から特定される会員データに含まれる決済データ（例えばクレジットカード番号）を用いて、当該購入商品に対する決済処理を行うこともある。また、サーバ７ｂは、店舗端末２００から送信された購入商品のデータに基づき、当該購入商品に対するポイント付与処理を行って、会員データに含まれるポイントの数値を変更するようにしても良い。さらに、来店回数、すなわち店舗端末２００によって靴識別子を特定した回数、又は、店舗端末２００によって取得された靴識別子から会員ＩＤを特定した回数に応じた特典付与を行うようにしても良い。

サーバ７ｂは、さらに、受信した音響特徴量を用いて、第１の実施の形態と同様に各種分析処理を行って、分析結果を店舗端末２００に送信する。店舗端末２００は、サーバ７ｂから分析結果を受信すると、表示部２１０に表示する。さらに、サーバ７ｂは、分析結果に基づきユーザに対して特典を付与するような処理を実行する場合もある。例えば、靴の消耗度合いが買い換えを推奨するレベルであれば、靴の割引特典を付与するようにしても良い。

このようにすれば、ユーザは、店舗に出向くだけで、第１の実施の形態と同様の情報提供を受けることができる。さらに、靴識別子から導出される会員データから、各種の会員サービスも提供できるようになる。

特に、無人レジの導入が進められており、無人レジで、自ら商品に付されたＩＤタグの読み取りや、スマートフォンや会員証の提示、代金の支払いなどを行うことになるが、不慣れなユーザには負担が大きい。商品に付されたＩＤタグの読み取りはやむを得ないとしても、会員ＩＤの特定及び代金支払については、靴１ｂの靴識別子から導出される会員データでシームレスに処理が進むので、不慣れなユーザにも無人レジの使用を促進させることができるようになる。また、音響特徴量に基づく分析情報の提供によって、来店の促進が図られる。

図１２を用いて、店舗端末２００及びサーバ７ｂの機能構成例を示す。靴１ｂに設けられるセンサ装置の機能は、基本的に第１の実施の形態と同じであるから、説明を省略する。同様に、敷きマット３ｂの機能も、基本的に第１の実施の形態における敷きマット３と同様であるから、説明を省略する。

店舗端末２００は、敷きマット３ｂと通信を行う第１通信部２５１と、サーバ７ｂと通信するための第２通信部２５５と、靴１ｂから音響特徴量等を取得する処理の制御等を行う制御部２５３と、無人レジでの決済処理などを行う決済系処理部２５７とを有する。決済系処理部２５７は、表示部２１０等により情報の入出力を行うユーザインタフェース部２５７１を有している。制御部２５３は、決済系処理部２５７と連携して処理を行う。また、決済系処理部２５７も、第２通信部２５５を介してサーバ７ｂと通信を行う。

サーバ７ｂは、店舗端末２００と通信を行うための通信部７０１と、決済処理部７０２と、会員情報処理部７０３と、データベース（ＤＢ）７０４と、ユーザ状態分析部７３と、歩き方分析部７５と、消耗分析部７７とを有する。

ＤＢ７０４は、例えば、靴識別子に対応付けて、会員ＩＤ及び音響特徴量等が登録されており、当該会員ＩＤに対応付けて購入商品リスト、特典クーポンデータ、会員特典のポイントなどを格納している。

例えば、ユーザが、店舗端末２００の表示部２１０をタッチするなどのイベントに応じて、ユーザインターフェース部２５７１は、制御部２５３に処理開始を通知する。そうすると、制御部２５３は、第１通信部２５１を介して敷きマット３ｂに靴１ｂとリンクを確立するように指示する。リンクが確立できれば、制御部２５３は、靴１ｂの靴識別子を取得すると共に、靴１ｂに蓄積されている音響特徴量等も読み出す。そうすると、制御部２５３は、靴１ｂの靴識別子を決済系処理部２５７に出力する。なお、靴識別子などを読み出すことができなければ、従来どおりの決済処理を行う。なお、２足以上の靴の靴識別子が得られる場合には、敷きマット３ｂに一人で載るように要求する場合もある。

制御部２５３は、靴識別子及び音響特徴量等を、第２通信部２５５に、サーバ７ｂへ送信させる。サーバ７ｂの通信部７０１は、店舗端末２００から靴識別子及び音響特徴量等を受信すると、靴識別子に対応付けて音響特徴量等をＤＢ７０４に登録する。

一方、店舗端末２００の決済系処理部２５７は、読取り部２２０に商品に付されたＩＤタグの読み取りを行わせるといった処理も行う。また、決済系処理部２５７は、靴識別子を含む会員情報処理要求を第２通信部２５５を介してサーバ７ｂへ送信し、サーバ７ｂの会員情報処理部７０３は、通信部７０１を介して、靴識別子を含む会員情報処理要求を受信する。会員情報処理部７０３は、受信した靴識別子を用いてＤＢ７０４を検索して会員データを抽出し、通信部７０１を介して店舗端末２００に送信する。

決済系処理部２５７は、第２通信部２５５を介して会員データを受信すると、会員データに含まれる例えばクレジットカード番号などに基づき、購入商品の決済を行うか否かを示すメッセージをユーザインターフェース部２５７１に表示部２１０へ出力させる。会員データにクーポンその他の特典が含まれていれば、その使用の有無を問うメッセージをユーザインターフェース部２５７１に表示部２１０へ出力させるようにしても良い。ここで、購入商品の決済をクレジットカード番号などに基づき行う場合には、決済系処理部２５７は、例えばサーバ７ｂの決済処理部７０２と連携して決済処理を行う。

決済処理が完了すると、決済系処理部２５７は、購入商品のデータを会員情報処理部７０３に送信し、例えば会員ＩＤに対応付けてＤＢ７０４に登録する。なお、ここで購入商品に応じたポイント付与処理を行ったり、その他の特典の付与処理を行う。また、例えば靴識別子及び音響特徴量等を受信した段階で来店回数を増加させて、来店特典を付与するようにしても良い。

さらに、決済系処理部２５７は、ユーザインターフェース部２５７１を介してユーザに所望のサービスの選択を促す。本実施の形態でも、サーバ７ｂのユーザ状態分析部７３によるユーザ状態分析、歩き方分析部７５による歩き方分析、消耗分析部７７による靴の消耗分析といったサービスを選択肢として提示する。

ユーザがこれらのサービスを選択した場合の処理については、第１の実施の形態と同様であるから、説明は省略する。

但し、音響特徴量の分析処理の結果が所定の条件を満たしている場合には特典を付与する処理を実行するようにしても良い。例えば、消耗度合いが閾値を越えている場合には、消耗分析部７７は、会員情報処理部７０３に通知することで、会員情報処理部７０３は、靴の割引クーポンなどをＤＢ７０４に登録する。なお、消耗度合い以外の条件を設定しても良い。また、会員情報処理部７０３は、靴の割引クーポンのデータを決済系処理部２５７に送信し、印刷部２３１から出力させるようにしても良い。

なお、本実施の形態は、スマートフォン５などの使用を排除するものでは無く、スマートフォン５にインストールされたアプリケーションプログラムを介して、店舗端末２００で登録した音響特徴量等に基づく分析結果を参照するなどの処理ができるようにしても良い。

また、サーバ７ｂは、１台のコンピュータでは無く、複数台のコンピュータで処理を分担している場合もある。

［実施の形態３］
第１の実施の形態では、消耗分析部７７が、特定の音響特徴量の持続時間の変化から消耗度合いを推定する処理について説明したが、他の方法を用いるようにしても良い。そのため、例えば図１３に模式的に示すように、靴１ｃのアウトソールのうち、ヒール部分を層構造にして、例えば、すり減ると地面と擦れる音が低い音から高い音にシフトするように各層の素材を採用する。

そうすると、図１４の上段に模式的に示すように、使用開始時には、ヒールと地面との接触面積は少なく、さらに擦れると低い音が出る層のみが地面と擦れるので、低い周波数のサブバンドパワーにピークやスペクトル重心が現れる。一方、図１４の下段に模式的に示すように、消耗度合いが高くなると、ヒールと地面との接触面積は大きくなり、さらに擦れると低い音が出る層だけではなく高い音が出る層も地面と擦れるので、使用開始時よりも高い周波数のサブバンドパワーにピークやスペクトル重心が現れる。本実施の形態では、このような音色変化を捉えるものとする。

すなわち、消耗分析部７７は、抽出部７７１と、特定部７７３と、処理部７７５とを有する。抽出部７７１は、処理対象期間について保持している音響特徴量から、例えば３０００Ｈｚ以上のサブバンドパワーを抽出する。そして、特定部７７３は、抽出されたサブバンドパワーから、ピーク周波数又はスペクトル重心を特定する。そして、処理部７７５は、ピーク周波数又はスペクトル重心と、使用開始時（すなわち初期状態）におけるピーク周波数又はスペクトル重心との差を算出し、当該差に基づき消耗度合いを推定する。例えば、差と消耗度合いとの対応関係を予め測定しておき、その対応関係を表すデータに基づき、今回算出された差から消耗度合いを推定する。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上記の機能構成は一例に過ぎず、上で述べた機能を実現するために、様々な実装態様が可能である。

また、スマートフォン５とサーバ７との上記機能分担や、店舗端末２００とサーバ７ｂとの上記機能分担も一例に過ぎず、上で述べた機能を全体で実現するために、様々な実装態様が可能である。すなわち、これらを有する情報処理システム全体として提供するサービスが同じであれば、どのような構成であっても良い。

なお、上で述べたサーバ７及び７ｂは、コンピュータ装置であって、メモリとＣＰＵ（Central Processing Unit）とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）と表示装置に接続される表示制御部とリムーバブル・ディスク用のドライブ装置と入力装置とネットワークに接続するための通信制御部とがバスで接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤに格納されており、ＣＰＵにより実行される際にはＨＤＤからメモリに読み出される。ＣＰＵは、アプリケーション・プログラムの処理内容に応じて表示制御部、通信制御部、ドライブ装置を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリに格納されるが、ＨＤＤに格納されるようにしてもよい。本発明の実施の形態では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスクに格納されて頒布され、ドライブ装置からＨＤＤにインストールされる。インターネットなどのネットワーク及び通信制御部を経由して、ＨＤＤにインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ、メモリなどのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本実施の形態をまとめると以下のようになる。

本発明の実施の形態に係る靴は、マイクロフォンと、加速度センサと、記憶装置と、通信部と、加速度センサで検出された加速度値が所定の閾値以上である期間について、マイクロフォンから入力される音信号に対して音響特徴量を生成して記憶装置に格納し、靴を識別する識別子と記憶装置に格納された音響特徴量とを通信部に外部装置へ送信させる処理部とを有する。

このように靴内部で音響特徴量を生成することで、記憶装置に蓄積するデータの量を削減でき、通信部から外部装置に送信するデータの量を減らすことができる。このようにすることで、靴と外部装置との通信時間も短縮できるようになる。

なお、本実施の形態に係る靴は、マイクロフォンと加速度センサと記憶装置と通信部と処理部とを右足用と左足用の両方に有するようにしても良い。例えば、左右の足の歩き方が異なる場合もあるので、それらを分析できるようにするためである。

また、上で述べた処理部は、期間に係る時刻データを記憶装置に格納して、時刻データをさらに通信部に外部装置へ送信させるようにしても良い。歩行期間や時刻を認識した上で、分析ができるようになる。

さらに、上で述べた外部装置は、靴との通信機能と無線給電機能とを有する敷きマット及び当該敷きマットに接続される情報処理装置である場合もある。そして、この場合、上記靴が、無線給電機能から給電される電力を受電する受電部をさらに有するようにしても良い。このようにすれば、靴への給電が簡単に行えるようになる。

本実施の形態の第１の態様に係る情報処理システムは、靴で生成され且つ靴から得られた音響特徴量から、靴での歩行中の負荷レベルに対応するサブバンドパワーを時系列で取得し、サブバンドパワーで表される負荷レベルの時間変化を表示するためのデータを生成し、表示要求元となる情報処理装置で表示させる。このようにすれば、負荷が高い歩き方をしているか否かなどを認識できるようになり、歩き方を直す動機付けができ、また、歩き方の修正具合を確認することができるようになる。

本実施の形態の第２の態様に係る情報処理システムは、右足用靴で生成され且つ右足用靴から得られた第１の音響特徴量と、左足用靴で生成され且つ左足用靴から得られた第２の音響特徴量とを比較可能な態様で表示するためのデータを生成し、表示要求元となる情報処理装置で表示させる。このようにすれば、左右の足の歩き方の違いを認識できるようになり、歩き方を直す動機付けができ、また、歩き方の修正具合を確認することができるようになる。

本実施の形態の第３の態様に係る情報処理システムは、靴で生成され且つ靴から得られた音響特徴量の時間変化に基づき靴の消耗度合いを推定し、推定された靴の消耗度合いを表示するためのデータを生成し、表示要求元となる情報処理装置で表示させる。このように靴の消耗度合いを客観的に把握することができるようになり、買い換え時期などを認識できるようになる。

なお、上記第３の態様に係る情報処理システムは、消耗度合いが所定の閾値を越えた場合に買い換え推奨メッセージを情報処理装置にさらに表示させるようにしても良い。

さらに、第１乃至第３の態様に係る情報処理システムは、靴の識別子を靴から得られた場合、靴の識別子に予め対応付けられた靴のユーザの識別子を特定し、当該ユーザの識別子に対応付けられた決済データに基づきユーザの購入品に対する決済処理、又は、ユーザの購入品に対する特典付与をユーザの識別子に対応付けて行う処理を実行するようにしても良い。靴の識別子を有効に活用することで、ユーザの利便性を向上させたり、ユーザへの特典付与が容易に行えるようになる。すなわち、実施の形態に係る靴を含めたシステムの利用への動機付けがなされるようになる。

さらに、ユーザの識別子を特定した回数若しくは音響特徴量又は当該音響特徴量の処理結果が所定の条件を満たした場合には、ユーザの識別子又は靴の識別子に対応付けて特典を設定する処理をさらに実行するようにしても良い。さらに利用促進がなされるようになる。

本実施の形態の第４の態様に係る情報処理システムは、靴で生成され且つ当該靴から得られた音響特徴量から、靴の底と地面とが擦れる音に関連する音響特徴量を抽出する抽出手段と、抽出した音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させる処理手段とを有する。

このように靴の底と地面とが擦れる音は、靴の消耗度合い、ユーザの歩き方、ユーザの筋力低下度合いを提示するといった様々なサービスに活用可能である。

なお、上記処理手段は、抽出手段が抽出した音響特徴量の持続時間の変化に基づき、靴の消耗度合いを推定し、推定された靴の消耗度合いを表示するためのデータを生成し、当該データを表示要求元となる情報処理装置で表示させるようにしても良い。このように靴の消耗度合いをユーザに提示することで、靴の買い替え等を促すことができるようになる。

また、上記抽出手段が、右足用靴で生成され且つ右足靴から得られた音響特徴量から、右足靴の底と地面とが擦れる音に関する第１の音響特徴量を抽出し、左足用靴で生成され且つ左足靴から得られた音響特徴量から、左足靴の底と地面とが擦れる音に関する第２の音響特徴量を抽出するようにしても良い。この場合、上記処理手段が、第１の音響特徴量と第２の音響特徴量とを比較可能な態様で表示するためのデータを生成し、当該データを表示要求元となる情報処理装置で表示させるようにしても良い。これにより、左右の足の歩き方の違いを認識できるようになる。

さらに、上記処理手段が、抽出手段が抽出した音響特徴量から筋力低下度合いを推定し、推定された筋力低下度合いを表示するためのデータを生成し、当該データを表示要求元となる情報処理装置で表示させるようにしても良い。筋力低下度合いが大きいほど、すり足になりやすいので、抽出された音響特徴量が大きい値ほど筋力低下度合いが大きくなる。よって、音響特徴量から筋力低下度合いを推定して提示することで、ユーザに筋力増強を促す、といった対応が可能となる。

なお、上記処理を実行するためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなど）、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

１，１ｂ 靴
１０ センサ装置
３，３ｂ 敷きマット
５ スマートフォン
７，７ｂ サーバ
２００ 店舗端末

Claims (12)

1. 靴であって、
   マイクロフォンと、
   加速度センサと、
   記憶装置と、
   通信部と、
   前記加速度センサで検出された加速度値が所定の閾値以上である期間について、前記マイクロフォンから入力される音信号に対して音響特徴量を生成して前記記憶装置に格納し、前記靴を識別する識別子と前記記憶装置に格納された前記音響特徴量とを前記通信部に外部装置へ送信させる処理部と、
   を有する靴。
2. 前記マイクロフォンと前記加速度センサと前記記憶装置と前記通信部と前記処理部とを右足用と左足用の両方に有する請求項１記載の靴。
3. 前記外部装置が、前記靴との通信機能と無線給電機能とを有する敷きマット及び当該敷きマットに接続される情報処理装置であり、
   前記靴が、前記無線給電機能から給電される電力を受電する受電部
   をさらに有する請求項１又は２記載の靴。
4. 請求項１乃至３のいずれか１つ記載の靴で生成され且つ前記靴から得られた音響特徴量から、前記靴の底と地面とが擦れる音に関連する音響特徴量を抽出する抽出手段と、
   抽出した前記音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させる処理手段と、
   を有する情報処理システム。
5. 前記処理手段が、
   前記抽出手段が抽出した音響特徴量の持続時間の変化に基づき、前記靴の消耗度合いを推定し、推定された前記靴の消耗度合いを表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
   請求項４記載の情報処理システム。
6. 前記抽出手段が、
   右足用靴で生成され且つ前記右足靴から得られた音響特徴量から、前記右足靴の底と地面とが擦れる音に関する第１の音響特徴量を抽出し、
   左足用靴で生成され且つ前記左足靴から得られた音響特徴量から、前記左足靴の底と地面とが擦れる音に関する第２の音響特徴量を抽出し、
   前記処理手段が、
   前記第１の音響特徴量と前記第２の音響特徴量とを比較可能な態様で表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
   請求項４記載の情報処理システム。
7. 前記処理手段が、
   前記抽出手段が抽出した音響特徴量から筋力低下度合いを推定し、推定された前記筋力低下度合いを表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
   請求項４記載の情報処理システム。
8. 前記消耗度合いが所定の閾値を越えた場合に買い換え推奨メッセージを前記情報処理装置にさらに表示させる手段を更に有する請求項５記載の情報処理システム。
9. 前記靴の識別子を前記靴から得られた場合、前記靴の識別子に予め対応付けられた前記靴のユーザの識別子を特定し、当該ユーザの識別子に対応付けられた決済データに基づき前記ユーザの購入品に対する決済処理、又は、前記ユーザの購入品に対する特典付与を前記ユーザの識別子に対応付けて行う処理を実行する手段を更に有する請求項４乃至８のいずれか１つ記載の情報処理システム。
10. 前記ユーザの識別子を特定した回数若しくは前記音響特徴量又は当該音響特徴量の処理結果が所定の条件を満たした場合には、前記ユーザの識別子又は前記靴の識別子に対応付けて特典を設定する処理をさらに実行する手段を更に有する請求項９記載の情報処理システム。
11. 前記処理手段が、
    抽出された前記音響特徴量のピーク周波数又はスペクトル重心を算出し、当該ピーク周波数又はスペクトル重心の初期状態からの変化に基づき前記靴の消耗度合いを推定し、推定された前記靴の消耗度合いを表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
    請求項４記載の情報処理システム。
12. 請求項１乃至３のいずれか１つ記載の靴で生成され且つ前記靴から得られた音響特徴量から、前記靴の底と地面とが擦れる音に関連する音響特徴量を抽出するステップと、
    抽出した前記音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させるステップと、
    を、コンピュータに実行させるためのプログラム。

Images