JP7008365B2 - 靴及び当該靴と連携する情報処理システム - Google Patents

靴及び当該靴と連携する情報処理システム Download PDF

Info

Publication number
JP7008365B2
JP7008365B2 JP2020187976A JP2020187976A JP7008365B2 JP 7008365 B2 JP7008365 B2 JP 7008365B2 JP 2020187976 A JP2020187976 A JP 2020187976A JP 2020187976 A JP2020187976 A JP 2020187976A JP 7008365 B2 JP7008365 B2 JP 7008365B2
Authority
JP
Japan
Prior art keywords
shoe
feature amount
acoustic feature
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020187976A
Other languages
English (en)
Other versions
JP2021094373A (ja
Inventor
理人 吉野
淳宏 桜井
渉 今竹
Original Assignee
株式会社アニモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アニモ filed Critical 株式会社アニモ
Publication of JP2021094373A publication Critical patent/JP2021094373A/ja
Application granted granted Critical
Publication of JP7008365B2 publication Critical patent/JP7008365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、音を処理する靴及び当該靴と連携する情報処理システムに関する。
従来から、靴にセンサを設けて、当該センサから得られるデータを処理してユーザに提示するシステムが提案されている。しかしながら、靴において収集される音に着目しているものはあまりなく、音からどのようなデータ処理でどのような結果が得られるかについての検討はほとんどなされていない。
特開2018-143412号公報
従って、本発明の目的は、一側面によれば、靴で収集される音に基づき様々なサービスを行うことができるようにすることである。
本発明に係る靴は、マイクロフォンと、加速度センサと、記憶装置と、通信部と、加速度センサで検出された加速度値が所定の閾値以上である期間について、マイクロフォンから入力される音信号に対して音響特徴量を生成して記憶装置に格納し、靴を識別する識別子と記憶装置に格納された音響特徴量とを通信部に外部装置へ送信させる処理部とを有する。
また、本発明に係る情報処理システムは、靴で生成され且つ当該靴から得られた音響特徴量から、当該靴の底と地面とが擦れる音に関連する音響特徴量を抽出する抽出手段と、抽出した音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させる処理手段とを有する。
一側面によれば、靴で収集される音に基づき様々なサービスを行うことができるようになる。
図1は、第1の実施の形態に係るシステムの概要を示す図である。 図2は、靴内部のセンサ装置の機能構成例を示す図である。 図3は、特徴量抽出部の機能構成例を示す図である。 図4は、周波数分析部の構成例を示す図である。 図5は、時間構造分析部の構成例を示す図である。 図6は、記憶部に格納される音響特徴量の例を示す図である。 図7は、敷きマット、スマートフォン及びサーバの機能構成例を示す図である。 図8は、負荷状態分析の結果を表示する画面例を示す図である。 図9は、歩き方分析の結果を表示する画面例を示す図である。 図10は、消耗分析の結果を表示する画面例を示す図である。 図11は、第2の実施の形態に係るシステムの概要を示す図である。 図12は、店舗端末及びサーバの構成例を示す図である。 図13は、第3の実施の形態における靴のヒールの層構造を模式的に示す図である。 図14は、第3の実施の形態における靴の消耗度合いの推定を説明するための図である。 図15は、第3の実施の形態における消耗分析部の構成例を示す図である。
[実施の形態1]
本実施の形態におけるシステム全体の概要を図1に示す。
ユーザは、以下で述べる構成を有する靴1を履いて外出し、例えば帰宅時に靴1を脱いで、別途用意した敷きマット3に置くものとする。そして、例えばユーザが有するスマートフォン5は、敷きマット3を介して、靴1から靴識別子及び音響特徴量等を読み出して、インターネット等のネットワーク9を介して、サービス提供者のサーバ7へ、読み出したデータを送信する。
これに対して、サーバ7は、靴1で生成され且つ靴1から得られた音響特徴量等を受信して、所定の処理を実行し、その処理結果をスマートフォン5に返信する。スマートフォン5は、サーバ7の処理結果を受信して、その表示装置に表示する。サーバ7において行われる処理は、例えば、ユーザの筋力低下度合いを分析するユーザ状態分析処理、左右の足の歩き方を分析する歩き方分析処理、靴のアウトソールの消耗分析処理などである。これらの処理結果、すなわち分析結果が、スマートフォン5の表示装置に表示される。
図1におけるスマートフォン5は、一例であって、パーソナルコンピュータなどの他の情報処理装置であっても良い。また、靴1と敷きマット3との通信は無線通信が好ましいが、敷きマット3とパーソナルコンピュータ等の情報処理装置との通信は、無線通信であっても良いし、USB(Universal Serial Bus)等による有線通信であってもよい。無線通信の規格は、特に限定されないが、例えばBluetooth、BLE(Bluetooth Low Energy。Bluetoothは登録商標。)等であっても良い。
靴1は、内部、例えばスタックヒール内部やその近辺に、センサ装置を備える。このセンサ装置10の機能構成例を図2に示す。なお、本実施の形態では、右足用の靴も左足用の靴も両方とも、図2に示すセンサ装置10を有する。
図2に示すように、センサ装置10は、加速度センサ11と、マイクロフォン12と、処理部13と、記憶部14と、無線通信部15と、受電及び電力供給部16とを有する。マイクロフォン12は、センサ装置10内部だけではなく、センサ装置10の外部であって、より適切に音を収集できる、靴1の適切な位置に配置されることもある。また、マイクロフォン12の数は2以上となる場合もある。
処理部13は、センサ装置10の制御を行うと共に、マイクロフォン12から入力される音信号をディジタル化するA/D変換部131と、加速度センサ11からの加速度の出力に応じてディジタル化された音信号(すなわち音データ)に対する特徴量抽出処理を実行する特徴量抽出部132とを有する。特徴量抽出部132は、特徴量抽出処理の処理結果である音響特徴量と当該音響特徴量に係る時刻データなどを記憶部14に格納する。
無線通信部15は、敷きマット3と無線通信可能になると処理部13に通知し、処理部13から指示されると、記憶部14に格納されている音響特徴量等と靴1の識別子とを、敷きマット3に送信する。処理部13は、スマートフォン5等から指示されると、記憶部14に格納されている音響特徴量等のデータを消去する等の処理も行う。靴1の識別子は、靴1固有の識別子であるが、左右のいずれであるかをも特定できるものとする。なお、靴1の識別子は、購入時に、例えばユーザの識別子等と対応付けて、例えばサーバ7に登録されている。
受電及び電力供給部16は、敷きマット3からのワイヤレス電力伝送に応じて、内部の電池などを充電し、センサ装置10において電力を用いる構成要素に電力供給を行う。
図3を用いて、特徴量抽出部132の構成例について説明する。特徴量抽出部132は、接触タイミング検知部1321と、周波数分析部1322と、時間構造分析部1323とを有する。接触タイミング検知部1321は、加速度データが閾値以上であるか否かを判定し、周波数分析部1322及び時間構造分析部1323に、加速度データが閾値以上である期間における音データに対して処理を行うように指示する。
周波数分析部1322は、周波数特徴量を生成し、当該周波数特徴量に係る時刻データに対応付けて記憶部14に格納する。時間構造分析部1323は、時間構造特徴量を生成し、当該時間構造特徴量に係る時刻データに対応付けて記憶部14に格納する。本実施の形態では、音響特徴量は、この周波数特徴量及び時間構造特徴量を含むが、いずれか一方のみであっても良く、さらにその一部の場合もある。
図4に、周波数分析部1322の構成例を示す。周波数分析部1322は、切出部13221と、窓関数13222と、FFT13223と、第1計算部13224と、第2計算部13225とを有する。切出部13221は、図4において模式的に示すように、時系列の音データを、所定時間の切り出し幅で、一部重複を持たせてずらしながら切り出す処理を行う。窓関数13222は、予め用意された窓関数を、切り出された音データに対して適用する。FFT13223は、窓関数で処理された音データに対して、周知のFFT(Fast Fourier Transformation)を行う。第1計算部13224は、FFT結果から、帯域毎の振幅スペクトルの二乗を累積する処理を行う。これによってサブバンドパワーが周波数特徴量として得られる。または、ケプストラム係数(MFCC:Mel-Frequency Cepstralなど)を算出するようにしても良い。MFCCについては、例えば、Davis, S. Mermelstein, P. (1980) Comparison of Parametric Representations for Monosyllabic Word Recognition in Continuously Spoken Sentences. In IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 28 No. 4, pp. 357-366を参照のこと。
さらに、第2計算部13225は、スペクトル形状に関する特徴量を算出する。スペクトル形状に関する特徴量は、スペクトルの傾き(パワースペクトルの平均微分値)、重心周波数(振幅スペクトルを重みとした中心値)、ピーク周波数(スペクトルの最大値)などである。スペクトル形状に関する特徴量も、周波数特徴量である。なお、第2計算部13225が設けられない場合もある。
図5に、時間構造分析部1323の構成例を示す。時間構造分析部1323は、切出部13231と、第3計算部13232とを有する。切出部13231は、周波数分析部1322の切出部13221と同様の処理を行う。第3計算部13232は、時間構造に関する特徴量を算出する。より具体的には、例えば、傾き値として包絡信号の平均微分値を算出したり、ゼロ交差率として単位時間あたりの符号反転回数を算出する。これらが時間構造特徴量である。
特徴量抽出部132は、このような処理を行うことで、例えば図6に示すようなデータを記憶部14に蓄積してゆく。ここで音響特徴量がN種類で時刻データが対応付けられている例を示している。
このように加速度が閾値以上の期間について音響特徴量を生成しておき、敷きマット3を介してサーバ7に送ることにしているのは、記憶部14に蓄積するデータの量を抑制し、無線通信部15の送信速度が遅い場合でも、できるだけ短時間で送信し終わるようにするためである。敷きマット3が自宅にあって毎日敷きマット3に靴1を置くことができる場合であれば良いが、何日も外出する場合もあるので、できるだけ記憶部14に蓄積されるデータの量を少なくすることが好ましい。
次に、図7を用いて、敷きマット3、スマートフォン5、及びサーバ7の機能構成例を示す。
敷きマット3は、靴1の無線通信部15と通信する第1通信部31と、靴1の受電及び電力供給部16にワイヤレス電力伝送を行う給電部34と、スマートフォン5等と通信を行う第2通信部33と、これらの制御を行う制御部32とを有する。スマートフォン5は、敷きマット3と通信を行う第1通信部51と、ネットワーク9を介してサーバ7と通信を行う第2通信部55と、本実施の形態に係るクライアントアプリケーション53を実行することで実現されるユーザインターフェース部531及び制御部532とを有する。サーバ7は、ネットワーク9を介してスマートフォン5等と通信を行う通信部71と、通信部71で受信した、靴1からの音響特徴量等を処理して処理結果をスマートフォン5等に送信するユーザ状態分析部73、歩き方分析部75及び消耗分析部77と、ユーザの音響特徴量等を蓄積するデータベース(DB)79とを有する。
例えば、スマートフォン5でクライアントアプリケーション53が起動されると、例えば、制御部532は、第1通信部51を介して敷きマット3とのリンクを確立し、さらに、敷きマット3の制御部32に靴1のセンサ装置10とのリンクを確立させる。この際、制御部532は、靴1の靴識別子を靴1のセンサ装置10から取得する。なお、左足用の靴と右足用の靴はそれぞれ独立して処理を行う。
そして、スマートフォン5を有するユーザは、ユーザインターフェース部531を介して靴1から音響特徴量等の読み出しを指示すると、制御部532は、第1通信部51を介して敷きマット3に読み出し指示を行う。敷きマット3の制御部32は、第2通信部33を介して読み出し指示を受信すると、第1通信部31を介して靴1のセンサ装置10に読み出し指示を出力する。靴1のセンサ装置10における無線通信部15を介して読み出し指示を受信した処理部13は、無線通信部15に、記憶部14に格納されている音響特徴量等を敷きマット3へ送信させる。
敷きマット3の制御部32は、第1通信部31を介して音響特徴量等を受信すると、第2通信部33を介して転送する。スマートフォン5の制御部532は、第1通信部51を介して音響特徴量等を受信すると、例えばユーザインターフェース531を介して当該音響特徴量等のサーバ7への送信の可否をユーザに問う。ユーザが送信を許可すると、制御部532は、靴識別子と共に音響特徴量等を第2通信部55を介してサーバ7に送信する。サーバ7の通信部71は、スマートフォン5から靴識別子及び音響特徴量を受信すると、当該データをDB79に蓄積する。なお、DB79には、靴識別子に対応付けて、ユーザの識別情報やユーザの他のデータを保持する。
その後、スマートフォン5の制御部532は、ユーザインターフェース部531を介してユーザに所望のサービスの選択を促す。本実施の形態では、サーバ7のユーザ状態分析部73によるユーザ状態分析、歩き方分析部75による歩き方分析、消耗分析部77による靴の消耗分析といったサービスを選択肢として提示する。
ユーザによってサービスの選択がなされると、制御部532は、ユーザインターフェース部531を介してその選択を受け付け、第2通信部55を介して、サーバ7における対応する分析部に対して処理の要求を送信する。サーバ7の通信部71は、サービスの要求を受信すると、要求先の分析部へサービスの要求を出力する。
ユーザ状態分析部73は、抽出部及び処理部を有している。ユーザ状態分析部73の抽出部は、音響特徴量に対応付けられている時刻データから、加速度が閾値以上であった期間を特定する。そして、ユーザ状態分析部73の抽出部は、その期間の各々について、保持している音響特徴量から、特定のサブバンドパワー(例えば3000Hz以上のサブバンドパワー)を抽出する。そして、ユーザ状態分析部73の処理部は、例えば3000Hz以上のサブバンドパワーの総和等の統計量に対応する数値を例えば時系列で表示するためのデータを生成する。その後、ユーザ状態分析部73の処理部は、生成したデータを、通信部71を介してスマートフォン5へ送信し、ユーザインターフェース部531を介してスマートフォン5の表示装置に表示させる。
例えば、図8に示すようなデータが表示される。図8の例では、上段に、例えば1日において、音響特徴量が生成された時間帯、すなわち、加速度が閾値以上であった時間帯を示すグラフを含む。この例では、2つの時間帯がハッチングにて示されている。そして、第1の時間帯について筋力低下度合いの推移を示すグラフが、図8の中段に示されている。図8のグラフの縦軸は筋力低下度合いを表し、横軸は時間を表す。また、過去の平均値、又は筋力低下度合いが高いと判断する基準値Thもグラフ上に示すことで、筋力低下度合いの状態をよりわかりやすくしている。
図8では第2の時間帯についてのグラフについては省略しているが、下段に分析結果を含んでいる。分析結果は、例えば基準値Thとの比較結果を表しており、筋力低下度合いが基準値Thを超えている時間が長ければ、筋力低下ですり足になっています、といったメッセージを示すようにする。
これまで歩行音から筋力低下度合いを提示することは行われていない。筋力低下度合いが高い場合、筋力低下によって脚を適切に上げて歩行することができておらず、靴1の底面(特にヒール)と地面とが擦れることによって例えば3000Hz以上のサブバンドパワーが大きな値を示すようになる。このように、筋力低下度合いを提示することによって、ユーザに対して歩き方の改善に繋がる筋力増強を促すことができるようになる。なお、疲れや癖があっても筋力低下とみなされてしまう場合もあるが、その場合でも歩き方の改善が促されることになる。
歩き方分析部75は、抽出部及び処理部とを有しており、抽出部は、処理対象となる期間における音響特徴量から、左足についての特定の音響特徴量と右足についての特定の音響特徴量とを抽出し、処理部は、それらを比較可能な態様で表示するためのデータを生成する。特定の音響特徴量は、靴1の底が地面と擦れる音に関連する音響特徴量(例えば3000Hz以上のサブバンドパワー(例えばその総和等の統計量))である。例えば、左足についての特定の音響特徴量の時間変化と、右足についての特定の音響特徴量の時間変化とをグラフ化して、それらの波形の違いを可視化するようにしても良い。その後、歩き方分析部75の処理部は、生成したデータを、通信部71を介してスマートフォン5へ送信し、ユーザインターフェース部531を介してスマートフォン5の表示装置に表示させる。
例えば、図9に示すようなデータが表示される。図9の例では、上段には、左側に左足についての特定の音響特徴量の時間変化を表し、右側に右足についての特定の音響特徴量の時間変化を表すグラフを含む。このようにすれば、左と右の波形の差で、左右のバランスの善し悪しが分かるようになる。
また、図9の例では、下段に、分析結果も示すようになっている。例えば、左足についての特定の音響特徴量の時間積分値と、右足についての特定の音響特徴量の時間積分値との差が閾値以内か否かで、又は波形の形状の一致度などによって、バランスの善し悪しを判断して、「左右が均等の歩き方になっていません」といったメッセージを生成する。
一般に、自分自身の歩き方の癖に気が付くことは難しく、靴底のすり減り具合を確認して歩き方の癖を知ることが多い。左右の音響特徴量の差異から、左右の靴の地面への当たり方の違いを判別できる。よって、左右均等な歩き方の改善の有無を、左右の音響特徴量の差異が小さくなるか否かで確認することができる。
消耗分析部77は、抽出部及び処理部を有しており、抽出部は、処理対象となる期間における音響特徴量から、靴1の底面が地面と擦れる音に関連する特定の音響特徴量(例えば3000Hz以上のサブバンドパワー)を抽出し、処理部は、その時間変化に基づき靴1の消耗度合いを推定し、この消耗度合いを表示するためのデータを生成する。より具体的には、靴1のアウトソールがすり減ると、歩く際にヒールが地面を擦る音が次第に長くなる。従って、消耗分析部77の処理部は、靴1の底面が地面と擦れる音に関する特定の音響特徴量の総和等の統計量が所定の閾値以上となっている持続期間を計算し、当該持続期間の、使用開始時等の基準時からの変化量などから消耗度合いを算出する。消耗度合いは、左足の靴と右足の靴のそれぞれについて算出される。消耗度合いの時間変化を提示するようにしても良い。その後、消耗分析部77の処理部は、生成したデータを、通信部71を介してスマートフォン5へ送信し、ユーザインターフェース部531を介してスマートフォン5の表示装置に表示させる。なお、消耗度合いについてのデータについては、今回計算した期間のデータをDB79に格納しておけば、後にそのデータを用いることができるようになる。
例えば、図10に示すようなデータが表示される。図10の例では、上段には、図9と同様に、左側に左足についての特定の音響特徴量の時間変化(直近の時間帯における時間変化)を表し、右側に右足についての特定の音響特徴量の時間変化を表すグラフを含む。図10の中段には、左足の靴のアウトソールについての消耗度合いの時間変化と、右足の靴のアウトソールの消耗度合いの時間変化とを示すグラフが含まれる。中段のグラフは、左足の閾値Thl及び右足のThrを示して、閾値を越えているか否かを認識できるようになっている。図10の下段には、左足の靴と右足の靴の各々について閾値を越えているか否かを判定した結果として、左のアウトソールが消耗しています、そろそろ買い替えを検討ください、というメッセージを含む。
このようにすれば、客観的な消耗度合いを認識でき、買い替えのタイミングを知ることができるようになる。
なお、材質の差に基づき靴1の底の部位毎に消耗度合いを分析できる場合もある。また、消耗度合いの現在の変化率などに基づき、閾値を超える時期を予測するなどの処理を行うようにしても良い。
以上のように、靴1において得られた音データに基づく音響特徴量を分析することで、歩き方や靴の状態についての情報を提示できるようになる。
なお、靴1への電力供給方法については、ワイヤレス電力伝送を想定していたが、場合によっては敷きパッド3などから有線で電力供給して電池に蓄電したり、十分な容量を有する一次電池を内蔵させるようにしても良い。
また、採用すべき通信規格は、実施時期におけるコストその他の実施状況に応じて適切なものを選べば良い。
さらに、サーバ7は、1台のコンピュータでは無く、複数台のコンピュータで処理を分担している場合もある。
[実施の形態2]
第1の実施の形態では、例えば自宅に敷きマット3を用意して、スマートフォン5などの情報処理装置を介してサーバ7にアクセスするような態様であったが、ユーザがそれだけのものを用意しなければならず、ユーザに負担が大きい。
本実施の形態では、ユーザは靴1を購入すれば、その購入店又は提携先の店舗などに行くことで、第1の実施の形態と同様又はそれ以上のメリットを得られるようにする。
図11に、第2の実施の形態に係るシステムの概要を示す。
本実施の形態に係る靴1bは、基本的に第1の実施の形態における靴1と同様である。但し、ユーザ宅に敷きマット3を置かないことにする場合には、ワイヤレス電力伝送を採用せず一次電池を靴1bに内蔵させることで対応する場合もある。但し、店舗にワイヤレス電力伝送のためのマットなどを用意しても良い。また、ユーザは、購入時に、購入した靴1bの識別子と、ユーザの会員IDを含む会員データとを対応付けて、本システムに登録しておくものとする。
ユーザは、第1の実施の形態と同様に靴1bを履いて歩き回るが、時々本実施の形態に係る店舗端末200が設置されている店舗に出向くことになる。ここでは、店舗端末200は、無人レジ端末の例を示しているが、本サービスのみを提供するような店舗端末であってもよい。
店舗端末200は、敷きマット3bと接続されており、敷きマット3bは店舗端末200を操作する際に立つ位置に、配置される。例えば、ユーザは、店舗端末200が設置されている店舗に買い物するために出向き、決済をするために店舗端末200の前に立つ。そうすると、店舗端末200は、敷きマット3bを介して、靴1bから音響特徴量及び靴識別子を読み出す。なお、敷きマット3bから靴1bに対してワイヤレス電力伝送を行うようにしても良い。
無人レジとしての機能として、店舗端末200は、例えば、ユーザに対する情報の入出力を行うための表示部210と、商品に付されたIDタグの読取り部220と、領収書などを出力する印刷部231と、紙幣投入部232と、硬貨投入部233と、おつり出力部234などを有している。
店舗端末200は、ネットワーク9を介して、本実施の形態に係るサービスに関連する処理を実行するサーバ7bに接続されている。よって、店舗端末200は、読み出した靴1bからの音響特徴量及び靴識別子を、ネットワーク9を介してサーバ7bに送信する。
サーバ7bには、靴識別子に対応付けて会員IDを含む会員データが保持されているので、サーバ7bは、靴識別子から特定される会員データに含まれる決済データ(例えばクレジットカード番号)を用いて、当該購入商品に対する決済処理を行うこともある。また、サーバ7bは、店舗端末200から送信された購入商品のデータに基づき、当該購入商品に対するポイント付与処理を行って、会員データに含まれるポイントの数値を変更するようにしても良い。さらに、来店回数、すなわち店舗端末200によって靴識別子を特定した回数、又は、店舗端末200によって取得された靴識別子から会員IDを特定した回数に応じた特典付与を行うようにしても良い。
サーバ7bは、さらに、受信した音響特徴量を用いて、第1の実施の形態と同様に各種分析処理を行って、分析結果を店舗端末200に送信する。店舗端末200は、サーバ7bから分析結果を受信すると、表示部210に表示する。さらに、サーバ7bは、分析結果に基づきユーザに対して特典を付与するような処理を実行する場合もある。例えば、靴の消耗度合いが買い換えを推奨するレベルであれば、靴の割引特典を付与するようにしても良い。
このようにすれば、ユーザは、店舗に出向くだけで、第1の実施の形態と同様の情報提供を受けることができる。さらに、靴識別子から導出される会員データから、各種の会員サービスも提供できるようになる。
特に、無人レジの導入が進められており、無人レジで、自ら商品に付されたIDタグの読み取りや、スマートフォンや会員証の提示、代金の支払いなどを行うことになるが、不慣れなユーザには負担が大きい。商品に付されたIDタグの読み取りはやむを得ないとしても、会員IDの特定及び代金支払については、靴1bの靴識別子から導出される会員データでシームレスに処理が進むので、不慣れなユーザにも無人レジの使用を促進させることができるようになる。また、音響特徴量に基づく分析情報の提供によって、来店の促進が図られる。
図12を用いて、店舗端末200及びサーバ7bの機能構成例を示す。靴1bに設けられるセンサ装置の機能は、基本的に第1の実施の形態と同じであるから、説明を省略する。同様に、敷きマット3bの機能も、基本的に第1の実施の形態における敷きマット3と同様であるから、説明を省略する。
店舗端末200は、敷きマット3bと通信を行う第1通信部251と、サーバ7bと通信するための第2通信部255と、靴1bから音響特徴量等を取得する処理の制御等を行う制御部253と、無人レジでの決済処理などを行う決済系処理部257とを有する。決済系処理部257は、表示部210等により情報の入出力を行うユーザインタフェース部2571を有している。制御部253は、決済系処理部257と連携して処理を行う。また、決済系処理部257も、第2通信部255を介してサーバ7bと通信を行う。
サーバ7bは、店舗端末200と通信を行うための通信部701と、決済処理部702と、会員情報処理部703と、データベース(DB)704と、ユーザ状態分析部73と、歩き方分析部75と、消耗分析部77とを有する。
DB704は、例えば、靴識別子に対応付けて、会員ID及び音響特徴量等が登録されており、当該会員IDに対応付けて購入商品リスト、特典クーポンデータ、会員特典のポイントなどを格納している。
例えば、ユーザが、店舗端末200の表示部210をタッチするなどのイベントに応じて、ユーザインターフェース部2571は、制御部253に処理開始を通知する。そうすると、制御部253は、第1通信部251を介して敷きマット3bに靴1bとリンクを確立するように指示する。リンクが確立できれば、制御部253は、靴1bの靴識別子を取得すると共に、靴1bに蓄積されている音響特徴量等も読み出す。そうすると、制御部253は、靴1bの靴識別子を決済系処理部257に出力する。なお、靴識別子などを読み出すことができなければ、従来どおりの決済処理を行う。なお、2足以上の靴の靴識別子が得られる場合には、敷きマット3bに一人で載るように要求する場合もある。
制御部253は、靴識別子及び音響特徴量等を、第2通信部255に、サーバ7bへ送信させる。サーバ7bの通信部701は、店舗端末200から靴識別子及び音響特徴量等を受信すると、靴識別子に対応付けて音響特徴量等をDB704に登録する。
一方、店舗端末200の決済系処理部257は、読取り部220に商品に付されたIDタグの読み取りを行わせるといった処理も行う。また、決済系処理部257は、靴識別子を含む会員情報処理要求を第2通信部255を介してサーバ7bへ送信し、サーバ7bの会員情報処理部703は、通信部701を介して、靴識別子を含む会員情報処理要求を受信する。会員情報処理部703は、受信した靴識別子を用いてDB704を検索して会員データを抽出し、通信部701を介して店舗端末200に送信する。
決済系処理部257は、第2通信部255を介して会員データを受信すると、会員データに含まれる例えばクレジットカード番号などに基づき、購入商品の決済を行うか否かを示すメッセージをユーザインターフェース部2571に表示部210へ出力させる。会員データにクーポンその他の特典が含まれていれば、その使用の有無を問うメッセージをユーザインターフェース部2571に表示部210へ出力させるようにしても良い。ここで、購入商品の決済をクレジットカード番号などに基づき行う場合には、決済系処理部257は、例えばサーバ7bの決済処理部702と連携して決済処理を行う。
決済処理が完了すると、決済系処理部257は、購入商品のデータを会員情報処理部703に送信し、例えば会員IDに対応付けてDB704に登録する。なお、ここで購入商品に応じたポイント付与処理を行ったり、その他の特典の付与処理を行う。また、例えば靴識別子及び音響特徴量等を受信した段階で来店回数を増加させて、来店特典を付与するようにしても良い。
さらに、決済系処理部257は、ユーザインターフェース部2571を介してユーザに所望のサービスの選択を促す。本実施の形態でも、サーバ7bのユーザ状態分析部73によるユーザ状態分析、歩き方分析部75による歩き方分析、消耗分析部77による靴の消耗分析といったサービスを選択肢として提示する。
ユーザがこれらのサービスを選択した場合の処理については、第1の実施の形態と同様であるから、説明は省略する。
但し、音響特徴量の分析処理の結果が所定の条件を満たしている場合には特典を付与する処理を実行するようにしても良い。例えば、消耗度合いが閾値を越えている場合には、消耗分析部77は、会員情報処理部703に通知することで、会員情報処理部703は、靴の割引クーポンなどをDB704に登録する。なお、消耗度合い以外の条件を設定しても良い。また、会員情報処理部703は、靴の割引クーポンのデータを決済系処理部257に送信し、印刷部231から出力させるようにしても良い。
なお、本実施の形態は、スマートフォン5などの使用を排除するものでは無く、スマートフォン5にインストールされたアプリケーションプログラムを介して、店舗端末200で登録した音響特徴量等に基づく分析結果を参照するなどの処理ができるようにしても良い。
また、サーバ7bは、1台のコンピュータでは無く、複数台のコンピュータで処理を分担している場合もある。
[実施の形態3]
第1の実施の形態では、消耗分析部77が、特定の音響特徴量の持続時間の変化から消耗度合いを推定する処理について説明したが、他の方法を用いるようにしても良い。そのため、例えば図13に模式的に示すように、靴1cのアウトソールのうち、ヒール部分を層構造にして、例えば、すり減ると地面と擦れる音が低い音から高い音にシフトするように各層の素材を採用する。
そうすると、図14の上段に模式的に示すように、使用開始時には、ヒールと地面との接触面積は少なく、さらに擦れると低い音が出る層のみが地面と擦れるので、低い周波数のサブバンドパワーにピークやスペクトル重心が現れる。一方、図14の下段に模式的に示すように、消耗度合いが高くなると、ヒールと地面との接触面積は大きくなり、さらに擦れると低い音が出る層だけではなく高い音が出る層も地面と擦れるので、使用開始時よりも高い周波数のサブバンドパワーにピークやスペクトル重心が現れる。本実施の形態では、このような音色変化を捉えるものとする。
すなわち、消耗分析部77は、抽出部771と、特定部773と、処理部775とを有する。抽出部771は、処理対象期間について保持している音響特徴量から、例えば3000Hz以上のサブバンドパワーを抽出する。そして、特定部773は、抽出されたサブバンドパワーから、ピーク周波数又はスペクトル重心を特定する。そして、処理部775は、ピーク周波数又はスペクトル重心と、使用開始時(すなわち初期状態)におけるピーク周波数又はスペクトル重心との差を算出し、当該差に基づき消耗度合いを推定する。例えば、差と消耗度合いとの対応関係を予め測定しておき、その対応関係を表すデータに基づき、今回算出された差から消耗度合いを推定する。
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上記の機能構成は一例に過ぎず、上で述べた機能を実現するために、様々な実装態様が可能である。
また、スマートフォン5とサーバ7との上記機能分担や、店舗端末200とサーバ7bとの上記機能分担も一例に過ぎず、上で述べた機能を全体で実現するために、様々な実装態様が可能である。すなわち、これらを有する情報処理システム全体として提供するサービスが同じであれば、どのような構成であっても良い。
なお、上で述べたサーバ7及び7bは、コンピュータ装置であって、メモリとCPU(Central Processing Unit)とハードディスク・ドライブ(HDD:Hard Disk Drive)と表示装置に接続される表示制御部とリムーバブル・ディスク用のドライブ装置と入力装置とネットワークに接続するための通信制御部とがバスで接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDDに格納されており、CPUにより実行される際にはHDDからメモリに読み出される。CPUは、アプリケーション・プログラムの処理内容に応じて表示制御部、通信制御部、ドライブ装置を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリに格納されるが、HDDに格納されるようにしてもよい。本発明の実施の形態では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスクに格納されて頒布され、ドライブ装置からHDDにインストールされる。インターネットなどのネットワーク及び通信制御部を経由して、HDDにインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU、メモリなどのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本実施の形態をまとめると以下のようになる。
本発明の実施の形態に係る靴は、マイクロフォンと、加速度センサと、記憶装置と、通信部と、加速度センサで検出された加速度値が所定の閾値以上である期間について、マイクロフォンから入力される音信号に対して音響特徴量を生成して記憶装置に格納し、靴を識別する識別子と記憶装置に格納された音響特徴量とを通信部に外部装置へ送信させる処理部とを有する。
このように靴内部で音響特徴量を生成することで、記憶装置に蓄積するデータの量を削減でき、通信部から外部装置に送信するデータの量を減らすことができる。このようにすることで、靴と外部装置との通信時間も短縮できるようになる。
なお、本実施の形態に係る靴は、マイクロフォンと加速度センサと記憶装置と通信部と処理部とを右足用と左足用の両方に有するようにしても良い。例えば、左右の足の歩き方が異なる場合もあるので、それらを分析できるようにするためである。
また、上で述べた処理部は、期間に係る時刻データを記憶装置に格納して、時刻データをさらに通信部に外部装置へ送信させるようにしても良い。歩行期間や時刻を認識した上で、分析ができるようになる。
さらに、上で述べた外部装置は、靴との通信機能と無線給電機能とを有する敷きマット及び当該敷きマットに接続される情報処理装置である場合もある。そして、この場合、上記靴が、無線給電機能から給電される電力を受電する受電部をさらに有するようにしても良い。このようにすれば、靴への給電が簡単に行えるようになる。
本実施の形態の第1の態様に係る情報処理システムは、靴で生成され且つ靴から得られた音響特徴量から、靴での歩行中の負荷レベルに対応するサブバンドパワーを時系列で取得し、サブバンドパワーで表される負荷レベルの時間変化を表示するためのデータを生成し、表示要求元となる情報処理装置で表示させる。このようにすれば、負荷が高い歩き方をしているか否かなどを認識できるようになり、歩き方を直す動機付けができ、また、歩き方の修正具合を確認することができるようになる。
本実施の形態の第2の態様に係る情報処理システムは、右足用靴で生成され且つ右足用靴から得られた第1の音響特徴量と、左足用靴で生成され且つ左足用靴から得られた第2の音響特徴量とを比較可能な態様で表示するためのデータを生成し、表示要求元となる情報処理装置で表示させる。このようにすれば、左右の足の歩き方の違いを認識できるようになり、歩き方を直す動機付けができ、また、歩き方の修正具合を確認することができるようになる。
本実施の形態の第3の態様に係る情報処理システムは、靴で生成され且つ靴から得られた音響特徴量の時間変化に基づき靴の消耗度合いを推定し、推定された靴の消耗度合いを表示するためのデータを生成し、表示要求元となる情報処理装置で表示させる。このように靴の消耗度合いを客観的に把握することができるようになり、買い換え時期などを認識できるようになる。
なお、上記第3の態様に係る情報処理システムは、消耗度合いが所定の閾値を越えた場合に買い換え推奨メッセージを情報処理装置にさらに表示させるようにしても良い。
さらに、第1乃至第3の態様に係る情報処理システムは、靴の識別子を靴から得られた場合、靴の識別子に予め対応付けられた靴のユーザの識別子を特定し、当該ユーザの識別子に対応付けられた決済データに基づきユーザの購入品に対する決済処理、又は、ユーザの購入品に対する特典付与をユーザの識別子に対応付けて行う処理を実行するようにしても良い。靴の識別子を有効に活用することで、ユーザの利便性を向上させたり、ユーザへの特典付与が容易に行えるようになる。すなわち、実施の形態に係る靴を含めたシステムの利用への動機付けがなされるようになる。
さらに、ユーザの識別子を特定した回数若しくは音響特徴量又は当該音響特徴量の処理結果が所定の条件を満たした場合には、ユーザの識別子又は靴の識別子に対応付けて特典を設定する処理をさらに実行するようにしても良い。さらに利用促進がなされるようになる。
本実施の形態の第4の態様に係る情報処理システムは、靴で生成され且つ当該靴から得られた音響特徴量から、靴の底と地面とが擦れる音に関連する音響特徴量を抽出する抽出手段と、抽出した音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させる処理手段とを有する。
このように靴の底と地面とが擦れる音は、靴の消耗度合い、ユーザの歩き方、ユーザの筋力低下度合いを提示するといった様々なサービスに活用可能である。
なお、上記処理手段は、抽出手段が抽出した音響特徴量の持続時間の変化に基づき、靴の消耗度合いを推定し、推定された靴の消耗度合いを表示するためのデータを生成し、当該データを表示要求元となる情報処理装置で表示させるようにしても良い。このように靴の消耗度合いをユーザに提示することで、靴の買い替え等を促すことができるようになる。
また、上記抽出手段が、右足用靴で生成され且つ右足靴から得られた音響特徴量から、右足靴の底と地面とが擦れる音に関する第1の音響特徴量を抽出し、左足用靴で生成され且つ左足靴から得られた音響特徴量から、左足靴の底と地面とが擦れる音に関する第2の音響特徴量を抽出するようにしても良い。この場合、上記処理手段が、第1の音響特徴量と第2の音響特徴量とを比較可能な態様で表示するためのデータを生成し、当該データを表示要求元となる情報処理装置で表示させるようにしても良い。これにより、左右の足の歩き方の違いを認識できるようになる。
さらに、上記処理手段が、抽出手段が抽出した音響特徴量から筋力低下度合いを推定し、推定された筋力低下度合いを表示するためのデータを生成し、当該データを表示要求元となる情報処理装置で表示させるようにしても良い。筋力低下度合いが大きいほど、すり足になりやすいので、抽出された音響特徴量が大きい値ほど筋力低下度合いが大きくなる。よって、音響特徴量から筋力低下度合いを推定して提示することで、ユーザに筋力増強を促す、といった対応が可能となる。
なお、上記処理を実行するためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、光ディスク(CD-ROM、DVD-ROMなど)、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
1,1b 靴
10 センサ装置
3,3b 敷きマット
5 スマートフォン
7,7b サーバ
200 店舗端末

Claims (12)

  1. 靴であって、
    マイクロフォンと、
    加速度センサと、
    記憶装置と、
    通信部と、
    前記加速度センサで検出された加速度値が所定の閾値以上である期間について、前記マイクロフォンから入力される音信号に対して音響特徴量を生成して前記記憶装置に格納し、前記靴を識別する識別子と前記記憶装置に格納された前記音響特徴量とを前記通信部に外部装置へ送信させる処理部と、
    を有する靴。
  2. 前記マイクロフォンと前記加速度センサと前記記憶装置と前記通信部と前記処理部とを右足用と左足用の両方に有する請求項1記載の靴。
  3. 前記外部装置が、前記靴との通信機能と無線給電機能とを有する敷きマット及び当該敷きマットに接続される情報処理装置であり、
    前記靴が、前記無線給電機能から給電される電力を受電する受電部
    をさらに有する請求項1又は2記載の靴。
  4. 請求項1乃至3のいずれか1つ記載の靴で生成され且つ前記靴から得られた音響特徴量から、前記靴の底と地面とが擦れる音に関連する音響特徴量を抽出する抽出手段と、
    抽出した前記音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させる処理手段と、
    を有する情報処理システム。
  5. 前記処理手段が、
    前記抽出手段が抽出した音響特徴量の持続時間の変化に基づき、前記靴の消耗度合いを推定し、推定された前記靴の消耗度合いを表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
    請求項4記載の情報処理システム。
  6. 前記抽出手段が、
    右足用靴で生成され且つ前記右足靴から得られた音響特徴量から、前記右足靴の底と地面とが擦れる音に関する第1の音響特徴量を抽出し、
    左足用靴で生成され且つ前記左足靴から得られた音響特徴量から、前記左足靴の底と地面とが擦れる音に関する第2の音響特徴量を抽出し、
    前記処理手段が、
    前記第1の音響特徴量と前記第2の音響特徴量とを比較可能な態様で表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
    請求項4記載の情報処理システム。
  7. 前記処理手段が、
    前記抽出手段が抽出した音響特徴量から筋力低下度合いを推定し、推定された前記筋力低下度合いを表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
    請求項4記載の情報処理システム。
  8. 前記消耗度合いが所定の閾値を越えた場合に買い換え推奨メッセージを前記情報処理装置にさらに表示させる手段を更に有する請求項5記載の情報処理システム。
  9. 前記靴の識別子を前記靴から得られた場合、前記靴の識別子に予め対応付けられた前記靴のユーザの識別子を特定し、当該ユーザの識別子に対応付けられた決済データに基づき前記ユーザの購入品に対する決済処理、又は、前記ユーザの購入品に対する特典付与を前記ユーザの識別子に対応付けて行う処理を実行する手段を更に有する請求項4乃至8のいずれか1つ記載の情報処理システム。
  10. 前記ユーザの識別子を特定した回数若しくは前記音響特徴量又は当該音響特徴量の処理結果が所定の条件を満たした場合には、前記ユーザの識別子又は前記靴の識別子に対応付けて特典を設定する処理をさらに実行する手段を更に有する請求項9記載の情報処理システム。
  11. 前記処理手段が、
    抽出された前記音響特徴量のピーク周波数又はスペクトル重心を算出し、当該ピーク周波数又はスペクトル重心の初期状態からの変化に基づき前記靴の消耗度合いを推定し、推定された前記靴の消耗度合いを表示するためのデータを生成し、当該データを前記表示要求元となる情報処理装置で表示させる
    請求項4記載の情報処理システム。
  12. 請求項1乃至3のいずれか1つ記載の靴で生成され且つ前記靴から得られた音響特徴量から、前記靴の底と地面とが擦れる音に関連する音響特徴量を抽出するステップと、
    抽出した前記音響特徴量に対して、予め定められたサービスに関する処理を実行し、処理結果を表示要求元となる情報処理装置で表示させるステップと、
    を、コンピュータに実行させるためのプログラム。
JP2020187976A 2019-12-16 2020-11-11 靴及び当該靴と連携する情報処理システム Active JP7008365B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019226105 2019-12-16
JP2019226105 2019-12-16

Publications (2)

Publication Number Publication Date
JP2021094373A JP2021094373A (ja) 2021-06-24
JP7008365B2 true JP7008365B2 (ja) 2022-01-25

Family

ID=76430324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020187976A Active JP7008365B2 (ja) 2019-12-16 2020-11-11 靴及び当該靴と連携する情報処理システム

Country Status (1)

Country Link
JP (1) JP7008365B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013215220A (ja) 2012-04-04 2013-10-24 Asahi Kasei Corp 歩行状態検知装置
WO2013190722A1 (ja) 2012-06-20 2013-12-27 株式会社ニコン 電子機器
US20160074262A1 (en) 2014-12-26 2016-03-17 Sophia Vasiliki Moses Intelliwalker, an intelligent, sensor equipped, motorized robotic walking assistance device.
JP2016112053A (ja) 2014-12-11 2016-06-23 国立研究開発法人産業技術総合研究所 歩行状態判定方法、プログラム、及び装置
US20160335913A1 (en) 2015-05-15 2016-11-17 Motion Metrics, LLC System and method for physical activity performance analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013215220A (ja) 2012-04-04 2013-10-24 Asahi Kasei Corp 歩行状態検知装置
WO2013190722A1 (ja) 2012-06-20 2013-12-27 株式会社ニコン 電子機器
JP2016112053A (ja) 2014-12-11 2016-06-23 国立研究開発法人産業技術総合研究所 歩行状態判定方法、プログラム、及び装置
US20160074262A1 (en) 2014-12-26 2016-03-17 Sophia Vasiliki Moses Intelliwalker, an intelligent, sensor equipped, motorized robotic walking assistance device.
US20160335913A1 (en) 2015-05-15 2016-11-17 Motion Metrics, LLC System and method for physical activity performance analysis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mitake, Hiroto, Hiroki Watanabe, and Masanori Sugimoto,Footsteps and inertial data-based road surface condition recognition method,Proceedings of the 18th International Conference on Mobile and Ubiquitous Multimedia,2019年

Also Published As

Publication number Publication date
JP2021094373A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
KR102116968B1 (ko) Ai 기반의 스마트 코칭 방법
RU2607953C2 (ru) Захват оптических данных об упражнениях в дополнение к расчету оценки здоровья
JP6637693B2 (ja) 運動管理方法及び運動管理装置
KR20190110987A (ko) 관리서버, 이를 포함하는 피부관리 시스템 및 방법
JP2023042683A (ja) 広告装置
KR102069979B1 (ko) 마사지 장치 기반 사용자 정보 거래 방법 및 시스템
JP7008365B2 (ja) 靴及び当該靴と連携する情報処理システム
KR101280559B1 (ko) 맞춤형 깔창 제공 장치 및 방법
JP4795666B2 (ja) 健康管理支援装置および健康管理支援プログラム
KR20180087876A (ko) 관리서버, 이를 포함하는 피부관리 시스템 및 방법
KR20150111210A (ko) 홈헬스케어 캐러반 및 그것의 맞춤형 건강관리 컨텐츠 제공 방법
JP2022014508A (ja) 評価装置、評価システム、およびプログラム
JP6265277B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US20220181876A1 (en) Information processing device, server, and program
WO2014201498A1 (en) Method for generating foot characteristic information
KR102296885B1 (ko) 사용자 맞춤형 헬스 해빗 서비스 장치
US20220163575A1 (en) Analysis device based on power consumption information about treadmill
KR20180087633A (ko) 관리서버, 이를 포함하는 피부관리 시스템 및 방법
JP2018190176A (ja) 画像表示装置、肌状態サポートシステム、画像表示プログラム及び画像表示方法
CN107016227B (zh) 一种智能设备联动型基于实时运转数据的运动处方的运转指导系统
JP2021110699A (ja) 推奨歩行情報生成装置、推奨歩行情報提供システム、推奨歩行情報生成方法及びコンピュータプログラム
JP7300018B2 (ja) 情報出力システム、肌状態サポートプログラム及び肌状態サポート方法
JP2005261564A (ja) スポーツ用具選定装置、そのシステム、それらの方法、それらのプログラム、および、それらプログラムを記録した記録媒体
JP7437549B2 (ja) 画像表示装置
JP2018187079A (ja) 情報出力システム、肌状態サポートプログラム及び肌状態サポート方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211228

R150 Certificate of patent or registration of utility model

Ref document number: 7008365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150