JP6701756B2 - 情報提供システム、情報提供装置、および、情報提供方法 - Google Patents

情報提供システム、情報提供装置、および、情報提供方法 Download PDF

Info

Publication number
JP6701756B2
JP6701756B2 JP2016011565A JP2016011565A JP6701756B2 JP 6701756 B2 JP6701756 B2 JP 6701756B2 JP 2016011565 A JP2016011565 A JP 2016011565A JP 2016011565 A JP2016011565 A JP 2016011565A JP 6701756 B2 JP6701756 B2 JP 6701756B2
Authority
JP
Japan
Prior art keywords
information
distribution information
sound
terminal device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016011565A
Other languages
English (en)
Other versions
JP2017134456A (ja
Inventor
岩瀬 裕之
裕之 岩瀬
優樹 瀬戸
優樹 瀬戸
友美子 越智
友美子 越智
石田 哲朗
哲朗 石田
貴裕 岩田
貴裕 岩田
翔太 森口
翔太 森口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2016011565A priority Critical patent/JP6701756B2/ja
Publication of JP2017134456A publication Critical patent/JP2017134456A/ja
Application granted granted Critical
Publication of JP6701756B2 publication Critical patent/JP6701756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Description

本発明は、テキストや画像などのコンテンツを利用者の端末装置で再生させるための技術に関する。
商業施設や展示施設などの公共の場でテキストや画像などのコンテンツに関連する情報を多数の利用者の端末装置に配信するための各種の技術が従来から提案されている。例えば特許文献1には、情報を音響に含めてスピーカから放音する技術が開示されている。
特開2000−207170号公報
特許文献1に記載の技術を利用して、コンテンツを利用者の端末装置で再生するための情報(以下「配信情報」という)を含む音響をスピーカから放音すると便利である。しかしながら、スピーカから音響を放音する方式では、利用者の端末装置とスピーカとの距離の増大による音響の強度の低下や、利用者が移動するために生じるドップラー効果などの影響により、受信側の端末装置において受信する音響信号の品質が劣化し得る。このため、放音された配信情報を利用者の端末装置で確実に取得できないという問題がある。
以上の事情を考慮して、本発明は、利用者の端末装置がコンテンツを再生するための配信情報をより確実に各端末装置に対して配信することを解決課題とする。
以上の課題を解決するために、本発明の一態様にかかる情報処理装置は、コンテンツを端末装置で再生するための配信情報を含有する音響を収音する収音部と、収音部が収音した音響から取得した配信情報を端末装置に送信する配信情報送信部とを具備する。以上の構成では、収音部が収音した音響から取得した配信情報を端末装置に対して送信するので、音響による配信情報の配信を補完する手段として情報処理装置が機能する。スピーカから放音された音響を品質良く収音することが困難な端末装置は、情報処理装置から送信される配信情報を代替的に利用できる。したがって、音響だけを介して配信情報を配信する構成と比較して、端末装置が配信情報を受信できる可能性が増大し、ひいては、より多くの端末装置でコンテンツを再生可能となる。
本発明の好適な態様に係る情報処理装置において、収音部が収音した音響のうち、第1の周波数帯域に対応する音響成分に配信情報が含有されており、配信情報送信部は、配信情報を第1の周波数帯域とは帯域が異なる第2の周波数帯域の音響成分に含ませて、端末装置に送信する。以上の態様では、配信情報が含有される第1の周波数帯域に対応する音響成分とは帯域が異なる第2の周波数帯域の音響成分に、収音した音響から取得した配信情報を含ませて送信するので、収音した音響から取得した配信情報と配信情報送信部から送信する配信情報との混信を防ぐことができるという利点がある。
本発明の好適な態様に係る情報処理装置において、配信情報送信部は、配信情報を近距離無線通信で端末装置に送信する。以上の態様では、近距離無線通信により、端末装置に配信情報を配信する。したがって、音響の到達範囲に加えて、情報処理装置から近距離無線通信が到達する範囲に位置する端末装置が配信情報を受信し得るという利点がある。近距離無線通信としては、数メートルの範囲内で信号が到達するビーコンによる通信や赤外線通信が例示される。
以上の各態様にかかる情報処理装置は、当該情報処理装置の動作方法(情報提供方法)情報提供方法としても特定され得る。具体的には、本発明の好適な態様に係る情報提供方法は、コンテンツを端末装置で再生するための配信情報を含有する音響を収音することと、収音した音響から取得した配信情報を端末装置に送信することとを包含する。
上記の課題を解決するために、本発明の別の態様にかかる情報処理装置は、コンテンツを端末装置で再生するための配信情報を含有する音響を収音する収音部と、端末装置に配信情報を送信可能な情報提供装置に対して、収音部が収音した音響から取得した配信情報を転送する配信情報転送部とを具備する。また、上記別の態様にかかる情報処理装置は、情報提供システムとしても特定され得る。すなわち、本発明の別の態様にかかる情報提供システムは、情報提供装置と、当該情報提供装置と通信可能な情報処理装置を含み、情報処理装置は、コンテンツを端末装置で再生するための配信情報を含有する音響を収音する収音部と、情報提供装置に対して、収音部が収音した音響から取得した配信情報を、通信網を介して転送する配信情報転送部とを具備し、情報提供装置は、端末装置に対して、配信情報転送部から転送された配信情報を、通信網を介して送信する配信情報送信部を具備する。以上の構成においては、配信情報が情報処理装置から情報提供装置に対して転送され、情報提供装置から端末装置に対して配信情報を送信する。したがって、音響による配信情報の配信を補完する手段として情報処理装置および情報提供装置は機能する。また、音響を品質良く収音することが困難な端末装置は、情報提供装置から送信される配信情報を代替的に利用してコンテンツを再生可能となる。したがって、音響だけを介して配信情報を配信する構成と比較して、端末装置が配信情報を受信できる可能性が増大し、ひいては、より多くの端末装置でコンテンツを再生可能となる。
本発明の好適な態様において、情報提供システムは、配信情報の提供先となる端末装置を記憶した記憶部をさらに具備し、配信情報送信部は、配信情報転送部から送信された配信情報の提供先として記憶部に記憶された端末装置に対して、配信情報を送信する。以上の構成においては、配信情報の提供先として記憶部に記憶された端末装置に対して配信情報を送信するから、予め登録された端末装置に限定してコンテンツを配信できるという利点がある。
本発明の好適な態様において、情報提供システムは、配信情報を含む複数の配信情報の各々の提供先となる端末装置を、各配信情報を含有する音響が放音される放音範囲ごとに記憶した記憶部をさらに具備し、配信情報送信部は、配信情報転送部から送信された配信情報から特定される放音範囲に対応付けて記憶部に記憶された端末装置に対して、配信情報を送信する。以上の構成においては、配信情報が放音される放音範囲ごとに、コンテンツの提供先として記憶部に記憶された端末装置に対して配信情報を送信するから、配信情報が放音される場所に位置する端末装置に限定してコンテンツを配信できるという利点がある。
以上の各態様にかかる情報処理システムは、当該情報提供システムの動作方法(情報提供方法)としても特定され得る。具体的には、本発明の好適な態様に係る情報提供方法は、コンテンツを端末装置で再生するための配信情報を含有する音響を情報処理装置で収音することと、収音した音響から取得した配信情報を、情報処理装置から情報提供装置に対して通信網を介して転送することと、受信した配信情報を、情報提供装置から端末装置に対して通信網を介して送信することとを包含する。
本発明の第1実施形態にかかる情報提供システムの構成図である。 音声案内装置の構成図である。 端末装置の構成図である。 情報提供装置の構成図である。 情報提供システムの動作の説明図である。 第2実施形態にかかる情報処理装置の構成図である。 第3実施形態にかかる情報処理装置の構成図である。 第4実施形態にかかる端末装置の構成図である。 第5実施形態にかかる情報提供システムの構成図である。 端末装置の構成図である。 情報提供装置の構成図である。 情報提供システムの動作の説明図である。 第6実施形態にかかる情報処理装置の構成図である。
<第1実施形態>
図1は、第1実施形態に係る情報提供システム100の構成図である。第1実施形態の情報提供システム100は、例えばショッピングモールなどの商業施設(以下、単に「施設」という)で利用者に情報を提供するコンピュータシステムであり、音声案内装置12と情報提供装置16とを具備する。施設内に位置する各利用者は端末装置20(20−1,20−2,20−3,20−4のいずれか)を携帯する。端末装置20は、携帯電話機やスマートフォン等の可搬型の通信端末である。実際には施設内には多数の端末装置20が存在し得るが、以下の説明では便宜的に任意の4個の端末装置20に着目する。なお、本実施形態では端末装置20として利用者が携帯する移動端末を想定するが、例えば施設の店舗に設置されるパーソナルコンピュータ等であってもよい。すなわち、端末装置20は、利用者が携帯して移動しながら使用する移動端末であることを要しない。
音声案内装置12は施設内に設置され、情報提供装置16は、移動通信網やインターネット等を含む通信網18に接続される。端末装置20は、通信網18を介して情報提供装置16と通信可能である。音声案内装置12は、施設に関する案内用の音声(以下「案内音声」という)を放音部24から施設内の利用者に対して放音する。案内音声は、例えば施設内にある店舗のセール情報や施設の利用特典等を案内する音声である。
第1実施形態の情報提供システム100では、概略的には、図1に例示されるとおり、音声案内装置12が案内音声を放音し、端末装置20−1は、収音した案内音声から取得した配信情報Dを他の端末装置20−2、20−3、および20−4に向けて送信する。各端末装置20は、当該施設に関するコンテンツを予め記憶部に記憶しており、配信情報Dを取得すると配信情報Dに対応するコンテンツを記憶部から読み出して再生する。一方、配信情報Dに対応するコンテンツが記憶部に記憶されていない場合には、各端末装置20は、情報提供装置16にコンテンツの配信要求R[D]を送信し、当該要求に応じて情報提供装置16から送信されたコンテンツCを受信して再生する。情報提供装置16から端末装置20に配信されるコンテンツCは、案内音声に関連する音声または画像(例えば静止画,動画,文字列)である。例えば、案内音声の発音内容を表現した文字列や当該発音内容の言語を他言語に翻訳した文字列または音声等の各種の情報がコンテンツCとして端末装置20に提供される。
<音声案内装置12>
図2は、音声案内装置12の構成図である。図2に例示されるとおり、音声案内装置12は、再生処理部22と放音部24とを具備する。再生処理部22は、案内音声を表す音響信号S[D]を放音部24に供給し、放音部24(例えばスピーカ)は、再生処理部22から供給される音響信号S[D]に応じた音響を施設内に放音する。
図2に例示されるとおり、再生処理部22は、制御部222と記憶部224と操作部226とを具備する。記憶部224は、磁気記録媒体や半導体記録媒体等の公知の記録媒体であり、発音内容が相違する案内音声に対応する複数の音響信号S[D]を記憶する。例えば、施設内にある複数の店舗やレストランの各々について、当該店舗やレストランに関する割引情報や商品情報を案内する案内音声の音響信号S[D]が記憶部224に記憶される。音響信号S[D]には案内音声に関連するコンテンツCを利用者の端末装置20で再生するための配信情報Dが含有される。具体的には、周波数変調等の信号処理で生成された配信情報Dの音響成分を案内音声に混合して音響信号S[D]は生成される。配信情報Dは、典型的には、コンテンツCに固有の識別情報である。
音響信号S[D]の生成(音響透かし)には公知の方法が任意に採用され得る。例えば、音声案内装置12は、所定の周波数の正弦波等の搬送波を配信情報Dにより周波数変調することで音響信号S[D]を生成する方法、または、拡散符号を利用した配信情報Dの変調(拡散変調)と所定の周波数の搬送波を利用した変調とを順次に実行することで、配信情報Dを特定の周波数帯域の音響成分として含有する音響信号S[D]を生成する。音響信号S[D]の周波数帯域は、一般的な音響機器による放音と収音とが可能な周波数帯域であり、かつ、受聴者が聴取する通常の音響(音声や楽音)の周波数帯域(例えば可聴域内の約16kHz以下)を上回る周波数帯域(例えば18kHz以上かつ20kHz以下)の範囲内に包含される。したがって、音響信号S[D]のうち、配信情報Dを含む帯域成分の再生音は利用者に殆ど知覚されない。
操作部226は、施設の管理者による操作を受付ける入力機器である。例えば管理者は、操作部226を適宜に操作することで、記憶部224に記憶された複数の案内音声のうち任意の1個の案内音声を選択することが可能である。選択された音響信号S[D]は放音部24から放音される。
以上の説明から理解されるとおり、音声案内装置12は、配信情報Dを空気振動たる音響を伝送媒体とした音響通信で送信する。放音部24は音響通信による配信情報Dの送信機として機能する。
制御部222は、例えばCPU(Central Processing Unit)等の汎用の演算処理装置で構成され、音声案内装置12の各要素を統括的に制御する。第1実施形態の制御部222は、記憶部224に記憶された複数の音響信号S[D]のうち操作部226に対する操作で管理者が選択した案内音声の音響信号S[D]を放音部24に供給する。したがって、管理者による指示毎に放音部24から案内音声が放音される。施設の利用者は、放音部24から放音される案内音声を聴取することが可能である。
なお、放音部24に対する音響信号S[D]の供給の契機は操作部226に対する管理者からの操作に限定されない。例えば、事前に設定された時刻(施設の営業時間内の所定の時刻)の到来を契機として音響信号S[D]を放音部24に供給する構成も採用され得る。
<端末装置20>
図3は、施設の利用者が携帯する任意の1個の端末装置20の構成図である。図3に例示されるとおり、端末装置20は、制御部31と再生部32と記憶部33と操作部34と収音部(マイクロホン)35と通信部36とを具備する。記憶部33は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)のほか、磁気記録媒体や半導体記録媒体等の公知の記録媒体でもよい。記憶部33は、制御部31が実行するプログラムや制御部31が使用する各種のデータを記憶する。例えば複数のコンテンツCが記憶部33に記憶される。なお、上記のプログラムは、通信網18を介した配信の形態で提供されて記憶部33にインストールされてもよい。
収音部35は、音声案内装置12から放音される案内音声を収音して音響信号S[D]を取得し、制御部31に供給する。通信部36は、通信網18を介して情報提供装置16と通信する。
制御部31は、例えばCPU等の処理装置で構成され、記憶部33に記憶されたプログラムを実行することで配信情報抽出部311、配信情報送信部312、および再生制御部313として機能する。配信情報抽出部311は、収音部35から供給された音響信号S[D]の復調で、案内音声に関連するコンテンツCを再生するための配信情報Dを抽出する。具体的には、配信情報抽出部311は、配信情報Dの音響成分を含む周波数帯域の帯域成分を強調するフィルタ処理と変調処理に対応した復調処理とを音響信号S[D]に対して実行することで配信情報Dを抽出する。すなわち、収音部35は音声案内装置12から音響通信で送信された配信情報Dの受信機として機能する。再生制御部313は、記憶部33に記憶されたコンテンツCのうち、抽出した配信情報Dに対応するコンテンツCを再生部32に再生させる。
他方、再生制御部313は、音響信号S[D]から抽出した配信情報Dに対応するコンテンツCが記憶部33に記憶されていない場合、配信情報Dを指定した、コンテンツCの配信要求R[D]を通信部36を介して情報提供装置16に対して送信する。通信部36は、配信情報Dに対応するコンテンツCを情報提供装置16から受信する。再生制御部313は、通信部36が受信したコンテンツCを再生部32に再生させる。なお、配信情報抽出部311、配信情報送信部312、および再生制御部313としての機能は、専用の電子回路によっても実現され得る。
再生部32としては、具体的には、コンテンツCの画像を表示する表示装置(例えば液晶表示パネル)やコンテンツCの音響を放音する放音装置(例えばスピーカやヘッドホン)が利用される。操作部34は、利用者による操作を受付ける入力機器である。
図示のように、端末装置20は配信情報Dを送信および受信する近距離無線通信部37をさらに具備する。配信情報送信部312は、配信情報抽出部311が抽出した配信情報Dをビーコン信号に含ませて近距離無線通信部37から送出する。近距離無線通信部37は、例えばBLE(Bluetooth(登録商標) Low Energy)と呼ばれる近距離通信技術を用いて、半径数メートル(10〜20m)の範囲にいる端末装置20に到達可能な方式で特定帯域のビーコン信号を送信するとともに、他の装置からビーコン信号を受信することが可能である。例えば図1に示す例では、端末装置20−1が、配信情報Dを含むビーコン信号を近距離無線通信部37から送出し、端末装置20−1の周囲に位置する端末装置20−2、20−3、および20−4は配信情報Dを近距離無線通信部37で受信する。端末装置20が配信情報Dを受信すると、再生制御部313は、記憶部33に記憶されたプログラムにしたがい、受信した配信情報Dに対応するコンテンツCを再生するよう再生部32を制御する。
<情報提供装置16>
図4は、情報提供装置16の構成図である。情報提供装置16は、例えば通信網18に接続されたサーバ装置(典型的にはウェブサーバ)であり、図4に例示されるとおり、制御部42と記憶部44と通信部46とを具備する。通信部46は、通信網18を介して端末装置20と通信する。第1実施形態の通信部46は、端末装置20が送信した配信要求R[D]を通信網18を介して受信する。記憶部44は、例えば磁気記録媒体や半導体記録媒体等の公知の記録媒体であり、複数のコンテンツCを記憶する。図4に例示されるとおり、複数のコンテンツC(C11,C12,……)の各々には、当該コンテンツCに固有の配信情報D(D11,D12,……)が対応付けて記憶される。
制御部42は、例えばCPU等の処理装置で構成され、記憶部44に記憶されたプログラムを実行することでコンテンツ配信部424として機能する。コンテンツ配信部424は、配信情報Dに対応するコンテンツCを通信部46から端末装置20に送信する。具体的には、コンテンツ配信部424は、端末装置20から受信した配信要求R[D]で指定された配信情報DのコンテンツCを記憶部44から取得し、当該配信要求R[D]を送信した端末装置20に送信する。
<全体動作>
図5は、情報提供システム100の全体的な動作の説明図である。音声案内装置12の再生処理部22は、操作部226に対する操作で管理者が選択した案内音声の音響信号S[D]を、放音部24に供給する(SA1)。音響信号S[D]の供給により放音部24からは案内音声が放音され、施設内に位置する利用者は当該案内音声を聴取する。しかしながら、実際の音響通信では、音源と受聴点との距離や障害物に起因した音波の減衰により強度が低下する。また、端末装置20の移動に起因するドップラー効果により周波数が変化する。したがって、音声案内装置12から放音された音響が、配信情報Dを抽出可能な有意な品質で端末装置に到達しない場合がある。図5に示す例では、端末装置20−1では収音部35が音響信号S[D]から配信情報Dを抽出することができ、他の端末装置20−2、20−3、および20−4では音響信号S[D]から配信情報Dを抽出できない場合を想定する。音響信号S[D]を収音した端末装置20−1の配信情報抽出部311は、収音部35で収音した案内音声の音響信号S[D]を解析することで、当該案内音声に関連するコンテンツCの配信情報Dを抽出する(SA2)。配信情報送信部312は、配信情報抽出部311が抽出した配信情報Dを含むビーコン信号を近距離無線通信部37から送出する(SA3)。
ビーコン信号を近距離無線通信部37で受信した各端末装置20−2、20−3、および20−4の再生制御部313は、ビーコン信号に含まれる配信情報Dに対応するコンテンツCが記憶部33に記憶されているかに応じて、ステップSA4(SA41およびSA42)または、ステップSA5(ステップSA51およびSA54)、のいずれかの処理を行う。すなわち、受信した配信情報Dに対応するコンテンツCが記憶部33に記憶されている場合、再生制御部313は、記憶部33に記憶された複数のコンテンツCのうち、ビーコン信号に含まれる配信情報Dに対応するコンテンツCを特定し(SA41)、当該コンテンツCを再生部32に再生させる(SA42)。他方、受信した配信情報Dに対応するコンテンツCが記憶部33に記憶されていない場合、再生制御部313は、コンテンツCの配信要求R[D]を情報提供装置16に対して通信部36から送信する(SA51)。配信要求R[D]を受信した情報提供装置16のコンテンツ配信部424は、記憶部44に記憶されているコンテンツCのうち、配信要求R[D]で指定される配信情報DのコンテンツCを特定し(SA52)、端末装置20に対して通信部46からコンテンツCを配信する(SA53)。情報提供装置16から送信されたコンテンツCを通信部36が受信すると、端末装置20の再生制御部313は、コンテンツCを再生部32に再生させる(SA54)。配信情報Dを音響信号S[D]から抽出した端末装置20−1はSA2で抽出した配信情報Dに基づいて同様の処理を実行する。
以上に説明したとおり、第1実施形態の端末装置20は、収音部35から収音した案内音声の音響信号S[D]から取得した配信情報Dを、周囲にいる端末装置20に対して送信するから、音声案内装置12からの音響による配信情報Dの配信を補完する手段として端末装置20が機能する。音声案内装置12から放音された音響を品質良く収音することが困難な端末装置20は、他の端末装置20から送信された配信情報Dを代替的に利用できる。したがって、音響だけを介して配信情報Dを配信する構成と比較して、端末装置20が確実に配信情報Dを受信できる可能性が増大し、ひいては、より多くの利用者の端末装置20でコンテンツCを再生可能となる。
なお、音響の受信品質が劣化しやすい環境下では、配信情報Dを端末装置20に配信するよう音声案内装置12から情報提供装置16に対して要求する構成も想定される。しかし特定の施設や交通機関などでは音声案内装置12から情報提供装置16への通信網18を介した通信が安全上の理由で制限される場合がある。第1実施形態の情報提供システム100は、端末装置20から配信情報Dを他の端末装置20に対して送信するので、音声案内装置12から情報提供装置16への通信が制限される構成においても有用である。
<第2実施形態>
本発明の第2実施形態について説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第2実施形態では、各端末装置20が配信情報Dを他の端末装置20に送信する構成に代えて、情報処理装置10が配信情報Dを端末装置20に送信する。したがって、第2実施形態にかかる端末装置20は、配信情報送信部312を有さない。
図6は、第2実施形態における情報処理装置10の構成図である。情報処理装置10は、例えば音声案内装置12の近傍に設置される。図6に例示されるとおり、情報処理装置10は、制御部11と収音部35とビーコン送信部38とを備える。制御部11は例えばCPU等の処理装置で構成され、情報処理装置10の各要素を統括的に制御する。制御部11は、配信情報抽出部311と配信情報送信部312とを備える。この構成において、収音部35は音声案内装置12から放音された音響から音響信号S[D]を取得し、配信情報抽出部311に供給する。配信情報抽出部311は、音響信号S[D]から配信情報Dを抽出し、配信情報送信部312は、配信情報抽出部311が抽出した配信情報Dをビーコン送信部38から端末装置20(20−1〜20−4)に向けて送出(端末装置20に対して送信)する。
以上の構成によれば、音声案内装置12からの音響による配信情報Dの配信を補完する手段として情報処理装置10が機能する。すなわち、端末装置20は、音響通信による配信情報Dの受信が困難な場合に情報処理装置10から送信される配信情報Dを代替的に利用できる。したがって、第1実施形態と同様の効果が得られる。また、端末装置20に配信情報送信部312を設けないため、端末装置20の処理負荷が低減され、バッテリーの消費が抑制され得るという利点がある。
<第3実施形態>
本発明の第3実施形態について説明する。
第3実施形態では、第2実施形態と同様に、各端末装置20が配信情報Dを他の端末装置20に送信する構成に代えて、情報処理装置10が配信情報Dを端末装置20に送信する。
図7は、第3実施形態における情報処理装置10の構成図である。第3実施形態の情報処理装置10は、第2実施形態の情報処理装置10とほぼ同様であるが、ビーコン送信部38の代わりに放音部14を備える点で第2実施形態の情報処理装置10と異なる。この構成において、第3実施形態の情報処理装置10の配信情報抽出部311は、第2実施形態と同様に、収音部35が収音した案内音声の音響信号S[D]から配信情報Dを抽出する。第3実施形態の配信情報送信部312は、配信情報Dを音響通信により端末装置20に対して送信する。具体的には、配信情報送信部312は、配信情報抽出部311が抽出した配信情報Dを含む音響信号A[D]を生成し、音響信号A[D]を放音部14から放音する。前述したように、音声案内装置12から放音される音響信号S[D]に含まれる配信情報Dは、音響信号S[D]のうち高域側の周波数帯域(例えば、18kHz以上かつ20kHz以下)(本実施形態において、「第1の周波数帯域」という)の帯域成分に含有される。これとの混信を回避するため、第3実施形態の配信情報送信部312は、第1の周波数帯域に対応する音響成分とは異なる第2の周波数帯域の音響成分に配信情報Dを含ませて音響信号A[D]として生成する。
以上の構成によれば、音声案内装置12からの音響による配信情報Dの配信を補完する手段として情報処理装置10が機能する。すなわち、端末装置20は、音響による配信情報Dの受信が困難な場合に情報処理装置10からの配信情報Dを代替的に利用できる。したがって、第1実施形態と同様の効果が得られる。また、端末装置20は配信情報送信部312を有さないため、端末装置20の処理負荷が低減される。さらには、情報処理装置10が配信情報Dを音響通信により送信するため、端末装置20はビーコン信号を受信するための近距離無線通信部37を有する必要がない。このため、端末装置20の構成を第2実施形態の構成よりもさらに簡易とすることができ、装置の小型化およびコストの低減が実現され得るという利点がある。
<第4実施形態>
本発明の第4実施形態について説明する。図8は、第4実施形態の端末装置20の構成図である。第4実施形態の端末装置20は近距離無線通信部37を有さず放音部14を有する点で第1実施形態の端末装置20と異なる。第4実施形態では、端末装置20が、ビーコン信号ではなく音響通信により配信情報Dを他の端末装置20に送信する。具体的には、音声案内装置12から放音された案内音声の音響信号S[D]を端末装置20の収音部35が収音すると、端末装置20の配信情報抽出部311が音響信号S[D]から配信情報Dを抽出する。端末装置20の配信情報送信部312は、第3実施形態の配信情報送信部312と同様に、抽出した配信情報Dを含む音響信号A[D]を生成し、放音部14から音響信号A[D]を放音する。この構成によれば、第1実施形態と同様の効果が得られる。また、端末装置20は近距離無線通信部37を設ける必要がなく、携帯電話機やスマートフォン等の可搬型の通信端末であれば一般的に具備される放音部14および収音部35を用いて音響信号A[D]の送信および受信が可能となる。したがって、第1実施形態の構成と比較して、端末装置20の装置構成が簡易となるという利点がある。
<第5実施形態>
図9は、第5実施形態の情報提供システム200の構成図である。図9に例示されるとおり、第5実施形態では、概略的には、端末装置20−1から情報提供装置16に対して配信情報Dが送信(転送)され、情報提供装置16から、各端末装置20−1、20−2、20−3、および20−4に対して配信情報Dが送信される。なお、第5実施形態では、複数の案内対象に関する案内の提供を想定する。案内対象は、案内の客体を意味し、典型的には案内が提供される場所(すなわち、案内音声が放音される放音範囲)である。図8ではひとつの施設を案内対象として例示したが、実際には複数の案内対象の各々について(例えば同種の施設毎に)音声案内装置12が設置される。他方、情報提供装置16は複数の案内対象にわたり共用される。
図10は、第5実施形態の端末装置20の構成図である。第5実施形態の端末装置20は、配信情報送信部312の代わりに配信情報転送部512を有する点と、近距離無線通信部37を有しない点で、第1実施形態の端末装置20と異なる。第5実施形態の配信情報転送部512は、収音部35が収音した案内音声の音響信号S[D]から配信情報抽出部311が抽出した配信情報Dを、通信部36から通信網18を介して情報提供装置16に転送する。記憶部33は複数のコンテンツCと当該端末装置20を一意に識別するための識別情報(以下「端末識別情報」という)Tとを記憶する。
図11は、情報提供装置16の構成図である。図11に例示されるとおり、第5実施形態の情報提供装置16においては、記憶部44に記憶される複数のコンテンツC(C11,C12,……)の各々に、各コンテンツCに固有の配信情報D(D11,D12,……)に加え、案内対象に固有の案内識別情報G(G1,G2,……)が付加される。さらに、記憶部44は登録情報Eを記憶する。登録情報Eは、各案内対象の案内音声に関連するコンテンツCの提供対象となる端末装置20を指定する。具体的には、登録情報Eは、図11に例示されるとおり、案内対象に固有の案内識別情報G(G1,G2,……)と、当該案内対象の案内音声に関連するコンテンツCの提供対象となる1個以上の端末装置20の端末識別情報T(T11,T12,……)とを対応させたデータテーブル(チェックインテーブル)である。
第5実施形態の情報提供装置16の制御部42は、第1実施形態の構成に加えて、登録処理部622と配信情報送信部624とを備える。登録処理部622は、案内対象の端末装置20の位置情報に応じて登録情報Eを更新する。具体的には、例えば端末装置20のGPS機能により測定される位置情報を当該端末装置20から受信し、当該端末装置20が案内対象(放音範囲)の地理的範囲内に位置することを位置情報が示す場合に、登録処理部622は、当該端末装置20の端末識別情報Tと該当する案内識別情報Gとを対応させて登録情報Eに記憶する(いわばチェックイン)。また、端末装置20の位置情報を情報提供装置16が取得できない場合には、登録処理部622は、利用者が選択した案内対象に対応する案内識別情報Gと当該端末装置20の端末識別情報Tを対応させる。案内対象の選択処理は、例えば端末装置20の記憶部33に記憶されたプログラムを制御部31が実行することによって実現される。具体的には、制御部31は、端末装置20に事前に記憶された、当該端末装置20が位置する場所に関連する複数の案内対象候補を端末装置20の利用者に提示し、そのいずれかを利用者に選択させ、端末識別情報Tを含む選択結果を情報提供装置16に対して送信する。選択結果を受信すると、登録処理部622は端末識別情報Tを選択された案内対象の案内識別情報Gに対応させて登録情報Eに記憶する(チェックイン)。
配信情報送信部624は、端末装置20から受信した配信情報D(D11,D12,……のいずれか)に対応する案内識別情報Gに対応して登録された端末識別情報T(すなわち案内対象について登録されたコンテンツCの提供先)の端末装置20に対して、当該配信情報Dを通信部46から送信(すなわちプッシュ配信)する。上述のとおり、登録処理部622は、端末装置20の位置に応じて案内識別情報Gに端末識別情報Tを対応させる。したがって、案内対象の案内音声が放音される場所に位置する端末装置20には、当該案内対象の案内音声に関連するコンテンツCの配信情報Dが送信される。
図12は第5実施形態にかかる情報提供システム200の全体的な動作の説明図である。音声案内装置12の再生処理部22は、操作部226に対する操作で管理者が選択した案内音声の音響信号S[D]を、放音部24に供給する(SA1)。音響信号S[D]の供給により放音部24からは案内音声が放音され、施設内に位置する利用者は当該案内音声を聴取する。図12に示す例においても、第1実施形態と同様に、端末装置20−1では収音部35が収音した音響信号S[D]から配信情報Dを抽出することができ、他の端末装置20−2、20−3、および20−4では音響信号S[D]から配信情報Dを抽出できない場合を想定する。音響信号S[D]を収音した端末装置20−1の配信情報抽出部311は、収音した音響信号S[D]を解析することで、当該案内音声に関連するコンテンツCの配信情報Dを抽出する(SA2)。配信情報転送部512は、配信情報抽出部311が抽出した配信情報Dを通信部36から情報提供装置16に対して通信網18を介して送信する(SB31)。
配信情報Dを受信した情報提供装置16はコンテンツCの提供先となる端末装置20を特定する(SB32)。具体的には、第5実施形態の情報提供装置16の配信情報送信部624は、記憶部44に記憶されたコンテンツCの配信情報Dと登録情報Eとを参照して、配信情報Dに対応する案内識別情報Gに対応して登録された端末識別情報Tの端末装置20を特定する。図9および図12で示す例では、配信情報Dに対応するコンテンツCの提供先として端末装置20−1、20−2、20−3、および20−4が特定される。配信情報送信部624は、これらの端末装置20に対して配信情報Dをプッシュ送信する(SB33)。
各端末装置20−2、20−3、および20−4の再生制御部313は、情報提供装置16から受信した配信情報Dに対応するコンテンツCが記憶部33に記憶されているかに応じて、ステップSA4(SA41およびSA42)またはステップSA5のいずれかの処理を行う。配信情報Dを音響信号S[D]から抽出した端末装置20−1は、ステップSA2で抽出した配信情報Dに基づいて同様の処理を実行する。端末装置20−1は、ステップSB33においても情報提供装置16からプッシュ送信された配信情報Dを受信するため、2つの配信情報Dを連続して受信することになる。この場合には、2つめの配信情報Dに基づくコンテンツCの再生は省略してもよい。
以上に説明したとおり、第5実施形態では、端末装置20が収音した音響信号S[D]から抽出した配信情報Dが、情報提供装置16に転送されたのちに、配信情報Dに対応するコンテンツCの提供先である端末装置20に対して情報提供装置16から送信される。すなわち、配信情報Dを抽出できた端末装置20からの当該配信情報Dの受信を契機として、端末装置20に配信情報Dが送信(プッシュ配信)される。したがって、第1実施形態と同様の効果が得られる。また、登録情報Eとして記憶された端末装置20は、案内音声が放音される案内対象(放音範囲)ごとに記憶されるから、配信情報Dが放音される場所に位置する端末装置20に限定してコンテンツCを配信できるという利点がある。
音響の受信品質が劣化しやすい環境下では、案内音声の再生毎に音声案内装置12から情報提供装置16に配信情報Dの送信を要求し、その要求を契機として情報提供装置16から端末装置20に配信情報Dを提供する構成も想定される。しかし、実際には、特定の施設や交通機関などでは音声案内装置12から情報提供装置16への通信網18を介した通信が安全上の理由で制限される場合がある。第5実施形態の情報提供システム100は、配信情報Dを端末装置20から情報提供装置16に対して転送するので、音声案内装置12から情報提供装置16への通信が制限される構成においても有用である。
なお、本実施形態において、案内識別情報Gに対応して端末識別情報Tを登録する構成は必須ではない。すなわち、コンテンツCの配信情報Dごとに端末識別情報Tを登録する構成としてもよい。この場合にも、配信情報Dの提供先として情報提供装置16の記憶部44に記憶された端末装置20に対して配信情報Dを送信するから、予め登録された端末装置20に限定してコンテンツCを配信できるという利点がある。
また、登録情報Eを案内対象ごとに別個のサーバ装置に分散して記憶させる構成も採用し得る。
<第6実施形態>
本発明の第6実施形態について説明する。第6実施形態では、各端末装置20が配信情報Dを情報提供装置16に転送する構成に代えて、情報処理装置10が配信情報Dを情報提供装置16に転送する。
図13は、第6実施形態にかかる情報処理装置10の構成図である。情報処理装置10は、第2実施形態の情報処理装置10と同様に、例えば音声案内装置12の近傍に設置される。図12に例示されるとおり、情報処理装置10は、配信情報抽出部311と配信情報転送部512とを備える制御部11と、収音部35と通信部36とを備える。この構成において、情報処理装置10の配信情報抽出部311は、収音部35が収音した、音声案内装置12から放音された音響信号S[D]から配信情報Dを抽出する。また、情報処理装置10の配信情報転送部512は、配信情報抽出部311が抽出した配信情報Dを通信部36から通信網18を介して情報提供装置16に対して転送する。
以上の構成によれば、音声案内装置12からの音響による配信情報Dの配信を補完する手段として情報処理装置10および情報提供装置16は機能する。すなわち、端末装置20は、音響による配信情報Dの受信が困難な場合に情報処理装置10を介して情報提供装置16から配信された配信情報Dを代替的に利用できる。したがって、第5実施形態と同様の効果が得られる。また、端末装置20の通信部36は情報提供装置16に対して配信情報Dを転送しないので、端末装置20の処理負荷が低減され、バッテリーの消費が抑制され得るという利点がある。
<変形例>
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
(1)上述した第2実施形態、第3実施形態、および第6実施形態では、情報処理装置10は音声案内装置12から放音される案内音声の音響信号S[D]から配信情報Dを抽出するが、音声案内装置12と情報処理装置10とを信号線で接続し、情報処理装置10の配信情報抽出部311は音声案内装置12から信号線を介して供給される音響信号S[D]から配信情報Dを抽出する構成も採用可能である。この構成においては、収音した音響信号S[D]から配信情報Dを抽出する場合と比較してより高精度な配信情報Dを取得できるという利点がある。
(2)上述した第1実施形態および第4実施形態では、配信情報Dを抽出できた端末装置20が他の端末装置20に対して配信情報Dを送信し、第2実施形態および第3実施形態では、端末装置20の代わりに情報処理装置10が端末装置20に対して配信情報Dを送信する。したがって、配信情報Dを端末装置20に送信する主体は、音声案内装置12からの音響信号S[D]を収音する収音部35と、当該音響信号S[D]から取得した配信情報Dを端末装置20に送信する配信情報送信部312とを備えた情報処理装置であると把握される。また、第5実施形態では配信情報Dを抽出できた端末装置20が情報提供装置16に対して配信情報Dを転送する。第6実施形態では、端末装置20の代わりに情報処理装置10が情報提供装置16に対して配信情報Dを転送する。したがって、情報提供装置16に配信情報Dを転送する主体は、音声案内装置12からの音響信号S[D]を収音する収音部35と、当該音響信号S[D]から取得した配信情報Dを情報提供装置16に転送する配信情報転送部512とを備えた情報処理装置として把握される。すなわち、端末装置20および情報処理装置10は、情報処理装置として包括的に表現され得る。情報処理装置は、単体で使用される装置に限らず、例えば前述の各態様にかかる機能を提供する組み込み用ボードであってもよい。
また、配信情報D自体にコンテンツCを含めて配信してもよい。したがって、コンテンツを端末装置で再生するための配信情報には、コンテンツの識別情報のほか、コンテンツ自体も含まれる。
(3)前述の各形態では、商業施設における音声案内を例示したが、情報提供システム100が利用される案内対象は以上の例示に限定されない。例えば、電車、バス、船舶または航空機等を包含する移動体(端末装置20を収容して移動する設備)の音声案内にも前述の各形態と同様の情報提供システム100,200が利用される。また、商業施設のほか、美術館や博物館等の展示施設、または宿泊施設等の各種の施設の音声案内に情報提供システム100,200を利用することも可能である。各種の施設にて火災や地震等の災害が発生した場合の情報提供(例えば避難の案内や状況の通知)にも情報提供システム100,200を利用することが可能である。
100,200……情報提供システム、12……音声案内装置、14……放音部、16……情報提供装置、18……通信網、20……端末装置、22……再生処理部、222……制御部、224……記憶部、24……放音部、31……制御部、311……配信情報抽出部、312,624……配信情報送信部、313……再生制御部、32……再生部、33……記憶部、34……操作部、35……収音部、36……通信部、37……近距離無線通信部、38……ビーコン送信部、42……制御部、424……コンテンツ配信部、44……記憶部、46……通信部、512……配信情報転送部、622……登録処理部。

Claims (8)

  1. 情報提供装置と、当該情報提供装置と通信可能な情報処理装置を含む情報提供システムであって、
    前記情報処理装置は、
    コンテンツを端末装置で再生するための配信情報を含有する音響を収音する収音部と、
    前記収音部が収音した音響から取得した配信情報を、通信網を介して前記情報提供装置に転送する配信情報転送部と具備し、
    前記情報提供装置は、
    配信情報の提供先となる端末装置を記憶する記憶部を参照することで、前記配信情報転送部から転送された配信情報を、当該配信情報の提供先として前記記憶部に記憶された端末装置に対して、前記通信網を介して送信する配信情報送信部を具備する、
    情報提供システム。
  2. 情報提供装置と、当該情報提供装置と通信可能な情報処理装置を含む情報提供システムであって、
    前記情報処理装置は、
    コンテンツを端末装置で再生するための配信情報を含有する音響を収音する収音部と、
    前記収音部が収音した音響から取得した配信情報を、通信網を介して前記情報提供装置に転送する配信情報転送部と具備し、
    前記情報提供装置は、
    複数の配信情報の各々の提供先となる端末装置を、各配信情報を含有する音響が放音される放音範囲ごとに記憶する記憶部を参照することで、前記配信情報転送部から転送された配信情報を、当該配信情報から特定される放音範囲に対応付けて前記記憶部に記憶された端末装置に対して、前記通信網を介して送信する配信情報送信部を具備する、
    情報提供システム。
  3. 収音部が収音した音響から取得される、コンテンツを端末装置で再生するための配信情報を、通信網を介して転送する情報処理装置と通信可能な情報提供装置であって、
    配信情報の提供先となる端末装置を記憶する記憶部を参照することで、前記転送された配信情報を、当該配信情報の提供先として前記記憶部に記憶された端末装置に対して、前記通信網を介して送信する配信情報送信部
    を具備する情報提供装置。
  4. 収音部が収音した音響から取得される、コンテンツを端末装置で再生するための配信情報を、通信網を介して転送する情報処理装置と通信可能な情報提供装置であって、
    複数の配信情報の各々の提供先となる端末装置を、各配信情報を含有する音響が放音される放音範囲ごとに記憶する記憶部を参照することで、前記転送された配信情報を、当該配信情報から特定される放音範囲に対応付けて前記記憶部に記憶された端末装置に対して、前記通信網を介して送信する配信情報送信部
    を具備する情報提供装置。
  5. 情報提供装置と、当該情報提供装置と通信可能な情報処理装置を含む情報提供システムにおける情報提供方法であって、
    前記情報処理装置が、
    コンテンツを端末装置で再生するための配信情報を含有する音響収音し、
    前記収音した音響から取得した配信情報を通信網を介して前記情報提供装置に転送し、
    前記情報提供装置が、
    配信情報の提供先となる端末装置を記憶する記憶部を参照することで、前記転送された配信情報を、当該配信情報の提供先として前記記憶部に記憶された端末装置に対して前記通信網を介して送信する、
    情報提供方法。
  6. 情報提供装置と、当該情報提供装置と通信可能な情報処理装置を含む情報提供システムにおける情報提供方法であって、
    前記情報処理装置が、
    コンテンツを端末装置で再生するための配信情報を含有する音響収音し、
    前記収音した音響から取得した配信情報を通信網を介して前記情報提供装置に転送し、
    前記情報提供装置が、
    複数の配信情報の各々の提供先となる端末装置を、各配信情報を含有する音響が放音される放音範囲ごとに記憶する記憶部を参照することで、前記転送された配信情報を、当該配信情報から特定される放音範囲に対応付けて前記記憶部に記憶された端末装置に対して前記通信網を介して送信する、
    情報提供方法。
  7. 収音部が収音した音響から取得される、コンテンツを端末装置で再生するための配信情報を、通信網を介して転送する情報処理装置と通信可能な情報提供装置が、
    配信情報の提供先となる端末装置を記憶する記憶部を参照することで、前記転送された配信情報を、当該配信情報の提供先として前記記憶部に記憶された端末装置に対して、前記通信網を介して送信する
    情報提供方法。
  8. 収音部が収音した音響から取得される、コンテンツを端末装置で再生するための配信情報を、通信網を介して転送する情報処理装置と通信可能な情報提供装置が、
    複数の配信情報の各々の提供先となる端末装置を、各配信情報を含有する音響が放音される放音範囲ごとに記憶する記憶部を参照することで、前記転送された配信情報を、当該配信情報から特定される放音範囲に対応付けて前記記憶部に記憶された端末装置に対して、前記通信網を介して送信する
    情報提供方法。
JP2016011565A 2016-01-25 2016-01-25 情報提供システム、情報提供装置、および、情報提供方法 Active JP6701756B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016011565A JP6701756B2 (ja) 2016-01-25 2016-01-25 情報提供システム、情報提供装置、および、情報提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016011565A JP6701756B2 (ja) 2016-01-25 2016-01-25 情報提供システム、情報提供装置、および、情報提供方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020075931A Division JP6866947B2 (ja) 2020-04-22 2020-04-22 情報提供システム、および、情報提供方法

Publications (2)

Publication Number Publication Date
JP2017134456A JP2017134456A (ja) 2017-08-03
JP6701756B2 true JP6701756B2 (ja) 2020-05-27

Family

ID=59502608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016011565A Active JP6701756B2 (ja) 2016-01-25 2016-01-25 情報提供システム、情報提供装置、および、情報提供方法

Country Status (1)

Country Link
JP (1) JP6701756B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6811158B2 (ja) * 2017-10-26 2021-01-13 株式会社日立ビルシステム ロボット制御システム、ロボット制御方法及び統合サーバー装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5157693B2 (ja) * 2008-07-08 2013-03-06 ヤマハ株式会社 警報装置および警報システム
JP5835048B2 (ja) * 2012-03-23 2015-12-24 ヤマハ株式会社 サーバ装置及び認証システム
JP2014092885A (ja) * 2012-11-01 2014-05-19 Yamaha Corp 認証システム、認証装置、アクセスキー供給装置、端末装置、及びプログラム
JP2014186112A (ja) * 2013-03-22 2014-10-02 Yamaha Corp 放音制御装置
JP2014187490A (ja) * 2013-03-22 2014-10-02 Yamaha Corp 放送受信装置及び端末装置

Also Published As

Publication number Publication date
JP2017134456A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6213700B1 (ja) 端末装置、情報提供方法およびプログラム
JP6701756B2 (ja) 情報提供システム、情報提供装置、および、情報提供方法
JP6866947B2 (ja) 情報提供システム、および、情報提供方法
US10139241B2 (en) Information provision system, information provision method, and management device
WO2015106576A1 (zh) 基于音频的数据标签发布系统及方法
JP6668634B2 (ja) 端末装置、端末装置の動作方法およびプログラム
JP6114249B2 (ja) 情報送信装置および情報送信方法
JP7167448B2 (ja) プログラムおよび端末装置
JP6493343B2 (ja) 情報提供システム、情報提供方法およびプログラム
JP6955838B2 (ja) 再生制御装置、再生制御方法およびプログラム
JP6881477B2 (ja) 情報提供システム、情報提供方法およびプログラム
CN112889298B (zh) 信息提供方法、信息提供系统、以及记录介质
JP2018125646A (ja) 情報提供方法および情報送信装置
JP7067597B2 (ja) 情報提供方法、情報提供装置、移動端末の動作方法、移動端末およびプログラム
JP6569629B2 (ja) 情報送信装置、情報送信方法およびプログラム
JP7159674B2 (ja) 情報処理装置および情報処理方法
WO2020246205A1 (ja) プログラム、端末装置および端末装置の動作方法
JP2021015619A (ja) 情報提供方法、情報提供システムおよびプログラム
JP2020038695A (ja) 端末装置、端末装置の動作方法およびプログラム
JP6402589B2 (ja) 端末装置、端末装置の動作方法およびプログラム
WO2017130794A1 (ja) 情報処理装置、情報処理方法、情報管理装置および情報管理方法
JP2018132634A (ja) 情報提供装置および情報提供システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R151 Written notification of patent or utility model registration

Ref document number: 6701756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151