JP6120206B2 - 音響コードの符号化・復号化装置および音響コードの符号化・復号化方法 - Google Patents

音響コードの符号化・復号化装置および音響コードの符号化・復号化方法 Download PDF

Info

Publication number
JP6120206B2
JP6120206B2 JP2012225679A JP2012225679A JP6120206B2 JP 6120206 B2 JP6120206 B2 JP 6120206B2 JP 2012225679 A JP2012225679 A JP 2012225679A JP 2012225679 A JP2012225679 A JP 2012225679A JP 6120206 B2 JP6120206 B2 JP 6120206B2
Authority
JP
Japan
Prior art keywords
code
acoustic
acoustic code
decoding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012225679A
Other languages
English (en)
Other versions
JP2014078863A (ja
Inventor
憲三 伊藤
憲三 伊藤
朝 猿舘
朝 猿舘
裕太 穴澤
裕太 穴澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iwate Prefectural University
Original Assignee
Iwate Prefectural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate Prefectural University filed Critical Iwate Prefectural University
Priority to JP2012225679A priority Critical patent/JP6120206B2/ja
Publication of JP2014078863A publication Critical patent/JP2014078863A/ja
Application granted granted Critical
Publication of JP6120206B2 publication Critical patent/JP6120206B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Description

本発明は、音響コードの符号化・復号化装置および音響コードの符号化・復号化方法に係わり、特に、自由音響空間の環境下で文字情報などを音響信号として符号化し、音の到達する場所において文字情報を適宜取得することができる音響コードの符号化・復号化装置および音響コードの符号化・復号化方法に関する。
従来から、多様な文字情報の伝達手段として、フェリカ“FeliCa”(登録商標)などに対応していない携帯情報端末(スマートフォン等)にクーポン券などを配布する、いわゆるラピナビライト“RapiNAVI Light”(登録商標)が知られている(例えば、特許文献1、2等)。
かかる文字情報の伝達手段においては、文字情報を超音波信号に変調して情報配信するもので、非接触通信が可能であるものの、2〜3cmの間隔での超短距離通信に制限されるという難点があった。
このため、本発明者等は鋭意研究を重ねた結果、文字情報を音響パターンに変換し、効率良く情報伝達することができる文字情報の伝達方式(以下、「音響コードを用いた文字情報の伝達方式」という。)を案出している。
かかる音響コードを用いた文字情報の伝達方式は、図7に示すように、音響コード符号化部110において、文字列120から符号帳(コードブック)130を参照して音響コード(音響パターン)を生成し、当該音響コードをスピーカ140から音響空間に放出する送信器100と、当該音響コード(音響パターン)をマイク210で集音した後、音響コード復号化部220において、送信側と同様の符号帳(コードブック)230を参照して文字列(文字情報)240を取得する受信器200とを備えている。
このような文字情報の伝達方式によれば、日常生活においてありふれて存在する「音」に着目することで、広い空間であっても多くの人々に同時に文字情報を配信し、取得させることができる。
しかしながら、このような構成の文字情報の伝達方式は、実際の適用場面においては、騒音などの環境騒音が想定されることから、環境騒音が存在・変動する条件下では、文字情報の符号化・復号化に際して十分な性能を確保することができず、ひいては通信性能を十分に発揮できないという難点が予想される。
特開平7−254037号公報 特開2012−100300号公報
本発明の音響コードの符号化・復号化装置および音響コードの符号化・復号化方法は、上述の難点を解決するためになされたもので、従来の響コードの符号化・復号化装置に雑音特性分析部や雑音除去部を付加することで、環境雑音に最適に動作し得る環境適応型の音響コードの符号化・復号化装置および音響コードの符号化・復号化方法を提供することを目的としている。
本発明の第1の態様である音響コードの符号化・復号化装置は、文字列から符号帳を参照して音響コードを生成し、当該音響コードを音響空間に放出する送信手段と、放出された音響コードを集音し、送信手段の符号帳と同様の符号帳を参照して集音した音響コードから文字列を復号化する受信手段とを備えている音響コードの符号化・復号化装置であって、送信手段には、音響コードの生成に際して、環境雑音の周波数特性に応じた符号構成を行うために、環境雑音の周波数特性を分析して当該環境雑音のスペクトル特性が平均的な周波数特性として求められる雑音特性分析部と、文字列を1文字毎に符号化するにあたり、音響コードに相当する信号の周波数強度を環境雑音の平均的な周波数特性であるスペクトル特性より一定の大きさになるように調整する符号化処理部とが設けられ、受信手段には、音響コードの復号化に際して、環境雑音を除去するために、当該環境雑音の雑音成分である平均的な周波数特性であるスペクトル特性を除去するための雑音除去部と、雑音除去部で平均的な周波数特性であるスペクトル特性が除去された音響コードを復号化するための復号化処理部とが設けられているものである。
本発明の第の態様である音響コードの符号化・復号化方法は、文字列から符号帳を参照して音響コードを生成し、当該音響コードを音響空間に放出する送信手段と、放出された音響コードを集音し、送信側の符号帳と同様の符号帳を参照して集音した音響コードから文字列を復号化する受信手段とを備えている装置の音響コードの符号化・復号化方法であって、送信手段の符号化処理は、音響コードの生成に際して、環境雑音の周波数特性に応じた符号構成を行うために、環境雑音の周波数特性を分析して当該環境雑音のスペクトル特性を平均的な周波数特性として求めるステップと、文字列を1文字毎に符号化するにあたり、音響コードに相当する信号の周波数強度を環境雑音の平均的な周波数特性であるスペクトル特性より一定の大きさになるように調整するステップとを含み、受信手段の復号化処理は、音響コードの復号化に際して、環境雑音を除去するために、当該環境雑音の雑音成分である平均的な周波数特性であるスペクトル特性を除去するステップと、平均的な周波数特性であるスペクトル特性が除去された音響コードを復号化するステップとを含むものである。
本発明の第1の態様音響コードの符号化・復号化装置および第の態様の音響コードの符号化・復号化方法によれば、次のような効果がある。
第1に、文字情報を音響信号にコード化する際、環境雑音の大きさやその周波数特性に応じた符号構成とすることで、環境雑音が大きい条件下でも高精度で符号化処理を行うことができ、また、復号化においては、雑音成分の特性を除去することで、音響コード信号のみを拾い出すことが可能となり、システム全体の機能を格段に向上させることができる。
第2に、QRコード(登録商標)が画像情報に埋め込まれた文字情報を近接的に取得する従来のQRコード(登録商標)に比し、本発明においては、音情報を取得することが可能な環境であれば、離れた場所でも多くの人々に文字情報を一斉に配信・取得することができ、特に、高年齢や聴覚に障害のある人々に有効利用できる。
第3に、本発明の音響コードの符号化・復号化装置においては、既設の放送システムに付加することで、情報配信(送信)ができ、また、受信側での復号化においては、市販の携帯情報端末のアプリケーション・ソウトウエアとしても手軽に実現可能であり、コスト的にも効率よくシステムの構築を図ることができる。
本発明における音響コードの符号化・復号化装置の概要を示す説明図。 本発明における音響コードの符号化・復号化装置のブロック図。 本発明における音響コードの符号構成の一例を示す説明図。 本発明における音響コードを符号化するときの信号強度を示す説明図。 本発明における符号化された音響コード信号の観測例を示す説明図。 本発明における実際に送出する音響コードの構成の一例を示す説明図。 従来における音響コードの符号化・復号化装置の概要を示す説明図。
以下、本発明の音響コードの符号化・復号化装置および音響コードの符号化・復号化方法を適用した好ましい実施の形態例について、図面を参照して説明する。
図1は、本発明における音響コードの符号化・復号化装置の概要を示す説明図、図2は、本発明の一実施例における音響コードの符号化・復号化装置のブロック図を示している。
図1において、本発明の音響コードの符号化・復号化装置は、従来の音響コードの符号化・復号化装置と同様に、送信側に配置され、後述するように、音響コード符号化部12bにおいて、文字列11から符号帳(コードブック)12aを参照して音響コード(音響パターン)を生成し、当該音響コードをスピーカ14から音響空間に放出する送信器1と、この送信器1から例えば5〜10m程度離間して配置され、後述するように、音響コード(音響パターン)をマイク21で集音した後、音響コード復号化部22bにおいて、送信側と同様の符号帳(コードブック)22aを参照して文字列(文字情報)24を取得する受信器2とを備えている。
本発明の音響コードの符号化・復号化装置においては、送信器1に、後述する雑音特性分析部15が付加され、受信器2に後述する雑音除去部23bが付加されている。
送信器1は、具体的には、図2に示すように、文字列(以下「送信器文字列」という。
)11と、送信器文字列11から符号帳(コ−ドブック)(以下「送信器符号帳」という。)12aを参照して音響コードを生成する手段としての符号化処理部12と、生成した音響コードを音響空間に放出する手段としての音響コード処理部(以下「送信器音響コード処理部」という。)13およびスピーカ(以下「送信器スピーカ」という。)14と、音響コードの生成に際して、環境雑音の大きさや環境雑音の周波数特性に応じた符号構成を行う手段としての雑音特性分析部15およびマイク(以下「送信器マイク」という。)16とを備えている。
ここで、符号化処理部12は、送信器符号帳12aと、送信器符号帳12aに接続された符号化部12bとを有しており、符号化部12bには、送信器文字列11、雑音特性分析部15および送信器音響コード処理部13がそれぞれ接続されている。
また、雑音特性分析部15は、スペクトル特性検出部15aと、FFT(高速フーリエ変換)15bを介して接続されたA/D変換部15cとを有しており、スペクトル特性検出部15aには符号化処理部12の符号化部12bが、A/D変換部15cには送信器マイク16がそれぞれ接続されている。
さらに、送信器音響コード処理部13は、IFFT(逆高速フーリエ変換)13aと、当該IFFT13aに始期・終期付加部13bを介して接続されたD/A変換部13cとを有しており、IFFT13aには符号化処理部12の符号化部12bが、D/A変換部13cには送信器スピーカ14がそれぞれ接続されている。
一方、受信器2は、音響空間に放出された音響コードを集音する手段としてのマイク(以下「受信器マイク」という。)21と、集音した音響コードを送信器符号帳12aと同様の符号帳(コ−ドブック)(以下「受信器符号帳」という。)22aを参照して文字列(以下「受信器文字列」という。)24を復号化する手段としての復号化処理部22と、音響コードの復号化に際して、環境雑音を除去する手段としての音響コード処理部23とを備え、受信器2の出力結果として文字列(以下「受信器文字列」という。)24が得られる。
復号化処理部22は、受信器符号帳22aと、受信器符号帳22aに接続された復号化部22bとを有しており、復号化部22bには受信器文字列24および受信器音響コード処理部23が接続されている。
また、受信器音響コード処理部23は、受信器マイク21にA/D変換部23aを介して接続された雑音除去部23bと、復号化処理部22の復号化部22bに接続された信号区間決定部23dと、当該信号区間決定部23dと雑音除去部23b間に接続されたFFT(高速フーリエ変換)23cとを有している。
このような構成の音響コードの符号化・復号化装置によれば、図7に示す従来の音響コードの符号化・復号化装置に雑音特性分析部15および雑音除去部23bを付加することで、環境雑音に最適に動作する構成とすることができ、ひいては、文字情報を音響信号にコード化する際に、環境雑音の大きさやその周波数特性に応じた符号構成とすることで、環境雑音が大きい条件下でも高精度で符号化処理を行うことができ、また、復号化においては、雑音成分の特性を除去することで、音響コード信号のみを拾い出すことが可能となり、システム全体の機能を格段に向上させることができる。
次に、このように構成された本発明の音響コードの符号化・復号化装置における音響コードの符号化・復号化処理の流れについて説明する。
本発明においては、先ず、本装置が使用される周囲雑音(環境雑音)が送信器マイク16で集音され、A/D変換部15cでアナログ信号がデジタルデータに変換され、FFT15bにより周波数分析される。これにより、スペクトル特性検出部15aにおいて、後述するように、本装置が使用される周囲雑音のスペクトル特性が平均的な周波数特性(環境特性)として求められる。
一方、受信器文字列11からの文字情報が符号化部12bへ入力され、次のようにして入力された文字列の1文字ごとに環境特性に応じて符号化処理が行われる。
図3は、音響コードの符号構成の一例を示している。同図において、横軸は符号化する文字列の時間(ms)を示し、縦軸は周波数(Hz)を示している。
縦軸としての周波数軸は複数の帯域に分割される。この周波数軸の分割数は、伝達される文字の種類によって決定されるところ、この実施例においては、500〜4000Hzの周波数が5つの帯域に分割される。
ここで、音響コードは、人に聴かせることを目的としており、広い音響空間に発信されることから、使用する周波数帯域を500〜4000Hzとしている。
文字情報の符号化は、複数の帯域に分割された帯域毎の信号の有無で表現される。この実施例においては、音響コードの周波数帯域を5分割し、1コード当たりの時間長を50msとしている。この各スペクトルパターンに文字を割り当てる。例えば、周波数帯域を5分割した条件では、32種類(5ビット)の文字を割り当てることができる。
このように、周波数帯域を5分割し、サブバンドパワーを調節することで、音響コードの特徴づけを行うことができる。
一方、符号化処理部12では、送信器符号帳12aおよび雑音特性分析部15のスペクトル特性検出部15aからの雑音周波数特性を用いて、図4に示すように、音響コードに相当する信号の周波数強度(信号強度)を環境雑音より一定の大きさになるように調整して配置する。
図4は、音響コードを符号化するときの信号強度を示しており、横軸は周波数を、縦軸は利得を示している。
このようにして、周波数軸に配置された情報をもとにIFFT(周波数逆変換)13aにより、図5に示すように時間領域(波形領域)に戻される。
図5は、符号化された音響コード信号の観測例を示しており、同図の上段は時間波形を、下段は上段の時間波形に対応したソナグラムを示している。
このようにして符号化された音響コード信号は、D/A変換部13cでデジタルデータがアナログ信号に変換されて送信器スピーカ14より音響コード信号として音響空間(自由空間)に放出される。
ここで、一連の文字列に対応した音響コードは、始端・終端付加部13bにおいて、図6に示すように、信号区間(音響コード信号)の存在をより確実にするために、音響コード信号の始まりを示す「始端信号」と、音響コード信号の終わりを示す「終端信号」とで挟んで構成し、D/A変換部13cへ送出する。
一方、受信側では、音響空間に放出された音響コード信号を受信器マイク21で集音した後、A/D変換部23aでアナログ信号がデジタルデータに変換されて雑音除去部23bへ入力され、当該雑音除去部23bにおいて音響データから雑音成分が除去される。この雑音除去の方法としては、従来から音声信号に重畳した雑音を除去するための手法として、SS(Spectral Subtraction)法が知られている。
そして、雑音成分を除去した後、FFT23cにより周波数分析し、信号区間決定部23dにおいて、信号の存在する領域を“1”、信号の存在しない領域を“0”と表現し、この情報と送信器符号帳12aと同様の受信器符号帳23aを参照して復号化し、これにより、該当するコードを文字情報(受信器文字列24)として出力することができる。
以上述べたように、このような構成の音響コードの符号化・復号化装置および音響コードの符号化・復号化方法によれば、文字情報を音響信号にコード化する際、環境雑音の大きさやその周波数特性に応じた符号構成とすることで、環境雑音が大きい条件下でも高精度で符号化処理を行うことができ、また、復号化においては、雑音成分の特性を除去することで、音響コード信号のみを拾い出すことが可能となり、システム全体の機能を格段に向上させることができる。
また、QRコード(登録商標)が画像情報に埋め込まれた文字情報を近接的に取得する従来のQRコード(登録商標)に比し、本発明においては、音情報を取得することが可能な環境であれば、離れた場所でも多くの人々に文字情報を一斉に配信・取得することができ、特に、高年齢や聴覚に障害のある人々に有効利用できる。
さらに、本発明の音響コードの符号化・復号化装置においては、既設の放送システムに付加することで、情報配信(送信)ができ、また、受信側での復号化においては、市販の携帯情報端末のアプリケーション・ソウトウエアとしても手軽に実現可能であり、コスト的にも効率よくシステムの構築を図ることができる。
なお、これまで本発明について、図面に示した特定の実施の形態をもって本発明を説明しているが、本発明はこれらの実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られているいかなる構成であっても採用することができる。
例えば、前述の実施例では、受信器2として、受信器マイク21を有するものを使用しているが、送受信機能を有する携帯端末を使用してもよい。
また、前述の説明では、この方式の利用場面としてクーポン券等の配布について述べているが、講演や館内放送、ラジオ等での利用や、或いは、非接触通信技術に類することから、駅構内、空港、教室、集会場、待号室など不特定多数の人々に対して一括して文字情報等を配信する場号にも有効利用できる。
1・・・送信器
11・・・文字列(送信器文字列)
12・・・符号化処理部
12b・・・符号化部
15・・・雑音特性分析部
2・・・受信器
22・・・復号化処理部
22b・・・復号化部
23・・・音響コード処理部(受信器音響コード処理部)
23b・・・雑音除去部
24・・・文字列(受信器文字列)

Claims (2)

  1. 文字列から符号帳を参照して音響コードを生成し、当該音響コードを音響空間に放出する送信手段と、放出された前記音響コードを集音し、前記送信手段の前記符号帳と同様の符号帳を参照して集音した前記音響コードから前記文字列を復号化する受信手段とを備えている音響コードの符号化・復号化装置であって、
    前記送信手段には、前記音響コードの生成に際して、環境雑音の周波数特性に応じた符号構成を行うために、前記環境雑音の前記周波数特性を分析して当該環境雑音のスペクトル特性が平均的な周波数特性として求められる雑音特性分析部と、前記文字列を1文字毎に符号化するにあたり、前記音響コードに相当する信号の周波数強度を前記環境雑音の前記平均的な周波数特性であるスペクトル特性より一定の大きさになるように調整する符号化処理部とが設けられ、
    前記受信手段には、前記音響コードの復号化に際して、前記環境雑音を除去するために、当該環境雑音の雑音成分である前記平均的な周波数特性であるスペクトル特性を除去するための雑音除去部と、前記雑音除去部で前記平均的な周波数特性であるスペクトル特性が除去された音響コードを復号化するための復号化処理部とが設けられていることを特徴とする音響コードの符号化・復号化装置。
  2. 文字列から符号帳を参照して音響コードを生成し、当該音響コードを音響空間に放出する送信手段と、放出された前記音響コードを集音し、前記送信側の符号帳と同様の符号帳を参照して集音した前記音響コードから前記文字列を復号化する受信手段とを備えている装置の音響コードの符号化・復号化方法であって、
    前記送信手段の符号化処理は、前記音響コードの生成に際して、前記環境雑音の周波数特性に応じた符号構成を行うために、前記環境雑音の前記周波数特性を分析して当該環境雑音のスペクトル特性を平均的な周波数特性として求めるステップと、前記文字列を1文字毎に符号化するにあたり、前記音響コードに相当する信号の周波数強度を前記環境雑音の前記平均的な周波数特性であるスペクトル特性より一定の大きさになるように調整するステップとを含み、
    前記受信手段の復号化処理は、前記音響コードの復号化に際して、前記環境雑音を除去するために、当該環境雑音の雑音成分である前記平均的な周波数特性であるスペクトル特性を除去するステップと、前記平均的な周波数特性であるスペクトル特性が除去された音響コードを復号化するステップとを含むことを特徴とする音響コードの符号化・復号化方法。
JP2012225679A 2012-10-11 2012-10-11 音響コードの符号化・復号化装置および音響コードの符号化・復号化方法 Active JP6120206B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012225679A JP6120206B2 (ja) 2012-10-11 2012-10-11 音響コードの符号化・復号化装置および音響コードの符号化・復号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012225679A JP6120206B2 (ja) 2012-10-11 2012-10-11 音響コードの符号化・復号化装置および音響コードの符号化・復号化方法

Publications (2)

Publication Number Publication Date
JP2014078863A JP2014078863A (ja) 2014-05-01
JP6120206B2 true JP6120206B2 (ja) 2017-04-26

Family

ID=50783833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012225679A Active JP6120206B2 (ja) 2012-10-11 2012-10-11 音響コードの符号化・復号化装置および音響コードの符号化・復号化方法

Country Status (1)

Country Link
JP (1) JP6120206B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3075534B1 (fr) * 2017-12-14 2020-01-10 CopSonic Dispositif de stockage de cles numeriques pour signer des transactions sur une chaine de blocs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3098593B2 (ja) * 1991-12-12 2000-10-16 株式会社日立製作所 音声認識装置
JPH10341286A (ja) * 1997-06-09 1998-12-22 Sony Corp 音響文字出力装置、音響文字入力装置及び音響文字入出力装置
JP4953767B2 (ja) * 2006-11-02 2012-06-13 アルパイン株式会社 音声生成装置
JP2010085737A (ja) * 2008-09-30 2010-04-15 Yamaha Corp 符号化装置及び情報通信システム
KR20110051385A (ko) * 2009-11-10 2011-05-18 삼성전자주식회사 통신 단말기 및 그의 통신 방법

Also Published As

Publication number Publication date
JP2014078863A (ja) 2014-05-01

Similar Documents

Publication Publication Date Title
KR101646586B1 (ko) 발신장치
US20140064511A1 (en) Smart tool for headphones
US10542360B2 (en) Reproduction system, terminal device, method thereof, and non-transitory storage medium, for providing information
CN103152480B (zh) 利用移动终端进行到站提示的方法和装置
CN102263576B (zh) 无线信息传输方法及实现设备
CN106170929B (zh) 具有改进的噪声抗扰性的通信系统、方法和设备
CN108964787A (zh) 一种基于超声波的信息广播方法
CN104717601A (zh) 无线监控设备登录无线网络的方法和系统
KR101597657B1 (ko) 네트워크 접속 정보가 포함된 음파를 출력하는 모바일 디바이스 및 방법
CN104505096A (zh) 一种用音乐传输隐藏信息的方法及装置
CN103957220A (zh) 一种基于变频声波的数据传输方法及系统
CN106603669A (zh) 分布式主从设备的控制方法及系统
JP6120206B2 (ja) 音響コードの符号化・復号化装置および音響コードの符号化・復号化方法
US20170063471A1 (en) Audio signal transmission system with enhanced audio signal recognition and data processing method for the same
KR101686969B1 (ko) 대기중 사운드 통신 방법 및 그 시스템
KR101519493B1 (ko) 비가청 대역의 음파를 이용한 방송방법, 방송시스템, 및 이에 사용되는 믹서
JP5980713B2 (ja) デジタル無線送信装置、デジタル無線受信装置及びデジタル無線通信システム
JP6114249B2 (ja) 情報送信装置および情報送信方法
US20160205462A1 (en) Method of transmiting data and a device and system thereof
CN104299617A (zh) 一种在音频中嵌入与检测数字信息的方法
JP7385532B2 (ja) 音響通信システム、音響送信装置、プログラムおよび音響信号送信方法
JP2015052569A (ja) 盗聴器検知装置、盗聴器検知システム、盗聴器検知方法、及び盗聴器検知プログラム
CN111970063B (zh) 一种通信方法、装置、设备和存储介质
JP2014029406A (ja) 情報送信装置、情報送信プログラム、情報受信装置、情報受信プログラム、及び情報通信方法
CN203104777U (zh) 利用广播系统实现将位置信号传送到移动通信终端的通信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160920

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170317

R150 Certificate of patent or registration of utility model

Ref document number: 6120206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150