JP5856187B2 - 音波通信システム及び受信装置 - Google Patents
音波通信システム及び受信装置 Download PDFInfo
- Publication number
- JP5856187B2 JP5856187B2 JP2013556495A JP2013556495A JP5856187B2 JP 5856187 B2 JP5856187 B2 JP 5856187B2 JP 2013556495 A JP2013556495 A JP 2013556495A JP 2013556495 A JP2013556495 A JP 2013556495A JP 5856187 B2 JP5856187 B2 JP 5856187B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- signal
- sound
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
このため、音波通信を行う場合、反射波が受信装置側のマイクロフォンに入力されることのないよう、送信装置側のスピーカと受信装置側のマイクロフォンとを近接させていた。
このため、音波通信では、送信装置と受信装置との間の通信可能距離を長くすることが望まれていた。
そして、不要信号除去部が、マイクロフォンからの受信信号を信号処理することで、受信信号から不要信号成分を除去し、FM検波部が、不要信号除去部にて不要信号成分が除去された受信信号をFM検波することで、送信データを復元する。
そして、第3フィルタ部が、その包絡線検波された信号の中から、第2フィルタ部を通過した受信信号よりも周波数が低い不要信号成分を抽出し、除去部が、第2フィルタ部を通過した受信信号から第3フィルタ部を通過した不要信号を除去する。
周波数変調された音波の振幅特性は一定であることから、受信装置側で得られる受信信号は、遅延波等の不要信号成分が含まれなければ安定した振幅特性となる。
また、このように、受信装置側では、受信信号から不要信号成分を除去することができるので、送信装置と受信装置との間の通信距離が長くなっても、音波通信によるデータ通信を良好に行うことができる。
なお、受信装置において、不要信号除去部を構成する第1フィルタ部、周波数変換部、第2フィルタ部、包絡線検波部、第3フィルタ部及び除去部としての機能や、FM検波部としての機能は、アナログ回路にて実現できる。また、デジタル回路若しくはコンピュータによる演算処理にて実現することもできる。
例えば、マイクロフォンを備えた携帯型情報処理端末等、コンピュータを内蔵した情報処理装置に、受信装置を組み込むようにすれば、コンピュータによるソフトウェア処理にて、不要信号除去部、FM検波部としての機能を実現することができる。
なお、送信装置を、スピーカ等の音波発生部を備えた情報処理装置に組み込む場合、変調部は、コンピュータの動作クロックを生成する発振器からの出力を分周する分周回路にて構成し、送信データを音波送信する際には、コンピュータの演算処理により、送信データに応じて分周回路の分周比を切り換えるようにするとよい。
なお、受信装置において、包絡線検波部は、第1フィルタ部を通過した受信信号を包絡線検波することによって不要信号成分を生成することから、第1フィルタ部を通過する受信信号は、不要信号成分を充分含む信号であってもよい。
(本発明を適用するのに好適な装置例)
次に、こうした音波通信を活用するのに好適な携帯装置、及び、音波通信を利用して携帯端末装置にネットワーク機器へのアクセス情報を提供するのに好適なアクセス情報提供システム、情報提供装置、及び携帯端末装置について説明する。
(1)携帯装置
上述した特許文献1に記載の音波通信技術や本発明による音波通信では、通常の音(例えば、音声、音楽、報知音等)を出力するためのスピーカを、無線通信用の送信機として機能させ、通常の音を入力するためのマイクロフォンを、無線通信用の受信機として機能させることができる。
そこで、携帯装置を以下のように構成することにより、こうした音波通信の利点を生かし、音波通信を活用することができる。
[携帯装置A1]
放送情報を受信して再生する受信装置により再生される音に含まれる音波信号を入力可能な音入力ユニットと、
前記音入力ユニットにより入力された前記音波信号の表す情報に基づいて、前記受信装置による再生内容に関連する再生関連処理を実行する制御ユニットと、
を備えることを特徴とする携帯装置。
[携帯装置A2]
携帯装置A1において、
ユーザによる操作を受け付ける操作ユニットを更に備え、
前記制御ユニットは、前記再生関連処理として、前記再生内容に関連する処理であって前記操作ユニットにより受け付けられた操作に基づく処理を実行する
ことを特徴とする携帯装置。
[携帯装置A3]
携帯装置A1又はA2において、
ユーザに情報を提示する提示ユニットを更に備え、
前記制御ユニットは、前記再生関連処理として、前記再生内容に関連する情報を前記提示ユニットに提示させることを特徴とする携帯装置。
(2)アクセス情報提供システム
このアクセス情報提供システムは、無線通信網を介してネットワーク機器との間で通信を行う携帯端末装置と、携帯端末装置に対しネットワーク機器にアクセスするのに必要なアクセス情報を提供する情報提供装置とにより構成される。
a)撮像用のカメラを利用して、接続対象となるネットワーク機器に対するアクセス情報を表す2次元コードを読み取り、その読み取った2次元コードからアクセス情報を復号することで、ネットワーク上の所望のネットワーク機器にアクセスできるように構成されたもの(例えば、特開2003−67275号公報参照)。
[アクセス情報提供システムB1]
無線通信網を介して、ネットワーク上のネットワーク機器との間で通信を行うための無線通信部を備えた携帯端末装置と、
前記携帯端末装置に対し、前記ネットワーク機器にアクセスするのに必要なアクセス情報を提供する情報提供装置と、
を備えたアクセス情報提供システムであって、
前記情報提供装置は、
音波送信用のスピーカと、
前記アクセス情報を、前記スピーカから送信可能な音声信号に変換して、前記スピーカに出力することにより、前記アクセス情報を前記スピーカから音波送信させる送信部と、
を備え、
前記携帯端末装置は、
前記スピーカから送信された音波を受信可能なマイクロフォンと、
前記マイクロフォンを介して、前記スピーカから送信された音波を受信し、該受信信号から前記アクセス情報を復元する復元部と、
前記復元部にて復元されたアクセス情報に基づき、前記無線通信部を介して前記ネットワーク機器にアクセスし、該ネットワーク機器との間で通信を行う通信制御部と、
を備えたことを特徴とするアクセス情報提供システム。
そして、このマイクロフォンを介して、スピーカから送信された音波が受信されると、復元部が、その受信信号から、ネットワーク機器へのアクセス情報を復元し、通信制御部が、復元部にて復元されたアクセス情報に基づき、無線通信部を介してネットワーク機器にアクセスし、このネットワーク機器との間で通信を行う。
[アクセス情報提供システムB2]
アクセス情報提供システムB1において、
前記情報提供装置は、
外部から入力される受信信号の中から所定放送チャンネルの放送信号を選局・復調する受信装置に内蔵され、
前記放送信号を選局・復調することにより得られる放送データの中から、前記ネットワーク機器の前記ネットワーク上のアドレスを取得し、該アドレスを前記アクセス情報として前記送信部に出力するアクセス情報取得部、
を備えたことを特徴とするアクセス情報提供システム。
そこで、アクセス情報提供システムB2においては、アクセス情報取得部が、受信装置にて放送信号を選局・復調することにより得られる放送データの中から、放送内容に関連した情報を提供するネットワーク機器のアドレスを取得し、そのアドレスをアクセス情報として送信部に出力する。
[アクセス情報提供システムB3]
アクセス情報提供システムB1又はB2において、
前記情報提供装置は、
自身の識別情報と認証用の鍵情報とを含む暗号化情報を生成する暗号化情報生成部と、
前記暗号化情報生成部にて生成された暗号化情報を前記送信部に出力することで、該暗号化情報を含むアクセス情報を、前記送信部から前記スピーカを介して音波送信させる暗号化情報出力部と、
前記ネットワーク機器からの送信要求に従い、前記鍵情報を暗号化して前記ネットワーク機器に送信する鍵情報送信部と、
を備え、
前記携帯端末装置において、
前記復元部は、前記受信信号から前記暗号化情報及び前記アクセス情報を復元し、
前記通信制御部は、前記復元部にて復元されたアクセス情報に基づき、前記無線通信部を介して前記ネットワーク機器にアクセスする際、前記復元部にて復元された前記暗号化情報を前記ネットワーク機器に送信し、
前記ネットワーク機器は、
前記携帯端末装置から前記暗号化情報を取得すると、該暗号化情報から前記識別情報及び前記鍵情報を復元し、該復元した識別情報に基づき、前記ネットワークを介して前記情報提供装置に前記鍵情報の送信要求を行う鍵情報送信要求部と、
該鍵情報送信要求部による送信要求に従い前記情報提供装置から暗号化して送信されてくる鍵情報を取得し、復号化すると共に、該復号化した鍵情報が、前記携帯端末装置から取得し復元した鍵情報と一致しているか否かを判定する鍵情報判定部と、
を備え、該鍵情報判定部にて鍵情報が一致していると判断されると、前記携帯端末装置及び前記情報提供装置が正常であると判断して、前記携帯端末装置と前記情報提供装置とによる通信を許可することを特徴とするアクセス情報提供システム。
ここで、暗号化情報生成部は、情報提供装置自身の識別情報と認証用の鍵情報とを含む暗号化情報を生成する。
また、携帯端末装置においては、復元部が、スピーカからの受信信号から暗号化情報及びアクセス情報を復元し、通信制御部が、復元部にて復元されたアクセス情報に基づき、無線通信部を介してネットワーク機器にアクセスする際には、復元部にて復元された暗号化情報を前記ネットワーク機器に送信する。
[情報提供装置C1]
無線通信網を介して、ネットワーク上のネットワーク機器との間で通信を行うための無線通信部を備えた携帯端末装置に対し、前記ネットワーク機器にアクセスするのに必要なアクセス情報を提供する情報提供装置であって、
音波送信用のスピーカと、
前記アクセス情報を、前記スピーカから送信可能な音声信号に変換して、前記スピーカに出力することにより、前記アクセス情報を前記スピーカから音波送信させる送信部と、
を備えたことを特徴とする情報提供装置。
[情報提供装置C2]
情報提供装置C1において、
当該情報提供装置は、外部から入力される受信信号の中から所定放送チャンネルの放送信号を選局・復調する受信装置に内蔵されており、
前記放送信号を選局・復調することにより得られる放送データの中から、前記ネットワーク機器の前記ネットワーク上のアドレスを取得し、該アドレスを前記アクセス情報として前記送信部に出力するアクセス情報取得部、
を備えたことを特徴とする情報提供装置。
そして、情報提供装置C2には、放送信号を選局・復調することにより得られる放送データの中から、ネットワーク機器のネットワーク上のアドレスを取得し、そのアドレスをアクセス情報として送信部に出力するアクセス情報取得部が設けられている。
[情報提供装置C3]
情報提供装置C1又はC2において、
当該情報提供装置の識別情報と認証用の鍵情報とを含む暗号化情報を生成する暗号化情報生成部と、
前記暗号化情報生成部にて生成された暗号化情報を前記送信部に出力することで、該暗号化情報を含むアクセス情報を、前記送信部から前記スピーカを介して音波送信させる暗号化情報出力部と、
前記ネットワーク機器からの送信要求に従い、前記鍵情報を暗号化して前記ネットワーク機器に送信する鍵情報送信部と、
を備えたことを特徴とする情報提供装置。
[携帯端末装置D1]
無線通信網を介して、ネットワーク上のネットワーク機器との間で通信を行うための無線通信部と、
情報提供装置のスピーカから送信された音波を受信可能なマイクロフォンと、
前記マイクロフォンを介して、前記スピーカから送信された音波を受信し、該受信信号から、前記情報提供装置から提供されたアクセス情報を復元する復元部と、
前記復元部にて復元されたアクセス情報に基づき、前記無線通信部を介して前記ネットワーク機器にアクセスし、該ネットワーク機器との間で通信を行う通信制御部と、
を備えたことを特徴とする携帯端末装置。
[携帯端末装置D2]
携帯端末装置D1において、
前記復元部は、前記受信信号から、前記情報提供装置から提供された暗号化情報及びアクセス情報を復元し、
前記通信制御部は、前記復元部にて復元されたアクセス情報に基づき、前記無線通信部を介して前記ネットワーク機器にアクセスする際、前記復元部にて復元された前記暗号化情報を前記ネットワーク機器に送信することを特徴とする携帯端末装置。
(第1実施形態)
図1に示すように、本実施形態の音波通信システムは、スピーカ22を内蔵した送信装置10と、マイクロフォン32を内蔵した受信装置30とから構成される。
数値制御発振部14は、スピーカ22とマイクロフォン32とを介して音波通信可能な周波数帯の搬送波(正弦波)を発生する。
ここで、加算値設定部12及び数値制御発振部14は、コンピュータによるソフトウェア処理にて実現されるものである。
なお、LPF18は、D/A変換器16から出力される送信信号から不要な高周波成分を除去するもの(アンチエイリアLPF)であり、本実施形態では、カットオフ周波数が例えば20kHzに設定されている。
そして、その受信された受信信号は、増幅回路34にて所定レベルまで増幅され、LPF18と同様に構成されたLPF36にて、不要な高周波成分が除去された後、A/D変換器38に入力される。
次に、A/D変換器38にてA/D変換された受信信号は、不要信号除去部40にて不要信号が除去された後、FM検波部60にてFM検波される。
ここで、不要信号除去部40、FM検波部60、及び波形整形部68は、コンピュータによるソフトウェア処理にて実現されるものである。
なお、遅延部62は、受信信号の位相をπ/2(90°)遅延させ、乗算部64は、遅延部62にて遅延された受信信号と不要信号除去部40からの受信信号とを乗算し、LPF66は、乗算部64による乗算結果から不要な高周波成分を除去する。
乗算部46は、BPF42を介して入力される受信信号と、発振部44にて生成される一定周波数(本実施形態では、13.1kHz)の局発信号とを乗算することで、受信信号(周波数:16kHz〜20kHz)を、所定の中間周波数(2.9kHz〜6.9kHz)に周波数変換するものである。
次に、BPF48は、乗算部46からの出力の内、中間周波数(2.9kHz〜6.9kHz)に周波数変換された受信信号を選択的に通過させるものであり、通過帯域幅が、2.9kHz〜6.9kHzに設定されている。
一方、振幅検波部50は、BPF42から入力される受信信号を包絡線検波することで、受信信号に重畳された不要信号成分を抽出するものである。
そして、振幅検波部50により包絡線検波された検波信号は、不要信号成分を選択的に通過させるLPF52に入力され、LPF52を通過した不要信号成分は、除算部56に入力される。
このため、本実施形態の音波通信システムによれば、送信装置10から疑似雑音符号を送信することなく、受信装置30側で、送信装置10からの送信データを正確に復元できることになる。
ここで、本実施形態においては、送信装置10に設けられた加算値設定部12及び数値制御発振部14が、本発明の周波数変調部の一例に相当し、同じく送信装置10に設けられた増幅回路20及びスピーカ22が、本発明の音波発生部の一例に相当する。なお、音波発生部としては、例えば、圧電ブザー等、音波の発生源となるブザーを利用するようにしてもよい。
例えば、上記実施形態では、送信装置10の加算値設定部12及び数値制御発振部14、受信装置30の不要信号除去部40、FM検波部60、及び波形整形部68は、コンピュータによるソフトウェア処理にて実現されるものとして説明したが、これら各部は、デジタル信号処理を行うデジタル回路、或いは、アナログ信号処理を行うアナログ回路にて実現してもよい。
また、スピーカ84は、制御部80からの出力(音声信号)をD/A変換するD/A変換器87及びD/A変換器87にてD/A変換された音声信号を増幅する増幅回路88を介して、制御部80に接続されている。
このようにすれば、客が、受信装置30としての機能を有する携帯型情報処理端末70を利用して、送信装置10からURLを取得し、ホームページを閲覧できるようになり、本発明の電波通信システムの用途を拡大することができる。
つまり、この簡易送信機90は、ワンチップのマイクロコンピュータを含む制御部92と、制御部92の動作クロックを生成する発振器94と、発振器94から制御部92に出力される動作クロックを取り込み、分周することで、所望周波数の発振信号を生成する分周回路96と、分周回路96からの出力を受けて音波を発生するスピーカ98とから構成されている。
そして、この簡易送信機90は、極めて少ない構成部品にて構成でき、小型化及び低コスト化を図ることができることから、各種情報送信に利用することができる。
(第2実施形態)
次に、音波通信を活用するのに好適な携帯装置及びその周辺システムについて、第2実施形態として説明する。
図6は、実施形態の放送システムの概念的な構成を示すブロック図である。この放送システムは、放送装置1と、受信装置2と、携帯装置3と、を備える。
次に、音波信号について説明する。
音波信号は、スピーカから出力可能であって、マイクロフォンで入力可能な周波数帯の音波によって搬送される信号である。
この音波通信は、図1〜図5にて説明した第1実施形態の音波通信システムを利用できる。但し、図6の放送システムは、第1実施形態で説明した音波通信システムの構成の少なくとも一部を利用して構成することが可能であるが、特許文献1に記載のような他の公知の構成を利用することもできる。
次に、具体的な構成例について説明する。
[3−1.第1構成例]
まず、第1構成例として、テレショッピングに本発明を適用した場合の構成例について説明する。ここでいうテレショッピングとは、商品販売者が、テレビジョン放送の受信装置を用いて番組を視聴する視聴者としてのユーザに対して商品を紹介し、ユーザから購入の意思を受けることで、商品の売買を行うサービスのことである。
また、インターネットを利用する場合には、インターネット可能な電子機器(例えばPCや携帯電話機等)で商品販売者のウェブページを閲覧するための操作(例えば検索操作やURLの入力操作等)を行わなければならない。
このような問題を解消するために、第1構成例では、商品販売者がユーザに対して商品を紹介するための受信装置から、ユーザが携帯する携帯装置へ、必要な情報が音波通信の技術を利用して送信される。
第1構成例において、放送装置1は、テレビジョン放送の放送局において、テレビジョン放送の映像や音を表す情報を放送情報として生成し、送信(放送)する装置である。
映像情報合成ユニット115は、映像情報出力ユニット111から出力されたオリジナルの映像情報と、表示用情報出力ユニット112から出力された表示用情報と、を入力する。
そして、音情報合成ユニット116は、オリジナルの音情報の表すオリジナルの音に、送信用情報の表す音を付加した音情報を生成し(つまり、オリジナルの音情報と送信用情報とを合成し)、放送情報生成ユニット117へ出力する。
また、第1構成例において、受信装置2は、放送装置1により送信(放送)されたテレビジョン放送の放送情報を、放送網やインターネットなどを介して受信し、放送情報の表す映像及び音を再生する装置(テレビジョン放送受信装置)である。
また、テレビジョン連携処理は、例えば、特定の操作がされた場合に開始され、その後に所定の終了条件が成立した時点で(例えば一定時間経過後に)終了されるようにしてもよい。
S11で、プロセッサ313は、音入力ユニット3Aにより音波信号が入力されたか否かを判定する。プロセッサ313は、音波信号が入力されたと判定した場合には、処理をS12へ移行させ、音波信号の表す情報を表示ユニット3C(表示画面314)に表示させた後、処理をS13へ移行させる。
S13で、プロセッサ313は、音波信号の表す情報が表示画面314に表示されており、かつ、その情報に基づく通信要求操作が行われたか否かを判定する。
図11は、第1構成例の放送システムの概念図である。
携帯装置3は、スピーカ216から出力された音をマイクロフォン311から入力し、その音に含まれる音波信号の表す情報(表示画面215に表示されている商品情報)を、表示画面314に表示する。
また、携帯装置3は、インターネットアドレス450を選択する操作がタッチパネル315で行われると、そのインターネットアドレスにアクセスする処理を行う。
[3−2.第2構成例]
次に、第2構成例として、ラジオショッピングに本発明を適用した場合の構成例について説明する。
音情報出力ユニット121は、オリジナルの音情報を出力する。オリジナルの音情報とは、送信用情報を付加する前のオリジナルの音を表す情報であり、例えば、マイクロフォンで録音された音(音声や音楽等)や、録音後に編集された音などである。
放送情報生成ユニット123は、音情報出力ユニット121から出力されたオリジナルの音情報と、送信用情報出力ユニット122から出力された送信用情報と、を入力する。
また、第2構成例において、受信装置2は、放送装置1により送信(放送)されたラジオ放送の放送情報を、放送網やインターネットなどを介して受信し、放送情報の表す音を再生する装置(ラジオ放送受信装置)であり、例えば自動車に搭載されている。
(1)動画データ自体がラジオ放送に同期して再生されるデータである場合
動画データ自体がラジオ放送に同期して再生されるデータである場合には、携帯装置3で特別な処理を行う必要がない。例えば、動画データが、ラジオ放送に合わせてストリーミング再生されるような場合である。
動画データがラジオ放送とは独立したデータである場合、携帯装置3でラジオ放送と同期させる必要がある。この場合には、ラジオ放送から得られる情報に基づき、現時点の放送内容が、動画におけるどの時点に対応するかを判断し、その時点から動画を再生すればよい。
S25で、プロセッサ313は、音波信号の表す情報が表示画面314に表示されており、かつ、その情報に基づく通信要求操作が行われたか否かを判定する。
S27で、プロセッサ313は、音波信号の表す情報が表示画面314に表示されており、かつ、その情報に基づく商品記憶操作が行われたか否かを判定する。
プロセッサ313は、商品記憶操作が行われたと判定した場合には、処理をS28へ移行させ、商品を記憶する処理を行った後、処理をS21へ移行させる。
次に、前述したS28で商品が記憶された状態においてプロセッサ313が実行する商品通知処理について、図15のフローチャートを用いて説明する。
次に、第3構成例として、テレビジョン放送による競馬中継に本発明を適用した場合の構成例について説明する。
そこで、第3構成例では、競馬中継を視聴するための受信装置から、ユーザが携帯する携帯装置へ、必要な情報が音波通信の技術を利用して送信される。
また、携帯装置3は、競走馬名530を選択する操作がタッチパネル315で行われると、その競走馬に関する情報(例えば血統や過去の成績等)を、インターネット上のサーバから取得する。
例えば、解説者等が発言した馬や組合せをワンタッチで選択できるようにしてもよい。また、ここでは競馬を例に挙げたが、ユーザが投票可能な他のイベント(例えば、競輪、競艇、サッカー等のスポーツ等)に適用してもよい。
次に、第4構成例として、異なる複数(以下の例では2つ)の番組を同時に表示する機能を備えるテレビジョン放送の受信装置2に本発明を適用した場合の構成例について説明する。
しかしながら、異なる2つの番組の音を同時に出力すると、内容が聞き取りにくくなってしまう。
第4構成例の放送システムのハードウェア構成は、基本的には前述した第1構成例(図7〜図9)と同様であるが、受信装置2の構成が若干異なるため、この点について説明する。
具体的には、図18に示すように、再生ユニット2Bは、第1の選局ユニット241と、第2の選局ユニット242と、第1の放送情報分離ユニット243と、第2の放送情報分離ユニット244と、映像再生ユニット245と、音再生ユニット246と、を備える。なお、前述したように、受信ユニット2Aは、放送装置1により送信(放送)された放送情報を、放送網やインターネットなどを介して受信し、再生ユニット2Bへ出力する。
第1の選局ユニット241は、選局した放送情報を、第1の放送情報分離ユニット243へ出力する。また、第2の選局ユニット242は、選局した放送情報を、第2の放送情報分離ユニット244へ出力する。
そして、音再生ユニット246は、第1の放送情報分離ユニット243及び第2の放送情報分離ユニット244から出力された音情報を入力し、音情報の表す音をスピーカ248から出力する。
このため、一方の番組の音は受信装置2のスピーカ248ら出力され、他方の番組の音は携帯装置3のスピーカ319又はジャック320(ヘッドフォン)から出力される。
次に、第5構成例として、ユーザに関する情報を検出する機能を備えるテレビジョン放送の受信装置2に本発明を適用した場合の構成例について説明する。
カメラ251は、視聴者としてのユーザを撮影し、その人数、位置、性別、年齢等の情報を把握するためのものであり、受信装置2の正面(表示画面247が設けられている側であり、例えば表示画面247の上方)に設けられている。
・複数のユーザに対して、ユーザの位置に応じて異なる情報を提供する。この場合、スピーカ248は、指向性を有するものが用いられる。例えば、図23に示すように、スピーカ248による音の出力方向を複数方向に区分する。この例では、受信装置2に対して左寄りに位置するユーザAと、受信装置2に対して正面に位置するユーザBと、受信装置2に対して右寄りに位置するユーザCと、に対して異なる音を出力することができる。
・ユーザの年齢、性別、サイズ、居住地などに応じた情報(例えば、年齢や性別に応じた内容の情報、年齢、性別、サイズに応じた衣服の情報、居住地に応じた情報等)を提供する。
このように音波信号を選択して提供することで、ユーザに応じた情報を提供することができる。
[4.効果]
携帯装置3は、放送情報を受信して再生する受信装置2により再生される音に含まれる音波信号を入力可能な音入力ユニット3Aと、音入力ユニット3Aにより入力された音波信号の表す情報に基づいて、受信装置2による再生内容に関連する処理(再生関連処理)を実行する制御ユニット3Bと、を備える。
例えば、携帯装置3は、受信装置2において商品を紹介して購入者を募る内容の情報(例えばテレショッピングやラジオショッピング等の情報)が放送されている状態において、商品を購入するために指定の連絡先へ通信を行う場合に、極めて簡易的な操作(例えば、ワンタッチ操作や、音声による単純な発声操作等)により通信を行うことができる。
携帯装置3は、ユーザに情報を提示するユニット(提示ユニット)を備え、制御ユニット3Bは、再生関連処理として、再生内容に関連する情報を提示ユニットに提示させる。
携帯装置3は、提示ユニットとして、ユーザが視認可能に画像を表示する表示ユニット3Cを備える。
例えば、携帯装置3は、受信装置2において商品を紹介して購入者を募る内容の情報が放送されている状態において、商品の情報や連絡先(例えば電話番号やインターネットアドレス等)を表示することができる。
また例えば、携帯装置3は、静止画に限らず、動画を表示することができる。このため、ラジオ放送受信装置のように、動画を再生できない受信装置2であっても、放送内容に関連する動画を携帯装置3で確認することができる。
受信装置2で表示されるべき情報を携帯装置3で表示させるようにすれば、本来の映像が関係のない情報で損なわれないようにすることができる。
携帯装置3は、提示ユニットとして、ユーザが聴取可能に音を出力する音出力ユニット3Fを備える。
例えば、携帯装置3は、受信装置2において2つの番組が同時に表示されている状態において、受信装置2から出力されていない番組の音を再生することができる。
また例えば、携帯装置3は、受信装置2で通知されるべき緊急情報等を音で通知することができる。
このため、携帯装置3は、音波信号だけでは得られない情報を取得したり、外部装置(サーバを含む)へ情報を通知したりすることができる。
携帯装置3は、音波信号から取得した情報(例えば商品の識別情報等)を記憶し、その後に、記憶されている情報に関連する情報を表す音波信号を受信装置2から受信した場合に、ユーザに報知する処理を行う。
例えば、携帯装置3は、ラジオショッピングで紹介されていた商品が、その後にテレビジョン放送受信装置で放送された場合に、ユーザに通知することができる。
例えば、受信装置2から送信された音波信号の表す情報(例えばCM用の情報等)を単に画像として表示したり音で出力したりするシステムであれば、通信装置以外の装置(例えば受信装置2を遠隔操作可能なリモートコントローラ等)を携帯装置3としてもよい。
このため、放送装置1は、受信装置2からユーザが五感で(聴覚や視覚で)把握できる情報に加え、携帯装置3を用いて利用される情報を提供することができる。
放送装置1は、音波信号として、商品を購入するための通信の通信先情報を表す信号を送信する。
放送装置1は、放送情報として、投票を募る内容の情報(例えば競馬中継の情報等)を送信し、音波信号として、携帯装置3を用いて投票する手順を簡易化するための情報を表す信号を送信する。
放送装置1は、音波信号として、投票可能な選択肢の中から、放送内容に応じて絞り込まれた選択肢を表す信号を送信する。
このため、携帯装置3のユーザは、放送内容をメモ等することなく、商品を特定することができる。したがって、他の情報源から当該商品の情報を取得したり、当該商品を購入したりする場合に、商品を特定することができないということを生じにくくすることができる。
このような情報は、本来の映像に重畳して提供されたり、本来の放送を中断して提供されたりするなど、本来の放送の価値を低下させ得る。これに対し、音波信号で送信すれば、本来の映像が損なわれないように(又は損なわれにくく)することができる。
放送装置1は、音波信号として、放送内容に関し書き留めておくべき情報を表す信号を送信してもよい。例えば、番組で紹介された店、物品、メールアドレスの情報など、メモをとる必要が生じ得る情報である。このような情報を音波信号として送信することで、情報を急いでメモする必要を生じにくくすることができる。
また、受信装置側で不要信号成分を生成できるようにするために、送信装置から疑似雑音符号を送信したり、受信装置側で疑似雑音符号に基づき多重通路遅延特性値を求めたりする必要がないので、高精度な音波通信を高速に実行することができる。
以上、第2実施形態の各種構成例について説明したが、第2実施形態は、更に種々の形態を採り得ることは言うまでもない。
例えば、装置から出力される報知音に音波信号を含めて出力するようにしてもよい。すなわち、電気的に作動する装置(例えば、冷蔵庫、炊飯器、電子レンジ、エアコンディショナー等、商用電源で作動する電化製品や、卓上時計等、電池で作動する電子機器など)の多くは、圧電ブザーなどの報知手段を備えている。
(第3実施形態)
次に、音波通信を利用して携帯端末装置にネットワーク機器へのアクセス情報を提供するのに好適なアクセス情報提供システムについて、第3実施形態として説明する。
[第1構成例]
図25に示すように、本実施形態の通信システムは、ルータ703及び終端装置704を介してインターネットに接続されたローカルエリアネットワーク(LAN)705を中心に構成されている。
データ処理装置710は、LAN705に接続されたネットワーク機器やアクセスポイント708を介して接続される携帯端末装置(以下、単に携帯端末という)730から送信されてきたデータを処理し、所定の記憶媒体(ハードディスク、シリコンディスク、メモリカード等)へ保存したり、プリンタ706を利用して印刷したりするためのものである。
そして、データ処理装置710には、キーボードやマウス等を含む入力部715、LCD等を含む表示部716、各種データを記憶するための記憶媒体(図では、HDD(ハードディスク))717、LAN705を介して他のネットワーク機器と通信を行うための有線LAN通信部718、及び、音波送信部720、等が備えられている。
また、携帯端末730には、各種タッチキーを含む入力部737、LCD等を含む表示部738、及び、撮像用のカメラ739が設けられており、これら各部も制御部740に接続されている。
このため、音波通信用受信部750では、受信信号(音声データ)に含まれる不要信号成分が不要信号除去部で除去され、FM検波部にて、音波送信部720からの送信データが復元されることになる。
以下、このためにデータ処理装置710のMPU712及び携帯端末730の制御部740にてそれぞれ実行される、データ取得処理及びデータ出力処理について、図29に示すフローチャートに沿って説明する。
また続くS220では、S210の受信処理にて、データ処理装置710から音波送信されたIPアドレスが受信(換言すれば復元)されたか否かを判断し、IPアドレスが受信されていなければ、再度S210に移行することにより、IPアドレスが受信されるのを待つ。
[第2構成例]
図30に示すように、本構成例の通信システムは、インターネット766に接続された認証サーバ768と、商取引を行う店舗や事業所等に設置され、インターネットサービスプロバイダ(ISP)765を介してインターネット766に接続された決済端末767とを備える。
認証データ生成処理は、決済端末767において、繰り返し実行される処理である。
そして、続くS320では、その生成した認証キーと、決済端末767自身の識別情報である端末IDとを合成して、暗号化し、S330にて、その暗号化したデータを認証データとして、決済端末767に内蔵された音波送信部(図1の送信装置10と同様に構成されたもの)から音波送信させる。
そして、この認証キー送信処理では、S340にて、認証サーバ768から認証キーの問い合わせがあったか否かを判断することにより、認証キーの問い合わせを待ち、認証サーバ768から認証キーの問い合わせがあると、S350に移行する。
そして、その後は、S360に移行して、認証サーバ768からの指令に従い、認証サーバ768にて認証された携帯端末730との間で、インターネット766経由で、決済用のデータを送受信することで、所定の決済処理を実行し、決済処理が完了すると、S340に移行する。
一方、携帯端末730を構成するコンピュータ(上述した制御部740を構成するマイクロコンピュータ)は、入力部737から決済指令が入力されることにより、図31に示す認証データ転送処理を実行する。
次に、認証サーバ768を構成するコンピュータは、図31に示す認証処理を繰り返し実行する。
[第3構成例]
図32に示すように、本構成例の通信システムは、放送局772の送信塔773からの送信電波を受信する受信アンテナ771を有するテレビ受信装置770と、無線LAN709若しくは携帯電話回線網769を介してインターネット766に接続可能な携帯端末730とを備える。
そして、続くS640では、S630で生成された音声データを、テレビ放送の音声データと混合することで、テレビ受信装置770に設けられたスピーカから音波送信させる。
以上説明したように、本構成例の通信システムにおいては、テレビ受信装置770が、テレビ放送信号に含まれるURL情報を音波送信し、そのURL情報を取得した携帯端末730が、そのURL情報に従い、インターネット766上のWebサーバ774に自動でアクセスするようにされている。
[変形例1]
第3実施形態において、上記各構成例では、音波送信部720は、数値制御発振部722を用いて、送信データに対応して周波数が変化する音波信号を生成するものとして説明したが、図34に示す音波送信部720aのように、分周回路777を用いて音波信号を生成するようにしてもよい。
[変形例2]
一方、アクセス情報を音波送信する装置側に図34に示す音波送信部720aを設けた場合、携帯端末730には、図35に示す受信状態判定部780を設けて、音波の受信信号が正常であるか否かを判断し、受信信号に異常があるときには、音波通信用受信部750でのアクセス情報の復元動作を禁止するようにするとよい。
[変形例3]
また、上記構成例では、アクセス情報の送信に、周波数の異なる2つの音波を使って2値データを送信する周波数変調方式(FSK)を採用しているが、送信に用いる音波の周波数を超音波帯にすれば、送信に利用可能な周波数帯域を広げ、波数を増加することができる。
[変形例4]
一方、携帯電話やスマートホンにおいて、音波の受信に利用可能なマイクロフォン735は、通常、1個設けられているが、1個のマイクロフォン735では、携帯端末730(延いてはマイクロフォン735)の向きによって、音波送信用のスピーカ728からの音波をマイクロフォン735にて良好に受信できないことが考えられる。
本発明は、システム、装置、方法、プログラム、プログラムを記録した記録媒体(CD−ROMやDVD等の光ディスク、磁気ディスク、半導体製メモリ等)、などの種々の形態で実現することができる。上記実施形態の各構成要素は、ハードウェアで実現されていてもよく、ソフトウェアで実現されていてもよく、これらの組み合わせて実現されていてもよい。また、図示した各構成要素は概念的なものであり、具体的形態は上記の構成に限定されない。例えば、1つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部は、同様の機能を有する公知の構成に置き換えてもよい。
Claims (3)
- マイクロフォンにて受信可能な周波数帯の信号を送信データに基づき周波数変調することにより、一定周期で前記送信データの各ビット値に対応した周波数に設定される送信信号を生成する周波数変調部、及び、該周波数変調部にて生成された送信信号を受けて音波を発生する音波発生部、を備えた送信装置と、
前記送信装置の音波発生部から出力された音波を受信するマイクロフォン、該マイクロフォンからの受信信号を信号処理することで不要信号成分を除去する不要信号除去部、及び、該不要信号除去部にて不要信号成分が除去された受信信号をFM検波することで前記送信データを復元するFM検波部、を備えた受信装置と、
を備え、
前記受信装置に設けられる前記不要信号除去部は、
前記マイクロフォンから入力される受信信号の中から、前記周波数変調部にて生成される送信信号に対応した信号成分を抽出する第1フィルタ部と、
前記第1フィルタ部を通過した受信信号を、所定の中間周波数帯に周波数変換する周波数変換部と、
前記周波数変換部にて周波数変換された信号の中から、前記周波数変調部にて生成される送信信号に対応した信号成分を抽出する第2フィルタ部と、
前記第1フィルタ部を通過した受信信号を包絡線検波することで、前記受信信号の振幅の変動を検出する包絡線検波部と、
該包絡線検波部にて包絡線検波された信号の中から、前記第2フィルタ部を通過した受信信号よりも周波数が低い、前記受信信号の振幅の変動成分を、不要信号成分として抽出する第3フィルタ部と、
前記第2フィルタ部を通過した受信信号から前記第3フィルタ部を通過した不要信号成分を除去する除去部と、
を備える、音波通信システム。 - マイクロフォンであって、送信装置側で当該マイクロフォンにて受信可能な周波数帯の信号を送信データに基づき周波数変換することにより生成され、一定周期で前記送信データの各ビット値に対応した周波数に設定される送信信号を受信するマイクロフォンと、
該マイクロフォンからの受信信号を信号処理することで不要信号成分を除去する不要信号除去部と、
該不要信号除去部にて不要信号成分が除去された受信信号をFM検波することで前記送信データを復元するFM検波部と、
を備え、
前記不要信号除去部は、
前記マイクロフォンから入力される受信信号の中から、前記送信装置側で生成される前記送信信号に対応した信号成分を抽出する第1フィルタ部と、
前記第1フィルタ部を通過した受信信号を、所定の中間周波数帯に周波数変換する周波数変換部と、
前記周波数変換部にて周波数変換された信号の中から、前記送信装置側で生成される前記送信信号に対応した信号成分を抽出する第2フィルタ部と、
前記第1フィルタ部を通過した受信信号を包絡線検波することで、前記受信信号の振幅の変動を検出する包絡線検波部と、
該包絡線検波部にて包絡線検波された信号の中から、前記第2フィルタ部を通過した受信信号よりも周波数が低い、前記受信信号の振幅の変動成分を、不要信号成分として抽出する第3フィルタ部と、
前記第2フィルタ部を通過した受信信号から前記第3フィルタ部を通過した不要信号成分を除去する除去部と、
を備える、受信装置。 - 前記第1フィルタ部及び前記第2フィルタ部は、所定の通過周波数帯域を有するバンドパスフィルタにて構成されており、
前記第1フィルタ部の選択度は、前記第2フィルタ部の選択度よりも低い、請求項2に記載の受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013556495A JP5856187B2 (ja) | 2012-01-31 | 2013-01-31 | 音波通信システム及び受信装置 |
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012018543 | 2012-01-31 | ||
JP2012018543 | 2012-01-31 | ||
JP2012152524 | 2012-07-06 | ||
JP2012152524 | 2012-07-06 | ||
JP2012178430 | 2012-08-10 | ||
JP2012178430 | 2012-08-10 | ||
PCT/JP2013/052214 WO2013115317A1 (ja) | 2012-01-31 | 2013-01-31 | 音波通信システム及び受信装置 |
JP2013556495A JP5856187B2 (ja) | 2012-01-31 | 2013-01-31 | 音波通信システム及び受信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013115317A1 JPWO2013115317A1 (ja) | 2015-05-11 |
JP5856187B2 true JP5856187B2 (ja) | 2016-02-09 |
Family
ID=48905348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013556495A Expired - Fee Related JP5856187B2 (ja) | 2012-01-31 | 2013-01-31 | 音波通信システム及び受信装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9331792B2 (ja) |
JP (1) | JP5856187B2 (ja) |
WO (1) | WO2013115317A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5856187B2 (ja) * | 2012-01-31 | 2016-02-09 | エイディシーテクノロジー株式会社 | 音波通信システム及び受信装置 |
US9830588B2 (en) * | 2013-02-26 | 2017-11-28 | Digimarc Corporation | Methods and arrangements for smartphone payments |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
US9100395B2 (en) * | 2013-09-24 | 2015-08-04 | International Business Machines Corporation | Method and system for using a vibration signature as an authentication key |
US9450682B2 (en) | 2013-10-07 | 2016-09-20 | International Business Machines Corporation | Method and system using vibration signatures for pairing master and slave computing devices |
JP2015156608A (ja) * | 2014-02-21 | 2015-08-27 | 日本電気株式会社 | 端末、通話システム、通話方法 |
JP6357970B2 (ja) * | 2014-08-20 | 2018-07-18 | ヤマハ株式会社 | 放音装置およびヘッドホン |
US10262120B1 (en) * | 2014-11-17 | 2019-04-16 | Squirrels LLC | Providing display outputs responsive to record data |
KR102360930B1 (ko) * | 2014-12-02 | 2022-02-08 | 에스케이플래닛 주식회사 | 데이터 송신 단말, 데이터 송수신 시스템 및 데이터 송신 방법 |
US9654229B2 (en) * | 2015-02-10 | 2017-05-16 | Turtle Beach Corporation | Parametric transducer microphone system |
US9939517B2 (en) * | 2015-04-05 | 2018-04-10 | Nicholaus J. Bauer | Determining a location of a transmitter device |
JP2016207043A (ja) * | 2015-04-24 | 2016-12-08 | Line株式会社 | 端末装置、決済サーバ、決済システム、決済方法、及びプログラム |
JP2017063330A (ja) * | 2015-09-25 | 2017-03-30 | 株式会社フィールドシステム | 情報提供システム |
US10663555B2 (en) * | 2015-11-02 | 2020-05-26 | Ricoh Company, Ltd. | Communication device, communication method, and computer-readable recording medium |
PL414829A1 (pl) * | 2015-11-17 | 2017-05-22 | Audiolink Technologies Spółka Z Ograniczoną Odpowiedzialnością | Sposób równoległego budowania przekazu informacji różnymi kanałami i układ do równoległego przesyłania informacji różnymi kanałami |
FR3050897B1 (fr) * | 2016-04-27 | 2020-07-17 | Raoul Parienti | Appareil et systeme d'assistance a l'audition |
KR20180070962A (ko) * | 2016-12-19 | 2018-06-27 | 삼성전자주식회사 | 전자 결제 방법 및 이를 지원하는 전자 장치 |
JP6897415B2 (ja) * | 2017-08-16 | 2021-06-30 | トヨタ自動車株式会社 | 車両用制御システム |
DE102017221738A1 (de) * | 2017-12-03 | 2019-06-06 | Audi Ag | Verfahren zum Einstellen einer Leistungselektronik |
JP7195158B2 (ja) * | 2019-01-09 | 2022-12-23 | 三菱電機株式会社 | リモートコントローラ、機器設定方法および機器設定システム |
KR102243123B1 (ko) * | 2019-06-04 | 2021-04-22 | 주식회사 뮤즈라이브 | 초음파를 이용한 인증 정보 전송 장치 |
JP7466294B2 (ja) * | 2019-11-14 | 2024-04-12 | 三菱電機株式会社 | 通信システム及び通信方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02162999A (ja) * | 1988-12-16 | 1990-06-22 | Sony Corp | 超音波通信装置 |
KR100191622B1 (ko) * | 1995-07-19 | 1999-06-15 | 배동만 | 음파통신장치 및 그 방법 |
JP4183930B2 (ja) * | 2001-06-06 | 2008-11-19 | 三菱電機株式会社 | Fm雑音除去装置及びfm受信機 |
JP4538173B2 (ja) | 2001-08-27 | 2010-09-08 | 株式会社日立製作所 | アクセス先入力プログラムおよびアクセス先入力装置 |
JP2004139525A (ja) | 2002-10-21 | 2004-05-13 | Nec Corp | 個人情報提供システム、個人情報提供方法 |
JP4263123B2 (ja) | 2004-03-23 | 2009-05-13 | 三洋電機株式会社 | 信号処理回路 |
JP2006339913A (ja) * | 2005-05-31 | 2006-12-14 | Sharp Corp | 赤外線リモコン受信機 |
WO2007069445A1 (ja) * | 2005-12-14 | 2007-06-21 | Pioneer Corporation | マルチパスノイズ検出装置及びマルチパスノイズ除去装置 |
JP5856187B2 (ja) * | 2012-01-31 | 2016-02-09 | エイディシーテクノロジー株式会社 | 音波通信システム及び受信装置 |
-
2013
- 2013-01-31 JP JP2013556495A patent/JP5856187B2/ja not_active Expired - Fee Related
- 2013-01-31 WO PCT/JP2013/052214 patent/WO2013115317A1/ja active Application Filing
- 2013-01-31 US US14/376,110 patent/US9331792B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2013115317A1 (ja) | 2015-05-11 |
US20140369169A1 (en) | 2014-12-18 |
WO2013115317A1 (ja) | 2013-08-08 |
US9331792B2 (en) | 2016-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5856187B2 (ja) | 音波通信システム及び受信装置 | |
US9721465B2 (en) | Information-providing system, portable terminal device, server, and program | |
JP3822224B1 (ja) | 情報提供システム | |
CN103828382B (zh) | 视频显示装置、终端装置及其方法 | |
JP5949068B2 (ja) | 情報提供システム、識別情報解決サーバおよび携帯端末装置 | |
US20130301392A1 (en) | Methods and apparatuses for communication of audio tokens | |
US9232347B2 (en) | Apparatus and method for playing music | |
US20050239402A1 (en) | Method and system for interactive digital radio broadcasting and music distribution | |
JP2008079139A (ja) | インタラクティブ装置およびインタラクティブ装置の制御方法 | |
KR20110048281A (ko) | 검색 서비스를 제공하는 디스플레이 장치와 객체 검색을 수행하는 사용자 단말 장치 및 그 방법들 | |
JP3834579B1 (ja) | 情報提供システム | |
JP2012531628A (ja) | モバイルメディアデバイスのユーザーインターフェース | |
JP2012155706A (ja) | 情報提供システム、携帯端末装置、識別情報解決サーバおよびプログラム | |
JP2014187490A (ja) | 放送受信装置及び端末装置 | |
JP2011170282A (ja) | 再生装置および再生方法 | |
EP3920473B1 (en) | Device cooperation method, apparatus and system | |
CN108370458A (zh) | 显示装置、信息终端和信息处理方法 | |
JP2012227631A (ja) | 情報提供システムおよび携帯端末装置 | |
JP2007060496A (ja) | 番組コンテンツ再生装置 | |
JP2005274992A (ja) | 楽曲識別用情報検索システム、楽曲購入システム、楽曲識別用情報取得方法、楽曲購入方法、オーディオ信号処理装置およびサーバ装置 | |
KR101214515B1 (ko) | 방송콘텐츠의 부가정보 제공 시스템 및 그 방법 | |
US9985735B1 (en) | Broadcast near field communication to mobile device | |
US20080187292A1 (en) | Device for and Method of Providing Operating Data and/or Data Associated with Playback Data to a Remote Device | |
JP4045554B2 (ja) | 送受信装置および送受信方法、並びに受信装置および受信方法 | |
KR102524066B1 (ko) | 웹기반으로 디바이스를 식별하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5856187 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |