JP4545234B1 - Transmitter - Google Patents

Transmitter Download PDF

Info

Publication number
JP4545234B1
JP4545234B1 JP2010513542A JP2010513542A JP4545234B1 JP 4545234 B1 JP4545234 B1 JP 4545234B1 JP 2010513542 A JP2010513542 A JP 2010513542A JP 2010513542 A JP2010513542 A JP 2010513542A JP 4545234 B1 JP4545234 B1 JP 4545234B1
Authority
JP
Japan
Prior art keywords
sound
frequency
peak frequency
environmental sound
environmental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010513542A
Other languages
Japanese (ja)
Other versions
JPWO2011118017A1 (en
Inventor
富夫 高良
浩司 鈴木
孝成 津久間
芳丸 丸野
一郎 奥山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Field System Inc
Original Assignee
Field System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Field System Inc filed Critical Field System Inc
Application granted granted Critical
Publication of JP4545234B1 publication Critical patent/JP4545234B1/en
Publication of JPWO2011118017A1 publication Critical patent/JPWO2011118017A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/093Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using sinusoidal excitation models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B11/00Transmission systems employing sonic, ultrasonic or infrasonic waves

Abstract

【課題】音波として情報が伝達される環境において、情報を伝達するための音波を人の耳に知覚させ難くすることの可能な発信装置を提供する。
【解決手段】発信装置10は、符号化された各種情報を可聴音帯域の音波に変換して発信する装置であって、音波が発信される場所の環境音を環境音信号として入力するマイクロフォン16と、環境音信号から、環境音を主として構成するピーク周波数を検出するピーク周波数検出部107と、ピーク周波数に基づいて、環境音に対してマスキング効果の得られる複数の周波数の搬送波を生成する搬送波生成部108と、複数の搬送波をベースバンド信号で変調する変調部115と、を備える。
【選択図】図2
There is provided a transmission device capable of making it difficult for human ears to perceive sound waves for transmitting information in an environment where information is transmitted as sound waves.
A transmitting device is a device that converts various encoded information into a sound wave of an audible sound band and transmits the sound, and a microphone that inputs an environmental sound of a place where the sound wave is transmitted as an environmental sound signal. And a peak frequency detector 107 for detecting a peak frequency mainly constituting the environmental sound from the environmental sound signal, and a carrier wave for generating a carrier wave having a plurality of frequencies capable of obtaining a masking effect on the environmental sound based on the peak frequency. A generation unit 108 and a modulation unit 115 that modulates a plurality of carrier waves with a baseband signal are provided.
[Selection] Figure 2

Description

本発明は、端末に対して音波により各種情報を提供するための情報提供システムに関し、特に、このような情報提供システムの発信装置に関する。   The present invention relates to an information providing system for providing various types of information to a terminal using sound waves, and more particularly to a transmitting device of such an information providing system.

端末に対して各種情報を提供するシステムが従来から提供されている。例えば、ラジオやテレビ放送にて、放送信号に文字コードや図形情報、番組に関する情報等を重畳(多重)し、テレビ受信機やラジオ受信機に通常の番組内容に付加して各種情報を提供する文字多重放送が行われている。   Systems for providing various types of information to terminals have been conventionally provided. For example, in radio or television broadcasting, character codes, graphic information, information on programs, etc. are superimposed (multiplexed) on broadcast signals, and various information is provided to television receivers and radio receivers in addition to normal program contents. Character multiplex broadcasting is performed.

ところが、文字多重放送のシステムでは、テレビやラジオの電波にデジタル情報を重畳して乗せる必要があるため、大掛かりな放送局の設備が必須となり、コストがかかり、端末に対して手軽に情報を提供することができない。また、携帯電話のカメラを用いてQRコードを撮影する方法は、カメラを搭載していない端末では使用することができないと共に、初心者や機械に不慣れな人にとっては、非常に困難な作業である。   However, in the text multiplex broadcasting system, it is necessary to superimpose digital information on the radio waves of TV and radio, so large broadcasting station facilities are indispensable, costly, and information is easily provided to terminals. Can not do it. Also, the method of taking a QR code using a camera of a mobile phone cannot be used with a terminal not equipped with a camera, and is very difficult for beginners and people unfamiliar with machines.

このような問題点に鑑み、新規の情報提供方法として、空気を媒体とした音波として、各種情報を端末に提供するものが開発されており、例えば、下記特許文献1乃至4に開示されている。このように、音波として情報を伝達する方法であれば、既存のスピーカーと、端末に搭載されているマイクロフォンを使うことで、低コストで手軽に情報を伝達することが可能である。   In view of such problems, a new information providing method has been developed that provides various types of information to a terminal as a sound wave using air as a medium. For example, these are disclosed in Patent Documents 1 to 4 below. . Thus, if it is a method of transmitting information as a sound wave, it is possible to easily transmit information at low cost by using an existing speaker and a microphone mounted on the terminal.

特許文献1に開示されているのは、伝達対象情報を音声に変換する情報符号化装置を用いることにより、既存の音声を扱う音響機器の入出力インターフェースを介して、伝達対象情報を音声として伝達し、情報復号装置により受信した音声に基づいて伝達対象情報を再生する情報伝達システムである。また、特許文献1では、符号化された情報を含む音が、人間に積極的に聴かせられるような快適な音楽となることを目的とした符号化方式が採用されている。   Patent Document 1 discloses that information to be transmitted is transmitted as sound through an input / output interface of an acoustic device that handles existing sound by using an information encoding device that converts the information to be transmitted into sound. The information transmission system reproduces the transmission target information based on the voice received by the information decoding apparatus. Further, in Patent Document 1, an encoding method is employed that aims to produce comfortable music in which sounds including encoded information can be actively heard by humans.

また、特許文献2及び3に開示された情報提供システムは、本発明者らが開発したものであり、タイミングを同期するためのプリアンブルを含むミリ秒単位のデータフレームとして各種情報を符号化したうえで、音波として情報を提供するものである。   In addition, the information providing systems disclosed in Patent Documents 2 and 3 were developed by the present inventors and encode various information as data frames in milliseconds including a preamble for synchronizing timing. Thus, information is provided as sound waves.

また、特許文献4に開示された情報提供システムも本発明者らが開発したものであり、各種情報を音圧振動の情報として発信する際に、その発信周波数を平均率音階の各音の隙間の周波数としたものである。   The information providing system disclosed in Patent Document 4 was also developed by the present inventors, and when transmitting various types of information as sound pressure vibration information, the transmission frequency is defined as the gap between the sounds of the average rate scale. This is the frequency.

特開2003−186500号公報JP 2003-186500 A 特許第3822224号公報Japanese Patent No. 3822224 特許第3834579号公報Japanese Patent No. 3833579 特許第4295781号公報Japanese Patent No. 4295781

ここで、上記特許文献2乃至4に開示されているような、音波として情報を伝達するシステムの使用に際しては、情報を伝達する音波が可聴音であるため、環境によっては人の耳に煩わしく不快に聞こえてしまう場合もある。これでは、店舗において情報を伝達するための音波を発信した場合に、不快に思ったお客さんが退店してしまうおそれもある。   Here, when using a system for transmitting information as a sound wave, as disclosed in Patent Documents 2 to 4, the sound wave for transmitting information is an audible sound. May be heard. In this case, when a sound wave for transmitting information is transmitted in the store, there is a possibility that a customer who feels uncomfortable may leave the store.

本発明は、このような課題に鑑みてなされた発明であり、音波として情報が伝達される環境において、情報を伝達するための音波を人の耳に知覚させ難くすることの可能な発信装置を提供することを目的とする。   The present invention has been made in view of such a problem, and in an environment where information is transmitted as sound waves, a transmission device capable of making it difficult for human ears to perceive sound waves for transmitting information. The purpose is to provide.

上記課題を解決するために、本発明に係る発信装置は、符号化された各種情報を可聴音帯域の音波に変換して発信する発信装置において、前記音波が発信される場所の環境音を環境音信号として入力するマイクロフォンと、前記環境音信号から、前記環境音を主として構成するピーク周波数を検出するピーク周波数検出部と、前記ピーク周波数に基づいて、前記環境音に対してマスキング効果の得られる複数の周波数の搬送波を生成する搬送波生成部と、前記複数の搬送波をベースバンド信号で変調する変調部と、を備えることを特徴とする。   In order to solve the above-described problems, a transmitting device according to the present invention is a transmitting device that converts various encoded information into sound waves in an audible sound band and transmits the sound. A microphone input as a sound signal, a peak frequency detector for detecting a peak frequency mainly constituting the environmental sound from the environmental sound signal, and a masking effect on the environmental sound based on the peak frequency can be obtained. A carrier generation unit that generates a carrier wave having a plurality of frequencies, and a modulation unit that modulates the plurality of carrier waves with a baseband signal.

また、本発明に係る発信プログラムは、コンピュータに、符号化された各種情報を可聴音帯域の音波に変換してスピーカーから発信させるための発信プログラムにおいて、マイクロフォンを介して入力される前記音波が発信される場所の環境音の信号から、前記環境音を主として構成するピーク周波数を検出するピーク周波数検出ステップと、前記ピーク周波数に基づいて、前記環境音に対してマスキング効果の得られる複数の周波数の搬送波を生成する搬送波生成ステップと、前記複数の搬送波をベースバンド信号で変調する変調ステップと、を前記コンピュータに実行させることを特徴とする。   The transmission program according to the present invention is a transmission program for causing a computer to convert various encoded information into sound waves of an audible sound band and transmitting the sound from a speaker. The sound waves input via a microphone are transmitted. A peak frequency detecting step for detecting a peak frequency mainly constituting the environmental sound from a signal of the environmental sound at a place to be performed, and a plurality of frequencies for obtaining a masking effect on the environmental sound based on the peak frequency. A carrier generation step for generating a carrier wave and a modulation step for modulating the plurality of carrier waves with a baseband signal are executed by the computer.

本発明によれば、情報を伝達するための音波を人間の耳に知覚されにくい音として発信することが可能な発信装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the transmitter which can transmit the sound wave for transmitting information as a sound which is hard to be perceived by a human ear can be provided.

図1は、本実施形態に係る情報提供システムの構成を概略的に示す模式図である。FIG. 1 is a schematic diagram schematically showing a configuration of an information providing system according to the present embodiment. 図2は、本実施形態に係る発信装置において、サウンドコードを生成する機能を実現するための概念的な回路を示すブロックダイアグラムである。FIG. 2 is a block diagram showing a conceptual circuit for realizing a function of generating a sound code in the transmission device according to the present embodiment. 図3は、本実施形態に係る環境音によるサウンドコードへのマスキング効果を説明するための図である。FIG. 3 is a diagram for explaining the masking effect on the sound code by the environmental sound according to the present embodiment. 図4は、本実施形態に係る携帯電話において、サウンドコードを受信する機能を実現するための概念的な回路を示すブロックダイアグラムである。FIG. 4 is a block diagram showing a conceptual circuit for realizing a function of receiving a sound code in the mobile phone according to the present embodiment.

以下、図面を参照しながら本発明の実施形態について説明する。本実施形態に係る情報提供システムは、空気を媒体とした音波としてメッセージやURL等の各種情報を発信装置から受信装置へと送信するものであり、発信装置は、スピーカーから音波を発信し、受信装置は、マイクロフォンにてこの音波を受信してデコードすることにより、発信された情報を認識する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The information providing system according to the present embodiment transmits various information such as messages and URLs as sound waves using air as a medium from the transmitting device to the receiving device, and the transmitting device transmits and receives sound waves from the speaker. The device recognizes the transmitted information by receiving and decoding the sound wave with the microphone.

本実施形態では、発信装置及び受信装置が設置された場所、すなわち、音波である音圧振動情報(以下、「サウンドコード」とする)が発信される場所に存在している環境音を考慮した搬送波を用いて、サウンドコードを送信することを特徴としている。ここで、環境音とは、車や電車の音、風の音等の周囲の雑音や人の声、音楽等のシステムが設置されている場所の周囲の音である。   In the present embodiment, the environmental sound existing at the place where the transmitting device and the receiving device are installed, that is, the place where sound pressure vibration information (hereinafter referred to as “sound code”) is transmitted is considered. A sound code is transmitted using a carrier wave. Here, the environmental sound is sound around a place where a system such as ambient noise such as car or train sound or wind sound, human voice or music is installed.

図1は、本実施形態に係る情報提供システム1の構成を概略的に示す図である。同図に示すように、情報提供システム1は、各種情報をサウンドコードとして発信する発信装置10と、サウンドコードを受信する受信装置としての携帯電話20とを備えている。   FIG. 1 is a diagram schematically showing a configuration of an information providing system 1 according to the present embodiment. As shown in the figure, the information providing system 1 includes a transmitting device 10 that transmits various information as a sound code, and a mobile phone 20 as a receiving device that receives the sound code.

発信装置10は、PC(パーソナルコンピュータ)本体11、表示手段であるディスプレイ12、マウス及びキーボードからなる入力デバイス13、音であるサウンドコードを発信するためのスピーカー15、環境音を入力するためのマイクロフォン16を備えている。PC本体11は、各種演算を行うプロセッサー等の演算装置、プログラム等の各種情報を記憶しておくHDD(Hard Disc Drive)や演算処理のワークエリアとして使用されるRAM(Random
Access Memory)等からなる記憶装置を内蔵している。
The transmitter 10 includes a PC (personal computer) main body 11, a display 12 as a display means, an input device 13 including a mouse and a keyboard, a speaker 15 for transmitting a sound code as sound, and a microphone for inputting environmental sound. 16 is provided. The PC body 11 includes an arithmetic device such as a processor for performing various calculations, an HDD (Hard Disc Drive) for storing various information such as programs, and a RAM (Random) used as a work area for arithmetic processing.
Access memory) is built in.

携帯電話20は、スピーカー15から発信されたサウンドコードを拾うためのマイクロフォン21、各種情報を表示するディスプレイ22を備える。また、携帯電話20は、各種演算を行うプロセッサー等の演算装置、プログラム等の各種情報を記憶したり、演算処理のワークエリアとして使用されたりするメモリを内蔵している。   The cellular phone 20 includes a microphone 21 for picking up a sound code transmitted from the speaker 15 and a display 22 for displaying various information. In addition, the mobile phone 20 has a built-in memory that stores various types of information such as an arithmetic device such as a processor for performing various calculations and a program, and is used as a work area for arithmetic processing.

上述した情報提供システム1の発信装置10は、百貨店、スーパー、商店街、映画館、遊園地等の商業施設、娯楽施設等に設置される。また、本実施形態では、受信装置である携帯電話20は、このような施設を訪れたユーザが所有する端末を想定しており、ユーザは、音波であるサウンドコードを端末で受信して、各種情報を得ることができる。   The transmission device 10 of the information providing system 1 described above is installed in a commercial facility such as a department store, a supermarket, a shopping street, a movie theater, an amusement park, an amusement facility, or the like. In the present embodiment, the mobile phone 20 that is a receiving device is assumed to be a terminal owned by a user who has visited such a facility. Information can be obtained.

各種情報としては、例えば、商品、イベント、施設案内等に関するメッセージや、関連するインターネットホームページのURL等の文字情報が、端末に提供される。当該施設を訪れているお客さんは、サウンドコードを介してURLを端末に取得すれば、入力キーを使って文字入力することなく、端末を使ってインターネットにアクセスし、さらなる情報を入手したり、詳細な商品説明を読んだりすることができる。   As various types of information, for example, messages regarding products, events, facility guidance, etc., and text information such as URLs of related Internet home pages are provided to the terminal. Customers visiting the facility can obtain more information by accessing the Internet using the terminal without entering characters using the input key, if the URL is obtained from the terminal via the sound code, You can read detailed product descriptions.

もちろん、発信装置10を設置する場所は、情報提供者の自由であり、適宜、他の場所に設置しても良い。提供される情報の内容も、文字情報に限らず、イメージ情報等を提供しても良い。   Of course, the place where the transmitting device 10 is installed is up to the information provider and may be installed in other places as appropriate. The content of the provided information is not limited to character information, and image information or the like may be provided.

次に、発信装置10において、携帯電話20に向けて発信するサウンドコードを生成する処理について詳細に説明する。図2は、本実施形態に係る発信装置において、サウンドコードを生成する機能を実現するための概念的な回路を示すブロックダイアグラムである。本実施形態では、OFDM(Orthogonal Frequency Division
Multiplexing)方式により変調波を生成している。
Next, the process of generating a sound code to be transmitted to the mobile phone 20 in the transmission device 10 will be described in detail. FIG. 2 is a block diagram showing a conceptual circuit for realizing a function of generating a sound code in the transmission device according to the present embodiment. In this embodiment, OFDM (Orthogonal Frequency Division)
A modulated wave is generated by a Multiplexing method.

なお、図2に示す各部の機能は、発信装置10の演算手段が、記憶装置に格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、このような処理を行うための専用回路を設け、ハードウェア的に実現しても良い。   Note that the function of each unit shown in FIG. 2 is realized by software by the calculation means of the transmission device 10 executing a program stored in the storage device, but it is dedicated for performing such processing. A circuit may be provided and realized in hardware.

同図に示すように、発信装置10は、A/D変換部103、FFT(Fast
Fourier Transform)部104、ピーク周波数検出部107、搬送波生成部108、変調部115、D/A変換部120を備えている。
As shown in the figure, the transmitting device 10 includes an A / D converter 103, an FFT (Fast
Fourier transform) section 104, peak frequency detection section 107, carrier wave generation section 108, modulation section 115, and D / A conversion section 120.

A/D変換部103は、発信装置10のマイクロフォン16から入力された環境音101のアナログ電気信号をデジタル信号に変換する。この環境音101は、発信装置10が設置されている環境に存在している音であり、例えば、電車や車の音、風の音等の雑音が環境音に該当する。   The A / D converter 103 converts the analog electrical signal of the environmental sound 101 input from the microphone 16 of the transmission device 10 into a digital signal. The environmental sound 101 is a sound that exists in the environment where the transmission device 10 is installed. For example, noise such as a train, a car, and a wind sound corresponds to the environmental sound.

FFT部104は、高速フーリエ変換により時間軸上の信号を周波数軸上の信号に変換する。ピーク周波数検出部107は、この環境音信号の周波数軸上の成分から最も音圧レベルが大きな周波数を検出し、環境音を主として構成するピーク周波数fpを決定する。   The FFT unit 104 converts a signal on the time axis into a signal on the frequency axis by fast Fourier transform. The peak frequency detection unit 107 detects the frequency having the highest sound pressure level from the components on the frequency axis of the environmental sound signal, and determines the peak frequency fp mainly constituting the environmental sound.

ピーク周波数検出部107によるピーク周波数fpの検出は、サウンドコード150の発信に先立って行われ、本実施形態では、10ms単位で繰り返し10回環境音の取り込みを行って、これらを積算した音圧レベルからピーク周波数fpを検出する。搬送波生成部108は、ピーク周波数fpに基づいて、PLL(Phase locked Loop)回路により複数の搬送波を生成する。   The detection of the peak frequency fp by the peak frequency detection unit 107 is performed prior to the transmission of the sound code 150, and in this embodiment, the sound pressure level is obtained by repeatedly acquiring environmental sounds 10 times in units of 10 ms and integrating them. To detect the peak frequency fp. The carrier wave generation unit 108 generates a plurality of carrier waves by a PLL (Phase locked Loop) circuit based on the peak frequency fp.

変調部115は、OFDM方式による変調を行うものであり、搬送波生成部108において生成された複数の搬送波を、パラレル変換されたベースバンド信号で変調し、サウンドコード150の原信号を生成する。具体的には、変調部115は、パラレルビットストリームの各パラレル伝送ビットに基づいて、各搬送波をQPSK(Quadrature phase shift keying)により変調してから高速逆フーリエ変換(IFFT)を行うことで、変調信号を生成する。なお、データフレーム構造については、10〜100ms程度のパケットを4つ並べて1フレームとし、1フレームで1,024bitのデータ量としている。   The modulation unit 115 performs modulation by the OFDM method, and modulates the plurality of carrier waves generated by the carrier wave generation unit 108 with a baseband signal subjected to parallel conversion to generate an original signal of the sound code 150. Specifically, the modulation unit 115 modulates each carrier by QPSK (Quadrature phase shift keying) based on each parallel transmission bit of the parallel bit stream, and then performs fast inverse Fourier transform (IFFT), thereby modulating the carrier. Generate a signal. As for the data frame structure, four packets of about 10 to 100 ms are arranged in one frame, and the data amount is 1,024 bits in one frame.

D/A変換部120は、変調部115による変調信号をアナログ信号に変換して、スピーカー15に送信する。このアナログ信号は、スピーカー15から音波であるサウンドコード150として発信される。   The D / A conversion unit 120 converts the modulation signal from the modulation unit 115 into an analog signal and transmits the analog signal to the speaker 15. This analog signal is transmitted from the speaker 15 as a sound code 150 that is a sound wave.

このような構成において、サウンドコード150を発信する際には、まず、マイクロフォン16から入力された環境音101が、A/D変換部103によってデジタル変換される。この環境音101のデジタル信号は、FFT部104において、高速フーリエ変換され、時間軸上の信号が周波数軸上の信号に変換される。   In such a configuration, when transmitting the sound code 150, first, the environmental sound 101 input from the microphone 16 is digitally converted by the A / D conversion unit 103. The digital signal of the environmental sound 101 is fast Fourier transformed in the FFT unit 104, and the signal on the time axis is converted into a signal on the frequency axis.

ピーク周波数検出部107は、この環境音信号の周波数軸上の成分から最も音圧レベルが大きな周波数を検出し、環境音を主として構成するピーク周波数fpとする。続いて、搬送波生成部108は、ピーク周波数fpの1/n(nは自然数)の周波数のうち、100Hz近傍の周波数を基本周波数として、この基本周波数の自然数倍(1〜64倍)の64個のサブキャリア(搬送波)を生成する。   The peak frequency detection unit 107 detects the frequency having the highest sound pressure level from the components on the frequency axis of the environmental sound signal, and sets it as the peak frequency fp that mainly constitutes the environmental sound. Subsequently, the carrier wave generation unit 108 uses a frequency in the vicinity of 100 Hz out of 1 / n (n is a natural number) of the peak frequency fp as a fundamental frequency, which is 64 times a natural number multiple (1 to 64 times) of the fundamental frequency. Subcarriers (carrier waves) are generated.

例えば、ピーク周波数fpが1kHzであった場合を例に挙げて説明すると、まず、1,000Hzの1/nの周波数のうち最も100Hzに近いのは、1,000Hzの10分の1の100Hzである。したがって、搬送波生成部108は、基本周波数を100Hzと決定し、その4倍〜67倍の周波数、すなわち、周波数400Hz、500Hz、600Hz、700Hz、…、6,600Hz、6,700Hzの搬送波を生成する。   For example, a case where the peak frequency fp is 1 kHz will be described as an example. First, among the 1 / n frequencies of 1,000 Hz, the frequency closest to 100 Hz is 100 Hz which is 1/10 of 1,000 Hz. Therefore, the carrier wave generation unit 108 determines the fundamental frequency as 100 Hz, and generates a carrier wave having a frequency of 4 to 67 times, that is, frequencies of 400 Hz, 500 Hz, 600 Hz, 700 Hz,..., 6,600 Hz, 6,700 Hz.

続いて、変調部115は、この複数の搬送波をパラレル変換されたベースバンド信号で変調し、変調信号を生成する。この変調信号が、D/A変換部120においてアナログ信号に変換され、スピーカー15からサウンドコード150として発信される。通信方式としては、例えば、CDMA(Collision Detection Multiple Access)を使用すれば良い。   Subsequently, the modulation unit 115 modulates the plurality of carrier waves with a baseband signal that has been subjected to parallel conversion, and generates a modulated signal. This modulated signal is converted into an analog signal by the D / A converter 120 and transmitted as a sound code 150 from the speaker 15. As a communication method, for example, CDMA (Collision Detection Multiple Access) may be used.

以上、サウンドコード150を発信する発信装置10について詳細に説明したが、サウンドコード150の複数の搬送波は、基本周波数の自然数倍の周波数であるため、互いに直交関係にある。よって、受信装置側で各搬送波に分解することができる。また、複数の搬送波の周波数間隔が100Hzであり、可聴音帯域において十分な数の搬送波を用いることができる。   The transmitting device 10 that transmits the sound code 150 has been described in detail above. However, the plurality of carrier waves of the sound code 150 have a frequency that is a natural number multiple of the fundamental frequency, and thus are orthogonal to each other. Therefore, it can be decomposed into carrier waves on the receiving device side. Further, the frequency interval of the plurality of carrier waves is 100 Hz, and a sufficient number of carrier waves can be used in the audible sound band.

また、本実施形態では、環境音のピーク周波数fpを検出し、このピーク周波数fpに基づいて複数の搬送波を生成しており、このような搬送波で構成されるサウンドコード150は、環境音に重ねられることになり、環境音によるマスキング効果により、人間の耳に知覚し難い音となる。   In the present embodiment, the peak frequency fp of the environmental sound is detected, and a plurality of carrier waves are generated based on the peak frequency fp, and the sound code 150 composed of such carrier waves is superimposed on the environmental sound. As a result, the sound is difficult to perceive by the human ear due to the masking effect by the environmental sound.

また、環境音が楽器の演奏等の音楽である場合、サウンドコードが重畳されても環境音は音色が変わるだけであり、音楽を聴いている者に対して、サウンドコードが流れることによる違和感をほとんど与えることがない。   In addition, when the environmental sound is music such as a musical instrument performance, even if the sound code is superimposed, the environmental sound only changes the timbre, so that the listener who is listening to the music feels uncomfortable due to the sound code flowing. Almost never give.

また、上記複数の搬送波は、100Hz間隔で可聴音帯域の広い範囲(400〜6,700Hz)にわたって存在しており、サウンドコード150は、ホワイトノイズのような周波数成分となる。よって、サウンドコード150の音は、環境音になじみやすい、人間の耳に知覚しにくい音となる。   The plurality of carrier waves exist over a wide range (400 to 6,700 Hz) of the audible sound band at 100 Hz intervals, and the sound code 150 has frequency components such as white noise. Therefore, the sound of the sound code 150 is a sound that is easy to adjust to the environmental sound and is difficult to perceive by the human ear.

ここで、環境音によるサウンドコード150へのマスキング効果について、さらに詳細に説明する。図3は、本実施形態に係る環境音によるサウンドコードへのマスキング効果を説明するための図である。同図の横軸は周波数[kHz]、縦軸はマスキング量[dB]を示している。図中の実線は、周波数400Hz、音圧レベル80dB SPLの純音によるマスキング量を示しており、マスキング音である純音(第1音)によりマスクされて聞こえ難くなった音(第2音)の最小可聴限をマスキング音がないときの感覚レベルで表している。   Here, the masking effect on the sound code 150 by the environmental sound will be described in more detail. FIG. 3 is a diagram for explaining the masking effect on the sound code by the environmental sound according to the present embodiment. In the figure, the horizontal axis indicates the frequency [kHz], and the vertical axis indicates the masking amount [dB]. The solid line in the figure shows the amount of masking with pure tone with a frequency of 400 Hz and a sound pressure level of 80 dB SPL. The audible limit is expressed as a sensory level when there is no masking sound.

したがって、図3で示された実線の下側の範囲では、第2音がマスクされて第1音(純音)だけが聞こえることになる。一方、図中の一点鎖線は、マスキング音が410Hzを中心周波数として90Hzの帯域幅をもつ80dBの狭帯域ノイズ(雑音)である場合のマスキング量を示している。   Therefore, in the range below the solid line shown in FIG. 3, the second sound is masked and only the first sound (pure sound) can be heard. On the other hand, the alternate long and short dash line in the figure shows the masking amount when the masking sound is 80 dB narrowband noise (noise) having a bandwidth of 90 Hz with 410 Hz as the center frequency.

ここで、サウンドコードの発信装置10が設置される屋外等の通常の環境では、ある程度の帯域幅を持った音が発生していると考えられる。そこで、第1音が狭帯域ノイズである場合の一点鎖線で示されるマスキング量を見ると、ノイズの中心周波数から低い音及び高い音の双方の広い範囲において、マスキング効果が得られている。したがって、本実施形態のように、可聴音域の広い範囲にわたって存在する複数の搬送波であっても十分にマスキング効果を得ることができる。   Here, it is considered that sound having a certain bandwidth is generated in a normal environment such as outdoors where the sound code transmitting device 10 is installed. Therefore, looking at the masking amount indicated by the alternate long and short dash line when the first sound is narrow band noise, the masking effect is obtained in a wide range of both low and high sounds from the center frequency of the noise. Therefore, as in the present embodiment, a sufficient masking effect can be obtained even with a plurality of carrier waves that exist over a wide range of the audible sound range.

また、第1音が純音である場合の実線で示されるマスキング量を見ると、第1音(純音)の自然数倍の周波数近辺(倍音)でマスキング効果が大きくなっている。したがって、本実施形態のように、環境音のピーク周波数の1/nを基本周波数とし、その1〜64倍の周波数の搬送波を使用すれば、マスキング効果の大きな倍音(ピーク周波数の自然数倍の周波数の音)の部分を搬送波として使用することになり、より大きなマスキング効果を得ることができる。   Further, when looking at the masking amount indicated by the solid line when the first sound is a pure sound, the masking effect is increased in the vicinity of the frequency (overtone) that is a natural number multiple of the first sound (pure sound). Therefore, as in this embodiment, if 1 / n of the peak frequency of the environmental sound is a basic frequency and a carrier wave having a frequency 1 to 64 times that is used, a harmonic with a large masking effect (a natural number multiple of the peak frequency) (Sound of frequency) is used as a carrier wave, and a larger masking effect can be obtained.

なお、上述した発信装置の構成は、本発明の主旨を逸脱しない範囲内で種々の変形が可能である。例えば、ピーク周波数をn分の1として求める基本周波数は、100Hz近傍に限られるものではなく、マルチキャリアが可能な搬送波同士の間隔を維持すると共に、可聴音帯域においてある程度の広帯域にわたって必要な数の搬送波を確保できる周波数であれば良い。このような条件を満たすためには、基本周波数は、30〜260Hzの範囲内であることが望ましい。   The configuration of the transmitting device described above can be variously modified without departing from the gist of the present invention. For example, the fundamental frequency obtained by setting the peak frequency to 1 / n is not limited to the vicinity of 100 Hz, and maintains the interval between carriers capable of multi-carrier and the required number of bands over a certain range in the audible sound band. Any frequency that can secure a carrier wave may be used. In order to satisfy such a condition, the fundamental frequency is preferably in the range of 30 to 260 Hz.

また、本実施形態では、PLL回路を用いて搬送波を生成しているが、PLL回路以外の回路により生成するようにしても良い。また、搬送波の数も送信するデータ量に応じて適宜変更可能であり、パイロット信号等を入れる場合には、それらのために搬送波の数をさらに増やしても良い。但し、搬送波の周波数は、スピーカー15やマイク22の周波数特性を考慮し、400Hz〜12kHzの範囲内にすることが望ましい。   In this embodiment, the carrier wave is generated using the PLL circuit, but may be generated by a circuit other than the PLL circuit. In addition, the number of carrier waves can be changed as appropriate according to the amount of data to be transmitted. When pilot signals or the like are input, the number of carrier waves may be further increased. However, it is desirable that the frequency of the carrier wave be in the range of 400 Hz to 12 kHz in consideration of the frequency characteristics of the speaker 15 and the microphone 22.

また、ピーク周波数fpは、必ずしも最大音圧の周波数としなくても良く、環境音を構成する周波数成分のうち、ある程度の大きさを有し、他の周波数成分と共に主として環境音を構成する周波数であれば良い。環境音を主として構成する周波数成分に基づいて基本周波数を決定すれば、十分にマスキング効果が得られるからである。また、ピーク周波数検出部107によるピーク周波数fpの検出タイミングや回数等も適宜変更可能である。   The peak frequency fp does not necessarily have to be the frequency of the maximum sound pressure. The peak frequency fp has a certain size among the frequency components constituting the environmental sound, and is a frequency mainly constituting the environmental sound together with other frequency components. I need it. This is because, if the fundamental frequency is determined based on the frequency components mainly constituting the environmental sound, a sufficient masking effect can be obtained. Further, the detection timing and the number of times of the peak frequency fp by the peak frequency detection unit 107 can be changed as appropriate.

また、ピーク周波数検出部107による環境音のピーク周波数fpの検出が困難な場合には、予め設定してある周波数をピーク周波数として定めても良い。設定周波数としては、例えば、880Hz(ラの音)、1,047Hz(ファの音)を用いれば良い。   If it is difficult for the peak frequency detection unit 107 to detect the peak frequency fp of the environmental sound, a preset frequency may be set as the peak frequency. For example, 880 Hz (ra sound) and 1,047 Hz (fa sound) may be used as the set frequency.

また、変調部115における変調方式は、QPSKに限らず、BPSK,8PSK、OQPSK(Offset QPSK)、16QAM,64QAM等、他の変調方式を用いることができる。但し、複数の搬送波の直交性を維持して誤り率を抑えるためには、位相変位変調(PSK)を用いることが望ましい。   The modulation scheme in the modulation unit 115 is not limited to QPSK, and other modulation schemes such as BPSK, 8PSK, OQPSK (Offset QPSK), 16QAM, and 64QAM can be used. However, in order to maintain the orthogonality of a plurality of carriers and suppress the error rate, it is desirable to use phase displacement modulation (PSK).

また、本実施形態では、PC本体11とスピーカー15とが同じ場所に設置されている場合について説明したが、スピーカー15がPC本体11から離れた場所に設置されていても良い。この場合、サウンドコード150が発信される場所の環境音を測定するため、マイクロフォン16もスピーカー15と同じ場所に設置する必要がある。   In the present embodiment, the case where the PC main body 11 and the speaker 15 are installed at the same place has been described. However, the speaker 15 may be installed at a place away from the PC main body 11. In this case, the microphone 16 needs to be installed at the same location as the speaker 15 in order to measure the environmental sound where the sound code 150 is transmitted.

また、上記図2に示した処理だけでなく、必要に応じて、さらに他の処理を行っても良い。例えば、パラレル伝送ビットを各搬送波に割り当てる際には、必要に応じてスクランブル処理等を行っても良い。   In addition to the processing shown in FIG. 2, other processing may be performed as necessary. For example, when assigning parallel transmission bits to each carrier wave, scramble processing or the like may be performed as necessary.

次に、携帯電話において、サウンドコードを受信する処理について詳細に説明する。図4は、本実施形態に係る携帯電話において、サウンドコードを受信する機能を実現するための概念的な回路を示すブロックダイアグラムである。なお、図4に示す各部の機能は、携帯電話20の演算手段が、記憶装置に格納されているプログラムを実行することにより、ソフトウェア的に実現されているが、このような処理を行うための専用回路を設け、ハードウェア的に実現しても良い。   Next, processing for receiving a sound code in a mobile phone will be described in detail. FIG. 4 is a block diagram showing a conceptual circuit for realizing a function of receiving a sound code in the mobile phone according to the present embodiment. Note that the function of each unit shown in FIG. 4 is realized by software by the calculation means of the mobile phone 20 executing a program stored in the storage device, but for performing such processing. A dedicated circuit may be provided and realized in hardware.

同図に示すように、携帯電話20は、A/D変換部203、FFT部204、環境音蓄積部210、環境音減算部213、復調部215を備えている。環境音蓄積部210は、サウンドコードが存在しない状態の環境音信号を所定の時間蓄積する。   As shown in the figure, the mobile phone 20 includes an A / D conversion unit 203, an FFT unit 204, an environmental sound storage unit 210, an environmental sound subtraction unit 213, and a demodulation unit 215. The environmental sound accumulation unit 210 accumulates an environmental sound signal in a state where no sound code exists for a predetermined time.

環境音減算部213は、サウンドコードが重畳された環境音から、環境音蓄積部210において蓄積された環境音信号を減算してサウンドコード成分を抽出する。すなわち、環境音蓄積部210及び環境音減算部213は適応型ノイズリダクション処理を行う。復調部215は、フーリエ変換されて分解された各搬送波の復調を行う。本実施形態では、サウンドコードがQPSK変調されており、復調部215は、QPSK方式により復調する。   The environmental sound subtracting unit 213 extracts the sound code component by subtracting the environmental sound signal accumulated in the environmental sound accumulating unit 210 from the environmental sound on which the sound code is superimposed. That is, the environmental sound accumulation unit 210 and the environmental sound subtraction unit 213 perform adaptive noise reduction processing. The demodulator 215 demodulates each carrier wave that has been Fourier-transformed and decomposed. In this embodiment, the sound code is QPSK-modulated, and the demodulator 215 demodulates using the QPSK method.

このような構成において、携帯電話20のマイクロフォン21によって拾われた音は、A/D変換部203へと送られる。A/D変換部203は、入力されたアナログ信号をサンプリングしてデジタル信号に変換し、デジタル信号がFFT部204へと送信される。FFT部204は、高速フーリエ変換を行い、デジタル信号を周波数軸上の成分に変換する。   In such a configuration, the sound picked up by the microphone 21 of the mobile phone 20 is sent to the A / D converter 203. The A / D conversion unit 203 samples the input analog signal and converts it into a digital signal, and the digital signal is transmitted to the FFT unit 204. The FFT unit 204 performs fast Fourier transform to convert the digital signal into a component on the frequency axis.

ここで、環境音蓄積部210は、サウンドコードの受信に先立って、所定の時間、FFT部203の出力である環境音信号を蓄積する。その後、サウンドコード150が重畳された環境音が入力されると、FFT部204で周波数軸上の信号に変換される。続いて、環境音減算部213は、周波数軸上の受信信号から環境音蓄積部210において蓄積された環境音信号を減算して、サウンドコード成分、すなわち、発信装置10から発信された信号成分が抽出される。   Here, the environmental sound accumulation unit 210 accumulates the environmental sound signal that is the output of the FFT unit 203 for a predetermined time prior to reception of the sound code. Thereafter, when an environmental sound on which the sound code 150 is superimposed is input, the FFT unit 204 converts it into a signal on the frequency axis. Subsequently, the environmental sound subtracting unit 213 subtracts the environmental sound signal accumulated in the environmental sound accumulating unit 210 from the received signal on the frequency axis, and the sound code component, that is, the signal component transmitted from the transmitting device 10 is obtained. Extracted.

サウンドコード成分は、復調部215に入力される。復調部215は、周波数軸上の各搬送波をQPSK方式により復調し、送信時と同じ順番でシリアル信号に変換する。これにより、ベースバンド信号、すなわち各種情報を取り出すことができる。   The sound code component is input to the demodulation unit 215. The demodulator 215 demodulates each carrier wave on the frequency axis by the QPSK method, and converts it into a serial signal in the same order as at the time of transmission. Thereby, a baseband signal, that is, various information can be extracted.

以上、本実施形態に係る情報提供システムについて説明したが、本情報提供システムによれば、サウンドコードの発信周波数として、環境音のピーク周波数に基づいて環境音に対してマスキング効果の得られる周波数を選択しており、サウンドコードが人間の耳に煩わしく聞こえてしまうことを回避できる。   Although the information providing system according to the present embodiment has been described above, according to the information providing system, the frequency at which the masking effect is obtained for the environmental sound based on the peak frequency of the environmental sound is used as the sound code transmission frequency. The sound code can be avoided from being annoying to the human ear.

なお、本発明の実施形態は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、種々の変形が可能である。例えば、受信側の端末は携帯電話に限定されるものではなく、マイクロフォンを備えた端末であれば、どのような端末であっても良い。例えば、PDA、ICレコーダー、携帯ラジオ、携帯テレビ、ノートパソコン、ラジカセ、ゲーム機等であっても良い。また、本発明を適用するための専用端末を提供しても良い。   The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention. For example, the terminal on the receiving side is not limited to a mobile phone, and any terminal provided with a microphone may be used. For example, it may be a PDA, an IC recorder, a portable radio, a portable television, a notebook computer, a radio cassette, a game machine, or the like. In addition, a dedicated terminal for applying the present invention may be provided.

1 情報提供システム
10 発信装置
11 PC本体
12 ディスプレイ
13 入力デバイス
15 スピーカー
16 マイクロフォン
20 携帯電話
21 マイクロフォン
22 ディスプレイ
103 A/D変換部
104 FFT部
107 ピーク周波数検出部
108 搬送波生成部
115 変調部
120 D/A変換部
203 A/D変換部
204 FFT部
210 環境音蓄積部
213 環境音減算部
215 復調部
DESCRIPTION OF SYMBOLS 1 Information provision system 10 Transmission apparatus 11 PC main body 12 Display 13 Input device 15 Speaker 16 Microphone 20 Cellular phone 21 Microphone 22 Display 103 A / D conversion part 104 FFT part 107 Peak frequency detection part 108 Carrier wave generation part 115 Modulation part 120 D / A conversion unit 203 A / D conversion unit 204 FFT unit 210 Environmental sound storage unit 213 Environmental sound subtraction unit 215 Demodulation unit

Claims (5)

符号化された各種情報を可聴音帯域の音波に変換して発信する発信装置において、
前記音波が発信される場所の環境音を環境音信号として入力するマイクロフォンと、
前記環境音信号から、前記環境音を主として構成するピーク周波数を検出するピーク周波数検出部と、
前記ピーク周波数に基づいて、前記環境音に対してマスキング効果の得られる複数の周波数の搬送波を生成する搬送波生成部と、
前記複数の搬送波をベースバンド信号で変調する変調部と、
を備えることを特徴とする発信装置。
In a transmitting device that converts various encoded information into sound waves of an audible sound band and transmits the sound,
A microphone that inputs the environmental sound of the place where the sound wave is transmitted as an environmental sound signal;
A peak frequency detection unit for detecting a peak frequency mainly constituting the environmental sound from the environmental sound signal;
A carrier generation unit that generates a plurality of carrier waves having a masking effect with respect to the environmental sound based on the peak frequency;
A modulation unit that modulates the plurality of carriers with a baseband signal;
A transmitting device comprising:
前記搬送波生成部は、前記ピーク周波数の1/n(nは自然数)を基本周波数として、この基本周波数の自然数倍の周波数の搬送波を生成し、
前記変調部は、OFDM方式により変調することを特徴とする請求項1記載の発信装置。
The carrier generation unit generates 1 / n (n is a natural number) of the peak frequency as a fundamental frequency, and generates a carrier wave having a frequency that is a natural number multiple of the fundamental frequency,
The transmitting device according to claim 1, wherein the modulation unit modulates by an OFDM method.
前記基本周波数は、前記ピーク周波数の1/n(nは自然数)の周波数のうち、30〜260Hzの周波数であることを特徴とする請求項2記載の発信装置。The transmission device according to claim 2 , wherein the fundamental frequency is a frequency of 30 to 260 Hz among 1 / n (n is a natural number) of the peak frequency. 前記複数の搬送波は、前記ピーク周波数の自然数倍の周波数を含んでいることを特徴とする請求項1乃至3何れか1項に記載の発信装置。  4. The transmission device according to claim 1, wherein the plurality of carrier waves include a frequency that is a natural number multiple of the peak frequency. 5. コンピュータに、符号化された各種情報を可聴音帯域の音波に変換してスピーカーから発信させるための発信プログラムにおいて、
マイクロフォンを介して入力される前記音波が発信される場所の環境音の信号から、前記環境音を主として構成するピーク周波数を検出するピーク周波数検出ステップと、
前記ピーク周波数に基づいて、前記環境音に対してマスキング効果の得られる複数の周波数の搬送波を生成する搬送波生成ステップと、
前記複数の搬送波をベースバンド信号で変調する変調ステップと、
を前記コンピュータに実行させることを特徴とする発信プログラム。
In a transmission program for causing a computer to convert various encoded information into sound waves of an audible sound band and transmit them from a speaker,
A peak frequency detecting step for detecting a peak frequency mainly constituting the environmental sound from a signal of the environmental sound at a place where the sound wave inputted through a microphone is transmitted;
A carrier wave generating step for generating a carrier wave of a plurality of frequencies capable of obtaining a masking effect on the environmental sound based on the peak frequency;
Modulating the plurality of carriers with a baseband signal;
Is transmitted to the computer.
JP2010513542A 2010-03-26 2010-03-26 Transmitter Expired - Fee Related JP4545234B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/055334 WO2011118017A1 (en) 2010-03-26 2010-03-26 Sending device

Publications (2)

Publication Number Publication Date
JP4545234B1 true JP4545234B1 (en) 2010-09-15
JPWO2011118017A1 JPWO2011118017A1 (en) 2013-07-04

Family

ID=42824820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010513542A Expired - Fee Related JP4545234B1 (en) 2010-03-26 2010-03-26 Transmitter

Country Status (2)

Country Link
JP (1) JP4545234B1 (en)
WO (1) WO2011118017A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141054A (en) * 2011-12-28 2013-07-18 Spotlight Inc Beacon and ultrasonic communication system using mobile terminal

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529071B2 (en) * 2012-12-28 2016-12-27 Rakuten, Inc. Ultrasonic-wave communication system
JP6353402B2 (en) * 2015-05-12 2018-07-04 日本電信電話株式会社 Acoustic digital watermark system, digital watermark embedding apparatus, digital watermark reading apparatus, method and program thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043376A1 (en) * 2005-10-07 2007-04-19 Ntt Docomo, Inc. Modulation device, modulation method, demodulation device, and demodulation method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043376A1 (en) * 2005-10-07 2007-04-19 Ntt Docomo, Inc. Modulation device, modulation method, demodulation device, and demodulation method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141054A (en) * 2011-12-28 2013-07-18 Spotlight Inc Beacon and ultrasonic communication system using mobile terminal

Also Published As

Publication number Publication date
JPWO2011118017A1 (en) 2013-07-04
WO2011118017A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP4528365B1 (en) Transmitter
JP3822224B1 (en) Information provision system
Wang et al. Messages behind the sound: real-time hidden acoustic signal capture with smartphones
US11563499B2 (en) Data delivery using acoustic transmissions
JP4880650B2 (en) Communications system
US20030212549A1 (en) Wireless communication using sound
JP3834579B1 (en) Information provision system
JP4295781B2 (en) Information provision system
JP4545234B1 (en) Transmitter
Matsuoka et al. Acoustic communication system using mobile terminal microphones
Bai et al. BatComm: enabling inaudible acoustic communication with high-throughput for mobile devices
KR101462427B1 (en) System and method for delivering information in sound wave communication based on preserving of audio signal, and apparatus applied to the same
JP6124432B2 (en) Information transmitting apparatus, information transmitting program, information receiving apparatus, information receiving program, and information communication method
JP2011082981A (en) Broadcasting system cooperating with electronic device
KR101392984B1 (en) Apparatus and method for receiving data through non-audible frequency
KR20180078561A (en) Air sound wave commucation system with noise robust and method thereof

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4545234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20190709

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees