JP6017858B2 - Electronic device and sound output method - Google Patents
Electronic device and sound output method Download PDFInfo
- Publication number
- JP6017858B2 JP6017858B2 JP2012143513A JP2012143513A JP6017858B2 JP 6017858 B2 JP6017858 B2 JP 6017858B2 JP 2012143513 A JP2012143513 A JP 2012143513A JP 2012143513 A JP2012143513 A JP 2012143513A JP 6017858 B2 JP6017858 B2 JP 6017858B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- unit
- reproduced
- mode
- mixing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephone Function (AREA)
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、音源データの音を出力する電子機器及び音出力方法に関する。 The present invention relates to an electronic device that outputs sound of sound source data and a sound output method.
従来、電子機器から出力される音をイヤホン経由でユーザへ提供する技術が知られている。例えば、携帯型音楽再生機、又は耳鳴りを軽減させる装置等が知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, a technique for providing sound output from an electronic device to a user via an earphone is known. For example, a portable music player or a device that reduces tinnitus is known (for example, see Patent Document 1).
しかしながら、ユーザは、電子機器から出力される音をイヤホン経由で聞いている場合、周囲の音を聞き取りにくかった。 However, when the user listens to the sound output from the electronic device via the earphone, it is difficult to hear the surrounding sound.
本発明は、音源データの再生音をイヤホン経由で出力している際に、ユーザが周囲の音を聞き取れる電子機器及び音出力方法を提供することを目的とする。 It is an object of the present invention to provide an electronic device and a sound output method that allow a user to hear surrounding sounds when outputting reproduced sound of sound source data via an earphone.
本発明に係る電子機器は、音源データを記憶する記憶部と、前記音源データの音を再生する再生部と、外部の音を集音する集音部と、前記再生部により再生された音に対して、前記集音部により集音された音をミキシングするミキシング部と、前記ミキシング部によりミキシングされた音をイヤホンに対して出力する出力部と、を備える。 An electronic apparatus according to the present invention includes a storage unit that stores sound source data, a reproduction unit that reproduces sound of the sound source data, a sound collection unit that collects external sound, and a sound reproduced by the reproduction unit. On the other hand, a mixing unit that mixes the sound collected by the sound collecting unit, and an output unit that outputs the sound mixed by the mixing unit to the earphone.
また、本発明に係る電子機器は、前記記憶部に記憶されている複数の音源データから、前記再生部により再生させる音源データを選択する選択部を備えることが好ましい。 Moreover, it is preferable that the electronic device according to the present invention further includes a selection unit that selects sound source data to be reproduced by the reproduction unit from a plurality of sound source data stored in the storage unit.
また、前記ミキシング部は、前記集音部により集音された音の大きさに応じて、前記再生部により再生された音に対してミキシングする音の大きさを調整することが好ましい。 Moreover, it is preferable that the said mixing part adjusts the magnitude | size of the sound mixed with respect to the sound reproduced | regenerated by the said reproduction | regeneration part according to the magnitude | size of the sound collected by the said sound collection part.
また、本発明に係る電子機器は、予め設けられている複数のモードのうち、いずれのモードであるかを判定する判定部を備え、前記ミキシング部は、前記判定部により判定されたモードに応じて、前記ミキシングする音の大きさを調整することが好ましい。 Moreover, the electronic device according to the present invention includes a determination unit that determines which mode is a plurality of modes provided in advance, and the mixing unit corresponds to the mode determined by the determination unit. The volume of the sound to be mixed is preferably adjusted.
また、本発明に係る電子機器は、前記音源データが再生された場合に、当該音源データの種別に基づいて、当該種別に対応付けられているモードを設定する設定部を備えることが好ましい。 The electronic apparatus according to the present invention preferably includes a setting unit that sets a mode associated with the type based on the type of the sound source data when the sound source data is reproduced.
また、本発明に係る電子機器は、前記音源データのそれぞれに対して、前記種別を指定する入力を受け付ける受付部を備えることが好ましい。 Moreover, it is preferable that the electronic device according to the present invention includes a receiving unit that receives an input for designating the type for each of the sound source data.
また、前記複数のモードは、耳鳴り低減モードを含み、前記ミキシング部は、前記耳鳴り低減モードの場合、前記集音部により集音された音を、当該音の大きさによらず、前記再生部により再生された音に対してミキシングすることが好ましい。 The plurality of modes includes a tinnitus reduction mode, and the mixing unit, in the tinnitus reduction mode, plays the sound collected by the sound collection unit regardless of the volume of the sound. It is preferable to mix the sound reproduced by the above.
また、前記複数のモードは、第1の移動モード及び第2の移動モードを含み、前記ミキシング部は、前記第1の移動モードの場合、前記集音部により集音された音を、当該音の大きさによらず、前記再生部により再生された音に対してミキシングし、前記第2の移動モードの場合、前記集音部により集音された音が小さいとき、前記再生部により再生された音に対するミキシングの比率を小さくすることが好ましい。 The plurality of modes include a first movement mode and a second movement mode. In the first movement mode, the mixing unit outputs the sound collected by the sound collection unit in the sound. Regardless of the size of the sound, the sound reproduced by the reproduction unit is mixed. In the second movement mode, when the sound collected by the sound collection unit is small, the sound is reproduced by the reproduction unit. It is preferable to reduce the mixing ratio with respect to the sound.
また、本発明に係る電子機器は、加速度センサと、前記加速度センサにより検出された加速度に応じて前記モードを設定する設定部と、を備えることが好ましい。 Moreover, it is preferable that the electronic device according to the present invention includes an acceleration sensor and a setting unit that sets the mode according to the acceleration detected by the acceleration sensor.
また、本発明に係る電子機器は、位置情報を取得する測位部と、前記測位部により取得された位置情報に応じて前記モードを設定する設定部と、を備えることが好ましい。 Moreover, the electronic device according to the present invention preferably includes a positioning unit that acquires position information, and a setting unit that sets the mode according to the position information acquired by the positioning unit.
また、本発明に係る電子機器は、加速度センサと、位置情報を取得する測位部と、前記加速度センサにより検出された加速度、及び前記測位部により取得された位置情報に応じて前記モードを設定する設定部と、を備えることが好ましい。 The electronic apparatus according to the present invention sets the mode according to an acceleration sensor, a positioning unit that acquires position information, an acceleration detected by the acceleration sensor, and a position information acquired by the positioning unit. And a setting unit.
また、本発明に係る電子機器は、前記集音された音の大きさに応じたミキシングの比率を、指示入力に基づいて更新する更新部を備えることが好ましい。 Moreover, it is preferable that the electronic device according to the present invention further includes an updating unit that updates a mixing ratio according to the volume of the collected sound based on an instruction input.
また、前記ミキシング部は、前記再生部により再生された音の大きさに応じて、前記ミキシングする音の大きさを変更することが好ましい。 Further, it is preferable that the mixing unit changes a volume of the sound to be mixed according to a volume of the sound reproduced by the reproducing unit.
本発明に係る音出力方法は、音源データを記憶する記憶部と、前記音源データの音を再生する再生部と、を備える電子機器が音を出力する音出力方法であって、外部の音を集音する集音ステップと、前記再生部により再生された音に対して、前記集音ステップにおいて集音された音をミキシングするミキシングステップと、前記ミキシングステップにおいてミキシングされた音をイヤホンに対して出力する出力ステップと、を含む。 A sound output method according to the present invention is a sound output method in which an electronic device including a storage unit that stores sound source data and a reproduction unit that reproduces the sound of the sound source data outputs sound, A sound collecting step for collecting sound, a mixing step for mixing the sound collected in the sound collecting step with respect to the sound reproduced by the reproducing unit, and the sound mixed in the mixing step for the earphone And an output step for outputting.
本発明によれば、電子機器が音源データの再生音をイヤホン経由で出力している際に、ユーザが周囲の音を聞き取れる。 ADVANTAGE OF THE INVENTION According to this invention, when the electronic device is outputting the reproduced sound of sound source data via an earphone, a user can hear surrounding sounds.
本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、電子機器の一例として、スマートフォンについて説明する。 Embodiments for carrying out the present invention will be described in detail with reference to the drawings. Below, a smart phone is demonstrated as an example of an electronic device.
図1から図3を参照しながら、実施形態に係るスマートフォン1の外観について説明する。図1から図3に示すように、スマートフォン1は、ハウジング20を有する。ハウジング20は、フロントフェイス1Aと、バックフェイス1Bと、サイドフェイス1C1〜1C4とを有する。フロントフェイス1Aは、ハウジング20の正面である。バックフェイス1Bは、ハウジング20の背面である。サイドフェイス1C1〜1C4は、フロントフェイス1Aとバックフェイス1Bとを接続する側面である。以下では、サイドフェイス1C1〜1C4を、どの面であるかを特定することなく、サイドフェイス1Cと総称することがある。
The external appearance of the
スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3A〜3Cと、照度センサ4と、近接センサ5と、レシーバ7と、マイク8と、カメラ12とをフロントフェイス1Aに有する。スマートフォン1は、カメラ13をバックフェイス1Bに有する。スマートフォン1は、ボタン3D〜3Fと、外部インターフェイス14とをサイドフェイス1Cに有する。以下では、ボタン3A〜3Fを、どのボタンであるかを特定することなく、ボタン3と総称することがある。
The
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、液晶ディスプレイ(Liquid Crystal Display)、有機ELパネル(Organic Electro−Luminescence panel)、又は無機ELパネル(Inorganic Electro−Luminescence panel)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号又は図形等を表示する。
The
タッチスクリーン2Bは、タッチスクリーンディスプレイ2に対する指、又はスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、又はスタイラスペン等がタッチスクリーンディスプレイ2に接触した位置を検出することができる。
The
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(又は超音波方式)、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下では、説明を簡単にするため、タッチスクリーン2Bがタッチスクリーンディスプレイ2に対する接触を検出する指、又はスタイラスペン等を単に「指」ということがある。
The detection method of the
スマートフォン1は、タッチスクリーン2Bにより検出された接触、接触位置、接触時間又は接触回数に基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーンディスプレイ2に対して行われる操作である。スマートフォン1によって判別されるジェスチャには、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、ピンチアウト等が含まれる。
The
タッチは、タッチスクリーンディスプレイ2(例えば、表面)に指が接触するジェスチャである。スマートフォン1は、タッチスクリーンディスプレイ2に指が接触するジェスチャをタッチとして判別する。ロングタッチとは、タッチスクリーンディスプレイ2に指が一定時間以上接触するジェスチャである。スマートフォン1は、タッチスクリーンディスプレイ2に指が一定時間以上接触するジェスチャをロングタッチとして判別する。
A touch is a gesture in which a finger contacts the touch screen display 2 (for example, a surface). The
リリースは、指がタッチスクリーンディスプレイ2から離れるジェスチャである。スマートフォン1は、指がタッチスクリーンディスプレイ2から離れるジェスチャをリリースとして判別する。スワイプは、指がタッチスクリーンディスプレイ2上に接触したままで移動するジェスチャである。スマートフォン1は、指がタッチスクリーンディスプレイ2上に接触したままで移動するジェスチャをスワイプとして判別する。
A release is a gesture in which a finger leaves the
タップは、タッチに続いてリリースをするジェスチャである。スマートフォン1は、タッチに続いてリリースをするジェスチャをタップとして判別する。ダブルタップは、タッチに続いてリリースをするジェスチャが2回連続するジェスチャである。スマートフォン1は、タッチに続いてリリースをするジェスチャが2回連続するジェスチャをダブルタップとして判別する。
A tap is a gesture for releasing following a touch. The
ロングタップは、ロングタッチに続いてリリースをするジェスチャである。スマートフォン1は、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。ドラッグは、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。スマートフォン1は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。
A long tap is a gesture for releasing following a long touch. The
フリックは、タッチに続いて指が一方方向へ高速で移動しながらリリースするジェスチャである。スマートフォン1は、タッチに続いて指が一方方向へ高速で移動しながらリリースするジェスチャをフリックとして判別する。フリックは、指が画面の上方向へ移動する上フリック、指が画面の下方向へ移動する下フリック、指が画面の右方向へ移動する右フリック、指が画面の左方向へ移動する左フリック等を含む。
The flick is a gesture that is released while the finger moves at high speed in one direction following the touch. The
ピンチインは、複数の指が互いに近付く方向にスワイプするジェスチャである。スマートフォン1は、複数の指が互いに近付く方向にスワイプするジェスチャをピンチインとして判別する。ピンチアウトは、複数の指が互いに遠ざかる方向にスワイプするジェスチャである。スマートフォン1は、複数の指が互いに遠ざかる方向にスワイプするジェスチャをピンチアウトとして判別する。
Pinch-in is a gesture that swipes in a direction in which a plurality of fingers approach each other. The
スマートフォン1は、タッチスクリーン2Bを介して判別するこれらのジェスチャに従って動作を行う。したがって、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってスマートフォン1が行う動作は、タッチスクリーンディスプレイ2に表示されている画面に応じて異なる。
The
図4は、スマートフォン1の構成を示すブロック図である。スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、カメラ12及び13と、外部インターフェイス14と、加速度センサ15と、方位センサ16と、回転検出センサ17とを有する。
FIG. 4 is a block diagram illustrating the configuration of the
タッチスクリーンディスプレイ2は、上述したように、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、文字、画像、記号、又は図形等を表示する。タッチスクリーン2Bは、ジェスチャを検出する。
As described above, the
ボタン3は、利用者によって操作される。ボタン3は、ボタン3A〜ボタン3Fを有する。コントローラ10はボタン3と協働することによってボタンに対する操作を検出する。ボタンに対する操作は、例えば、クリック、ダブルクリック、プッシュ、及びマルチプッシュである。
The button 3 is operated by the user. The button 3 includes
例えば、ボタン3A〜3Cは、ホームボタン、バックボタン又はメニューボタンである。例えば、ボタン3Dは、スマートフォン1のパワーオン/オフボタンである。ボタン3Dは、スリープ/スリープ解除ボタンを兼ねてもよい。例えば、ボタン3E及び3Fは、音量ボタンである。
For example, the
照度センサ4は、照度を検出する。例えば、照度とは、光の強さ、明るさ、輝度等である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
The
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、例えば、タッチスクリーンディスプレイ2が顔に近付けられたことを検出する。
The
通信ユニット6は、無線により通信する。通信ユニット6によって行われる通信方式は、無線通信規格である。例えば、無線通信規格として、2G、3G、4G等のセルラーフォンの通信規格がある。例えば、セルラーフォンの通信規格としては、LTE(Long Term Evolution)、W−CDMA、CDMA2000、PDC、GSM(登録商標)、PHS(Personal Handy−phone System)等がある。例えば、無線通信規格として、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA、NFC(Near Field Communication)等がある。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
The
レシーバ7は、コントローラ10から送信される音信号を音として出力する。マイク8は、利用者又は周囲の音を音信号へ変換してコントローラ10へ送信する。なお、スマートフォン1は、レシーバ7に加えて、スピーカをさらに有してもよい。スマートフォン1は、レシーバ7に代えて、スピーカをさらに有してもよい。
The
ストレージ9は、プログラム及びデータを記憶する。また、ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含んでよい。また、ストレージ9は、複数の種類の記憶デバイスを含んでよい。また、ストレージ9は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
The
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに所定の画面を表示させ、タッチスクリーン2Bによって検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーション及び制御プログラムは、通信ユニット6による無線通信又は記憶媒体を介してストレージ9にインストールされてもよい。
The programs stored in the
ストレージ9は、例えば、制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、設定データ9Zを記憶する。メールアプリケーション9Bは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。ブラウザアプリケーション9Cは、WEBページを表示するためのWEBブラウジング機能を提供する。テーブル9Dは、キーアサインテーブル等の各種テーブルが格納されている。配置パターンデータベース9Eは、ディスプレイ2Aに表示されるアイコン等の配置パターンが格納されている。設定データ9Zは、スマートフォン1の動作に関する各種の設定機能を提供する。
The
制御プログラム9Aは、スマートフォン1を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる。制御プログラム9Aが提供する機能には、タッチスクリーン2Bを介して検出されたジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能が含まれる。なお、制御プログラム9Aが提供する機能は、メールアプリケーション9B等の他のプログラムが提供する機能と組み合わせて利用されることがある。
The
コントローラ10は、例えば、CPU(Central Processing Unit)である。コントローラ10は、通信ユニット6等の他の構成要素が統合されたSoC(System−on−a−chip)等の集積回路であってもよい。コントローラ10は、スマートフォン1の動作を統括的に制御して各種の機能を実現する。
The
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行して、ディスプレイ2A及び通信ユニット6等を制御することによって各種機能を実現する。コントローラ10は、タッチスクリーン2B、ボタン3、加速度センサ15等の各種検出部の検出結果に応じて、制御を変更することもある。
Specifically, the
コントローラ10は、例えば、制御プログラム9Aを実行することにより、タッチスクリーン2Bを介して検出されたジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を実行する。
For example, by executing the
カメラ12は、フロントフェイス1Aに面している物体を撮影するインカメラである。カメラ13は、バックフェイス1Bに面している物体を撮影するアウトカメラである。
The
外部インターフェイス14は、他の装置が接続される端子である。外部インターフェイス14は、USB(Universal Serial Bus)、HDMI(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト)、イヤホンマイクコネクタのような汎用的な端子であってもよい。外部インターフェイス14は、Dockコネクタのような専用に設計された端子でもよい。外部インターフェイス14に接続される装置には、例えば、外部ストレージ、スピーカ、通信装置が含まれる。
The
加速度センサ15は、スマートフォン1に働く加速度の方向及び大きさを検出する。方位センサ16は、地磁気の向きを検出する。回転検出センサ17は、スマートフォン1の回転を検出する。加速度センサ15、方位センサ16及び回転検出センサ17の検出結果は、スマートフォン1の位置及び姿勢の変化を検出するために、組み合わせて利用される。
The
図5は、スマートフォン1におけるコントローラ10の詳細な機能を示すブロック図である。
FIG. 5 is a block diagram illustrating detailed functions of the
なお、外部インターフェイス14には、イヤホン19が接続可能であり、イヤホン19が接続された場合、音は、レシーバ7又はスピーカに代えてイヤホン19から出力される。
また、ストレージ9(記憶部)は、複数の音源データを記憶する。
Note that an
The storage 9 (storage unit) stores a plurality of sound source data.
コントローラ10は、音源選択部101(選択部)と、音源種別受付部102(受付部)と、再生部103と、集音部104と、ミキシング部105と、出力部106と、測位部107と、モード設定部108(設定部)と、モード判定部109(判定部)と、ミキシング比率更新部110(更新部)とを備える。
The
音源選択部101は、ストレージ9に記憶されている複数の音源データから、再生部103により再生させる音源データを選択する。具体的には、例えば、ユーザからのタッチスクリーンディスプレイ2への操作入力に基づいて、あるいは所定のアプリケーションからの指示に基づいて音源データが選択される。
The sound
音源種別受付部102は、ストレージ9に記憶されている音源データのそれぞれに対して、種別を指定する入力を受け付け、音源データと対応付けて記憶する。この種別により、例えば、耳鳴り低減用の音源データであることが示される。耳鳴り低減用の音源データとは、例えば、マスカー音と呼ばれる、耳鳴りが起こっている状態にユーザを慣らすための音のデータである。
The sound source
再生部103は、音源選択部101により選択された音源データの音を再生し、ミキシング部105へ提供する。
The
集音部104は、マイク8を介して、スマートフォン1の外部の音を集音し、ミキシング部105へ提供する。
なお、集音部104は、集音した音に対して、ノイズカット、周波数変更、スピード変更等の補正を行ってもよい。
The
Note that the
ミキシング部105は、再生部103により再生された音に対して、集音部104により集音された音をミキシングする。
また、ミキシング部105は、集音部104により集音された音の大きさに応じて、再生部103により再生された音に対してミキシングする音の大きさを調整する。このとき、ミキシング部105は、モード判定部109により判定されたモードに応じて、ミキシングする音の大きさを調整する。
The
Further, the
出力部106は、ミキシング部によりミキシングされた音をイヤホン19に対して出力する。
The
測位部107は、GPS(Global Positioning System)によって、又は通信ユニット6を介して受信した基地局等の情報等に基づいて、スマートフォン1の位置情報を取得する。
The
モード設定部108は、ユーザからのタッチスクリーンディスプレイ2への操作入力に基づいて、スマートフォン1を指定されたモードに設定する。
また、モード設定部108は、音源データが再生された場合に、この音源データの種別に基づいて、当該種別に対応付けられているモードを設定する。
The
Further, when the sound source data is reproduced, the
さらに、モード設定部108は、加速度センサ15により検出された加速度情報、測位部107により取得された位置情報、又は両方の情報に応じて、スマートフォン1の移動状態を判別し、この移動状態に対応付けられているモードを設定する。
なお、モード設定部108によるモードの設定は、所定のタイミング又は周期的に行われることとしてよい。
Further, the
The mode setting by the
モード判定部109は、予め設けられている複数のモードのうち、スマートフォン1が現在、モード設定部108によりいずれのモードに設定されているかを判定する。
複数のモードは、前述した耳鳴り低減用の音源データを再生部103に再生させるモードである耳鳴り低減モードを含む。ミキシング部105は、耳鳴り低減モードの場合、集音部104により集音された音を、再生部103により再生された音に対してミキシングする。
The
The plurality of modes include a tinnitus reduction mode that is a mode in which the
また、複数のモードは、ジョギング、ウォーキング又は車両を運転中等、周囲の音を聞きたい状態である第1の移動モードを含む。ミキシング部105は、第1の移動モードの場合、集音部104により集音された音を、再生部103により再生された音に対してミキシングする。
The plurality of modes includes a first movement mode in which it is desired to hear surrounding sounds, such as jogging, walking, or driving a vehicle. In the first movement mode, the
また、複数のモードは、乗り物に乗車中であるため、周囲の特別な音(例えば、電車のアナウンス音等)以外は聞かなくてよい状態である第2の移動モードを含む。ミキシング部105は、第2の移動モードの場合、集音部104により集音された音が大きいときには、再生部103により再生された音に対するミキシング量を行う一方で、集音された音が小さいときには、再生された音に対するミキシングを、行わない又は比率を小さくする。これにより、例えば、ユーザが電車に乗っているときに、アナウンス音等の比較的大きな音と推定される音がミキシングされ、不要な雑音であると推定される、アナウンス音等に比べて小さい音はミキシングされない。
The plurality of modes include a second movement mode in which it is not necessary to listen to sounds other than the surrounding special sounds (for example, an announcement sound of a train, etc.) because the vehicle is in a vehicle. In the second movement mode, when the sound collected by the
図6は、マイク8へ入力されて集音された音の大きさに対して、ミキシング部105によってミキシングされた音、すなわちイヤホンから出力される音のうち再生された音を除いた音の大きさを例示する図である。
FIG. 6 shows the magnitude of the sound obtained by removing the reproduced sound from the sounds mixed by the mixing
上記の耳鳴り低減モード又は第1移動モードの場合、出力の大きさは、破線のように入力の大きさに比例する。
一方、第2移動モードの場合、実線のように、集音された音が小さくなると、ミキシング量が少なくなり、集音される音の大きさが所定値A1以下になると集音された音はミキシングされない。
In the case of the tinnitus reduction mode or the first movement mode, the magnitude of the output is proportional to the magnitude of the input as indicated by a broken line.
On the other hand, in the second movement mode, as shown by the solid line, when the collected sound is reduced, the amount of mixing is reduced, and when the collected sound is less than the predetermined value A1, Not mixed.
ミキシング比率更新部110は、集音された音の大きさに応じたミキシング量の比率が既定されている設定データを、ユーザからの指示入力に基づいて更新する。
具体的には、例えば、図6に1点鎖線にて示すように、ミキシング比率更新部110は、第2の移動モードにおいて入力が所定値A2以下になると集音された音をミキシングしなくするといった調整をユーザの指示入力に基づいて行い、設定データを更新する。
The mixing
Specifically, for example, as indicated by a one-dot chain line in FIG. 6, the mixing
図7は、スマートフォン1において音源データを再生する処理を示すフローチャートである。
FIG. 7 is a flowchart showing a process of reproducing sound source data in the
ステップS1において、コントローラ10は、再生される音をイヤホンに出力するか否かを判定する。具体的には、コントローラ10は、外部インターフェイス14にイヤホン19が接続されているか否かを判定する。この判定がYESの場合、処理はステップS2に移り、判定がNOの場合、処理はステップS5に移る。
In step S1, the
ステップS2において、コントローラ10のモード判定部109は、スマートフォン1が現在、外部の音をミキシングすべき特定のモードであるか否かを判定する。この判定がYESの場合、処理はステップS3に移り、判定がNOの場合、処理はステップS5に移る。
In step S2, the
ステップS3において、コントローラ10は、集音機能を起動する。そして、集音部104は、外部の音の集音を開始する。
In step S3, the
ステップS4において、コントローラ10は、ミキシング部105を起動し、音源データの再生音に対して集音した音をミキシングする設定を行う。このとき、モード判定部109は、スマートフォン1の現在のモードを判定し、ミキシング量を決定する。
In step S <b> 4, the
ステップS5において、コントローラ10の再生部103は、音源データを再生する。ステップS4においてミキシングの設定がされている場合、この再生音に対して集音した音がミキシングされて、イヤホンから出力される。
In step S5, the
以上のように、本実施形態によれば、スマートフォン1は、音源データの再生音に対して、外部から集音した音をミキシングして、イヤホン19へ出力する。したがって、ユーザは、イヤホン19で音楽、又は耳鳴り低減用のマスキング音等の音を聞いているときに、周囲の音を聞き取れる。
ユーザは、例えば、ウォーキング時に音楽を聞きながら周囲の音も聞き取れ、安心して移動できる。また、ユーザは、耳鳴り治療用のマスキング音を再生中に周囲の音も聞き取れるので、違和感なく日常生活を阻害される心配が低減される。また、ユーザは、電車やバス等で音楽を聞きながら、アナウンスを聞き取ることができる。
As described above, according to the present embodiment, the
For example, the user can listen to music while listening to music while walking, and can move with peace of mind. In addition, since the user can hear the surrounding sound while reproducing the masking sound for tinnitus treatment, the concern that the daily life is disturbed without a sense of incongruity is reduced. In addition, the user can listen to the announcement while listening to music on a train or bus.
また、スマートフォン1は、ストレージ9に記憶されている複数の音源データから再生音を任意に選択できる。例えば、耳鳴り低減用の機器では通常、パターンの決まったホワイトノイズ等が用いられるが、スマートフォン1のユーザは、任意の音源データを用いて同様の効果を得られる。
The
また、スマートフォン1は、集音された音の大きさに応じて、ミキシングする音の大きさを調整するので、ユーザにとって不要な音が省かれて利便性の向上が期待できる。
In addition, since the
また、スマートフォン1は、予め複数のモードを設け、現在のモードに応じてミキシング量を調整できる。例えば、スマートフォン1は、耳鳴り低減モード、第1の移動モード、第2の移動モードのそれぞれに応じて、集音された音の大きさに応じた適切なミキシング量を決定できる。
Moreover, the
また、スマートフォン1は、音源データの種類に基づいてモードを設定できる。したがって、ユーザが音源データを選択すると、例えば、耳鳴り低減用の音源データであることをスマートフォン1が特定し、ユーザがモード切り替え操作を行うことなく、適切なミキシングが行われる。
さらに、スマートフォン1は、音源データの種別をユーザから受け付けることができるので、ユーザは、特定の用途のために任意の音源を追加できる。
The
Furthermore, since the
また、スマートフォン1は、加速度情報、測位情報、又は双方に基づいて移動状態を推定してモードを設定できるので、ユーザがモード切り替え操作を行うことなく、適切なミキシングが行われる。
Moreover, since the
また、スマートフォン1は、集音された音に対するミキシング量の比率を指示入力に基づいて更新できるので、ユーザの好みに合わせた適切なミキシングを行える。
Further, since the
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、前述の実施形態に記載されたものに限定されるものではない。 As mentioned above, although embodiment of this invention was described, this invention is not restricted to embodiment mentioned above. Further, the effects described in the embodiments of the present invention only list the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the above-described embodiments. Absent.
図4及び図5に示したスマートフォン1の構成は一例であり、本発明の要旨を損なわない範囲において適宜変更してよい。
The configuration of the
なお、前述の実施形態においては、集音される音の大きさに応じて、イヤホン19から出力されるミキシングされた音の大きさを変更する例を提示したが、実施形態はこれに限定されない。
例えば、スマートフォン1は、イヤホン19から出力される音源データの音の大きさに応じて、イヤホン19から出力されるミキシングされる音の大きさを変更してもよい。具体的には、イヤホン19から出力される音源データに基づく音の大きさが小さいときには、イヤホン19で耳が塞がれている状態であっても、ユーザは外部の音をイヤホン19越しに聞くことが可能であるため、スマートフォン1は、外部の音をミキシングしてイヤホン19から出力しなくてもよい。
In the above-described embodiment, the example in which the volume of the mixed sound output from the
For example, the
また、前述の実施形態では、電子機器の一例として、スマートフォンについて説明したが、電子機器は、スマートフォンに限定されない。例えば、電子機器は、モバイルフォン、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ又はゲーム機等の携帯電子機器であってもよい。また、電子機器は、デスクトップパソコン、テレビ受像器等の据え置き型の電子機器であってもよい。 Moreover, although the above-mentioned embodiment demonstrated the smart phone as an example of an electronic device, an electronic device is not limited to a smart phone. For example, the electronic device may be a mobile electronic device such as a mobile phone, a portable personal computer, a digital camera, a media player, an electronic book reader, a navigator, or a game machine. The electronic device may be a stationary electronic device such as a desktop personal computer or a television receiver.
1 スマートフォン(電子機器)
9 ストレージ(記憶部)
10 コントローラ
14 外部インターフェイス
15 加速度センサ
19 イヤホン
101 音源選択部(選択部)
102 音源種別受付部(受付部)
103 再生部
104 集音部
105 ミキシング部
106 出力部
107 測位部
108 モード設定部(設定部)
109 モード判定部(判定部)
110 ミキシング比率更新部(更新部)
1 Smartphone (electronic equipment)
9 Storage (storage unit)
DESCRIPTION OF
102 Sound source type reception unit (reception unit)
103
109 Mode determination unit (determination unit)
110 Mixing ratio update unit (update unit)
Claims (10)
集音部と、
前記再生部により再生された再生音に対して、前記集音部により集音された外部音をミキシングするミキシング部と、
前記ミキシング部によりミキシングされた音を出力音として出力する出力部と、を備え、
予め設けられている複数のモードのうち、いずれのモードであるかを判定する判定部を備え、
前記ミキシング部は、前記集音部により集音された前記外部音の大きさ、及び前記判定部により判定されたモードに応じて、前記再生音に対してミキシングする前記外部音の大きさを調整し、
前記音源データが再生された場合に、当該音源データの種別に基づいて、当該種別に対応付けられているモードを設定する設定部を備える
電子機器。 A playback unit for playing back sound source data;
The sound collection section;
A mixing unit that mixes external sound collected by the sound collecting unit with respect to the reproduced sound reproduced by the reproducing unit;
An output unit that outputs the sound mixed by the mixing unit as an output sound,
A determination unit that determines which mode is selected from a plurality of modes provided in advance,
The mixing unit adjusts the volume of the external sound mixed with the reproduced sound according to the volume of the external sound collected by the sound collection unit and the mode determined by the determination unit. And
An electronic apparatus comprising: a setting unit that sets a mode associated with a type based on the type of the sound source data when the sound source data is reproduced.
請求項1に記載の電子機器。 The electronic device according to claim 1, further comprising a receiving unit which receives an input to each of the sound source data, to specify the type.
集音部と、
前記再生部により再生された再生音に対して、前記集音部により集音された外部音をミキシングするミキシング部と、
前記ミキシング部によりミキシングされた音を出力音として出力する出力部と、を備え、
予め設けられている複数のモードのうち、いずれのモードであるかを判定する判定部を備え、
前記ミキシング部は、前記集音部により集音された前記外部音の大きさ、及び前記判定部により判定されたモードに応じて、前記再生音に対してミキシングする前記外部音の大きさを調整し、
前記複数のモードは、耳鳴り低減モードを含み、
前記ミキシング部は、前記耳鳴り低減モードの場合、前記集音部により集音された前記外部音を、当該外部音の大きさによらず、前記再生部により再生された前記再生音に対してミキシングする
電子機器。 A playback unit for playing back sound source data;
The sound collection section;
A mixing unit that mixes external sound collected by the sound collecting unit with respect to the reproduced sound reproduced by the reproducing unit;
An output unit that outputs the sound mixed by the mixing unit as an output sound,
A determination unit that determines which mode is selected from a plurality of modes provided in advance,
The mixing unit adjusts the volume of the external sound mixed with the reproduced sound according to the volume of the external sound collected by the sound collection unit and the mode determined by the determination unit. And
The plurality of modes includes a tinnitus reduction mode,
In the tinnitus reduction mode, the mixing unit mixes the external sound collected by the sound collection unit with the reproduced sound reproduced by the reproduction unit regardless of the magnitude of the external sound. Electronic equipment.
集音部と、
前記再生部により再生された再生音に対して、前記集音部により集音された外部音をミキシングするミキシング部と、
前記ミキシング部によりミキシングされた音を出力音として出力する出力部と、を備え、
予め設けられている複数のモードのうち、いずれのモードであるかを判定する判定部を備え、
前記ミキシング部は、前記集音部により集音された前記外部音の大きさ、及び前記判定部により判定されたモードに応じて、前記再生音に対してミキシングする前記外部音の大きさを調整し、
前記複数のモードは、第1の移動モード及び第2の移動モードを含み、
前記ミキシング部は、前記第1の移動モードの場合、前記集音部により集音された前記外部音を、当該外部音の大きさによらず、前記再生部により再生された前記再生音に対してミキシングし、前記第2の移動モードの場合、前記集音部により集音された前記外部音が小さいとき、前記再生部により再生された前記再生音に対するミキシングの比率を小さくする
電子機器。 A playback unit for playing back sound source data;
The sound collection section;
A mixing unit that mixes external sound collected by the sound collecting unit with respect to the reproduced sound reproduced by the reproducing unit;
An output unit that outputs the sound mixed by the mixing unit as an output sound,
A determination unit that determines which mode is selected from a plurality of modes provided in advance,
The mixing unit adjusts the volume of the external sound mixed with the reproduced sound according to the volume of the external sound collected by the sound collection unit and the mode determined by the determination unit. And
The plurality of modes include a first movement mode and a second movement mode,
In the first movement mode, the mixing unit applies the external sound collected by the sound collection unit to the reproduced sound reproduced by the reproduction unit regardless of the magnitude of the external sound. An electronic device that reduces mixing ratio to the reproduced sound reproduced by the reproducing unit when the external sound collected by the sound collecting unit is small in the second movement mode.
前記加速度センサにより検出された加速度に応じて前記モードを設定する設定部と、を備える
請求項4に記載の電子機器。 An acceleration sensor;
The electronic device according to claim 4 , further comprising: a setting unit that sets the mode according to the acceleration detected by the acceleration sensor.
前記測位部により取得された位置情報に応じて前記モードを設定する設定部と、を備える
請求項4に記載の電子機器。 A positioning unit for acquiring position information;
The electronic device according to claim 4 , further comprising: a setting unit that sets the mode according to position information acquired by the positioning unit.
位置情報を取得する測位部と、
前記加速度センサにより検出された加速度、及び前記測位部により取得された位置情報に応じて前記モードを設定する設定部と、を備える
請求項4に記載の電子機器。 An acceleration sensor;
A positioning unit for acquiring position information;
The electronic device according to claim 4 , further comprising: a setting unit that sets the mode in accordance with acceleration detected by the acceleration sensor and position information acquired by the positioning unit.
集音ステップと、
前記再生部により再生された再生音に対して、前記集音ステップにおいて集音された外部音をミキシングするミキシングステップと、
前記ミキシングステップにおいてミキシングされた音を出力音として出力する出力ステップと、を含み、
予め設けられている複数のモードのうち、いずれのモードであるかを判定する判定ステップを含み、
前記ミキシングステップにおいて、前記集音ステップで集音された前記外部音の大きさ、及び前記判定ステップで判定されたモードに応じて、前記再生音に対してミキシングする前記外部音の大きさを調整し、
前記音源データが再生された場合に、当該音源データの種別に基づいて、当該種別に対応付けられているモードを設定する設定ステップを含む
音出力方法。 A sound output method in which an electronic device including a reproduction unit that reproduces sound source data outputs sound,
Collecting steps;
A mixing step of mixing the external sound collected in the sound collecting step with respect to the reproduced sound reproduced by the reproducing unit;
An output step for outputting the sound mixed in the mixing step as an output sound,
Including a determination step of determining which mode among a plurality of modes provided in advance;
In the mixing step, the volume of the external sound mixed with the playback sound is adjusted according to the volume of the external sound collected in the sound collection step and the mode determined in the determination step. And
A sound output method including a setting step of setting a mode associated with the type based on the type of the sound source data when the sound source data is reproduced.
集音ステップと、
前記再生部により再生された再生音に対して、前記集音ステップにおいて集音された外部音をミキシングするミキシングステップと、
前記ミキシングステップにおいてミキシングされた音を出力音として出力する出力ステップと、を含み、
予め設けられている複数のモードのうち、いずれのモードであるかを判定する判定ステップを含み、
前記ミキシングステップにおいて、前記集音ステップで集音された前記外部音の大きさ、及び前記判定ステップで判定されたモードに応じて、前記再生音に対してミキシングする前記外部音の大きさを調整し、
前記複数のモードは、耳鳴り低減モードを含み、
前記ミキシングステップにおいて、前記耳鳴り低減モードの場合、前記集音ステップで集音された前記外部音を、当該外部音の大きさによらず、前記再生部により再生された前記再生音に対してミキシングする
音出力方法。 A sound output method in which an electronic device including a reproduction unit that reproduces sound source data outputs sound,
Collecting steps;
A mixing step of mixing the external sound collected in the sound collecting step with respect to the reproduced sound reproduced by the reproducing unit;
An output step for outputting the sound mixed in the mixing step as an output sound,
Including a determination step of determining which mode among a plurality of modes provided in advance;
In the mixing step, the volume of the external sound mixed with the playback sound is adjusted according to the volume of the external sound collected in the sound collection step and the mode determined in the determination step. And
The plurality of modes includes a tinnitus reduction mode,
In the mixing step, in the tinnitus reduction mode, the external sound collected in the sound collection step is mixed with the reproduced sound reproduced by the reproducing unit regardless of the magnitude of the external sound. Yes Sound output method.
集音ステップと、
前記再生部により再生された再生音に対して、前記集音ステップにおいて集音された外部音をミキシングするミキシングステップと、
前記ミキシングステップにおいてミキシングされた音を出力音として出力する出力ステップと、を含み、
予め設けられている複数のモードのうち、いずれのモードであるかを判定する判定ステップを含み、
前記ミキシングステップにおいて、前記集音ステップで集音された前記外部音の大きさ、及び前記判定ステップで判定されたモードに応じて、前記再生音に対してミキシングする前記外部音の大きさを調整し、
前記複数のモードは、第1の移動モード及び第2の移動モードを含み、
前記ミキシングステップにおいて、前記第1の移動モードの場合、前記集音ステップで集音された前記外部音を、当該外部音の大きさによらず、前記再生部により再生された前記再生音に対してミキシングし、前記第2の移動モードの場合、前記集音ステップで集音された前記外部音が小さいとき、前記再生部により再生された前記再生音に対するミキシングの比率を小さくする
音出力方法。
A sound output method in which an electronic device including a reproduction unit that reproduces sound source data outputs sound,
Collecting steps;
A mixing step of mixing the external sound collected in the sound collecting step with respect to the reproduced sound reproduced by the reproducing unit;
An output step for outputting the sound mixed in the mixing step as an output sound,
Including a determination step of determining which mode among a plurality of modes provided in advance;
In the mixing step, the volume of the external sound mixed with the playback sound is adjusted according to the volume of the external sound collected in the sound collection step and the mode determined in the determination step. And
The plurality of modes include a first movement mode and a second movement mode,
In the mixing step, in the first movement mode, the external sound collected in the sound collection step is compared with the reproduced sound reproduced by the reproduction unit regardless of the magnitude of the external sound. In the second movement mode, when the external sound collected in the sound collection step is small, the mixing ratio with respect to the reproduced sound reproduced by the reproducing unit is reduced.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012143513A JP6017858B2 (en) | 2012-06-26 | 2012-06-26 | Electronic device and sound output method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012143513A JP6017858B2 (en) | 2012-06-26 | 2012-06-26 | Electronic device and sound output method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014007671A JP2014007671A (en) | 2014-01-16 |
JP6017858B2 true JP6017858B2 (en) | 2016-11-02 |
Family
ID=50105018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012143513A Expired - Fee Related JP6017858B2 (en) | 2012-06-26 | 2012-06-26 | Electronic device and sound output method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6017858B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6404709B2 (en) * | 2014-12-26 | 2018-10-10 | 株式会社Nttドコモ | Sound output device and sound reproduction method in sound output device |
EP3522566B1 (en) * | 2016-09-27 | 2023-09-27 | Sony Group Corporation | Information processing device and information processing method |
JP7243796B2 (en) * | 2018-02-23 | 2023-03-22 | ヤマハ株式会社 | sound generator and program |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003125481A (en) * | 2001-10-19 | 2003-04-25 | Matsushita Electric Ind Co Ltd | Voice reproducer |
MXPA04008786A (en) * | 2002-03-12 | 2005-06-17 | Era Ct Pty Ltd | Multifunctional mobile phone for medical diagnosis and rehabilitation. |
JP2005086618A (en) * | 2003-09-10 | 2005-03-31 | Nec Corp | Sound reproducing device |
JP4317947B2 (en) * | 2004-03-31 | 2009-08-19 | 隆太郎 森 | Headphone device |
JP5084156B2 (en) * | 2006-03-07 | 2012-11-28 | 京セラ株式会社 | Portable device |
US7903826B2 (en) * | 2006-03-08 | 2011-03-08 | Sony Ericsson Mobile Communications Ab | Headset with ambient sound |
CN101641968B (en) * | 2007-03-07 | 2015-01-21 | Gn瑞声达A/S | Sound enrichment for the relief of tinnitus |
JP2009077260A (en) * | 2007-09-21 | 2009-04-09 | Pioneer Electronic Corp | Information processing apparatus, information processing method and the like |
-
2012
- 2012-06-26 JP JP2012143513A patent/JP6017858B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014007671A (en) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6017891B2 (en) | Apparatus, method, and program | |
JP6159078B2 (en) | Apparatus, method, and program | |
JP5850736B2 (en) | Apparatus, method, and program | |
JP2022529159A (en) | How to add comments and electronic devices | |
JP5840045B2 (en) | Apparatus, method, and program | |
CN104142779B (en) | user interface control method, device and terminal | |
JP2013105202A (en) | Device, method, and program | |
JP2013080345A (en) | Device, method, and program | |
JP5731362B2 (en) | Electronics | |
JP2013114419A (en) | Device, method, and program | |
JP5779063B2 (en) | Apparatus, method, and program | |
JP6017858B2 (en) | Electronic device and sound output method | |
WO2015014138A1 (en) | Method, device, and equipment for displaying display frame | |
WO2014104173A1 (en) | Wireless terminal device | |
JP2015069225A (en) | Electronic apparatus | |
JP2013093798A (en) | Wireless terminal device and communication control method | |
JP5702271B2 (en) | Wireless terminal apparatus and communication control method | |
JP2013092891A (en) | Device, method, and program | |
JP6399729B2 (en) | Mobile communication device and communication control method | |
JP6139068B2 (en) | Apparatus and method | |
JP6080355B2 (en) | Apparatus, method, and program | |
JP2013135239A (en) | Radio terminal device and radio communication method | |
WO2015182717A1 (en) | Electronic apparatus, control method, and recording medium | |
JP6450066B2 (en) | Wireless terminal device | |
JP5106696B1 (en) | Wireless terminal device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151016 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160629 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6017858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |