JP5240832B2 - 音入力装置、音入力方法およびプログラム - Google Patents
音入力装置、音入力方法およびプログラム Download PDFInfo
- Publication number
- JP5240832B2 JP5240832B2 JP2008146968A JP2008146968A JP5240832B2 JP 5240832 B2 JP5240832 B2 JP 5240832B2 JP 2008146968 A JP2008146968 A JP 2008146968A JP 2008146968 A JP2008146968 A JP 2008146968A JP 5240832 B2 JP5240832 B2 JP 5240832B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- input device
- image
- source position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
移動可能に構成された音入力装置であって、
音を電気信号に変換する複数の音取得手段と、
前記音入力装置が取得する電気信号の目的となる音を発生する音源の、前記音入力装置に対する位置である音源位置を取得する音源位置取得手段と、
前記音源位置取得手段で前記音源位置を取得した地点と前記音取得手段の向きから、前記音入力装置の移動によって生じる変位と方位を検出する移動検出手段と、
前記移動検出手段が検出した前記変位と方位から、前記音源位置を取得したときの前記音取得手段に対する前記音源位置の方向と、前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向との差分を算出する差分検出手段と、
前記差分検出手段で検出した差分によって示される前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向から到来する音波が、前記複数の音取得手段のそれぞれに到達する時間差を用いて、前記複数の音取得手段で変換した電気信号から、目的とする音の電気信号を抽出する指向性制御手段と、
を備えることを特徴とする。
前記音入力装置の加速度を検出する加速度検出手段と、
前記音入力装置の角速度を検出する角速度検出手段と、
を備え、
前記移動検出手段は、前記加速度検出手段で検出した加速度から前記音入力装置の変位を算出し、前記角速度検出手段で検出した角速度から前記音入力装置の方位を算出する、
ことを特徴とする。
所定の時間を経過する間に前記移動検出手段で前記音入力装置の移動を検出しなかった場合に、少なくとも前記加速度検出手段および前記角速度検出手段を除く前記音入力装置の部分の動作を停止させる待機手段と、
前記加速度検出手段で所定の大きさの加速度を検出した場合、または、前記角速度検出手段で所定の大きさの角速度を検出した場合に、前記待機手段で停止させていた部分を動作させる復帰手段と、
を備えることを特徴とする。
所定の時間を経過する間に前記移動検出手段で前記音入力装置の移動を検出しなかった場合に、少なくとも前記移動検出手段を除く前記音入力装置の部分の動作を停止させる待機手段と、
前記移動検出手段で所定の大きさの変位または方位を検出した場合に、前記待機手段で停止させていた部分を動作させる復帰手段と、
を備えることを特徴とする。
画像を撮影する撮像手段と、
前記撮像手段で撮影した2つの画像に含まれる同じ物体を抽出する画像認識手段と、
を備え、
前記移動検出手段は、前記画像認識手段で抽出した2つの画像に含まれる同じ物体の画像の大きさと方向から、前記音入力装置の移動によって生じる変位と方位を算出する、
ことを特徴とする。
前記画像認識手段は、前記画像に含まれる物体のうち最も大きい物体を、前記2つの画像に含まれる同じ物体を抽出する候補として選択することを特徴とする。
前記画像認識手段は、前記2つの画像から同じ物体を抽出する候補として2以上の物体を選択し、前記選択した2以上の物体のうち少なくとも1つについて、前記2つの画像に含まれる同じ物体として抽出することを特徴とする。
画像を撮影する撮像手段と、
音源位置取得手段で音源位置を取得するタイミングを入力する入力手段と、
を備え、
前記音源位置取得手段は、前記入力手段で入力したタイミングに、前記撮像手段が撮影する画像の中心位置の方向にある物体を前記音源位置として取得する、
ことを特徴とする。
画像を撮影する撮像手段と、
前記撮像手段で同じ画像を撮影している継続時間を計測する計時手段と、
を備え、
前記音源位置取得手段は、前記計時手段で計測する継続時間が所定の時間を超えた場合に、そのとき前記撮像手段が撮影する画像の中心位置の方向にある物体を前記音源位置として取得する、
ことを特徴とする。
画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像のなかの特定の領域を指定する指令を入力する位置指定手段と、
を備え、
前記音源位置取得手段は、前記位置指定手段で入力した指令で指定された前記画像のなかの特定の領域に対応する物体を前記音源位置として取得する、
ことを特徴とする。
特定の音を表す電気信号を記憶する音信号記憶手段と、
前記音取得手段で取得した電気信号から、前記特定の音を表す電気信号を抽出する音認識手段と、
を備え、
前記音源位置取得手段は、前記複数の音取得手段のそれぞれで変換した電気信号から、前記音信号記憶手段で記憶する電気信号を前記音認識手段で抽出した時間的位置の差に、前記複数の音取得手段のそれぞれに到達する時間差が等しくなる音波の到来方向を、前記音源位置の方向として取得する、
ことを特徴とする。
画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像に前記音源位置取得手段で取得した音源位置の物体の画像が含まれる場合に、該物体の画像を強調表示する音源物体表示手段と、
を備えることを特徴とする。
画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像に重畳して、前記音源位置取得手段で取得した前記音入力装置に対する音源の方向を示す記号を表示する音源方向表示手段と、
を備えることを特徴とする。
画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像に重畳して、前記音源位置取得手段で取得した前記音入力装置に対する音源の方向の角度を示す数値を表示する音源角度表示手段と、
を備えることを特徴とする。
複数の音を電気信号に変換する複数音取得ステップと、
目的とする音を発生する音源の位置である音源位置を取得する音源位置取得ステップと、
前記音源位置取得ステップで前記音源位置を取得した地点からの移動によって生じる変位と方位を検出する移動検出ステップと、
前記移動検出ステップで検出した前記変位と方位から、前記音源位置を取得したときの前記音源位置の方向と、移動したのちの前記音源位置の方向との差分を算出する差分検出ステップと、
前記差分検出ステップで検出した差分によって示される前記移動したのちの前記音源位置の方向から到来する音波が到達する時間差を用いて、前記複数音取得ステップで変換した電気信号から、目的とする音の電気信号を抽出する指向性制御ステップと、
を備えることを特徴とする。
コンピュータを、移動可能に構成された音入力装置として機能させるプログラムであって、
このコンピュータを、
音を電気信号に変換する複数の音取得手段と、
前記音入力装置で取得する電気信号の目的となる音を発生する音源の、前記音入力装置に対する位置である音源位置を取得する音源位置取得手段と、
前記音源位置取得手段で前記音源位置を取得した地点と前記音取得手段の向きから、前記音入力装置の移動によって生じる変位と方位を検出する移動検出手段と、
前記移動検出手段が検出した前記変位と方位から、前記音源位置を取得したときの前記音取得手段に対する前記音源位置の方向と、前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向との差分を算出する差分検出手段と、
前記差分検出手段で検出した差分によって示される前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向から到来する音波が、前記複数の音取得手段のそれぞれに到達する時間差を用いて、前記複数の音取得手段で変換した電気信号から、目的とする音の電気信号を抽出する指向性制御手段として機能させる、
ことを特徴とする。
Claims (16)
- 移動可能に構成された音入力装置であって、
音を電気信号に変換する複数の音取得手段と、
前記音入力装置が取得する電気信号の目的となる音を発生する音源の、前記音入力装置に対する位置である音源位置を取得する音源位置取得手段と、
前記音源位置取得手段で前記音源位置を取得した地点と前記音取得手段の向きから、前記音入力装置の移動によって生じる変位と方位を検出する移動検出手段と、
前記移動検出手段が検出した前記変位と方位から、前記音源位置を取得したときの前記音取得手段に対する前記音源位置の方向と、前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向との差分を算出する差分検出手段と、
前記差分検出手段で検出した差分によって示される前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向から到来する音波が、前記複数の音取得手段のそれぞれに到達する時間差を用いて、前記複数の音取得手段で変換した電気信号から、目的とする音の電気信号を抽出する指向性制御手段と、
を備えることを特徴とする音入力装置。 - 前記音入力装置の加速度を検出する加速度検出手段と、
前記音入力装置の角速度を検出する角速度検出手段と、
を備え、
前記移動検出手段は、前記加速度検出手段で検出した加速度から前記音入力装置の変位を算出し、前記角速度検出手段で検出した角速度から前記音入力装置の方位を算出する
ことを特徴とする請求項1に記載の音入力装置。 - 所定の時間を経過する間に前記移動検出手段で前記音入力装置の移動を検出しなかった場合に、少なくとも前記加速度検出手段および前記角速度検出手段を除く前記音入力装置の部分の動作を停止させる待機手段と、
前記加速度検出手段で所定の大きさの加速度を検出した場合、または、前記角速度検出手段で所定の大きさの角速度を検出した場合に、前記待機手段で停止させていた部分を動作させる復帰手段と、
を備えることを特徴とする請求項2に記載の音入力装置。 - 所定の時間を経過する間に前記移動検出手段で前記音入力装置の移動を検出しなかった場合に、少なくとも前記移動検出手段を除く前記音入力装置の部分の動作を停止させる待機手段と、
前記移動検出手段で所定の大きさの変位または方位を検出した場合に、前記待機手段で停止させていた部分を動作させる復帰手段と、
を備えることを特徴とする請求項1乃至3のいずれか1項に記載の音入力装置。 - 画像を撮影する撮像手段と、
前記撮像手段で撮影した2つの画像に含まれる同じ物体を抽出する画像認識手段と、
を備え、
前記移動検出手段は、前記画像認識手段で抽出した2つの画像に含まれる同じ物体の画像の大きさと方向から、前記音入力装置の移動によって生じる変位と方位を算出する、
ことを特徴とする請求項1に記載の音入力装置。 - 前記画像認識手段は、前記画像に含まれる物体のうち最も大きい物体を、前記2つの画像に含まれる同じ物体を抽出する候補として選択することを特徴とする請求項5に記載の音入力装置。
- 前記画像認識手段は、前記2つの画像から同じ物体を抽出する候補として2以上の物体を選択し、前記選択した2以上の物体のうち少なくとも1つについて、前記2つの画像に含まれる同じ物体として抽出する、
ことを特徴とする請求項5に記載の音入力装置。 - 画像を撮影する撮像手段と、
音源位置取得手段で音源位置を取得するタイミングを入力する入力手段と、
を備え、
前記音源位置取得手段は、前記入力手段で入力したタイミングに、前記撮像手段が撮影する画像の中心位置の方向にある物体を前記音源位置として取得する、
ことを特徴とする請求項1乃至7のいずれか1項に記載の音入力装置。 - 画像を撮影する撮像手段と、
前記撮像手段で同じ画像を撮影している継続時間を計測する計時手段と、
を備え、
前記音源位置取得手段は、前記計時手段で計測する継続時間が所定の時間を超えた場合に、そのとき前記撮像手段が撮影する画像の中心位置の方向にある物体を前記音源位置として取得する、
ことを特徴とする請求項1乃至7のいずれか1項に記載の音入力装置。 - 画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像のなかの特定の領域を指定する指令を入力する位置指定手段と、
を備え、
前記音源位置取得手段は、前記位置指定手段で入力した指令で指定された前記画像のなかの特定の領域に対応する物体を前記音源位置として取得する、
ことを特徴とする請求項1乃至7のいずれか1項に記載の音入力装置。 - 特定の音を表す電気信号を記憶する音信号記憶手段と、
前記音取得手段で取得した電気信号から、前記特定の音を表す電気信号を抽出する音認識手段と、
を備え、
前記音源位置取得手段は、前記複数の音取得手段のそれぞれで変換した電気信号から、前記音信号記憶手段で記憶する電気信号を前記音認識手段で抽出した時間的位置の差に、前記複数の音取得手段のそれぞれに到達する時間差が等しくなる音波の到来方向を、前記音源位置の方向として取得する、
ことを特徴とする請求項1乃至7のいずれか1項に記載の音入力装置。 - 画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像に前記音源位置取得手段で取得した音源位置の物体の画像が含まれる場合に、該物体の画像を強調表示する音源物体表示手段と、
を備えることを特徴とする請求項1乃至11のいずれか1項に記載の音入力装置。 - 画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像に重畳して、前記音源位置取得手段で取得した前記音入力装置に対する音源の方向を示す記号を表示する音源方向表示手段と、
を備えることを特徴とする請求項1乃至12のいずれか1項に記載の音入力装置。 - 画像を撮影する撮像手段と、
前記撮像手段が撮影した画像を表示する画像表示手段と、
前記画像表示手段で表示する画像に重畳して、前記音源位置取得手段で取得した前記音入力装置に対する音源の方向の角度を示す数値を表示する音源角度表示手段と、
を備えることを特徴とする請求項1乃至13のいずれか1項に記載の音入力装置。 - 複数の音を電気信号に変換する複数音取得ステップと、
目的とする音を発生する音源の位置である音源位置を取得する音源位置取得ステップと、
前記音源位置取得ステップで前記音源位置を取得した地点からの移動によって生じる変位と方位を検出する移動検出ステップと、
前記移動検出ステップで検出した前記変位と方位から、前記音源位置を取得したときの前記音源位置の方向と、移動したのちの前記音源位置の方向との差分を算出する差分検出ステップと、
前記差分検出ステップで検出した差分によって示される前記移動したのちの前記音源位置の方向から到来する音波が到達する時間差を用いて、前記複数音取得ステップで変換した電気信号から、目的とする音の電気信号を抽出する指向性制御ステップと、
を備えることを特徴とする音入力方法。 - コンピュータを、移動可能に構成された音入力装置として機能させるプログラムであって、
このコンピュータを、
音を電気信号に変換する複数の音取得手段と、
前記音入力装置で取得する電気信号の目的となる音を発生する音源の、前記音入力装置に対する位置である音源位置を取得する音源位置取得手段と、
前記音源位置取得手段で前記音源位置を取得した地点と前記音取得手段の向きから、前記音入力装置の移動によって生じる変位と方位を検出する移動検出手段と、
前記移動検出手段が検出した前記変位と方位から、前記音源位置を取得したときの前記音取得手段に対する前記音源位置の方向と、前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向との差分を算出する差分検出手段と、
前記差分検出手段で検出した差分によって示される前記音入力装置が移動したのちの前記音取得手段に対する前記音源位置の方向から到来する音波が、前記複数の音取得手段のそれぞれに到達する時間差を用いて、前記複数の音取得手段で変換した電気信号から、目的とする音の電気信号を抽出する指向性制御手段として機能させる、
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008146968A JP5240832B2 (ja) | 2008-06-04 | 2008-06-04 | 音入力装置、音入力方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008146968A JP5240832B2 (ja) | 2008-06-04 | 2008-06-04 | 音入力装置、音入力方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009296232A JP2009296232A (ja) | 2009-12-17 |
JP5240832B2 true JP5240832B2 (ja) | 2013-07-17 |
Family
ID=41544021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008146968A Expired - Fee Related JP5240832B2 (ja) | 2008-06-04 | 2008-06-04 | 音入力装置、音入力方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5240832B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024076640A1 (en) * | 2022-10-07 | 2024-04-11 | CoinCircle, Inc. | User interface control for contactless in-person transaction via sound |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012023475A (ja) * | 2010-07-13 | 2012-02-02 | Nikon Corp | 撮像装置 |
US9031256B2 (en) | 2010-10-25 | 2015-05-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control |
US9552840B2 (en) | 2010-10-25 | 2017-01-24 | Qualcomm Incorporated | Three-dimensional sound capturing and reproducing with multi-microphones |
JP5712599B2 (ja) * | 2010-12-16 | 2015-05-07 | カシオ計算機株式会社 | 撮像装置及びプログラム |
US8525868B2 (en) * | 2011-01-13 | 2013-09-03 | Qualcomm Incorporated | Variable beamforming with a mobile platform |
JP2013240000A (ja) * | 2012-05-17 | 2013-11-28 | Kyocera Corp | 電子機器、録音制御プログラムおよび録音制御方法 |
GB2516056B (en) * | 2013-07-09 | 2021-06-30 | Nokia Technologies Oy | Audio processing apparatus |
JP6030032B2 (ja) | 2013-08-30 | 2016-11-24 | 本田技研工業株式会社 | 音響処理装置、音響処理方法、及び音響処理プログラム |
JP6237449B2 (ja) * | 2014-04-30 | 2017-11-29 | 株式会社Jvcケンウッド | 音処理装置 |
JP6631193B2 (ja) * | 2015-01-23 | 2020-01-15 | 株式会社リコー | 動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法 |
US10909384B2 (en) | 2015-07-14 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system and monitoring method |
JP6493860B2 (ja) * | 2015-07-23 | 2019-04-03 | パナソニックIpマネジメント株式会社 | 監視制御システム及び監視制御方法 |
EP3131311B1 (en) | 2015-08-14 | 2019-06-19 | Nokia Technologies Oy | Monitoring |
CN108614583A (zh) * | 2018-04-28 | 2018-10-02 | 北京小米移动软件有限公司 | 智能终端及智能终端的控制方法 |
JP7079160B2 (ja) * | 2018-06-29 | 2022-06-01 | キヤノン株式会社 | 集音装置、集音装置の制御方法 |
JP7194897B2 (ja) * | 2018-12-06 | 2022-12-23 | パナソニックIpマネジメント株式会社 | 信号処理装置及び信号処理方法 |
CN110085233B (zh) * | 2019-04-08 | 2021-02-09 | 广东美的制冷设备有限公司 | 语音控制方法及其装置、电子设备和计算机可读存储介质 |
JP2020201370A (ja) * | 2019-06-10 | 2020-12-17 | 富士通株式会社 | 話者方向判定プログラム、話者方向判定方法、及び話者方向判定装置 |
CN112261528B (zh) * | 2020-10-23 | 2022-08-26 | 汪洲华 | 一种多路定向拾音的音频输出方法及系统 |
JP7259878B2 (ja) * | 2021-03-04 | 2023-04-18 | 沖電気工業株式会社 | 収音装置、収音プログラム、及び収音方法 |
CN113284490B (zh) * | 2021-04-23 | 2022-09-09 | 歌尔股份有限公司 | 电子设备的控制方法、装置、设备及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4269883B2 (ja) * | 2003-10-20 | 2009-05-27 | ソニー株式会社 | マイクロホン装置、再生装置及び撮像装置 |
JP4025362B2 (ja) * | 2006-02-15 | 2007-12-19 | 松下電器産業株式会社 | 撮影装置および撮影方法 |
-
2008
- 2008-06-04 JP JP2008146968A patent/JP5240832B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024076640A1 (en) * | 2022-10-07 | 2024-04-11 | CoinCircle, Inc. | User interface control for contactless in-person transaction via sound |
Also Published As
Publication number | Publication date |
---|---|
JP2009296232A (ja) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5240832B2 (ja) | 音入力装置、音入力方法およびプログラム | |
US9516241B2 (en) | Beamforming method and apparatus for sound signal | |
EP2664160B1 (en) | Variable beamforming with a mobile platform | |
US11517099B2 (en) | Method for processing images, electronic device, and storage medium | |
KR102023179B1 (ko) | 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치 | |
JP7305249B2 (ja) | 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス | |
US9344644B2 (en) | Method and apparatus for image processing | |
US20200168198A1 (en) | Method for determining a karaoke singing score, terminal and computer-readable storage medium | |
CN109348247B (zh) | 确定音视频播放时间戳的方法、装置及存储介质 | |
JP2004528766A (ja) | 音声/画像を用いて話者を感知し位置探しする方法及び装置 | |
EP2998935B1 (en) | Image processing device, image processing method, and program | |
KR102109739B1 (ko) | 위치 기반 소리 출력 방법 및 장치 | |
JP2007017596A (ja) | 携帯端末装置 | |
EP3038343A1 (en) | Information processing device, imaging device, imaging system, method for controlling information processing device, method for controlling imaging device, and program | |
CN111048111B (zh) | 检测音频的节奏点的方法、装置、设备及可读存储介质 | |
US20190387176A1 (en) | Display control apparatus, display control method, and computer program | |
CN112822522B (zh) | 视频播放方法、装置、设备及存储介质 | |
CN111683329B (zh) | 麦克风检测方法、装置、终端及存储介质 | |
JP2005252660A (ja) | 撮影システム及び撮影制御方法 | |
US9986075B2 (en) | Mobile device including a substantially centrally located earpiece | |
US20110043598A1 (en) | Remote communication apparatus and method of estimating a distance between an imaging device and a user image-captured | |
CN116095254B (zh) | 音频处理方法和装置 | |
US11050935B1 (en) | Methods and systems for managing one or more inertial motion units in a hinged electronic device | |
CN114422743A (zh) | 视频流显示方法、装置、计算机设备和存储介质 | |
JP2010219989A (ja) | コミュニケーション支援システム、表示制御装置および表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20100806 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130328 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |