JP5594672B2 - 物体認識装置および物体認識方法 - Google Patents
物体認識装置および物体認識方法 Download PDFInfo
- Publication number
- JP5594672B2 JP5594672B2 JP2011089729A JP2011089729A JP5594672B2 JP 5594672 B2 JP5594672 B2 JP 5594672B2 JP 2011089729 A JP2011089729 A JP 2011089729A JP 2011089729 A JP2011089729 A JP 2011089729A JP 5594672 B2 JP5594672 B2 JP 5594672B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- image
- unit
- recognition
- detection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
Description
先ず、本発明の第1の実施形態に係る物体認識装置1(1a)について説明する。
本発明の第1の実施形態に係る物体認識装置1(1a)は、監視空間1000(図3参照)上にその認識対象を含む領域として後記する図3に示す検知領域1100を作成し、その作成した検知領域1100を、カメラ情報220を用いて、監視画像2000上の変形検知領域2100に変換する。この監視画像2000上の変形検知領域2100は、カメラ装置の各パラメータに関する情報を反映し、図3に示すように、監視画像2000の歪みを考慮した上で作成される。そして、物体認識装置1(1a)は、歪み等で変形した認識対象を含む領域として作成された変形検知領域2100の画像情報100について、特徴量を抽出し、認識対象の物体か否かを判定する。
図1に示すように、本発明の第1の実施形態に係る物体認識装置1(1a)は、制御部10と、記憶部20と、メモリ部30と、入力部40と、出力部50とを含んで構成される。
また、出力部50は、出力インタフェースからなり、不図示のモニタ等の表示装置に、制御部10の処理結果を表示させる。
次に、本発明の第1の実施形態に係る物体認識装置1(1a)の変形検知領域作成部130の構成について詳細に説明する。図2は、本発明の第1の実施形態に係る変形検知領域作成部130の構成を示す機能ブロック図である。
次に、本発明の第1の実施形態に係る物体認識装置1(1a)の物体認識部140(140a)の構成について詳細に説明する。図5は、本発明の第1の実施形態に係る物体認識部140(140a)の構成を示す機能ブロック図である。
次に、本発明の第1の実施形態に係る物体認識装置1(1a)が行う物体認識処理について具体的に説明する。
図6は、本発明の第1の実施形態に係る物体認識装置1(1a)が行う物体認識処理の流れを示すフローチャートである。なお、ここでは、識別対象が人物である場合として説明する。
具体的には、変形検知領域作成部130の監視空間検知領域作成部131は、監視物体情報210に含まれる、人物の幅や、身長等の情報を用いて、検知領域(矩形領域)1100を作成する。
具体的には、物体認識部140(140a)の検知領域画像抽出部141は、画像取得部110から監視カメラ等の画像情報100を受け取り、その受け取った画像情報100から、変形検知領域作成部130で作成した変形検知領域2100の画像情報100を抽出する(ステップS106)。そして、物体認識部140の特徴量抽出部142は、検知領域画像抽出部141が抽出した画像情報100を用いて、認識アルゴリズムに応じた所定の特徴量の抽出を行う(ステップS107)。
そして、出力処理部150は、出力部50を介して、不図示の表示装置に表示された監視画像2000に、認識結果を出力する(ステップS110)。ここでは、出力処理部150は、例えば、監視画像2000の変形検知領域2100を赤枠等で示し、人物が認識されたことを表示する。また、出力処理部150は、監視画像2000に加えて、監視空間1000をシミュレーションした画面に、認識対象(人物)が含まれる検知領域(矩形領域)1100を枠として表示させるようにしてもよい。そして、次のステップS111へ進む。
次に、本発明の第2の実施形態に係る物体認識装置1(1b)(図7参照)の認識範囲特定処理について説明する。本発明の第2の実施形態に係る物体認識装置1(1b)は、監視空間情報200内に監視空間1000における物体の配置を示す監視環境情報230を備え、制御部10内に設けられた認識範囲特定部160が、認識対象が存在し得ない領域を除外して、物体認識処理にとって有効な認識範囲を特定する。このようにすることで、変形検知領域作成部130は、監視空間1000内の監視領域のすべての位置座標を処理せずに、認識範囲特定部160が特定した認識範囲について、検知領域(矩形領域)1100を変形検知領域2100に変換すればよい。
この監視環境情報230は、例えば、表計算ソフトや、CAD等の3D設計ツール、地図システム(ナビゲーションシステム)、GPS(Global Positioning System)等を利用して予め作成され、記憶部20の監視空間情報200に記憶される。
図8に示すように、認識範囲特定部160は、監視空間環境作成部161と、画像環境変換部162と、認識範囲区別部163とを含んで構成される。
図9(a)に示すように、監視空間1000には、壁面71と路面72とが配置されている。認識範囲特定部160の画像環境変換部162は、監視空間1000上の壁面71および路面72の世界座標を、監視画像2000上の画像座標に変換する。そして、認識範囲区別部163は、認識対象が存在し得ない、壁面71等の外側の領域を除外し、図9(b)に示すように、認識対象である人物や物体(例えば、自動車等)が存在する路面72に特定して、物体認識処理を実行する。
次に、本発明の第2の実施形態に係る物体認識装置1(1b)が行う認識範囲特定処理について具体的に説明する。
図10は、本発明の第2の実施形態に係る物体認識装置1(1b)が行う認識範囲特定処理の流れを示すフローチャートである。
よって、本発明の第2の実施形態に係る物体認識装置1(1b)によれば、監視環境情報230を用いて、認識範囲を特定することにより、物体認識装置1の処理負荷を低減できる。また、監視が不必要な領域での認識処理を行わないことにより、物体認識処理の誤検出の可能性を低下させることができる。
次に、本発明の第3の実施形態に係る物体認識装置1について説明する。本発明の第3の実施形態に係る物体認識装置1は、本発明の第1の実施形態に係る物体認識装置1(1a)の物体認識処理に加えて、物体認識部140(140c)(図11参照)において、変形検知領域作成部130が作成した変形検知領域2100の画像情報100を、識別器や認識アルゴリズムに適合する形に変換して正規化し、その正規化した画像情報100を用いて特徴量の抽出を行うことを特徴とする。
次に、本発明の第3の実施形態に係る物体認識装置1が行う人物認識処理について、図12および図13を参照して詳細に説明する。
図12は、本発明の第3の実施形態に係る物体認識装置1が行う人物認識処理の流れを示すフローチャートである。図13は、本発明の第3の実施形態に係る人物認識処理の流れを説明するための図である。
そして、出力処理部150は、出力部50を介して、不図示の表示装置に表示された監視画像2000に、認識結果を出力する(ステップS306)。ここでは、出力処理部150は、例えば、監視画像2000の変形検知領域2100を赤枠等で示し、人物が認識されたことを表示する。また、出力処理部150は、監視画像2000に加えて、監視空間1000をシミュレーションした画面に、認識対象(人物)が含まれる検知領域(矩形領域)1100を枠として表示させるようにしてもよい。そして、次のステップS307へ進む。
次に、本発明の第4の実施形態に係る物体認識装置1について説明する。本発明の第4の実施形態に係る物体認識装置1は、物体認識装置を用いて人の入退室等の人数を数える人物カウント処理を行うことを特徴とする。
なお、本発明の第4の実施形態に係る認識処理部143は、学習サンプルにより生成した識別器を用いる認識方法により人物を識別する。さらに、認識処理部143は、特徴量抽出部142が抽出した特徴量に基づき、その人物の頭部の検出処理を行うようにすることもできる。また、認識処理部143は、この学習サンプルにより生成した識別器を用いる識別方法に加えて、テンプレート照合や、頭部、顔、肌色、作業服の色や模様等を用いて人物認識を行うようにしてもよい。
次に、本発明の第4の実施形態に係る物体認識装置1が行う人物カウント処理について具体的に説明する。
図16は、本発明の第4の実施形態に係る物体認識装置1が行う人物カウント処理の流れを示すフローチャートである。
本発明の第4の実施形態に係る人物カウント処理は、物体認識部140(140d)が、頭部の特徴量を用いて、人物が存在するか否かを判定し、さらに、頭部の方向(顔の向き)により、人物が入室するか退室するかを判定するものとして説明する。
そして、ステップS407およびステップS408の処理を終えると、入退室判定部147は、次のステップS409へ進む。
また、第2の実施形態に係る監視環境情報230を用いて、図15に示す出入り口80に認識範囲を限定して、人物カウント処理を実行すれば、その出入り口80を通過する入退室者の人数を把握することもできる。
次に、本発明の第5の実施形態に係る物体認識装置1(1e)による人物追跡処理について説明する。本発明の第5の実施形態に係る物体認識装置1(1e)は、時系列の画像情報100を用いて、所定の人物をフレーム間で追跡(同一人物と連続して認識)するものである。
以下、図1の物体認識装置1(1a)と同じ構成については、同一の名称と符号を付し、説明を省略する。
図19に示すように、追跡物体認識部180は、追跡検知領域画像抽出部181と、特徴量抽出部142(142e)と、人物特定部182とを含んで構成される。
次に、本発明の第5の実施形態に係る物体認識装置1(1e)が行う人物追跡処理について具体的に説明する。
図20および図21は、本発明の第5の実施形態に係る物体認識装置1(1e)が行う人物追跡処理の流れを示すフローチャートである。
10 制御部
20 記憶部
30 メモリ部
40 入力部
50 出力部
92 前フレーム人物空間位置
110 画像取得部
120 監視空間情報取得部
130 変形検知領域作成部
131 監視空間検知領域作成部
132 画像検知領域変換部
140 物体認識部
141 検知領域画像抽出部
142 特徴量抽出部
143 認識処理部
144 領域正規化部
145 人物検出部
146 移動方向認識部
147 入退室判定部
150 出力処理部
160 認識範囲特定部
161 監視空間環境作成部
162 画像環境変換部
163 認識範囲区別部
170 追跡変形検知領域作成部
180 追跡物体認識部
181 追跡検知領域画像抽出部
182 人物特定部
200 監視空間情報
210 監視物体情報
220 カメラ情報
1000 監視空間
1100 検知領域(矩形領域)
1101 追跡検知領域
2000 監視画像
2100 変形検知領域
2101 追跡変形検知領域
Claims (5)
- 監視空間を撮影した画像情報を表示する監視画像上に認識対象が存在するか否かを判定する物体認識装置であって、
前記認識対象となる物体自身の前記監視空間での大きさに関する情報が格納される監視物体情報、および、前記監視空間を撮影するカメラ装置の空間位置や特性を示すパラメータが格納されるカメラ情報が記憶される記憶部と、
前記画像情報を取得する画像取得部と、
前記監視物体情報を用いて、前記監視空間上の任意の位置における前記認識対象の大きさが含まれる領域を示す検知領域を作成し、前記作成した検知領域を、前記監視空間上の任意の位置の位置情報、前記カメラ情報、および、前記監視画像上における任意の位置の位置情報に基づき、前記監視画像上での前記認識対象の領域を示す変形検知領域に変換する変形検知領域作成部と、
前記監視画像における前記変形検知領域を、前記認識対象の画像から生成した識別器に適合する形に変換して正規化し、前記正規化した画像情報について前記認識対象の特徴量を抽出し、前記抽出した特徴量と前記識別器とに基づいて、前記認識対象が存在するか否かを判定する物体認識部と、
前記認識対象が存在すると判定された場合に、前記変形検知領域を表示装置に出力する出力処理部と、
を備えることを特徴とする物体認識装置。 - 前記記憶部には、さらに、前記監視空間における物体の配置を示す監視環境情報が記憶されており、
前記監視環境情報を参照して、前記監視空間において、前記認識対象が存在し得ない領域を除外して、前記認識対象が存在する前記監視画像の領域を特定する認識範囲特定部をさらに備え、
前記変形検知領域作成部は、前記認識範囲特定部が特定した前記監視画像の領域に対応する前記監視空間の領域において、前記検知領域を作成すること
を特徴とする請求項1に記載の物体認識装置。 - 前記物体認識部は、
前記抽出した特徴量を用いて、前記認識対象が人物であるか否かを判定し、前記認識対象が人物である場合に、当該人物が所定の移動方向を向いているか否かを判定し、前記所定の移動方向に向いていると判定した人物の数をカウントすること
を特徴とする請求項1または請求項2に記載の物体認識装置。 - 前記物体認識部が前記認識対象が存在すると判定した前記監視画像の前記変形検知領域に対応する前記監視空間の検知領域を示す前フレーム人物空間位置を特定し、前記特定した前記前フレーム人物空間位置の近傍の所定の領域に、前記検知領域と同じ前記認識対象の大きさが含まれる複数の追跡検知領域を作成し、前記作成した追跡検知領域それぞれを、前記カメラ情報に基づき、前記監視画像上の追跡変形検知領域に変換する追跡変形検知領域作成部と、
前記監視画像における前記追跡変形検知領域それぞれの前記画像情報について、前記認識対象の特徴量を抽出し、前記認識対象が存在すると判定した前フレームにおいて抽出された前記認識対象の特徴量と一致する場合に、同一の前記認識対象であると判定する追跡物体認識部と、
を備えることを特徴とする請求項1ないし請求項3のいずれか1項に記載の物体認識装置。 - 監視空間を撮影した画像情報を表示する監視画像上に認識対象が存在するか否かを判定する物体認識装置の物体認識方法であって、
前記物体認識装置は、
前記認識対象となる物体自身の前記監視空間での大きさに関する情報が格納される監視物体情報、および、前記監視空間を撮影するカメラ装置の空間位置や特性を示すパラメータが格納されるカメラ情報が記憶される記憶部を備えており、
前記画像情報を取得するステップと、
前記監視物体情報を用いて、前記監視空間上の任意の位置における前記認識対象の大きさが含まれる領域を示す検知領域を作成し、前記作成した検知領域を、前記監視空間上の任意の位置の位置情報、前記カメラ情報、および、前記監視画像上における任意の位置の位置情報に基づき、前記監視画像上での前記認識対象の領域を示す変形検知領域に変換するステップと、
前記監視画像における前記変形検知領域を、前記認識対象の画像から生成した識別器に適合する形に変換して正規化し、前記正規化した画像情報について前記認識対象の特徴量を抽出し、前記抽出した特徴量と前記識別器とに基づいて、前記認識対象が存在するか否かを判定するステップと、
前記認識対象が存在すると判定された場合に、前記変形検知領域を表示装置に出力するステップと、
を実行することを特徴とする物体認識方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011089729A JP5594672B2 (ja) | 2011-04-14 | 2011-04-14 | 物体認識装置および物体認識方法 |
CN201210034176.XA CN102737249B (zh) | 2011-04-14 | 2012-02-15 | 物体识别装置以及物体识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011089729A JP5594672B2 (ja) | 2011-04-14 | 2011-04-14 | 物体認識装置および物体認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012221437A JP2012221437A (ja) | 2012-11-12 |
JP5594672B2 true JP5594672B2 (ja) | 2014-09-24 |
Family
ID=46992715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011089729A Expired - Fee Related JP5594672B2 (ja) | 2011-04-14 | 2011-04-14 | 物体認識装置および物体認識方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5594672B2 (ja) |
CN (1) | CN102737249B (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5935118B2 (ja) | 2012-05-30 | 2016-06-15 | 株式会社日立製作所 | 物体検出装置および物体検出方法 |
WO2014087621A1 (ja) * | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 画像認識処理適性表示システム、方法およびプログラム |
JP6221390B2 (ja) * | 2013-06-18 | 2017-11-01 | 富士通株式会社 | 画像処理装置、プログラム、および画像処理方法 |
JP6244221B2 (ja) * | 2014-02-24 | 2017-12-06 | アイホン株式会社 | 人検出装置 |
JP6434507B2 (ja) | 2014-06-03 | 2018-12-05 | 住友重機械工業株式会社 | 建設機械用人検知システム及びショベル |
CN106462962B (zh) * | 2014-06-03 | 2020-08-04 | 住友重机械工业株式会社 | 施工机械用人检测系统以及挖土机 |
JP6465569B2 (ja) | 2014-06-11 | 2019-02-06 | キヤノン株式会社 | 画像処理方法、および画像処理装置 |
JP6397354B2 (ja) * | 2015-02-24 | 2018-09-26 | Kddi株式会社 | 人物領域検出装置、方法およびプログラム |
JP6494418B2 (ja) * | 2015-05-25 | 2019-04-03 | キヤノン株式会社 | 画像解析装置、画像解析方法、およびプログラム |
JP6700845B2 (ja) * | 2016-02-22 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN107924465B (zh) * | 2016-03-18 | 2021-09-10 | Jvc 建伍株式会社 | 物体识别装置、物体识别方法以及存储介质 |
JP6656987B2 (ja) * | 2016-03-30 | 2020-03-04 | 株式会社エクォス・リサーチ | 画像認識装置、移動体装置、及び画像認識プログラム |
JP6508134B2 (ja) * | 2016-06-14 | 2019-05-08 | トヨタ自動車株式会社 | 物体判別装置 |
JP2018005413A (ja) * | 2016-06-29 | 2018-01-11 | 富士通株式会社 | 状況特定装置、状況特定プログラム、及び状況特定方法 |
CN110114244B (zh) | 2017-02-17 | 2023-07-04 | 住友重机械工业株式会社 | 工作机械用周边监视系统 |
KR102404791B1 (ko) * | 2017-03-30 | 2022-06-02 | 삼성전자주식회사 | 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법 |
JP6703284B2 (ja) * | 2017-09-27 | 2020-06-03 | キヤノンマーケティングジャパン株式会社 | 画像処理システム、画像処理システムの制御方法、およびプログラム |
JP6669977B2 (ja) * | 2017-09-27 | 2020-03-18 | キヤノンマーケティングジャパン株式会社 | 画像処理システム、画像処理システムの制御方法、およびプログラム |
JP6894398B2 (ja) * | 2018-03-28 | 2021-06-30 | Kddi株式会社 | オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム |
CN110321767B (zh) * | 2018-03-30 | 2023-01-31 | 株式会社日立制作所 | 图像提取装置和方法、行为分析系统和存储介质 |
JP7463052B2 (ja) | 2018-09-19 | 2024-04-08 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP7242232B2 (ja) * | 2018-09-28 | 2023-03-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN109525877B (zh) * | 2018-10-18 | 2021-04-20 | 百度在线网络技术(北京)有限公司 | 基于视频的信息获取方法和装置 |
JP7222231B2 (ja) * | 2018-11-30 | 2023-02-15 | 株式会社リコー | 行動認識装置、行動認識方法及びプログラム |
JP7218215B2 (ja) * | 2019-03-07 | 2023-02-06 | 株式会社日立製作所 | 画像診断装置、画像処理方法及びプログラム |
JP7118934B2 (ja) * | 2019-09-04 | 2022-08-16 | 株式会社東芝 | 物体数推定装置、物体数推定方法、および物体数推定プログラム |
CN111918034A (zh) * | 2020-07-28 | 2020-11-10 | 上海电机学院 | 一种基于嵌入式的无人值守基站智能监控系统 |
CN113674321B (zh) * | 2021-08-25 | 2024-05-17 | 燕山大学 | 一种基于云端的监控视频下多目标跟踪的方法 |
WO2023135726A1 (ja) * | 2022-01-14 | 2023-07-20 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びコンピュータ可読媒体 |
CN114581959A (zh) * | 2022-05-09 | 2022-06-03 | 南京安元科技有限公司 | 基于服装款式特征提取的工服穿戴检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196655A (ja) * | 2001-12-25 | 2003-07-11 | Toyota Motor Corp | 目画像検出装置 |
JP5183152B2 (ja) * | 2006-12-19 | 2013-04-17 | 株式会社日立国際電気 | 画像処理装置 |
CN101276404A (zh) * | 2007-03-30 | 2008-10-01 | 李季檩 | 一种快速准确的智能图像处理系统及其处理方法 |
JP5027758B2 (ja) * | 2008-08-19 | 2012-09-19 | セコム株式会社 | 画像監視装置 |
JP4626692B2 (ja) * | 2008-09-12 | 2011-02-09 | ソニー株式会社 | 物体検出装置、撮像装置、物体検出方法およびプログラム |
-
2011
- 2011-04-14 JP JP2011089729A patent/JP5594672B2/ja not_active Expired - Fee Related
-
2012
- 2012-02-15 CN CN201210034176.XA patent/CN102737249B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012221437A (ja) | 2012-11-12 |
CN102737249B (zh) | 2015-07-08 |
CN102737249A (zh) | 2012-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5594672B2 (ja) | 物体認識装置および物体認識方法 | |
US9818023B2 (en) | Enhanced face detection using depth information | |
JP6534499B1 (ja) | 監視装置、監視システム、及び、監視方法 | |
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
JP6590609B2 (ja) | 画像解析装置及び画像解析方法 | |
JP6013241B2 (ja) | 人物認識装置、及び方法 | |
TWI394093B (zh) | 一種影像合成方法 | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
JP5950296B2 (ja) | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム | |
JP5493108B2 (ja) | 距離画像カメラを用いた人体識別方法および人体識別装置 | |
JP6352208B2 (ja) | 三次元モデル処理装置およびカメラ校正システム | |
JP2019125057A (ja) | 画像処理装置及びその方法、プログラム | |
WO2019225547A1 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
TWI438702B (zh) | 影像環境邊界之動態設定方法及人員活動內容之即時判定方法 | |
JP6309913B2 (ja) | 物体検出装置 | |
KR101326691B1 (ko) | 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법 | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP2005250692A (ja) | 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体 | |
Krispel et al. | Automatic texture and orthophoto generation from registered panoramic views | |
JP6920949B2 (ja) | 物体分布推定装置 | |
JP7152651B2 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
CN112016495A (zh) | 人脸识别的方法、装置和电子设备 | |
JP2021076948A (ja) | 人検出装置、人検出システム、人検出方法 | |
Ediz | Adding Virtual Objects to Realtime Images; A Case Study in Augmented Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5594672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |