JP6121810B2 - シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法 - Google Patents
シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法 Download PDFInfo
- Publication number
- JP6121810B2 JP6121810B2 JP2013129468A JP2013129468A JP6121810B2 JP 6121810 B2 JP6121810 B2 JP 6121810B2 JP 2013129468 A JP2013129468 A JP 2013129468A JP 2013129468 A JP2013129468 A JP 2013129468A JP 6121810 B2 JP6121810 B2 JP 6121810B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- tile
- point information
- source image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
110:大容量臨時記憶装置
120:第1マスタインタフェース部
130:特徴点情報抽出部
140:第2マスタインタフェース部
150:第3マスタインタフェース部
Claims (26)
- 大容量臨時記憶装置に格納された第1ソースイメージのそれぞれの部分を読み出して前記第1ソースイメージから少なくとも1つ以上のタイルイメージを生成する第1インタフェース部と、
前記生成される少なくとも1つ以上のタイルイメージが入力され、前記入力された少なくとも1つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも1つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部と、
を備え、
前記第1インタフェース部は、前記第1ソースイメージの水平解像度に基づいて第1ソースイメージのそれぞれの部分を用いて前記第1ソースイメージを分割し、前記少なくとも1つ以上のタイルイメージを生成し、
前記第1インタフェース部は、第1ソースイメージの水平解像度がバッファメモリの水平容量よりも大きくなる場合、前記生成された少なくとも1つ以上のタイルイメージを前記大容量臨時記憶装置の容量よりも小さい容量を有するバッファメモリに記録する、
ことを特徴とする特徴点情報抽出装置。 - それぞれの部分は互いに重なることを特徴とする請求項1に記載の特徴点情報抽出装置。
- それぞれの部分は、互いに重なることを特徴とする請求項1に記載の特徴点情報抽出装置。
- 前記バッファメモリは、SRAMメモリまたは前記大容量臨時記憶装置であることを特徴とする請求項3に記載の特徴点情報抽出装置。
- 前記第1インタフェース部と前記特徴点情報抽出部はARM構造に適することを特徴とする請求項1に記載の特徴点情報抽出装置。
- 前記特徴変換は、シフトアルゴリズム(SIFT、scale−invariant feature transform)であることを特徴とする請求項1に記載の特徴点情報抽出装置。
- 前記第1インタフェース部は、前記第1ソースイメージの水平解像度を基準として前記第1ソースイメージを分割し、第1タイルイメージ及び第2タイルイメージを生成するが、前記第1タイルイメージと前記第2タイルイメージが選択された面積で重複領域が存在するように前記第1タイルイメージと前記第2タイルイメージを生成することを特徴とする請求項1に記載の特徴点情報抽出装置。
- 第1インタフェース部は、大容量臨時記憶装置に格納されたソースイメージのそれぞれの部分を読み出し、ソースイメージの一部を第1タイルイメージとしてバッファメモリに格納し、
前記バッファメモリは、前記大容量臨時記憶装置と区別され、
前記バッファメモリは、前記大容量臨時記憶装置の水平容量よりも小さい水平容量を有することを特徴とする請求項7に記載の特徴点情報抽出装置。 - 前記特徴点情報抽出部は、前記特徴点情報として前記第1タイルイメージの特徴領域と、前記特徴領域に対応するディスクリプタを抽出することを特徴とする請求項8に記載の特徴点情報抽出装置。
- 前記特徴点情報抽出部は、前記少なくとも1つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち少なくとも1つを前記特徴点情報として抽出することを特徴とする請求項1に記載の特徴点情報抽出装置。
- 前記特徴点情報抽出部は、
前記入力される少なくとも1つ以上のタイルイメージを少なくとも1つ以上の第1オクターブに決定し、前記少なくとも1つ以上の第1オクターブとガウスフィルタを畳み込み演算して少なくとも1つ以上のガウス映像を生成し、前記生成された少なくとも1つ以上のガウス映像から少なくとも1つ以上のガウス差値映像を生成し、前記生成された少なくとも1つ以上のガウス差値映像から候補特徴点を生成し、前記生成された候補特徴点のうち前記特徴点情報を抽出することを特徴とする請求項1に記載の特徴点情報抽出装置。 - 前記特徴点情報抽出部は、前記少なくとも1つ以上の第1オクターブを決定し、前記少なくとも1つ以上のガウスイメージを生成し、前記少なくとも1つ以上のDoGイメージを生成し、前記生成されたDoGイメージから前記候補特徴点を生成し、シフトアルゴリズムによって前記特徴点情報を抽出することを特徴とする請求項11に記載の特徴点情報抽出装置。
- 前記特徴点情報抽出部は、
前記入力される少なくとも1つ以上のタイルイメージを少なくとも1つ以上の第1オクターブに決定し、前記決定された少なくとも1つ以上の第1オクターブから第1候補特徴点を決定し、
前記少なくとも1つ以上の第1オクターブをダウンサイジングして少なくとも1つ以上の第2オクターブを生成し、前記生成された少なくとも1つ以上の第2オクターブに基づいて第2候補特徴点を決定し、
前記決定された第1候補特徴点と前記決定された第2候補特徴点とを比較して前記特徴点情報を抽出することを特徴とする請求項1に記載の特徴点情報抽出装置。 - 少なくとも1つ以上の第1オクターブをダウンサイジングして少なくとも1つ以上の縮小イメージを生成し、前記生成された少なくとも1つ以上の縮小イメージ間に重複領域を除去して第2ソースイメージを生成し、前記生成された第2ソースイメージを前記大容量臨時記憶装置に書き込み処理する第2マスタインタフェース部をさらに備えることを特徴とする請求項13に記載の特徴点情報抽出装置。
- 前記第1インタフェース部は、前記大容量臨時記憶装置に格納された前記第2ソースイメージから少なくとも1つ以上のタイルイメージを生成し、
前記特徴点情報抽出部は、前記第2ソースイメージから生成される少なくとも1つ以上のタイルイメージが第2オクターブとして入力されて前記第2候補特徴点を決定することを特徴とする請求項14に記載の特徴点情報抽出装置。 - 大容量臨時記憶装置で第1ソースイメージから分割された少なくとも1つ以上の第1タイルイメージを読み出す読み出し部と、
前記読み出した少なくとも1つ以上の第1タイルイメージにシフトアルゴリズムを適用して第1候補特徴点を生成し、前記少なくとも1つ以上の第1タイルイメージをダウンサイジングして少なくとも1つ以上の第2タイルイメージを出力するシフトアルゴリズム演算部と、
前記出力される少なくとも1つ以上の第2タイルイメージを合成して第2ソースイメージを生成し、前記生成された第2ソースイメージを前記大容量臨時記憶装置に書き込み処理する書き込み部と、
を備え、
前記読み出し部は、前記第2ソースイメージから分割された少なくとも1つ以上の第2タイルイメージを読み出し、
前記シフトアルゴリズム演算部は、前記読み出された少なくとも1つ以上の第2タイルイメージから第2候補特徴点を生成し、前記生成した第1候補特徴点と前記生成した第2候補特徴点に基づいて特徴点情報を生成し、
前記生成された第1タイルイメージは、バッファメモリに格納され、前記バッファメモリが前記大容量臨時記憶装置よりも小さい容量を有し、第1ソースイメージの水平解像度が前記大容量臨時記憶装置の水平容量よりも小さい、
ことを特徴とする特徴点情報抽出装置。 - 前記読み出し部は、前記第1ソースイメージの水平解像度を基準として分割して前記少なくとも1つ以上の第1タイルイメージとして読み出し、前記第2ソースイメージの水平解像度を基準にして分割し、前記少なくとも1つ以上の第2タイルイメージとして読み出すことを特徴とする請求項16に記載の特徴点情報抽出装置。
- 前記読み出し部は、選択された面積で重複領域が存在するように前記少なくとも1つ以上の第1タイルイメージのそれぞれを読み出すか、前記少なくとも1つ以上の第2タイルイメージのそれぞれを読み出すことを特徴とする請求項16に記載の特徴点情報抽出装置。
- 前記書き込み部は、前記重複領域を考慮して前記少なくとも1つ以上の第2タイルイメージを合成して前記第2ソースイメージを生成することを特徴とする請求項18に記載の特徴点情報抽出装置。
- 第1インタフェース部で、大容量臨時記憶装置に格納された第1ソースイメージのそれぞれの部分を読み出して前記第1ソースイメージから少なくとも1つ以上のタイルイメージを生成するステップと、
特徴点情報抽出部で、前記生成される少なくとも1つ以上のタイルイメージが入力され、前記入力された少なくとも1つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも1つ以上のタイルイメージから特徴点情報を抽出するステップと、
を含み、
前記第1ソースイメージから少なくとも1つ以上のタイルイメージを生成する前記ステップは、前記第1ソースイメージの水平解像度に基づいて第1ソースイメージのそれぞれの部分を用いて前記第1ソースイメージを分割して第1タイルイメージ及び第2タイルイメージを生成するが、前記第1タイルイメージと前記第2タイルイメージが選択された面積で重複領域が存在するように前記第1タイルイメージと前記第2タイルイメージを生成するステップを含み、
前記生成された第1タイルイメージをバッファメモリに格納するステップは、
前記バッファメモリが前記大容量臨時記憶装置よりも小さい容量を有し、第1ソースイメージの水平解像度が前記大容量臨時記憶装置の水平容量よりも小さい、
ことを特徴とするソース映像の特徴点情報抽出方法。 - 前記生成された第1タイルをバッファメモリに格納するステップは、SRAMメモリであるバッファメモリに格納するステップを含み、
前記大容量臨時記憶装置から前記それぞれの部分を読み出すステップは、DRAMメモリで動作する大容量臨時記憶装置から前記それぞれの部分を読み出すステップを含むことを特徴とする請求項20に記載のソース映像の特徴点情報抽出方法。 - 前記特徴変換は、シフトアルゴリズム(SIFT、scale−invariant feature transform)であることを特徴とする請求項20に記載のソース映像の特徴点情報抽出方法。
- 前記特徴点情報を抽出するステップは、
前記入力される少なくとも1つ以上のタイルイメージを少なくとも1つ以上の第1オクターブに決定し、前記決定された少なくとも1つ以上の第1オクターブから第1候補特徴点を決定するステップと、
前記少なくとも1つ以上の第1オクターブをダウンサイジングして少なくとも1つ以上の第2オクターブを生成し、前記生成された少なくとも1つ以上の第2オクターブに基づいて第2候補特徴点を決定するステップと、
前記決定された第1候補特徴点と前記決定された第2候補特徴点とを比較して前記特徴点情報を抽出するステップと、
を含むことを特徴とする請求項20に記載のソース映像の特徴点情報抽出方法。 - 第2マスタインタフェース部で、少なくとも1つ以上の第1オクターブをダウンサイジングして少なくとも1つ以上の縮小イメージを生成し、前記生成された少なくとも1つ以上の縮小イメージ間に重複領域を除去して第2ソースイメージを生成し、前記生成された第2ソースイメージを前記大容量臨時記憶装置に書き込み処理するステップをさらに含むことを特徴とする請求項23に記載のソース映像の特徴点情報抽出方法。
- 前記第1インタフェース部で、前記大容量臨時記憶装置に格納された前記第2ソースイメージから少なくとも1つ以上のタイルイメージを生成するステップをさらに含み、
前記第2候補特徴点を決定するステップは、前記第2ソースイメージから生成される少なくとも1つ以上のタイルイメージが第2オクターブとして入力されて前記第2候補特徴点を決定するステップを含むことを特徴とする請求項24に記載のソース映像の特徴点情報抽出方法。 - 請求項20に記載の方法を実行するプログラムが記録されたコンピュータで読み出し可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120066061A KR101904203B1 (ko) | 2012-06-20 | 2012-06-20 | 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법 |
KR10-2012-0066061 | 2012-06-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014002747A JP2014002747A (ja) | 2014-01-09 |
JP6121810B2 true JP6121810B2 (ja) | 2017-04-26 |
Family
ID=48793870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013129468A Active JP6121810B2 (ja) | 2012-06-20 | 2013-06-20 | シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9171227B2 (ja) |
EP (1) | EP2677463A3 (ja) |
JP (1) | JP6121810B2 (ja) |
KR (1) | KR101904203B1 (ja) |
CN (1) | CN103514451B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9959661B2 (en) | 2015-12-02 | 2018-05-01 | Samsung Electronics Co., Ltd. | Method and device for processing graphics data in graphics processing unit |
US10559125B2 (en) | 2015-12-02 | 2020-02-11 | Samsung Electronics Co., Ltd. | System and method of constructing bounding volume hierarchy tree |
CN111401330B (zh) * | 2020-04-26 | 2023-10-17 | 四川自由健信息科技有限公司 | 教学系统及采用该教学系统的智能镜 |
CN113643341B (zh) * | 2021-10-12 | 2021-12-28 | 四川大学 | 一种基于分辨率自适应的异尺度目标图像配准方法 |
CN117934532B (zh) * | 2024-03-22 | 2024-06-04 | 西南石油大学 | 一种图像边缘检测并行优化方法及系统 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW439380B (en) | 1995-10-09 | 2001-06-07 | Hitachi Ltd | Terminal apparatus |
JPH1093819A (ja) | 1996-09-12 | 1998-04-10 | Canon Inc | 画像処理装置 |
US7006111B1 (en) | 1999-11-09 | 2006-02-28 | Intel Corporation | Digital image stitching |
US7373012B2 (en) | 2005-02-01 | 2008-05-13 | Mitsubishi Electric Research Laboratories, Inc. | Detecting moving objects in videos with corner-based background model |
JP2007067499A (ja) * | 2005-08-29 | 2007-03-15 | Olympus Corp | 画像処理装置 |
EP1850270B1 (en) * | 2006-04-28 | 2010-06-09 | Toyota Motor Europe NV | Robust interest point detector and descriptor |
JP4208895B2 (ja) | 2006-05-30 | 2009-01-14 | 株式会社東芝 | キャッシュメモリ装置および処理方法 |
US8103102B2 (en) | 2006-12-13 | 2012-01-24 | Adobe Systems Incorporated | Robust feature extraction for color and grayscale images |
KR101270173B1 (ko) | 2007-08-23 | 2013-05-31 | 삼성전자주식회사 | 디지털 이미지에서 특징점을 추출하는 방법 및 장치 |
US8306366B2 (en) * | 2007-08-23 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for extracting feature points from digital image |
JP4958228B2 (ja) | 2007-09-12 | 2012-06-20 | 公立大学法人大阪府立大学 | 文書および/または画像のデータベースへの登録方法およびその検索方法 |
US8233716B2 (en) | 2008-06-27 | 2012-07-31 | Palo Alto Research Center Incorporated | System and method for finding stable keypoints in a picture image using localized scale space properties |
KR100986809B1 (ko) | 2008-07-17 | 2010-10-08 | 인하대학교 산학협력단 | 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법 |
US8363973B2 (en) * | 2008-10-01 | 2013-01-29 | Fuji Xerox Co., Ltd. | Descriptor for image corresponding point matching |
KR101637229B1 (ko) | 2008-12-23 | 2016-07-08 | 고려대학교 산학협력단 | Sift 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템 |
US8441489B2 (en) * | 2008-12-31 | 2013-05-14 | Intel Corporation | System and method for SIFT implementation and optimization |
JP4748230B2 (ja) * | 2009-02-17 | 2011-08-17 | カシオ計算機株式会社 | 撮像装置、撮像方法及び撮像プログラム |
RU2421814C2 (ru) | 2009-02-20 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ формирования составного изображения |
CN101872476A (zh) * | 2009-04-24 | 2010-10-27 | 索尼株式会社 | 估计图像中对象姿势视角的方法、设备 |
KR101069602B1 (ko) | 2009-09-29 | 2011-10-05 | 한국과학기술원 | 뉴로-퍼지 시스템과 병렬처리 프로세서를 결합한 컴퓨터 시스템 및 이를 이용한 물체 인식 시스템 |
KR20110037183A (ko) | 2009-10-06 | 2011-04-13 | 한국과학기술원 | 뉴로-퍼지 시스템과 병렬처리 프로세서가 결합된 전력 제어 가능한 컴퓨터 시스템, 이를 이용하여 영상에서 물체를 인식하는 방법 및 장치 |
KR20110060454A (ko) | 2009-11-30 | 2011-06-08 | 한국전자통신연구원 | 영상 식별 장치 및 방법 |
KR101206213B1 (ko) | 2010-04-19 | 2012-11-28 | 인하대학교 산학협력단 | 그래픽 가속기 기반 고속 slam 시스템 및 방법 |
WO2012006578A2 (en) * | 2010-07-08 | 2012-01-12 | The Regents Of The University Of California | End-to-end visual recognition system and methods |
US20120051647A1 (en) * | 2010-09-01 | 2012-03-01 | Hong Kong Applied Science and Technology Research Institute Company Limited | Icon design and method of icon recognition for human computer interface |
US9036925B2 (en) * | 2011-04-14 | 2015-05-19 | Qualcomm Incorporated | Robust feature matching for visual search |
KR20140108726A (ko) * | 2012-02-27 | 2014-09-12 | 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 | 이미지들 상의 객체 윤곽선들의 스케일 불변 특징들을 식별하기 위한 방법 및 시스템 |
-
2012
- 2012-06-20 KR KR1020120066061A patent/KR101904203B1/ko active IP Right Grant
-
2013
- 2013-06-20 EP EP13173009.5A patent/EP2677463A3/en not_active Withdrawn
- 2013-06-20 US US13/922,449 patent/US9171227B2/en not_active Expired - Fee Related
- 2013-06-20 JP JP2013129468A patent/JP6121810B2/ja active Active
- 2013-06-20 CN CN201310246567.2A patent/CN103514451B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2677463A3 (en) | 2015-12-16 |
JP2014002747A (ja) | 2014-01-09 |
US20130343655A1 (en) | 2013-12-26 |
CN103514451A (zh) | 2014-01-15 |
KR101904203B1 (ko) | 2018-10-05 |
EP2677463A2 (en) | 2013-12-25 |
US9171227B2 (en) | 2015-10-27 |
CN103514451B (zh) | 2019-01-04 |
KR20130142661A (ko) | 2013-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
Barnes et al. | Patchtable: Efficient patch queries for large datasets and applications | |
JP6121810B2 (ja) | シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法 | |
US8265422B1 (en) | Method and apparatus for removing general lens distortion from images | |
KR20180114488A (ko) | 이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템 | |
JP2009064421A (ja) | 深度データの符号化方法、深度マップ生成装置及び電子装置 | |
JP5238220B2 (ja) | 解像度変換装置、方法およびプログラム | |
TWI529662B (zh) | 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體 | |
KR101907029B1 (ko) | 서식 자동화를 위한 테이블 생성 장치 및 방법 | |
KR101028628B1 (ko) | 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 | |
US20120105601A1 (en) | Apparatus and method for creating three-dimensional panoramic image by using single camera | |
JP2006155381A5 (ja) | ||
JP6128617B2 (ja) | 画像認識装置およびプログラム | |
JPWO2013179560A1 (ja) | 画像処理装置および画像処理方法 | |
JP7118729B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5385059B2 (ja) | 画像表示方法、プログラム、画像表示装置、及び、撮像装置 | |
JP2017084304A (ja) | 画像表示装置、画像表示方法 | |
JP5737387B2 (ja) | 画像処理装置 | |
US11288534B2 (en) | Apparatus and method for image processing for machine learning | |
JPWO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN110572569A (zh) | 全景图像生成方法及其文件存储格式和浏览方法 | |
JP2018010359A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6922690B2 (ja) | 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法 | |
JP5719271B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP5735395B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6121810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |