JP6004354B2 - 画像データ処理装置及び画像データ処理方法 - Google Patents
画像データ処理装置及び画像データ処理方法 Download PDFInfo
- Publication number
- JP6004354B2 JP6004354B2 JP2014521206A JP2014521206A JP6004354B2 JP 6004354 B2 JP6004354 B2 JP 6004354B2 JP 2014521206 A JP2014521206 A JP 2014521206A JP 2014521206 A JP2014521206 A JP 2014521206A JP 6004354 B2 JP6004354 B2 JP 6004354B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image data
- region
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000605 extraction Methods 0.000 claims description 60
- 239000000284 extract Substances 0.000 claims description 22
- 238000004148 unit process Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 84
- 238000000034 method Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 41
- 238000004886 process control Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 13
- 238000013075 data extraction Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 102100027626 Ferric-chelate reductase 1 Human genes 0.000 description 6
- 101000862406 Homo sapiens Ferric-chelate reductase 1 Proteins 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 101000604054 Homo sapiens Neuroplastin Proteins 0.000 description 1
- 101000806155 Homo sapiens Short-chain dehydrogenase/reductase 3 Proteins 0.000 description 1
- 102100037857 Short-chain dehydrogenase/reductase 3 Human genes 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/399—Control of the bit-mapped memory using two or more bit-mapped memories, the operations of which are switched in time, e.g. ping-pong buffers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0224—Details of interlacing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
図1は、例示的なデータ処理システム100の機能構成を表す概略的なブロック図である。図1を参照して、データ処理システム100が説明される。
ステップS110において、第1記憶部411は、第1画像を表す第1画像データを記憶する。第2記憶部412は、第2画像を表す第2画像データを記憶する。その後、ステップS120が実行される。
ステップS120において、読出部421は、第1記憶部411から第1画像データを読み出す。また、読出部421は、第2記憶部412から第2画像データを読み出す。読出部421は、その後、第1画像データから一部のデータを抽出する。また、読出部421は、第2画像データから一部のデータを抽出する。代替的に、読出部421は、第1画像データを読み出しながら、第1画像データの一部を抽出してもよい。読出部421は、第2画像データを読み出しながら、第2画像データの一部を抽出してもよい。読出部421による読出並びに抽出処理の手法は、本実施形態の原理を何ら限定しない。抽出されたデータは、読出部421から合成部422へ出力される。その後、ステップS130が実行される。
ステップS130において、合成部422は、読出部421から受け取ったデータを合成し、出力画像データを生成する。
上述のデータ処理技術は、立体画像の作成に有用である。
ステップS210において、左撮像部520及び右撮像部530は、撮像を行う。この結果、左画像データの生成に用いられるデジタル信号は、左撮像部520から左信号処理部551に出力される。右画像データの生成に用いられるデジタル信号は、右撮像部530から右信号処理部552へ出力される。デジタル信号の出力の後、ステップS220が実行される。
ステップS220において、左信号処理部551及び右信号処理部552は、デジタル信号を処理する。処理制御部553は、左信号処理部551及び右信号処理部552に入力されたデジタル信号を解析し、バランス制御の内容を決定する。バランス制御の内容は、左信号処理部551と右信号処理部552とに通知される。左信号処理部551及び右信号処理部552は、処理制御部553による上述のバランス制御下で、信号処理を実行してもよい。信号処理の後、ステップS230が実行される。
ステップS230において、処理制御部553は、左信号処理部551によって処理されたデジタル信号を左画像データとしてメモリ560に格納する。また、処理制御部553は、右信号処理部552によって処理されたデジタル信号を右画像データとしてメモリ560に格納する。メモリ560へのデータの記録の後、ステップS240が実行される。
ステップS240において、処理制御部553は、左画像データと右画像データとをメモリ560から読み出す。処理制御部553は、左画像データの一部を出力画像データの一部として利用される画像データとして抽出する。また、処理制御部553は、右画像データの一部を出力画像データの一部として利用される画像データとして抽出する。処理制御部553は、抽出された画像データを組み合わせ、出力画像データを生成する。出力画像データの生成の後、ステップS250が実行される。
ステップS250において、出力画像データは、処理制御部553から表示装置300へ出力される。表示装置300は、出力画像データに応じて、表示面310に出力画像を表示する。この結果、使用者は、左画像と右画像とを同時に観察することができる。例えば、使用者は、左画像中の被写体の水平位置と、右画像中の被写体の水平位置と、の間の差異を、左画像と右画像との間の視差量として知覚することができる。両画像間の被写体の位置的な差異が大きいならば、使用者は、左画像と右画像との間の視差量が大きいと判断することができる。両画像間の被写体の位置的な差異が小さいならば、使用者は、左画像と右画像との間の視差量が小さいと判断することができる。
上述の実施形態の原理は、様々な用途に適用可能である。上述の実施形態は視差量を見極めることを目的とする。視差は、一般的に、左画像と右画像との水平方向の位置的な差異によって生ずるので(即ち、視差は、垂直方向の位置的な差異にほとんど依存しないので)、表示領域は、水平方向に延びる複数の矩形領域に分割されている。しかしながら、表示領域の分割パターンは、本実施形態が適用される技術フィールドに依存する。例えば、瞼の切開手術の効果を検証するためには、表示領域は、垂直方向に延びる複数の矩形領域に分割される。他の用途において、表示領域は、同心円状に分割されてもよい。上述の説明から明らかな如く、分割パターンは、複数の種類の画像データからのデータの抽出に依存する。したがって、データの抽出方法が用途に応じて適切に設定されるならば、使用者は、複数の画像を適切に観察することができる。
Claims (6)
- 第1領域に表示される第1領域画像と、前記第1領域に隣り合う第2領域に表示される第2領域画像と、を含み、且つ、立体的に知覚される出力画像を表す出力画像データを生成する画像データ処理装置であって、
左眼で観察される左画像と右眼で観察される右画像とのうち一方である第1画像を表す第1画像データの一部を、前記第1領域画像を表す第1抽出データとして抽出し、且つ、前記左画像と前記右画像とのうち他方である第2画像を表す第2画像データの一部を、前記第2領域画像を表す第2抽出データとして抽出する抽出部を備え、
前記抽出部は、前記第1抽出データと前記第2抽出データとを処理し、前記左画像と前記右画像との間のずれ量の測定に利用される、位置変更可能な測量像を表示する測量像データを前記出力画像データに組み入れる
画像データ処理装置。 - 前記抽出部は、前記第1領域と前記第2領域との間の境界を表す境界線を表す境界データを前記出力画像データに組み入れ、且つ、前記測量像を前記境界線に重ねる
請求項1に記載の画像データ処理装置。 - 第1領域に表示される第1領域画像と、前記第1領域に隣り合う第2領域に表示される第2領域画像と、を含み、且つ、立体的に知覚される出力画像を表す出力画像データを生成する画像データ処理装置であって、
左眼で観察される左画像と右眼で観察される右画像とのうち一方である第1画像を表す第1画像データの一部を、前記第1領域画像を表す第1抽出データとして抽出し、且つ、前記左画像と前記右画像とのうち他方である第2画像を表す第2画像データの一部を、前記第2領域画像を表す第2抽出データとして抽出し、前記第1抽出データと前記第2抽出データとを処理する抽出部を備え、
前記第1画像は、前記第1領域に対応する第1対応領域を含み、
前記第2画像は、前記第2領域に対応する第2対応領域を含み、
前記第1対応領域は、所定の方向に延びる複数の第1帯状領域を含み、
前記第2対応領域は、前記所定の方向に延びる複数の第2帯状領域を含み、
前記複数の第1帯状領域及び前記複数の第2帯状領域は、前記抽出部によって交互に配列され、
前記抽出部は、前記第1領域と前記第2領域との間の境界をそれぞれ表す複数の境界線を表す境界データを前記出力画像データに組み入れ、複数の帯状画像組を規定し、且つ、前記左画像と前記右画像との間のずれ量の測定に利用される、位置変更可能な測量像を表示する測量像データを前記出力画像データに組み入れ、
前記複数の帯状画像組それぞれは、前記複数の第1帯状領域のうち1つと前記複数の第2帯状領域のうち1つとからなり、
前記複数の帯状画像組は、前記複数の境界線によって区画された複数の領域に、それぞれ配置される
画像データ処理装置。 - 前記所定の方向は、水平方向である
請求項3に記載の画像データ処理装置。 - 前記抽出部は、前記出力画像に対する入力操作に用いられるインターフェース画像を表すインターフェースデータを前記出力画像データに組み入れる
請求項1に記載の画像データ処理装置。 - 第1領域に表示される第1領域画像と、前記第1領域に隣り合う第2領域に表示される第2領域画像と、を含み、且つ、立体的に知覚される出力画像を表す出力画像データを生成するための画像データ処理方法であって、
左眼で観察される左画像と右眼で観察される右画像とのうち一方である第1画像を表す第1画像データの一部を、前記第1領域画像を表す第1抽出データとして抽出し、且つ、前記左画像と前記右画像とのうち他方である第2画像を表す第2画像データの一部を、前記第2領域画像を表す第2抽出データとして抽出する段階と、
前記第1抽出データと前記第2抽出データと処理し、前記左画像と前記右画像との間のずれ量の測定に利用される、位置変更可能な測量像を表示する測量像データを前記出力画像データに組み入れる段階と、を備える
画像データ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014521206A JP6004354B2 (ja) | 2012-06-15 | 2013-02-13 | 画像データ処理装置及び画像データ処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012135515 | 2012-06-15 | ||
JP2012135515 | 2012-06-15 | ||
PCT/JP2013/000785 WO2013186960A1 (ja) | 2012-06-15 | 2013-02-13 | 画像データ処理装置及び画像データ処理方法 |
JP2014521206A JP6004354B2 (ja) | 2012-06-15 | 2013-02-13 | 画像データ処理装置及び画像データ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013186960A1 JPWO2013186960A1 (ja) | 2016-02-01 |
JP6004354B2 true JP6004354B2 (ja) | 2016-10-05 |
Family
ID=49757815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014521206A Expired - Fee Related JP6004354B2 (ja) | 2012-06-15 | 2013-02-13 | 画像データ処理装置及び画像データ処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9646380B2 (ja) |
JP (1) | JP6004354B2 (ja) |
WO (1) | WO2013186960A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150237327A1 (en) * | 2015-04-30 | 2015-08-20 | 3-D XRay Technologies, L.L.C. | Process for creating a three dimensional x-ray image using a single x-ray emitter |
CN109429051B (zh) * | 2017-07-12 | 2020-08-18 | 天津大学 | 基于多视图特征学习的无参考立体视频质量客观评价方法 |
US11979545B2 (en) * | 2019-02-07 | 2024-05-07 | Sony Group Corporation | Information processing apparatus and information processing method |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09116860A (ja) * | 1995-10-19 | 1997-05-02 | Matsushita Electric Ind Co Ltd | 動画範囲選択方法及びビデオ編集装置 |
JP2001028056A (ja) * | 1999-07-14 | 2001-01-30 | Fuji Heavy Ind Ltd | フェールセーフ機能を有するステレオ式車外監視装置 |
US6595921B1 (en) * | 1999-09-14 | 2003-07-22 | Acuson Corporation | Medical diagnostic ultrasound imaging system and method for constructing a composite ultrasound image |
JP2002250895A (ja) * | 2001-02-23 | 2002-09-06 | Mixed Reality Systems Laboratory Inc | 立体画像表示方法及びそれを用いた立体画像表示装置 |
JP2003123196A (ja) * | 2001-10-10 | 2003-04-25 | Denso Corp | 車両の周辺監視装置及びプログラム |
JP4225768B2 (ja) * | 2002-07-31 | 2009-02-18 | シャープ株式会社 | 立体画像データ処理装置および立体画像データ処理用プログラム |
JP2010087793A (ja) * | 2008-09-30 | 2010-04-15 | Fujitsu Ten Ltd | 映像表示性能評価装置、映像表示性能評価方法、および映像表示性能評価プログラム |
CA2767387C (en) * | 2009-07-07 | 2018-01-02 | William Gibbens Redmann | Method and system for brightness correction for three-dimensional (3d) projection |
JP5430266B2 (ja) * | 2009-07-21 | 2014-02-26 | 富士フイルム株式会社 | 画像表示装置および方法並びにプログラム |
WO2011024352A1 (ja) * | 2009-08-25 | 2011-03-03 | パナソニック株式会社 | 立体視画像編集装置および立体視画像編集方法 |
JP5539746B2 (ja) | 2010-02-02 | 2014-07-02 | 株式会社有沢製作所 | 立体画像表示装置 |
JP5515988B2 (ja) * | 2010-04-05 | 2014-06-11 | ソニー株式会社 | 信号処理装置、信号処理方法、表示装置及びプログラム |
JP2012075001A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 立体視画像表示方法および立体視画像表示装置 |
JP5003840B1 (ja) * | 2011-10-31 | 2012-08-15 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
JP2013114517A (ja) * | 2011-11-29 | 2013-06-10 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
-
2013
- 2013-02-13 JP JP2014521206A patent/JP6004354B2/ja not_active Expired - Fee Related
- 2013-02-13 WO PCT/JP2013/000785 patent/WO2013186960A1/ja active Application Filing
-
2014
- 2014-12-02 US US14/557,873 patent/US9646380B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2013186960A1 (ja) | 2013-12-19 |
US9646380B2 (en) | 2017-05-09 |
US20150086106A1 (en) | 2015-03-26 |
JPWO2013186960A1 (ja) | 2016-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3035681B1 (en) | Image processing method and apparatus | |
JP4966431B2 (ja) | 画像処理装置 | |
WO2017183346A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5522404B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP2012227924A (ja) | 画像解析装置、画像解析方法及びプログラム | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US10726814B2 (en) | Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium | |
US20120050309A1 (en) | Display control apparatus and display control method | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
US20160180514A1 (en) | Image processing method and electronic device thereof | |
WO2013108285A1 (ja) | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 | |
JP6004354B2 (ja) | 画像データ処理装置及び画像データ処理方法 | |
US20120120068A1 (en) | Display device and display method | |
JP2012257105A (ja) | 立体画像取得装置 | |
JP2019118004A (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
KR101632514B1 (ko) | 깊이 영상 업샘플링 방법 및 장치 | |
CN116661143A (zh) | 图像处理装置、图像处理方法及存储介质 | |
JP2014199508A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5868055B2 (ja) | 画像処理装置および画像処理方法 | |
JP5281720B1 (ja) | 立体映像処理装置及び立体映像処理方法 | |
JP5830705B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
US20230245280A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5560964B2 (ja) | 画像処理装置、画像処理方法、投影装置及びプログラム | |
WO2012096054A1 (ja) | 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム | |
JP2018205647A (ja) | 頭部装着型表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160826 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6004354 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |