JP5153216B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP5153216B2 JP5153216B2 JP2007153392A JP2007153392A JP5153216B2 JP 5153216 B2 JP5153216 B2 JP 5153216B2 JP 2007153392 A JP2007153392 A JP 2007153392A JP 2007153392 A JP2007153392 A JP 2007153392A JP 5153216 B2 JP5153216 B2 JP 5153216B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- luminance value
- color difference
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Description
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り手段と、
注目画素について前記読み取り手段が読み取った輝度値と色差値とから、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断手段と、
前記注目画素が属している属性領域と、前記読み取り手段による読み取り順において前記注目画素よりも1つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとしてメモリに記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループのデータとして既に前記メモリに記録済みのデータに隣接させて記録する記録手段と
前記記録手段により記録されたデータを出力する出力手段と
を備えることを特徴とする。
図3は、本実施形態に係るシステムの構成例を示す図である。図3に示す如く、本実施形態に係るシステムは、頭部装着型表示装置の一例としてのHMD(ヘッドマウントディスプレイ)301とコントローラ302とにより構成されている。そして、コントローラ302とHMD301とは互いにデータ通信が可能なように接続されている。係る接続に関しては、無線、有線の何れでも良い。
第1の実施形態では、コントローラ302側で仮想空間画像におけるオブジェクト領域内の輝度値を制御することによって、HMD301側での属性領域の判別を可能にし、また、これにより、属性領域の境界部分をも特定することができた。本実施形態では、オブジェクト領域内の輝度値の制御は行わず、オブジェクト領域と背景領域との境界部分を示す境界情報を、データパケットに添付してHMD301に送出する。
図12は、本実施形態に係るシステムの機能構成例を示すブロック図である。なお、図12において、図1と同じ部分については同じ番号を付けており、その説明は省略する。
コントローラ1302からはこのような画素グループ毎のデータが記録されたデータパケットがHMD1301に送出されている。
上記第1乃至3の実施形態のうちの任意の2つの実施形態で説明した機能を選択的に使用可能なシステムを設計しても良い。設計するシステムは当然、システムの使用環境に応じて決めるのであるが、例えば、次のようなシステムが上げられる。
以上の実施形態では、位置姿勢情報に基づいて仮想空間画像を生成し、更にこの生成した仮想空間画像の画素値をRGB値から輝度値、色差値のセットに変換する処理は全てコントローラが行っていた。しかし、係る処理の一部若しくは全部を、外部の装置に行わせても良い。例えば、コントローラがHMDから位置姿勢情報を受けると、これを外部のPC(パーソナルコンピュータ)に送出する。PCは係る位置姿勢情報に基づいて仮想空間画像を生成した後、生成した仮想空間画像の画素値をRGB値から輝度値、色差値のセットに変換し、変換後の仮想空間画像をコントローラに返信するようにしても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (10)
- 非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域と、の2つの属性領域で構成されている画像を入力する入力手段と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り手段と、
注目画素について前記読み取り手段が読み取った輝度値と色差値とから、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断手段と、
前記注目画素が属している属性領域と、前記読み取り手段による読み取り順において前記注目画素よりも1つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとしてメモリに記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループのデータとして既に前記メモリに記録済みのデータに隣接させて記録する記録手段と
前記記録手段により記録されたデータを出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記予め設定された輝度値と色差値のデータを保持する保持手段を備え、
前記判断手段は、前記注目画素について前記読み取り手段が読み取った輝度値と前記保持手段が保持する輝度値との比較、および前記注目画素について前記読み取り手段が読み取った色差値と前記保持手段が保持する色差値との比較、を行うことを特徴とする請求項1に記載の画像処理装置。 - 更に、
前記判断手段により前記非背景領域内に属すると判断された画素の輝度値を、前記予め設定された輝度値と異なるように制御する手段を備え、
前記記録手段は、前記非背景領域内に属する画素の輝度値として、前記制御が成された輝度値を用いることを特徴とする請求項1又は2に記載の画像処理装置。 - 更に、
前記判断手段により判断されたそれぞれの画素の属性領域を示す属性領域情報を作成する手段を備え、
前記出力手段は、前記データに加え、前記属性領域情報をも出力することを特徴とする請求項1に記載の画像処理装置。 - 前記画像は、現実空間の画像とクロマキー合成する対象としての仮想空間の画像であって、前記背景領域はクロマキー色を表す輝度値と色差値を有する画素群で構成されていることを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記出力手段から出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置であって、
前記出力手段が出力したデータを受信する受信手段と、
前記データの先頭から順に、前記データに記録されている輝度値若しくは色差値を、読み出し値として読み出す手段と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも1つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とを用いて1つの画素を復元する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも1つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、を用いて1つの画素を復元する手段と、
復元された画素の色空間を変換して、表示データを生成する手段と
を備えることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置が有する入力手段が、非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域と、の2つの属性領域で構成されている画像を入力する入力工程と、
前記画像処理装置が有する読み取り手段が、前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り工程と、
前記画像処理装置が有する判断手段が、注目画素について前記読み取り工程で読み取った輝度値と色差値とから、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断工程と、
前記画像処理装置が有する記録手段が、前記注目画素が属している属性領域と、前記読み取り工程での読み取り順において前記注目画素よりも1つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとしてメモリに記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループのデータとして既に前記メモリに記録済みのデータに隣接させて記録する記録工程と
前記画像処理装置が有する出力手段が、前記記録工程で記録されたデータを出力する出力工程と
を備えることを特徴とする画像処理方法。 - 前記出力工程で出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置が行う画像処理方法であって、
前記画像処理装置が有する受信手段が、前記出力工程で出力したデータを受信する受信工程と、
前記画像処理装置が有する読み出し手段が、前記データの先頭から順に、前記データに記録されている輝度値若しくは色差値を、読み出し値として読み出す工程と、
前記画像処理装置が有する判断手段が、前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する工程と、
前記画像処理装置が有する第1の復元手段が、読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも1つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とを用いて1つの画素を復元する工程と、
前記画像処理装置が有する第2の復元手段が、読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも1つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、を用いて1つの画素を復元する工程と、
前記画像処理装置が有する生成手段が、復元された画素の色空間を変換して、表示データを生成する工程と
を備えることを特徴とする請求項7に記載の画像処理方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
- 請求項9に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007153392A JP5153216B2 (ja) | 2007-06-08 | 2007-06-08 | 画像処理装置、画像処理方法 |
US12/131,482 US8165391B2 (en) | 2007-06-08 | 2008-06-02 | Image processing apparatus and image processing method to correct color misregistration near a boundary |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007153392A JP5153216B2 (ja) | 2007-06-08 | 2007-06-08 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008304805A JP2008304805A (ja) | 2008-12-18 |
JP2008304805A5 JP2008304805A5 (ja) | 2010-07-22 |
JP5153216B2 true JP5153216B2 (ja) | 2013-02-27 |
Family
ID=40095933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007153392A Active JP5153216B2 (ja) | 2007-06-08 | 2007-06-08 | 画像処理装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8165391B2 (ja) |
JP (1) | JP5153216B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2343907A4 (en) | 2008-10-10 | 2012-06-20 | Lg Electronics Inc | RECEPTION SYSTEM AND METHOD OF PROCESSING DATA |
JP5136442B2 (ja) * | 2009-01-27 | 2013-02-06 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
US9691241B1 (en) * | 2012-03-14 | 2017-06-27 | Google Inc. | Orientation of video based on the orientation of a display |
KR20150128151A (ko) * | 2014-05-08 | 2015-11-18 | 삼성전자주식회사 | 비디오 스트리밍 방법 및 이를 지원하는 전자 장치 |
US10715824B2 (en) * | 2016-03-17 | 2020-07-14 | Facebook Technologies, Llc | System and method for data compressing optical sensor data prior to transferring to a host system |
KR102656059B1 (ko) * | 2016-10-07 | 2024-04-12 | 삼성디스플레이 주식회사 | 머리 장착형 표시장치 |
CN107452319B (zh) * | 2017-09-21 | 2020-10-09 | 深圳市华星光电半导体显示技术有限公司 | 显示面板的驱动补偿方法 |
JP7152475B2 (ja) * | 2018-04-05 | 2022-10-12 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置、及び通信システム |
US11120632B2 (en) * | 2018-10-16 | 2021-09-14 | Sony Interactive Entertainment Inc. | Image generating apparatus, image generating system, image generating method, and program |
US10841552B2 (en) * | 2018-12-05 | 2020-11-17 | Electro-Luminx Lighting Corporation | Chroma keying illumination system |
JP2023507248A (ja) * | 2019-11-20 | 2023-02-22 | ゼイリエント | 物体検出および認識のためのシステムおよび方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0435279A (ja) * | 1990-05-25 | 1992-02-06 | Sharp Corp | クロマキー処理装置 |
JP3193543B2 (ja) | 1992-10-12 | 2001-07-30 | 松下電器産業株式会社 | 映像信号補正装置 |
JPH0793563A (ja) * | 1993-09-21 | 1995-04-07 | Canon Inc | 画像処理装置 |
US6215892B1 (en) * | 1995-11-30 | 2001-04-10 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
US5852673A (en) * | 1996-03-27 | 1998-12-22 | Chroma Graphics, Inc. | Method for general image manipulation and composition |
JPH11205678A (ja) * | 1998-01-20 | 1999-07-30 | Sony Corp | 映像合成装置及び映像合成方法 |
JPH11313339A (ja) * | 1998-04-30 | 1999-11-09 | Toshiba Corp | 表示制御装置および動画/グラフィクス合成表示方法 |
JP2000175217A (ja) * | 1998-12-01 | 2000-06-23 | Canon Inc | 画像処理装置及びその方法、及び画像処理システム |
KR100374791B1 (ko) * | 2000-11-22 | 2003-03-04 | 삼성전자주식회사 | 영상의 영역 구분 방법 및 장치 |
US6721448B2 (en) * | 2001-02-20 | 2004-04-13 | International Business Machines Corporation | Color clustering and segmentation using sigma filtering |
DE10204500A1 (de) * | 2002-02-03 | 2003-08-14 | Fraunhofer Ges Forschung | Echtzeitfähiges Erkennungs- und Kompensationsverfahren von Beleuchtungsschwankungen in digitalen Farbbildsignalen |
US20040008886A1 (en) * | 2002-07-02 | 2004-01-15 | Yuri Boykov | Using graph cuts for editing photographs |
-
2007
- 2007-06-08 JP JP2007153392A patent/JP5153216B2/ja active Active
-
2008
- 2008-06-02 US US12/131,482 patent/US8165391B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8165391B2 (en) | 2012-04-24 |
JP2008304805A (ja) | 2008-12-18 |
US20080304737A1 (en) | 2008-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5153216B2 (ja) | 画像処理装置、画像処理方法 | |
JP6335563B2 (ja) | 撮像装置及びその制御方法 | |
JP5256025B2 (ja) | 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路 | |
JP5251758B2 (ja) | 圧縮符号化装置、および画像表示制御装置 | |
JP6472253B2 (ja) | 画像処理装置及びその制御方法 | |
WO2005086496A1 (ja) | 立体視化パラメータ埋込装置及び立体視画像再生装置 | |
JP5158096B2 (ja) | 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 | |
JP2007104220A (ja) | 画像処理装置及び画像処理方法 | |
JP2011082675A (ja) | 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム | |
JP5888855B2 (ja) | 画像処理システム及びその制御方法 | |
JP5375372B2 (ja) | 圧縮符号化装置、および復号装置 | |
JP2014204175A (ja) | 画像処理装置及びその制御方法 | |
JP5904754B2 (ja) | 情報処理システム、情報処理装置、それらの制御方法、およびプログラム | |
JP2008176415A (ja) | 撮像装置、画像記録プログラム、画像データ記録媒体、画像処理装置および画像処理プログラム | |
JP2017156365A (ja) | 液晶表示装置 | |
JP2007129403A (ja) | 画像符号化装置および画像処理システム | |
JP2015136072A (ja) | 撮像装置およびその制御方法 | |
JP4634410B2 (ja) | 映像再生装置,映像再生方法および字幕重畳装置 | |
JP2003219246A (ja) | 電子カメラ及び電子カメラシステム | |
JP4804161B2 (ja) | 画像処理装置、画像処理システム及び画像処理装置の制御方法 | |
JP6366268B2 (ja) | 撮像装置及びその制御方法 | |
JP2010206564A (ja) | 画像合成装置、画像形成装置およびプログラム | |
JP2015191314A (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP2005045797A (ja) | 画像データの伝送に要する帯域幅を縮小するための方法及び装置 | |
JPH0488749A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100608 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5153216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |