JP4479003B2 - 画像処理 - Google Patents

画像処理 Download PDF

Info

Publication number
JP4479003B2
JP4479003B2 JP2004165530A JP2004165530A JP4479003B2 JP 4479003 B2 JP4479003 B2 JP 4479003B2 JP 2004165530 A JP2004165530 A JP 2004165530A JP 2004165530 A JP2004165530 A JP 2004165530A JP 4479003 B2 JP4479003 B2 JP 4479003B2
Authority
JP
Japan
Prior art keywords
model
image
image processing
light
flare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004165530A
Other languages
English (en)
Other versions
JP2005346429A5 (ja
JP2005346429A (ja
Inventor
健一郎 安冨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sega Corp
Original Assignee
Sega Corp
Sega Games Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sega Corp, Sega Games Co Ltd filed Critical Sega Corp
Priority to JP2004165530A priority Critical patent/JP4479003B2/ja
Priority to US11/142,245 priority patent/US20050270287A1/en
Publication of JP2005346429A publication Critical patent/JP2005346429A/ja
Publication of JP2005346429A5 publication Critical patent/JP2005346429A5/ja
Application granted granted Critical
Publication of JP4479003B2 publication Critical patent/JP4479003B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6692Methods for processing data by generating or executing the game program for rendering three dimensional images using special effects, generally involving post-processing, e.g. blooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は3次元空間に発光体のモデルを表示するための画像処理に関するものであり、特に発光体からの放射光やフレアの表現をよりリアルに行うことを可能にした画像処理技術に関するものである。
この種の関連技術として、例えば、3,415,416号公報に記載のゲーム装置が存在する。このゲーム装置は、三次元仮想空間で視点を移動して視野に入った場面を画像として表示するゲーム装置であって、前記視点の視野内に光源が存在するときに、前記画像にフレアを形成するためのフレア処理手段を含み、前記フレア処理手段は、前記視点の視線方向を表す視線ベクトルを得る視線ベクトル生成手段と、前記視点から光源の方向を表す光線ベクトルを得る手段と、前記視線ベクトルと前記光線ベクトルとの内積を計算する内積計算手段と、前記画像に前記内積に応じた強度のフレアを形成するフレア形成手段と、を含むことを特徴とするものであり、 三次元仮想空間内に仮想光源が存在するときに、光源の光線がカメラに向っていると、カメラレンズへの光線入射によるフレアを画面に発生させて、逆光の状態に応じたまぶしい画面をつくることができるようにしている。
従来この種の画像処理装置においては、コンピュータによって定義される3次元座標に太陽などの発光体の二次元モデルを定義し、これに太陽の中心映像やこれから放射される拡散光の絵を貼り付ける事が行われていた。物陰から太陽が露出した場合に見られる、発光体からの放射光が拡散する様子を、2次元の発光体モデルを線形に拡大することによって表現していたが、これでは発光体の中心の映像(円形の光源)も拡大されてしまい、中心像の鮮明度が低下するとともに、発光体の大きさが点から丸のように変化してしまい、発光体モデルの見た目の品質が低下するという問題がある。発光体から放射される拡散光の鮮明度が低下してもさほど影響は無いが、発光体自体(太陽、電球など)の鮮明さの低下は極力解消することが望ましい。
そこで、本発明は、3次元仮想空間上の発光体モデルを拡大しても、このような画像劣化のおそれが無いようにした画像処理技術を提供することを目的とするものである。
以上説明したように、本発明によれば、仮想三次元空間内に配置された画像モデルを、前記仮想三次元空間内に設定された視点の視点座標系における透視投影面上に透視投影して得られる二次元画像を生成する画像処理方法であって、前記仮想三次元空間に配置される発光体を、発光源座標から前記投影面に向かった方向に距離成分(大きさ、長さ、幅)を持ち、かつ、前記投影面側において前記方向に対して交差する方向に拡がった形状を持ったモデルによって構成し、当該オブジェクトに前記発光体の中心像とこれから放出される拡散光像とを描くように構成した。
本発明によれば、前記モデルが既述にように構成されているために、発光体モデルを拡大する場合には、前記モデルの視点から投影面側の終点までの大きさを増大させることにより、当該モデルの中心付近に配置された中心像をさほど拡大させず、中心像から放射される拡散光を拡大させることができる。したがって、よりリアルな発光体の像を形成することができる。
図1は本発明が適用されるゲーム装置のブロック構成を示すものである。ゲーム装置100は、ゲームプログラムやデータ(映像・音楽データも含む)が格納されたプログラムデータ記憶装置または記憶媒体(光ディスクおよび光ディスクドライブ等も含む)101と、ゲームプログラムの実行や全体システムの制御および画像表示のための座標計算等を行うCPU102と、CPU102が処理を行うのに必要なプログラムやデータが格納されるシステムメモリ103と、ゲーム装置100を起動するときに必要なプログラムやデータが格納されているBOOTROM104と、ゲーム装置100の各ブロックや外部に接続される機器とのプログラムやデータの流れを制御するバスアービタ105とを備え、これらはバスにそれぞれ接続されている。
バスにはレンダリングプロセッサ106が接続され、プログラムデータ記憶装置または記憶媒体101から読み出した映像(ムービ)データや、遊戯者の操作やゲーム進行に応じたて生成すべき画像は、レンダリングプロセッサ106によってディスプレィモニタ110に表示される。レンダリングプロセッサ106が画像生成を行うのに必要なグラフィックデータ等はグラフィックメモリ(フレームバッファ)107に格納されている。
バスにはサウンドプロセッサ108が接続され、プログラムデータ記憶装置または記憶媒体101から読み出した音楽データや、遊戯者の操作やゲーム進行に応じて生成すべき効果音や音声は、サウンドプロセッサ108によってスピーカ111から出力される。サウンドプロセッサ108が効果音や音声を生成するために必要なサウンドデータ等はサウンドメモリ109に格納される。
ゲーム装置100にはモデム112が接続され、LANアダプタや通を通じて、他のゲーム装置100やネットワークサーバと通信を行い得る。さらにゲーム装置100にはゲームの途中経過の情報やモデムを通じて入出力されるプログラムデータを記録しておくバックアップメモリ113(ディスク記憶媒体や記憶装置も含まれる)と、操作者の操作に従ってゲーム装置100および外部に接続される機器を制御するための情報をゲーム装置100に入力するコントローラ114が接続されている。CPUとレンダリングプロセッセによって画像演算処理ユニットが構成される。CPUはゲームプログラムやゲームデータに基づいて後述する画像処理を実行する。
図2は図1のゲーム装置のCPUによって、コンピュータハードウエア資源に構築される仮想空間において、発光体(太陽)のモデルを定義し、このモデルが多角錐型のモデルによって構成された状態を示す図であり、このモデルを斜め方向から表現している。符号10はこのモデルは、複数のポリゴン11が組み立てられた多角錐形状から構成されている。符号16はこのモデルの始点(先端)であり、ここを光源の位置座標としている。符号18はこのモデルの終点(終端、末端)である。符号12は仮想空間に定義されたカメラ視点であり、図3に示すように、視点の視点座標系における透視投影面上に透視投影して、発光体モデルの二次元画像が表示される。図2において、符号18Aで示される短冊状のモデル(フレアモデル)には、図6に示すようにフレア像のテクスチャ19が貼り付けられる。図6はフレアモデルの投影像を示している。
図2において、符号14は投影面であり、この投影面は視点から光源座標に向かった視方向20に対して直角に位置している。発光体のモデルは、視方向20に対して径が拡がった形態を呈しており、その径は始点から終点に向かって放射状に拡大されている。図2の角錐モデルの内集面に発光体の絵(テクスチャ)を貼り付けられている。このテクスチャは、中心像と中心像から放射状に拡散する拡散光から構成される。図4は、このテクスチャの構造を示し、符号30は太陽自体すなわち熱源であり、符号32は拡散光である。31はフレア像を示している。図4のテクスチャ400が図5に示すように、図3の角錐モデル10の内周面に貼り付けられる。モデル10に臨む始点12によって透視変換された、二次元投影像では、符号402の矢印で示される範囲に熱源に相当する中心像が示され、符号404で示される範囲に拡散光が示される。
図2に示す発光体のモデルは、光源の位置座標(始点)16から投影面14に向けて、即ち、視方向20に距離成分(Z成分)持っており、このZ成分の値は発光体モデルの目的とする状態に合わせて変更できるようになっている。図7は、モデル10のZ値が拡大された状態であり、図8はその投影像を示している。図8に示すように、透視変換により、中心像のテクスチャが表示される402の領域(図3、5参照)は、Z値の拡大前の図3の402の領域とほぼ同じサイズであってあまり拡大されず、その領域の解像度が維持されるのに対して、拡散光が表現される周辺部404は高速に拡大される。この時投影面いっぱいに拡散光が描画されるために、例えば、視点12が移動して物陰から太陽が急に露出した状態など太陽からの急で強い拡散光の出現を再現する場合に、図7及び8に示す処理が採用される。一方、例えば、太陽の露出度が小さい場合や曇天のように太陽からの拡散光が弱い状態を再現する場合には、図7に比較して図2のようにモデル10のZ値が小さく設定される。この状態では、図3に示すように、図8と比較して太陽の投影像の投影面における割合は小さく表現される。
前記フレアモデル18A(図2)は、発光体モデルの一部を成すものであり、既述のように短冊状に限らず、角錐型になっても良い。なお、フレアは拡散光の全周に渡って形成されるのではなく、所定の方向に表示できるようにすれば十分であるので、既述のようにフレアモデルを短冊状に形成した。フレアモデルのZ値も発光体の本体モデル10と同様に、変更可能である。このフレアを置く目的は、発光体が障害物から露出し始めた場合や、障害物に隠れ始めた場合に、フレア像を表現して演出効果高めるためである。
発光体モデル10やフレアモデル18AのZ値は、発光体の露出度によって調整されることになる。図9は太陽50が山(障害物)52に隠れている状態を示しており、図10は太陽50がビル54に隠れている状態を示している。隠れ度(特許請求の範囲に記載の「食分」に相当する。)(r)は、太陽50に対して定義された複数の参照点53が障害物によってどの程度隠れているかによって決められる。
図9の例では、17個の参照点のうち4個が障害物によって隠れているためにr=4/17となり、図10の例では10個の参照点が隠れているためにR=10/17となる。太陽の位置は、次のようにして定まる。3次元座標空間における太陽の方向はほぼ決まっているために、投影面上の太陽の2次元位置が決まる。同時に投影面上の障害物の位置も決まっている。図9及び図10のように、太陽の参照点の位置も決まり、この参照点53のZバッファ値と障害物52のZバッファ値を比較し、障害物に隠れた参照点の数をカウントする。
前記発光体の錐型モデルの視方向の大きさであるZ値と隠れ度は関連したパラメータとし、図2のモデルでは、X,Y,Z座標値の比が〔1,1、(1-r)2〕で定義され、Z値とrとの関係が図11に示す特性(Z=a・(1/r))によって定義される。したがって、隠れ度が大きいほどZ値が小さくなる。Z値が小さくなると、図3に示すように、画面上の太陽の見え方(拡散光の描画範囲)は小さいものとなる。反対に、隠れ度が小さくなると、Z値は大きくなり、太陽の拡散光の描画範囲は大きくなる。隠れ度が大きい場合には、光源からの拡散光自体も薄く表現されなければならないために、透明度のパラメータを採用する。すなわち、隠れ度が大きいほど発光体の透明度を上げるようにしている。図12は透明度aとrの関係がa=rの関係にあることを示している。隠れ度が小さいほど発光体の透明度を下げ、発光体が濃く描画されることを示している。
レンズフレアモデル(図2の18A)についてもrに応じてZ値や透明度を変化させることが適用されるが、図13に示すように、Z値は基準サイズの4−5倍の範囲で変化し、隠れ度rが大きくなるにしたがって、図14に示すように、フレアモデルモデルがZ方向に伸びる。透明度は図15のようにr=0.5を境に段階的に変化する。rが増大すると透明度が下がり(0にならなくても良い)、更にrが増大すると透明度が上がる」ことが重要であるので、必ずしも0.5でなくても良い。)
これは、太陽が障害物に出たり入ったりする瞬間にフレアモデルが描画される。フレアモデルでは、X,Y,Zの座標比が〔1,1、r+4〕、a=2|0.5−r|で定義される。図2に示すように、フレアモデル18Aは発光体モデル10より突出し、発光体の拡散光に対して強調されて描画される。
図16は、既述のCPUがゲームプログラムを実行することによって実行される画像処理動作を示すブロック図である。ステップ16Aでは、図9,10に示すように、隠れ度rを演算する。ステップ16Bでは、発光体モデルについてZ値と透明度の演算を行う。ステップ16Cでは、フレアモデルについてZ値と透明度の演算を行う。ステップ16Dでは、発光体モデル及びフレアモデルの描画を行う。
今、視点が移動して、発光体が障害物から徐々に露出し、露出の度合いが進むにしたがって、図3から図8に変化、すなわち、拡散光の画面上のサイズが大きくなる。太陽が50%露出する瞬間に図15に示すように、鮮明なフレア像が描画される。さらに太陽が露出する過程で拡散光のサイズは増えるが、フレア像は徐々に消失していく。
以上説明したように、本実施形態では、既述の錐型モデルを発光体に適応する旨説明してきたが、これに限らず、発光体以外の、中心部が拡大されなく、その周辺部が拡大されるべきオブジェクトにも既述の錐型モデルを適用することができる。
本発明によれば、レンズフレア一つ一つの位置・光源計算を行わず、錐型のオブジェクトを利用して太陽(発光体)とレンズフレアを表現することができる。太陽が視野に入った瞬間に円錐を縮めて明るく表示し、そこから円錐を伸ばして透明にして明るさを下げていく。視点の移動に応じて、錐型モデルをZ方向を軸にして回転させても良い。これによりよりリアルのレンズフレアが表現できる。複数のレンズフレアの表現が一つのオブジェクトによって再現できるために、CPUに対する計算負荷が少ない。
本発明に係わる画像処理が適用されるゲーム機のハードウエアブロック図である。 3次元仮想空間に定義された発光体モデルを複数のポリゴンから構成した錐型モデルによって形成した状態を示す図である。 図2のモデルの投影変換像である。 発光体を示す図である。 錐型モデル内周面に発光体のテクスチャを貼り付けた状態を示す、当該発光体モデルの側面図である。 フレアのモデルを説明する、当該フレアモデルの斜視図である。 仮想3次元座標系において、発光体モデルのサイズが拡大された状態を示す当該発光体モデルの斜視図である。 図7の投影像である。 太陽モデルが遮蔽物によって覆われた状態を示す図である。 その第2の状態を示す図である。 太陽モデルが遮蔽物によって覆われる度合い(食分)rと発光体モデルのZ方向のサイズ(Z)との関係を示す図である。 r値と発光体モデルの透明度(a)との関係を示す特性図である。 フレアモデルのr値とZ値との関係を示す特性図。 フレアモデルのz値が拡大された状態に係わる、当該フレアモデルの斜視図。 フレアモデルのr値と透明度(a)との関係を示す特性図である。 ゲーム装置の動作フローチャートである。

Claims (3)

  1. 仮想三次元空間内に配置された画像モデルを、前記仮想三次元空間内に設定された視点の視点座標系における透視投影面上に透視投影して得られる二次元画像を画像処理回路により生成する画像処理方法であって、
    前記画像処理回路は、
    前記仮想三次元空間に配置される発光体を、発光源座標から前記投影面に向かった方向に距離成分を持ち、かつ、前記投影面側において前記方向に放射状に拡がる形状を形作る面からなるモデルによって構成し、
    当該オブジェクトに前記発光体の中心像とこれから放出される拡散光像とを描くようにし
    前記発光体が、前記視点側に位置する障害物により、隠れる割合を示す食分に応じて、前記モデルの始点より終点までの距離を変化させるようにした画像処理方法。
  2. 前記画像処理回路は、前記食分に応じて、前記オブジェクトの透明度を変化させてなる請求項記載の画像処理方法。
  3. 請求項1記載の画像処理の手順をコンピュータに実行させるためのプログラム。
JP2004165530A 2004-06-03 2004-06-03 画像処理 Expired - Fee Related JP4479003B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004165530A JP4479003B2 (ja) 2004-06-03 2004-06-03 画像処理
US11/142,245 US20050270287A1 (en) 2004-06-03 2005-06-02 Image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004165530A JP4479003B2 (ja) 2004-06-03 2004-06-03 画像処理

Publications (3)

Publication Number Publication Date
JP2005346429A JP2005346429A (ja) 2005-12-15
JP2005346429A5 JP2005346429A5 (ja) 2007-07-12
JP4479003B2 true JP4479003B2 (ja) 2010-06-09

Family

ID=35447134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004165530A Expired - Fee Related JP4479003B2 (ja) 2004-06-03 2004-06-03 画像処理

Country Status (2)

Country Link
US (1) US20050270287A1 (ja)
JP (1) JP4479003B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4845195B2 (ja) * 2006-08-14 2011-12-28 サミー株式会社 画像生成装置、遊技機、及びプログラム
US20140210844A1 (en) * 2011-04-29 2014-07-31 Universitat Des Saarlandes Method and system for real-time lens flare rendering
JP7141200B2 (ja) * 2017-03-27 2022-09-22 東芝ライテック株式会社 情報処理システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6234901B1 (en) * 1996-11-22 2001-05-22 Kabushiki Kaisha Sega Enterprises Game device, picture data and flare forming method
US6767286B1 (en) * 1996-11-22 2004-07-27 Kabushiki Kaisha Sega Enterprises Game device, picture data forming method and medium
WO1999046602A1 (en) * 1998-03-09 1999-09-16 Gou Lite Ltd. Optical translation measurement
FI20000339A (fi) * 2000-02-16 2001-08-16 Nokia Mobile Phones Ltd Mikromekaaninen säädettävä kondensaattori ja integroitu säädettävä resonaattori
US6826551B1 (en) * 2000-05-10 2004-11-30 Advanced Digital Systems, Inc. System, computer software program product, and method for producing a contextual electronic message from an input to a pen-enabled computing system
JP4527853B2 (ja) * 2000-07-28 2010-08-18 株式会社バンダイナムコゲームス ゲームシステム及び情報記憶媒体
US6816615B2 (en) * 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
JP3580779B2 (ja) * 2001-02-21 2004-10-27 株式会社コナミコンピュータエンタテインメントジャパン 画像の表現方法及びそれに用いるプログラム
US7180509B2 (en) * 2001-06-26 2007-02-20 Anoto Ab Electronic pen, mounting part therefor and method of making the pen
SE0200419L (sv) * 2002-02-12 2003-08-13 Anoto Ab Elektronisk penna samt sensorarrangemang och styranordning vid sådan
US6876356B2 (en) * 2002-03-18 2005-04-05 Pegasus Technologies Ltd. Digitizer pen
EP1413974A1 (en) * 2002-10-24 2004-04-28 Hewlett-Packard Company Hybrid sensing techniques for position determination
US20040144575A1 (en) * 2003-01-27 2004-07-29 Yitzhak Zloter Digitizer pen for writing on reusable paper
AU2003247441A1 (en) * 2003-05-30 2005-01-04 Dreamworks Rendering of soft shadows using depth maps
KR100543701B1 (ko) * 2003-06-17 2006-01-20 삼성전자주식회사 공간형 입력 장치 및 방법
US20050024690A1 (en) * 2003-07-31 2005-02-03 Picciotto Carl E. Pen with tag reader and navigation system

Also Published As

Publication number Publication date
JP2005346429A (ja) 2005-12-15
US20050270287A1 (en) 2005-12-08

Similar Documents

Publication Publication Date Title
JP6909554B2 (ja) 視覚効果を有するオブジェクトを表示する装置及び方法
JP5531093B2 (ja) コンピュータグラフィックスでオブジェクトにシャドウを付ける方法
JP4242318B2 (ja) 3次元画像生成装置および3次元画像生成プログラム
CN114286277B (zh) 使用体积音频渲染和脚本化音频细节级别的3d音频渲染
US20100020080A1 (en) Image generation system, image generation method, and information storage medium
KR20140101406A (ko) 씨스루 디스플레이를 통한 새도우의 디스플레이
JP2002236934A (ja) グラフィックシステムにおいて改良されたフォグ効果を提供するための方法および装置
WO2018000629A1 (zh) 一种亮度调节方法及装置
WO2021253640A1 (zh) 阴影数据确定方法、装置、设备和可读介质
JP2006346507A (ja) ゲーム装置および画像処理プログラム
JP4479003B2 (ja) 画像処理
JP4513423B2 (ja) 仮想三次元座標ポリゴンによるオブジェクト画像の表示制御方法及びこれを用いた画像表示装置
US11830515B2 (en) Methods and systems for visualizing audio properties of objects
JP4816928B2 (ja) 画像生成用のプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法
KR102235679B1 (ko) 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법
JP2004334661A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP3039357B2 (ja) 画像処理装置、およびその方法
JP3580779B2 (ja) 画像の表現方法及びそれに用いるプログラム
JP2019211886A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP5146054B2 (ja) 仮想空間における音源より発生される音の生成制御プログラム
JP4028113B2 (ja) ゲーム装置及び情報記憶媒体
US20240153159A1 (en) Method, apparatus, electronic device and storage medium for controlling based on extended reality
CN118079375A (zh) 游戏中的光照效果处理方法、装置、程序产品与电子设备
JP4390351B2 (ja) ゲーム装置、及び情報記憶媒体
JP3469225B2 (ja) 3次元モデルに照明効果を施す方法、描画装置および記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101019

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20110210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees