JP5003252B2 - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
JP5003252B2
JP5003252B2 JP2007098133A JP2007098133A JP5003252B2 JP 5003252 B2 JP5003252 B2 JP 5003252B2 JP 2007098133 A JP2007098133 A JP 2007098133A JP 2007098133 A JP2007098133 A JP 2007098133A JP 5003252 B2 JP5003252 B2 JP 5003252B2
Authority
JP
Japan
Prior art keywords
visual acuity
image
moving
kva
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007098133A
Other languages
English (en)
Other versions
JP2008257431A (ja
Inventor
竜太 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2007098133A priority Critical patent/JP5003252B2/ja
Publication of JP2008257431A publication Critical patent/JP2008257431A/ja
Application granted granted Critical
Publication of JP5003252B2 publication Critical patent/JP5003252B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)

Description

本発明は、描画する画像生成時の計算負荷を低減することができる画像表示装置及び画像表示方法に関する。
従来から実時間型の立体画像表示方法において、操作者が表示画面上の何処を注視しているかに関わらず画面上に表示される画像全域を同一の画像生成アルゴリズムによって生成されていたため、計算負荷が高くなるという問題を解決するために、操作者の視点を求め、視点周辺以外の領域に表示するべき画像の精細度を低くして計算負荷を軽減する画像表示方法が知られている(例えば、特許文献1参照)。
特許第3478606号公報
ところで、近年は、技術進歩に伴ってリアルタイムに生成された画像は特に高精細化してきており、よりリアルな表現を求めて、モデルのデータ量、シェーダ(陰影処理プログラム)の計算負荷ともに増大してきている。しかしながら、ハードウェアの処理能力が充分でないため、リアルタイム性の確保が困難となっている。特に、立体映像を生成するためには、1フレーム当たり少なくとも2枚の画像を生成する必要があるため、2次元画像に比べてさらなる計算負荷の低減が求められる。また、立体画像の高精細化をするためには、シェーダによって陰影処理を施す必要があるが、陰影処理は、画像中に含まれるオブジェクト(画像中の物体)を構成するポリゴン毎に施す必要があるため、画像中に含まれるポリゴンの数に応じて、計算負荷が増大してしまうという問題がある。したがって、表示装置の能力を超えた数のポリゴンをリアルタイムで表示することが困難になるため、表示するべき画像の内容に応じて表示装置の能力を向上させていかなければならず、表示装置のコストが高くなってしまうという問題もある。
本発明は、このような事情に鑑みてなされたもので、陰影処理を伴う立体画像表示を表示装置の能力を向上させることなく、陰影処理を伴う高精細な立体画像表示を行うことができる画像表示装置及び画像表示方法を提供することを目的とする。
本発明は、陰影処理を施した立体画像を表示する画像表示装置であって、前記立体画像を表示する表示手段と、前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、動体が視点に対して前後方向に動くときのKVA動体視力と、動体が視点に対して水平方向に動くときのDVA動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記KVA動体視力及び前記DVA動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段と、視聴者の視点位置を求める視点位置算出手段と、描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記DVA動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記KVA動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記KVA動体視力及び前記DVA動体視力を取得する動体視力取得手段と、前記シェーダ記憶手段から、前記取得した前記KVA動体視力及び前記DVA動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理手段とを備えたことを特徴とする。
本発明は、前記陰影処理手段は、前記陰影処理を施す画像データの単位がポリゴンまたはピクセルであることを特徴とする。
本発明は、陰影処理を施した立体画像を表示するために、前記立体画像を表示する表示手段と、前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、動体が視点に対して前後方向に動くときのKVA動体視力と、動体が視点に対して水平方向に動くときのDVA動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記KVA動体視力及び前記DVA動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段とを備えた画像表示装置における画像表示方法であって、視聴者の視点位置を求める視点位置算出ステップと、描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記DVA動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記KVA動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記KVA動体視力及び前記DVA動体視力を取得する動体視力取得ステップと、前記シェーダ記憶手段から、前記取得した前記KVA動体視力及び前記DVA動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理ステップとを有することを特徴とする。
本発明によれば、画像の複雑さに比例して計算量が増加する陰影処理において、描画対象のポリゴンまたはピクセル毎に移動速度(視点との相対速度)を求めて、移動速度に応じたシェーダを選択するようにしたため、描画を行うハードウェアの性能を向上させることなく、複雑な画像(描画するべきポリゴンの数が多い画像)の描画を行うことが可能となる。これにより、視聴者に画像の質の低下を認識されずに、計算量を削減させることが可能になるという効果が得られる。
以下、本発明の一実施形態による画像表示装置を図面を参照して説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、画像表示装置の処理動作を統括して制御することにより画像の描画を行う描画部である。符号2は、画像を表示する表示部であり、液晶のディスプレイやプロジェクタ等で構成する。符号3は、表示部2に表示する画像データを一時的に記憶するフレームバッファである。符号4は、表示部2に表示する立体画像のデータが予め記憶された画像データ記憶部である。符号5は、人間の標準的な動体視力のデータが予め記憶された視力データ記憶部である。符号6は、画像データ記憶部4に記憶されている画像データに対して陰影処理を施す複数種類のシェーダ(陰影処理プログラム)が予め記憶されたシェーダ記憶部である。
ここで、人間の動体視力について説明する。動体視力は、視点に対して相対的に移動している物体を見るときの視力であり、静止視力よりも劣る。人間の動体視力には、KVA(Kinetic Visual Acuity)動体視力とDVA(Dynamic Visual Acuity)動体視力の2種類がある。KVA動体視力とは、視点に対して、前後方向に動く時の視力であり、毛様体筋による水晶体の厚みの変化に関連する。一方、DVA動体視力とは、視点に対して、水平方向に動くときの視力であり、外眼筋による眼球移動に関連する。それぞれの動体視力と移動速度の関連(特開2000−237133号広報より引用)を図3に示す。図3に示すように、KVA動体視力とDVA動体視力のいずれも動体の速度が速くなるにしたがて視力は低下する。2次元映像では、前後方向の焦点移動は不要なため、水晶体の厚みの変化は起こらないが、立体映像においては、前後方向の焦点移動が必要なため、視聴者の視力にKVA動体視力も関連する。そのため、立体画像中に含まれる動体の陰影処理において、動体視力に応じて最適なシェーダを選択して陰影処理計算を行うことにより、計算時間を大幅に短縮することができる。図1に示す視力データ記憶部5には、図3に示す2つの動体視力のそれぞれについて、速度(または角速度)と視力の関係が定義されたデータが記憶されている。したがって、速度または角速度が決まると、視力データ記憶部5を参照してこれらの速度または角速度に対応する2つの動体視力のいずれかを得ることが可能となる。
次に、図2を参照して、図1に示す画像表示装置の動作を説明する。まず、描画部1は、画像データ記憶部4に記憶されている画像を参照するときの仮想空間内の視点位置情報を求める。視点位置情報は、視聴者の両目の位置と描画面の幅・高さを求め、それらを基に、仮想空間内での左右の視点位置を求める(ステップS1)。次に、描画部1は、生成するべき画像の画角から、KVA動体視力とDVA動体視力のそれぞれに掛ける描画パラメータを求める(ステップS2)。描画パラメータは、以下のようにして求める。生成する画像の画角が小さい場合は、KVA動体視力の影響が小さくなるようにするために描画パラメータを小さい値とし、DVA動体視力の影響が大きくなるように描画パラメータを大きい値とする。一方、生成する画像の画角が大きい場合は、KVA動体視力の影響が大きくなるように描画パラメータを大きい値とし、DVA動体視力の影響が小さくなるように描画パラメータを小さい値とする。
次に、描画するべき対象ポリゴンの移動量、移動方向およびフレームレートから、視点に対して前後方向の速度と水平方向の角速度を求め、それぞれステップS2において求めたパラメータとの積を算出する。そして、描画部1は、視力データ記憶部5を参照して、求めた2つの積の値(描画パラメータが乗算された前後方向の速度と水平方向の角速度の値)に対応するKVA動体視力とDVA動体視力をそれぞれ求める(ステップS3)。動体が視点から十分遠くにある場合、その動体が前後方向に動いても、人間の目ではその距離の違いを認識することはできない。人間の副尺視力(接する2本の線における位相差の検知限)は10秒程度であり、輻輳角が20秒あれば誰にでも見分けることができる。輻輳角が20秒のときの、視点から動体までの距離は約650mである。そのため、視点から対象ポリゴンまでの距離が650m以上の場合は、KVA視力を考慮しない。
次に、描画部1は、対象ポリゴンの表面テクスチャから、知覚のしやすさを示すパラメータを求める(ステップS4)。移動体の知覚のしやすさは、物体表面の柄・模様にも依存するため、対象ポリゴンの表面テクスチャが、知覚しにくい場合は、より計算負荷を低減することができる。続いて、描画部1は、ステップS3において求めたKVA動体視力とDVA動体視力それぞれの値と、ステップS4において求めた知覚のしやすさパラメータの積を求め、その値に応じたシェーダを選択する(ステップS5)。シェーダ記憶部6には、KVA動体視力とDVA動体視力それぞれの値と、知覚のしやすさのパラメータとの積の値と、用いるべきシェーダが関係付けされている。描画部1はこの関係を参照して、最適なシェーダを選択する。
次に、描画部1は、選択したシェーダにより描画対象のポリゴンに対して、陰影処理のための演算を実行して(ステップS6)、得られた結果を描画データとしてフレームバッファ3に書き込む(ステップS7)。描画部1は、ステップS2からS7の処理を、フレームバッファ3に書き込むべき全てのポリゴンに対して実行することに1フレームの描画データがフレームバッファ3に書き込まれることになる。これにより、フレームバッファ3には、ポリゴンの移動速度毎に異なった陰影処理が施された描画データが書き込まれることになる。すなわち、移動速度(視点との相対速度)が速い場合は、低精細の陰影処理が施され、移動速度が遅い場合は、高精細の陰影処理が施された描画データとなる。表示部2は、フレームバッファ3に書き込まれた描画データを順次読み出すことにより画像表示が行われる。
このように、KVA動体視力を考慮して描画データの生成を行うことにより、従来の手法よりも、画像の質の低下を認識されることなく、計算量を削減させることができる。また、ポリゴン毎にシェーダを選択するようにしたため、計算負荷の軽いシェーダを適用した際に、従来の手法のように、オブジェクト内で一様に画質が低下することなく描画データを生成することが可能となる。
なお、前述した手法では、ポリゴン毎に、適用するシェーダを選択する例を説明したが、ポリゴン毎ではなく、表面テクスチャのピクセル単位で、適用するシェーダを選択するようにしてもよい。このようにすることにより、一般的に、ポリゴンよりもテクスチャのピクセルは小さいので、より厳密に移動速度の計算を行うことができるため、さらに計算量を低減することができる。また、ポリゴンでは考慮できなかった、ポリゴンの回転・テクスチャアニメーションが視力に与える影響も考慮することができる。
また、図1においては、複数のシェーダプログラムをシェーダ記憶部6に記憶しておく例を示したが、複数のシェーダのプログラムに代えて、シェーディングを実行する複数の専用ハードウェアを備えておき、これらの専用ハードウェアを選択して陰影処理を実行するようにしてもよい。
このように、画像の複雑さに比例して計算量が増加する陰影処理において、描画対象のポリゴンまたはピクセル毎に移動速度(視点との相対速度)を求めて、移動速度に応じたシェーダを選択するようにしたため、描画を行うハードウェアの性能を向上させることなく、複雑な画像(描画するべきポリゴンの数が多い画像)の描画を行うことが可能となる。これにより、視聴者に画像の質の低下を認識されずに、計算量を削減させることが可能となる。
特に、対象物体が移動している時、もしくは視点が移動している時の人間の視力は、静止している時に比べて低くなることを利用して、対象物体の視点に対する相対的な移動速度に応じて、最適な陰影計算手法を選択するようにしたため、視聴者に生成画像の質の低下を認知されることなく、計算負荷を低減することができる。また、立体画像表示に重要となるKVA動体視力の影響を考慮して描画データを生成するようにしたため、視聴者に画質の低下を認識させることなく陰影処理の計算量を削減することが可能である。従来の手法では、対象物体の移動速度に関わらず、同一の陰影計算手法を用いていたため、負荷の軽い手法を用いた際、対象物体が静止していると画質の低下が認識されてしまうが、ポリゴンの移動速度に応じて最適なシェーダを選択するようにしたため、視聴者に画質の低下を認識されてしまうことを防止することができる。
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像表示処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
本発明の一実施形態の構成を示すブロック図である。 図1に示す描画部1の動作を示すフローチャートである。 図1に示す視力データ記憶部5に記憶されるデータの一例を示す説明図である。
符号の説明
1・・・描画部、2・・・表示部、3・・・フレームバッファ、4・・・画像データ記憶部、5・・・視力データ記憶部、6・・・シェーダ記憶部

Claims (3)

  1. 陰影処理を施した立体画像を表示する画像表示装置であって、
    前記立体画像を表示する表示手段と、
    前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、
    動体が視点に対して前後方向に動くときのKVA動体視力と、動体が視点に対して水平方向に動くときのDVA動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、
    描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記KVA動体視力及び前記DVA動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段と、
    視聴者の視点位置を求める視点位置算出手段と、
    描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記DVA動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記KVA動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記KVA動体視力及び前記DVA動体視力を取得する動体視力取得手段と、
    前記シェーダ記憶手段から、前記取得した前記KVA動体視力及び前記DVA動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理手段と
    を備えたことを特徴とする画像表示装置。
  2. 前記陰影処理手段は、前記陰影処理を施す画像データの単位がポリゴンまたはピクセルであることを特徴とする請求項1に記載の画像表示装置。
  3. 陰影処理を施した立体画像を表示するために、前記立体画像を表示する表示手段と、前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、動体が視点に対して前後方向に動くときのKVA動体視力と、動体が視点に対して水平方向に動くときのDVA動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記KVA動体視力及び前記DVA動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段とを備えた画像表示装置における画像表示方法であって、
    視聴者の視点位置を求める視点位置算出ステップと、
    描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記DVA動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記KVA動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記KVA動体視力及び前記DVA動体視力を取得する動体視力取得ステップと、
    前記シェーダ記憶手段から、前記取得した前記KVA動体視力及び前記DVA動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理ステップと
    を有することを特徴とする画像表示方法。
JP2007098133A 2007-04-04 2007-04-04 画像表示装置及び画像表示方法 Expired - Fee Related JP5003252B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007098133A JP5003252B2 (ja) 2007-04-04 2007-04-04 画像表示装置及び画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007098133A JP5003252B2 (ja) 2007-04-04 2007-04-04 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
JP2008257431A JP2008257431A (ja) 2008-10-23
JP5003252B2 true JP5003252B2 (ja) 2012-08-15

Family

ID=39980954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007098133A Expired - Fee Related JP5003252B2 (ja) 2007-04-04 2007-04-04 画像表示装置及び画像表示方法

Country Status (1)

Country Link
JP (1) JP5003252B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101682208B1 (ko) 2010-10-22 2016-12-02 삼성전자주식회사 디스플레이 장치 및 방법
KR102399686B1 (ko) 2015-07-28 2022-05-19 삼성전자주식회사 3d 렌더링 방법 및 장치
EP3701489B1 (en) * 2018-04-10 2022-10-26 Google LLC Memory management in gaming rendering

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143558B2 (ja) * 1994-02-02 2001-03-07 キヤノン株式会社 画像表示方法および装置
JP2004213641A (ja) * 2002-12-20 2004-07-29 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム
JP4125253B2 (ja) * 2004-03-09 2008-07-30 株式会社感性デバイシーズ 動体視力測定装置

Also Published As

Publication number Publication date
JP2008257431A (ja) 2008-10-23

Similar Documents

Publication Publication Date Title
JP5194530B2 (ja) 画像表示装置及び画像表示方法
US10859840B2 (en) Graphics rendering method and apparatus of virtual reality
US11704768B2 (en) Temporal supersampling for foveated rendering systems
CN107317987B (zh) 虚拟现实的显示数据压缩方法和设备、系统
US10853918B2 (en) Foveal adaptation of temporal anti-aliasing
US9014414B2 (en) Information processing apparatus and information processing method for processing image information at an arbitrary viewpoint in a physical space or virtual space
KR20210071015A (ko) 재투영된 프레임을 위한 모션 스무딩
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
JP5175065B2 (ja) 効率的にモーションブラー効果を提供する3次元グラフィックスレンダリング方法及び装置
US20210368152A1 (en) Information processing apparatus, information processing method, and program
Friston et al. Perceptual rasterization for head-mounted display image synthesis.
JP6844210B2 (ja) 視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラム
WO2019181263A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20210125395A1 (en) Rendering method and processor
US10650507B2 (en) Image display method and apparatus in VR device, and VR device
EP3712711A1 (en) Method and apparatus for processing holographic image
KR100381817B1 (ko) 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
JP5003252B2 (ja) 画像表示装置及び画像表示方法
US11941408B2 (en) Encoding stereo splash screen in static image
Molenaar Towards real-time ray tracing through foveated rendering
US11270475B2 (en) Variable rendering system and method
CN109741465A (zh) 图像处理方法及装置、显示装置
Ritschel et al. Perceptual Rasterization for Head-mounted Display Image Synthesis
JPWO2019159239A1 (ja) 画像処理装置、表示画像生成方法、およびフォントのデータ構造
CN113115018A (zh) 一种图像的自适应显示方法及显示设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees