JP4316269B2 - 画像投影装置 - Google Patents

画像投影装置 Download PDF

Info

Publication number
JP4316269B2
JP4316269B2 JP2003081230A JP2003081230A JP4316269B2 JP 4316269 B2 JP4316269 B2 JP 4316269B2 JP 2003081230 A JP2003081230 A JP 2003081230A JP 2003081230 A JP2003081230 A JP 2003081230A JP 4316269 B2 JP4316269 B2 JP 4316269B2
Authority
JP
Japan
Prior art keywords
video
image
reflector
image projection
projection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003081230A
Other languages
English (en)
Other versions
JP2004287252A (ja
Inventor
信 面谷
和樹 森下
啓介 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai University Educational Systems
Original Assignee
Tokai University Educational Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai University Educational Systems filed Critical Tokai University Educational Systems
Priority to JP2003081230A priority Critical patent/JP4316269B2/ja
Publication of JP2004287252A publication Critical patent/JP2004287252A/ja
Application granted granted Critical
Publication of JP4316269B2 publication Critical patent/JP4316269B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、快適に映像を見ることのできる照明環境を与えることができる画像投影装置に関する。
【0002】
【従来の技術】
従来の居住空間用の人工照明装置は人間に十分な明るさを与え、あるいは自然に近い色を見せること、場合によって、光の強度分布を任意に与えることを実現しようとするものであり、いずれにしても時間的にはできるだけ均一な変化しない照明光源を供給することを特徴としている。一般に映像を見る場合、前記の照明環境もしくは照明の無い真っ暗な環境(映画館など)であると考えられる。
【0003】
【特許文献1】
特開2002−299078
【0004】
しかし映像の映っている部分は人間の視野内の一部分であり、視野周辺部には壁や家具等が映っている。このことから、映像を見ていても、該映像と視野周辺の風景等が同時に見えるために、映像としての臨場感がなくなり、映像とそれを見ている人間とが別々の世界にいるように感じるという欠点がある。また、この問題を解決するために視野全域に映像を映すと、一映像の動きを目で追いきれなくなってしまうという欠点が出てくる。
【0005】
【発明が解決しようとする課題】
この種の発明は従来存在しないが、特許文献1は、出願人が創作した、快適な人工照明環境の発明であり、該発明の延長上又はシステム範囲内にあるのが今回の発明でもある。このように本発明の解決課題
(目的)としては、映像を見る上での快適性や臨場感を高めるために新たな画像投影装置を提供するものである。
【0006】
【課題を解決するための手段】
そこで、発明者は上記課題を解決すべく鋭意,研究を重ねた結果、本発明を、映像再生装置から出力された映像信号に応じて映像を投影すると共に、該映像の周辺部に周辺部映像を投影できるようにしてなる画像投影装置であって、該映像投影装置より出射された映像情報を持った光の通路に設けられた絞りと、該絞りの内側に装着されたミラーと、該ミラーで反射された光を再び反射する凹凸を有する反射板とを備え、該反射板から反射した光が前記周辺部映像として投影されるようにしてなることを特徴とする画像投影装置等としたことにより、前記課題を解決したものである。また、本発明は、前記目的を達成するために、前記周辺部映像が映像に比べてぼやけていて且つゆらぐようにしてなる画像投影装置としたことにより、前記課題を解決し、快適性・臨場感を高めることができるものである。
【0007】
【発明の実施の形態】
以下、本発明の第1実施形態について図1乃至図3に基づいて説明する。図1は第1実施形態を示す簡略のブロック図であって、10は映像再生装置、Bは映像投影装置、20はスピーカ、21は映像出力線、22は音声出力線、23はスクリーン、Sは被照明空間である。
【0008】
前記映像投影装置Bは、図2に示すような構造である。図2について説明すると、1および2は凸レンズ、3は絞り、4はミラー、5は多数の折り目を有して多数の凹凸面5aがつけられた反射板である。具体的には、図2(C)に示すように、極薄の金属板(金属箔とする場合もある。)に多数の折り目が付けられ、且つ突起が多数膨出形成されて、多数の凹凸面5aが形成されている。6はガラスである。図2(A)は前記映像投影装置Bの平面的に見た略示断面図で、図2(B)は前記映像投影装置Bを縦断した斜視図である。前記ミラー4は、絞り3の内側に密着しており、ミラー4に入射した光が、前記反射板5の凹凸部5aに反射するような角度がついている。また、反射板5はそこから反射した光がスクリーン23に映った映像に、多くがなるべく重ならないように一定の角度をつけて設置されている。
【0009】
図3は映像投影装置Bを用いた場合に見える映像を表したものである。11は主映像情報、12はスクリーン23に映る主映像、13はゆらぎ映像である。映像再生装置10より送られてきた主映像情報11を持った光の一部はミラー4で凹凸面をつけた反射板5に反射される。その光は凹凸面をつけた反射板5に当たることで強度にムラのある光になり、ガラス6部分を通って、スクリーン23に映る主映像12の周辺部に周辺部映像として映し出される。これがゆらぎ映像13である。このような構成になっているからこの光は主映像に対応して変化し、従来の時間的に均−な照明と異なり、主映像情報11の映像に同調した適度な変動を実現させることができるため、映像を見ている人間に高い臨場感を与えることができる。
【0010】
凹凸面をつけた反射板5の替わりに図4に示すような可動式反射板50を用いる方法もある。該可動式反射板50とは図4のように1つ1つが動く可動式ミラー51の集合体である。
【0011】
可動式反射板50について図4を用いて説明すると、図4(A)は可動式反射板50の構成図で、これは可動式ミラー51が敷き詰められたものである。図4(B)は可動式ミラー51の仕組みを表した図である。可動式ミラー51は小型ミラー52、鉄心53、バネ54、電磁石55で構成されている。小型ミラー52の周囲4方向に設置された4つの電磁石55のどれか1つに電流を流すことで、鉄心53がその電磁石55に引き寄せられ小型ミラー52が動く。また隣り合った2つの電磁石に電流を流すと、その2つの中間、つまり斜めに動かすことができる。
【0012】
このような構造になっているため、可動式反射板50は凹凸面をつけた反射板5を用いた場合では変化しなかった反射光の模様を変化させることができる。これにより映像を見ている人間に、さらに高い臨場感を与えることが期待できる。
【0013】
また映像投影装置Bでは、絞り3に密着したミラー4を使う替わりに、図5に示すような構造にしても良い。図5について説明すると、7はハーフミラー、8はハーフミラー7と同じ透過率を持つフィルタであり、その他は図3と同様である。
【0014】
この装置を用いた場合に見える映像を、図5を用いて説明する。映像再生装置10より送られてきた主映像情報11を持った光の一部はハーフミラー7で反射板5に反射され、一部はそのまま透過して凸レンズ1に入る。また、主映像12の中心部の光はフィルタ8を通って凸レンズ1に入る。ハーフミラー7で反射された光は凹凸面をつけた反射板5に当たることで強度にムラのある光になり、ガラス6部分を通って、スクリーン23に映る主映像12の周辺部に映し出される。これがゆらぎ映像13である。この際、ゆらぎ映像13はスクリーン23に映る主映像12に重なることはない。このような構成になっているからこの光は映像に対応して変化し、従来の時間的に均一な照明と異なり、主映像情報11の映像に同調した適度な変動を実現させることができるため、映像を見ている人間に高い臨場感を与えることができる。尚、スクリーン23を正面から見た場合には図3(B)と同様になる。
【0015】
図5の装置では、主映像情報11はハーフミラー7およびフィルタ8を通る。そのため、スクリーン23に映る主映像12が正常に映し出されるように、ハーフミラー7とフィルタ8の透過率を等しくする必要がある。ハーフミラー7とフィルタ8の透過率は70〜80%程度が良いと考える。ゆらぎ映像13の光強度は、視野周辺部の情報なのでそれほど大きい必要はない。スクリーン23に映る主映像12の明るさをケアする方が重要だからである。図5の装置では、主映像情報11はハーフミラー7およびフィルタ8を通るため、スクリーン23に映る主映像12が暗くなってしまう。そのため、光源の光強度を大きくする必要がある。
【0016】
図2および図5の映像投影装置Bはガラス6部分にカバーができる構造になっており、ゆらぎ映像13が必要ない場合にはそのカバーを着けることによって従来通りの映像を見ることもできる。
以上のように第1実施形態では、映像を見る際に従来にない高い臨場感を与える環境を簡単に実現できる。
【0017】
第2実施形態は、図6・図7に示すように、独立した従来公知の主映像投影装置30に対して外付けタイプである。これはプロジェクタの機能を備えていればよい。図8(A)について図面に基づいて説明すると、映像再生装置10、スピーカ20、映像出力線21、音声出力線22、スクリーン23、被照明空間Sについては、第1実施形態(図1参照)と同一である。前記主映像投影装置30のレンズ部分にドーナツ状フィルタ31を付けることにより、主映像投影装置30より出力された光の一部が屈折・散乱し、映像の周辺にぼやけた光が映る。この光は主映像投影装置30より出力されたものなので映像と同調してゆらぎ、この光によって見ている人間に臨場感を与えることができる。
【0018】
図6(B)及び図6(C)に示すように、前記ドーナツ状フィルタ31は、キャップであって筒状部とこの前面環状部とかなり、該前面環状部はガラス又はアクリル製であって、その前面には不規則な凹凸部が多数形成され、その中心箇所は開口31aされ、該開口31a箇所周縁は斜面31bとして形成され、さらに該斜面31bには、入射した光が拡散する方向に進むように反射防止膜31cが取り付けられている。該反射防止膜31cは透過性に優れたものが好適である。該反射防止膜31cの存在によって、ここに当たった光が主映像に影響を及ぼさないように反射防止をして外側に拡散させるものである。
【0019】
図7は本発明の第1実施形態を外付けにした装置の図である。図7(A)に基づいて説明すると、映像再生装置10、スピーカ20、映像出力線21、音声出力線22、スクリーン23、被照明空間Sについては、第1実施形態(図1参照)と同一である。この主映像投影装置30のレンズ前方に、ゆらぎ照明発生装置32を置く。このゆらぎ照明発生装置32は図7(B)にあるように、小型ミラー33が一定の角度をつけて主映像投影装置30のレンズ前方にくるようになっており、その小型ミラー33に反射した光は、凹凸面をつけた反射板34に当たる。該反射板34はそこから反射した光がスクリーン23に映った主映像になるべく重ならないように僅かに放射するように設置されている。前記反射板34に当たった反射光は不規則な模様をした、第1実施形態と同様のゆらぎ映像13として主映像12の周辺に映る。前記ゆらぎ照明発生装置32は主映像投影装置30より出力されたものなので主映像12と同調してゆらぎ、この光によって見ている人間に臨場感を与えることができる。
【0020】
前記凹凸面を付けた反射板34の替わりに図4に示すような可動式反射板50を用いる方法もある。この可動式反射板50は本発明の第1実施形態で用いたものと同様の装置である。
【0021】
第2実施形態の装置を用いた場合、スクリーンを正面から見ると図3(B)と同様、スクリーンに映る主映像12の周辺部にゆらぎ映像13が映し出される。この際、ゆらぎ映像13はスクリーン23に映る主映像12に一部重なる。ゆらぎ映像13は主映像投影装置30より出力されたものなので映像と同調してゆらぎ、この光によって見ている人間に臨場感を与えることができる。以上のような第2実施形態においても、映像を見る際に従来にない高い臨場感を与える環境を簡単に実現できる。
【0022】
次に本発明の第3実施形態について図面に基づいて説明すると、図8(A)は本発明の第3実施形態を示すブロック図であって、映像再生装置10、スピーカ20、映像出力線21、音声出力線22、スクリーン23、被照明空間Sについては、第1実施形態(図1参照)と同一である。40は映像投影装置であって、図8(B)に示すように映像を投影する既存のプロジェクタと同様の既存映像投影装置41と照明制御装置42とで構成されている。該照明制御装置42は図8(c)に示すように、映像中央処理装置(CPU)43と映像再生データ信号入力手段44と映像再生データ信号と照明制御信号とを変換する映像・照明信号変換手段45と、照明制御信号を記憶する照明データ記憶手段46と、照明制御信号出力部47と照明光源48で構成されている。
【0023】
これを動作させるには映像再生装置10において、図9のフローチャートに示すように、映像データ信号を照明制御装置42にて照明制御信号に変換し(Sl)、該照明制御信号を映像投影装置40にてスクリーン23に照明する(S2)。具体的には、例えば任意の映像を記録済みのDVDを前記映像再生装置10において再生し、映像投影装置40に接続する映像出力線21を介して照明制御装置42にて制御用の映像再生データ信号として取り込み、映像・照明信号変換手段45にて前記映像再生データ信号を照明制御信号として変換し、該照明制御信号を照明データ信号として照明データ記憶手段46に記憶し、照明制御信号出力部47から照明光源48への出力を調整して照明の強度等を変化させる。また、既存のプロジェクタと同様の装置41から出力された映像と照明光源48から出力された光はスクリーン上では重ならないようになっている。このような構成になっているから照明光源48は映像に対応して変化し、従来の時間的に均一な照明と異なり、照明光源48の映像に同調した適度な変動を実現させることができるため、映像を見ている人間に高い臨場感を与えることができる。
【0024】
本発明の第4実施形態について図面に基づいて説明すると、図10は本発明の第4実施形態を示すブロック図であって、映像再生装置10、スピーカ20、映像出力線21、音声出力線22、スクリーン23、被照明空間Sについては、第1実施形態(図1参照)と同一である。また、主映像投影装置60,61が備えられている。該主映像投影装置60,61はプロジェクタの機能を備えていればよい。該主映像投影装置60,61は前記主映像投影装置30と同様の構成である。24は映像再生装置10と主映像投影装置61をつなぐ副映像出力線、62は凹凸面をつけた反射板である。映像再生装置10からの映像信号を主映像投影装置60および主映像投影装置61からそれぞれ出力する。主映像投影装置60から出力した主映像12はそのままスクリーン23に映す。主映像投影装置61から出力した主映像12は一旦凹凸面をつけた反射板62に映し、その反射光を主映像投影装置60から出力した映像の周辺部に当てる。このような配置になっているため、主映像投影装置60から出力した映像の周辺部には、その映像と同調して変化し、強度にムラのある光が映る。この光によって見ている人間に臨場感を与えることができる。尚、この環境でスクリーン23を見た場合には図3(B)と同様になる。
【0025】
第4実施形態では、凹凸面をつけた反射板62の変わりに可動式反射板50を用いる方法もある。可動式反射板50は本発明の第1実施形態で用いたものと同様の構造である。
【0026】
映像のジャンルは全く任意であるが、一般にいわゆるヒーリング用映像は人間に対して更なるリラックス効果を、爆発・炎上など刺激的なシーンの多いアクションやSF等の映像は人間に更なる興奮・高揚効果をそれぞれもたらすことが期待できる。
【0027】
海の中のヒーリング映像を見た場合を例とすると、スクリーン23には映像再生装置10より出力された海の中の映像が映っている。そしてスクリーン23の周辺部分では海の青色が映像の動きに同調した変化をしているため、観賞している人があたかも海の中にいるように感じ、高いヒーリング効果が得られると期待できる。
【0028】
爆発シーンのあるアクション映画を見た場合を例とすると、スクリーン23には映像再生装置10より出力されたアクション映画が映っていて、スクリーン23の周辺部分では映像の動きに同調した変化をしている。爆発シーンではスクリーン23に映った映像に同調して、スクリーン23の周辺部分も赤くなるため、観賞している人があたかも爆発を目の前にしているように感じ、高い高揚感が得られると期待できる。
【0029】
前記第1、第2、第3および第4実施形態では音楽再生用のスピーカ20を記載したが、該スピーカ20からも音声を出力させることによって、視覚だけでなく聴覚からでも映像に対する臨場感を与える効果が期待できる。
【0030】
音響も見ている映像に合わせて、より臨場感を感じさせる音響を別途出力するようにしておくことが望ましい。例えば森の映像の場合は、小鳥のさえずりなどである。
【0031】
第11図は第3実施形態における映像再生出力強度と照明光源強度との変換曲線49の一例である。映像再生出力強度と照明光源強度の関係は図8における照明制御装置42において映像再生出力強度を第11図に例を示したような任意の曲線により例えば照明光源48の強度を映像再生出力強度と任意の関係を持たせて変化させることができる。以上のような変換曲線49を得ることを映像再生出力強度と照明光源強度とが一義的な関係を有していると称する。
【0032】
【発明の効果】
本発明では、以上説明したように、例えば映像信号を用いて、見ている映像と同調した変動やゆらぎを画像投影装置から出力することを実現し、見ている映像の周辺部分にゆらぎ照明が当たることによって本来映像とは全く関係の無い壁や家具などの情報ではなく、映像と同調した情報(光)が視野周辺部から入ってくるため、あたかも自分が映像の中にいるような臨場感を得られるという利点がある。
【0033】
本実施の形態によれば、映像を見る際、従来にない高い臨場感を与える環境を簡単に実現できるという優れた効果が発揮される。
【図面の簡単な説明】
【図1】本発明の第1実施形態の概略図
【図2】(A)は第1実施形態の映像投影装置の簡略断面図
(B)は第1実施形態の映像投影装置の縦断斜視図
(C)は反射板の要部斜視図
【図3】(A)は映像投影装置を用いてスクリーンに投影している状態の簡略断面図
(B)は映像投影装置を用いてスクリーンに投影した場合の状態図
【図4】(A)は可動式反射板の構成図
(B)は可動式ミラーの側面図
(C)は可動式ミラーの構成図
(D)は可動式ミラーの側面分離図
【図5】ハーフミラーを用いた場合における第1実施形態の映像投影装置の簡略断面図
【図6】(A)は本発明の第2実施形態の概略図
(B)は第2実施形態のドーナツ状フィルタの一部切除した斜視図
(C)は第2実施形態のドーナツ状フィルタの断面図
【図7】(A)は本発明の別の第2実施形態の概略図
(B)は第2実施形態のゆらぎ照明発生装置の断面斜視図
【図8】(A)は本発明の第3実施形態の概略図
(B)は第3実施形態の映像投影装置の構成図
(C)は第3実施形態の照明制御装置のブロック図
【図9】本発明の第3実施形態のフローチャート
【図10】本発明の第4実施形態の概略図
【図11】本発明の第3実施形態における映像再生出力強度と照明光源強度との変換曲線のグラフ
【符号の説明】
B…映像投影装置
S…被照明空間
10,40…映像再生装置
12…主映像
13…ゆらぎ映像
30,60,61…主映像投影装置
50…可動式反射板
41…既存映像投影装置
48…照明光源

Claims (7)

  1. 映像再生装置から出力された映像信号に応じて映像を投影すると共に、該映像の周辺部に周辺部映像を投影できるようにしてなる画像投影装置であって、該映像投影装置より出射された映像情報を持った光の通路に設けられた絞りと、該絞りの内側に装着されたミラーと、該ミラーで反射された光を再び反射する凹凸を有する反射板とを備え、該反射板から反射した光が前記周辺部映像として投影されるようにしてなることを特徴とする画像投影装置。
  2. 映像再生装置から出力された映像信号に応じて映像を投影すると共に、該映像の周辺部に周辺部映像を投影できるようにしてなる画像投影装置であって、該映像投影装置より出射された映像情報を持った光の通路の一部分に設けられたハーフミラーと、該ハーフミラーで反射された光を再び反射する凹凸を有する反射板とを備え、該反射板から反射した光が前記周辺部映像として投影されるようにしてなることを特徴とする画像投影装置。
  3. 映像再生装置から出力された映像信号に応じて映像を投影すると共に、該映像の周辺部に周辺部映像を投影できるようにしてなる画像投影装置であって、該映像投影装置より出射された映像情報を持った光の通路の一部分に設けられたハーフミラーと、該光の通路の残りの部分に設けられたフィルタと、前記ハーフミラーで反射された光を再び反射する凹凸を有する反射板とを備え、該反射板から反射した光が前記周辺部映像として投影されるようにしてなることを特徴とする画像投影装置。
  4. 請求項3において、前記ハーフミラーの透過率と前記フィルタの透過率とを略等しくしたことを特徴とする画像投影装置。
  5. 請求項4おいて、前記ハーフミラーの透過率と前記フィルタの透過率を、それぞれ70%〜80%としたことを特徴とする画像投影装置。
  6. 請求項1,2,3,4又は5のいずれか1項において、前記反射板を可動式反射板に取替えてなり、該可動式反射板は、複数の可動式ミラーで構成されてなることを特徴とする画像投影装置。
  7. 請求項6において、前記複数の可動式ミラーは、それぞれが電磁石への通電制御にて適宜可動できるように構成されてなることを特徴とする画像投影装置。
JP2003081230A 2003-03-24 2003-03-24 画像投影装置 Expired - Fee Related JP4316269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003081230A JP4316269B2 (ja) 2003-03-24 2003-03-24 画像投影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003081230A JP4316269B2 (ja) 2003-03-24 2003-03-24 画像投影装置

Publications (2)

Publication Number Publication Date
JP2004287252A JP2004287252A (ja) 2004-10-14
JP4316269B2 true JP4316269B2 (ja) 2009-08-19

Family

ID=33294865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003081230A Expired - Fee Related JP4316269B2 (ja) 2003-03-24 2003-03-24 画像投影装置

Country Status (1)

Country Link
JP (1) JP4316269B2 (ja)

Also Published As

Publication number Publication date
JP2004287252A (ja) 2004-10-14

Similar Documents

Publication Publication Date Title
US6271808B1 (en) Stereo head mounted display using a single display device
US20080144175A1 (en) Display Device For Producing Quasi-Three-Dimensional Images
TWI407783B (zh) 頭戴式顯示器之周邊處理技術
US9536499B2 (en) Compositing screen
TWI504461B (zh) A display device that displays a border
US10409079B2 (en) Apparatus, system, and method for displaying an image using a plate
US20170068311A1 (en) System, apparatus, and method for selectively varying the immersion of a media experience
JP2006526168A (ja) 統合表示デバイスを備えたミラー組み立て品
WO2016009588A1 (ja) 画像表示装置
JP2022528035A (ja) 映画館のためのライトフィールドディスプレイシステム
TW201715883A (zh) 影像投影裝置、舞臺裝置以及影像投影方法
TW200419297A (en) 3-D image display unit
US20160266396A1 (en) Dual-sided pepper's ghost illusion
JP5427549B2 (ja) 映像表示システム、照明装置
KR101825300B1 (ko) 프로젝션 홀로그램 디스플레이 시스템
Broll et al. VR/AR output devices
US5313276A (en) Method for preparing three dimensional images and audiovisual system for displaying thereof
EP3146389A2 (en) Apparatus, system, and method for displaying an image using a plate
JP4316269B2 (ja) 画像投影装置
Novy Computational immersive displays
TWI320135B (ja)
JP2005315994A (ja) 講演装置
Rupkalvis Human considerations in stereoscopic displays
JP6287157B2 (ja) 照明装置および投射装置
JPH10153945A (ja) 投写レンズ及びこれを用いた画像表示装置及び該装置を備えた知覚統合化システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090520

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees