JP4069550B2 - 仮想環境体験表示装置 - Google Patents
仮想環境体験表示装置 Download PDFInfo
- Publication number
- JP4069550B2 JP4069550B2 JP20990699A JP20990699A JP4069550B2 JP 4069550 B2 JP4069550 B2 JP 4069550B2 JP 20990699 A JP20990699 A JP 20990699A JP 20990699 A JP20990699 A JP 20990699A JP 4069550 B2 JP4069550 B2 JP 4069550B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- experience
- display device
- distortion correction
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Image Generation (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Liquid Crystal (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の属する技術分野】
本発明は仮想環境を立体映像により体験できる仮想環境体験表示装置に関するものである。
【0002】
【従来の技術】
立体映像の作成方法としては、右目及び左目用の映像を対応するそれぞれの目にのみ表示すると立体感を得ることができるため、古くは赤青のセロファンめがねを利用したアナグリフ方式による立体映像表示例などがある。立体映像表示はテレビ画面上の表示でも実現できるが、映像の映る領域が少ないと著しく立体感を損なうため、映像表示スクリーンはより大きな方が効果的である。このため万博(筑波博覧会、大阪博覧会)などでは数百インチの巨大な平面スクリーンに立体映像を表示した。また、平面状のスクリーンでは周辺部ほど映像に無理が生じることから、半球状のスクリーンも登場した(IMAX社)。しかし、いずれも予めフィルムに撮影した映像を表示しており、仮想環境を体験するためのインタラクティブ性はない。
【0003】
インタラクティブ性を持った立体映像表示としては、リアルタイムにコンピュータで作成した映像をスクリーンに表示したものがあり、さらにそのスクリーンを複数組み合わせた例として、アーチ型スクリーン(3面)やCAVE(5面)などがある。アーチ型スクリーンは、円柱形状のスクリーンであり、水平方向の視野角としては180度以上の広視野角を実現することができるが、垂直方向にはスクリーンの上部になるほど投影手段からの距離が大きくなり、歪みや色むらなどの問題が生じることから、体験者の視野角の半分程度を覆うようにしている。さらに、映像の作成手段としては歪み補正機能が無く、平面形状への映像作成方法による映像投影を行っていたため、疑似平面スクリーンとみなされ、周辺部の映像の歪みが没入感や立体感を損ねていた。CAVEは立方体型の5面をスクリーンとして体験者を囲い込む表示手段であり、高い立体感と没入感を得られるが、形状が立方体のためスクリーンのつなぎ目において連続性を損なうという幾何形状に起因する欠点がある。CAVEはスクリーン間の表示を連続させるための表示補正機能を持つが、各スクリーン面の境界面で映像をスムーズにつなぐことが難しく、わずかに視点位置がずれただけで直線が境界面で折れ曲がって見える現象が現れる。
【0004】
【発明が解決しようとする課題】
体験者の視野を映像で覆い、高い解像度の立体映像の表示及びその正確なスケール表示を行うことにより、体験者はまるでその表示される世界に入り込んだような深い没入感を感じることができる。人の視野角は生理学的に最大で水平方向210度、垂直方向110度程度と報告されているため、この視野全体を映像で覆うことが理想であるが、平面形状のスクリーンでの実現は不可能である。そこでスクリーン面を曲げて体験者を囲むようにしなければならない。そのような理想の形状は球形である。
【0005】
リアルタイムかつインタラクティブな映像の作成はコンピュータによるが、コンピュータの映像は通常平面形状に作成される。この映像をそのまま球形のスクリーンに表示すると、図2(a)に示すように、歪んだ映像になる。このため球形のスクリーンに表示したときに歪みが無くなるように、図2(b)に示すように、予めコンピュータによる映像を歪ませる必要がある。これを歪み補正機能と呼ぶ。
【0006】
さらに1台の投影手段で表示を行うと、映像が拡大されるために映像の解像度及び輝度の両方が低下する。複数の投影手段を用いることで高い解像度及び輝度を保つことができるが、この場合、投影手段の数だけ分割された映像を作成し、さらに合成時の各映像の境界部分がスムーズにつながるような映像作成が必要である。
【0007】
本発明はこのような点に鑑みてなされたものであり、その目的とするところは、立体感や没入感を大きく改善できる仮想環境体験表示装置を実現することにある。
【0008】
【課題を解決するための手段】
請求項1の発明によれば、上記の課題を解決するために、図1に示すように、体験者に凹面を向けた球面状で広視野角のスクリーン1と、右目用、左目用の映像からつくられるインタラクティブな立体映像の各映像を平面上の映像として作成するグラフィックスコンピュータよりなる映像作成手段2と、該映像作成手段2により作成された平面上の各映像を前記スクリーン1に合わせた球面形状に貼り付けるマッピング処理とこの球面形状に貼り付けた各映像を再度平面上に投影する処理を行うことで前記スクリーン1上に表示されたときに歪みが無くなるように予め映像を歪ませるためのソフトウェアで実現した、体験者に没入感を与えるための歪み補正手段3と、歪み補正された各映像を前記スクリーン1へ投影するための投影手段4と、前記スクリーン1に投影された映像を体験者が立体的に視るための立体視めがね5と、から構成されることを特徴とするものである。
【0009】
ここで、投影手段4は複数とし、各投影手段4により前記スクリーンに分割して投影された複数の映像のつなぎ目がスムーズにつながるような歪み補正を行うことが好ましい(請求項2)。この場合において、複数の投影手段4は球面状スクリーン1の中心から略等距離に配置することが好ましい(請求項5)。
【0010】
スクリーン1の視野角は人間の視野角と同程度にすることが好ましい(請求項3)。また、立体視めがね5は体験者の左右の目をそれぞれ覆う液晶シャッターを備え、この液晶シャッターを映像作成手段2から遠隔制御するための信号を発信するエミッタ機器6を設けることが好ましい(請求項4)。
【0011】
また、広画角を実現できるプロジェクタは一般的に価格も高いことから、使用するプロジェクタが本発明の表示装置に必要とされる画角を実現できないものである場合、その光路上に凸面鏡を置いて画像を広画角化する(請求項6)。この場合、歪み補正が不可欠であり、歪み補正が無ければ極めて歪んだ画像が体験者に見えることになる。しかしながら、本発明の請求項1で記述したような歪み補正機能があれば、自然な画像を体験者に見せることが可能である。
【0012】
歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項7に記述したように、CCDカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせずに上記の目的を達成することが可能になる。
【0013】
【発明の実施の形態】
本発明の仮想環境体験表示装置の全体構成を図1に示す。図1において、スクリーン1は、図3及び図4に示すように、水平方向にも垂直方向にも曲率を有する球面状の広視野角スクリーンであり、6台のプロジェクタで構成される投影手段4により広視野角の映像を投影表示される。映像作成手段2は、グラフィックスコンピュータよりなり、インタラクティブな立体映像をリアルタイムに作成する。歪み補正手段3は、コンピュータ上の歪み補正機能を持つソフトウェアであり、映像作成手段2で作成された映像に対して、図2(b)のように映像に予め歪みを与える。また、単に球面に対しての補正だけでなく、6つの別々の画面から1つの全体映像が構成されるように、各映像のつなぎ目がスムーズにつながるような歪み補正機能を有する。各画面からの映像信号はそれぞれ6台のプロジェクタに渡され、球面状の広視野角スクリーン1に映像が表示される。
【0014】
映像作成手段2では、立体映像を表示するために、グラフィックスコンピュータを用いて左右の映像が別々に作成される。これを立体的に見るためには、従来の技術で述べたように、左右の映像をそれぞれの目に表示すればよい。そこで、コンピュータで作成される左右の映像を人が認識できないほどの高速で切り替えて表示する。そして切り替えるための立体映像用同期信号をコンピュータから赤外線で立体視めがね5に送り、立体視めがね5では映像に同期して高速に左右の液晶シャッタを切り替えて、右目の映像が映っているときには左目を隠し、左目の映像が映っているときには右目を隠すように動作させる。なお、コンピュータから立体視めがね5に液晶シャッターの制御信号を送るために、赤外線エミッタ機器6を体験者の近傍に複数個配置している。
【0015】
さらに、映像はリアルタイムに作成されるため、インタラクティブに動かすことができる。この動きの制御をマウスやキーボード、さらにはジョイスティックなどの操作手段7で操作する。これにより体験者は表示された仮想環境の中を自由に動きながら様々な視点から仮想環境を体験することができる。また、図4に示すように、スクリーン1は体験者Mに比べて巨大であり、投影手段4は体験者Mの視界を妨げないように、天井から支持部材8により吊下されているので、複数の体験者が同時に仮想環境を体験することができ、例えば都市開発や防災計画の企画・設計に利用することができる。
【0016】
歪み補正機能について、従来は魚眼レンズ等を用いた光学的な処理により実現した事例はあるが、本機能ではそれをソフトウェア上で実現している。その優位性について述べる。レンズで歪み補正機能を実現する場合、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならない。このため、表示系の大きさや形が変わった場合には対応できない。これに対してソフトウェアで歪み補正機能を実現すると、表示系に合わせたパラメータ設定だけで対応できる。また、1台の投影手段では、映像が体験者の視野を大きく覆うほど大きい場合、表示される映像の解像度と輝度がその表示面積に反比例して低下し、本来の目的である立体感や没入感を体験者に与えることができなくなるという問題点が生じる。ソフトウェアによる歪み補正機能を用いた場合には、複数の投影手段による表示をスムーズにつなげるための補正を行うことができ、実施例のように、6つの領域から映像を構成することが可能であるが、光学系による表示では各映像をスムーズにつなげることが不可能である。
【0017】
ソフトウェアで歪み補正機能を実現する原理は、図5に示す通りである。現状のコンピュータでは、映像はすべて平面上に作成される。そこで一旦映像を平面上に作成し、そのまま表示をせずに、スクリーンに合わせた球面形状に貼り付ける。これをマッピング処理と呼ぶ。さらにそれを平面上に投影する処理を行い、映像として表示する。つまり2度映像を作成する処理を行うことで歪み補正機能を実現する。
【0018】
図6と図7は請求項6の発明の一実施形態を示している。図6は装置を上から見た図であり、図7は装置を横から見た図である。スクリーン1については、それぞれ水平断面と垂直断面を示している。図のようにプロジェクタ4の光路上に凸面鏡9を置くことで球面状のスクリーン1に広視野角の画像を投影させることができる。図3および図4の例では、合計6台のプロジェクタ4を用いて広視野角の画像を実現しているのに対して、この例では、水平方向及び垂直方向の投影角度が広がったことにより、合計2台のプロジェクタ4で広視野角の画像を実現している。
【0019】
このように、凸面鏡9を用いて画像を広画角化した場合、それに伴う歪みの補正が不可欠であるが、図2で述べた歪み補正と同時に凸面鏡9により生じた歪みの補正も行えば、自然な画像を体験者に見せることが可能である。歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項7に記述したように、CCDカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせる必要は無くなる。その結果、得られた位置座標を、歪み補正を行う計算機に入力し、動的に補正を行うことにより、動きのある体験者に対しても、常に最適な状態の歪み補正を行うことができる。
【0020】
【発明の効果】
請求項1の発明によれば、球面に対応した歪み補正を施したインタラクティブな立体映像を作成し、球面状で広視野角のスクリーン上に投影して、体験者が立体視めがねにより視るようにしたから、非常に高い立体感と没入感が得られるという効果がある。
【0021】
請求項2の発明によれば、投影手段を複数にしたことにより、映像の解像度及び輝度を高めることができるという効果がある。また、複数の映像を合成するときのつなぎ目がスムーズにつながるような歪み補正をかけるようにしたので、視点が多少動いても立体感や没入感を損なうことがない。
【0022】
請求項3の発明によれば、スクリーンの視野角を人間の視野角と同程度にしたので、立体感や没入感を向上させることができる。
【0023】
請求項4の発明によれば、立体視めがねは液晶シャッターを備え、エミッタ機器により液晶シャッターを遠隔制御するようにしたので、スクリーンを視る体験者の視点を拘束しなくて済むという利点がある。
【0024】
請求項5の発明によれば、投影手段を球面状スクリーンの中心から略等距離に配置したので、複数の投影手段の映像表示能力を略同等にすることができ、複数の映像間の解像度や輝度のばらつきを抑えることができる。
【0025】
請求項6の発明によれば、複数の投影手段により投影された像を一旦凸面鏡で反射させることで球面状のスクリーンに広視野角の画像を投影するようにしたから、一般的に高価な広画角のプロジェクタを用いなくても広視野角の仮想環境体験装置を実現できるという効果がある。
【0026】
請求項7の発明によれば、体験装置の上方に体験者の位置検出用のカメラを配置し、このカメラにより撮影された画像により体験者の位置を検出し、検出された体験者の位置に対して、歪み補正のパラメータを動的に変更するようにしたので、動く体験者に対しても、常に最適な状態の歪み補正を実現できるという効果がある。
【図面の簡単な説明】
【図1】 本発明の装置の全体構成を示すブロック図である。
【図2】 従来の装置と本発明の装置による表示例を比較して示す説明図である。
【図3】 本発明の装置に用いるスクリーンと投影手段の配置を示す横断面図である。
【図4】 本発明の装置に用いるスクリーンと投影手段の配置を示す縦断面図である。
【図5】 本発明の装置に用いる歪み補正手段の原理を示す説明図である。
【図6】 請求項6の発明の一実施例の平面図である。
【図7】 請求項6の発明の一実施例の立面図である。
【符号の説明】
1 スクリーン
2 映像作成手段
3 歪み補正手段
4 投影手段
5 立体視めがね
Claims (7)
- 体験者に凹面を向けた球面状で広視野角のスクリーンと、
右目用、左目用の映像からつくられるインタラクティブな立体映像の各映像を平面上の映像として作成するグラフィックスコンピュータよりなる映像作成手段と、
該映像作成手段により作成された平面上の各映像を前記スクリーンに合わせた球面形状に貼り付けるマッピング処理とこの球面形状に貼り付けた各映像を再度平面上に投影する処理を行うことで前記スクリーン上に表示されたときに歪みが無くなるように予め映像を歪ませるためのソフトウェアで実現した、体験者に没入感を与えるための歪み補正手段と、
歪み補正された各映像を前記スクリーンへ投影するための投影手段と、
前記スクリーンに投影された映像を体験者が立体的に視るための立体視めがねと、
から構成されることを特徴とする仮想環境体験表示装置。 - 前記投影手段は複数とし、前記歪み補正手段は各投影手段により前記スクリーンに分割投影された複数の映像のつなぎ目がスムーズにつながるような歪み補正を行うことを特徴とする請求項1に記載の仮想環境体験表示装置。
- 前記スクリーンの視野角は人間の視野角と同程度にすることを特徴とする請求項1又は2に記載の仮想環境体験表示装置。
- 前記立体視めがねは体験者の左右の目を交互に覆うための一対の液晶シャッターを備え、前記映像作成手段は左右の目で見るべき映像を交互に高速度で切り替える手段を有し、前記液晶シャッターを前記映像作成手段の映像と同期して切り替えるための遠隔制御信号を発信するエミッタ機器を設けたことを特徴とする請求項1又は2又は3に記載の仮想環境体験表示装置。
- 複数の投影手段を球面状の前記スクリーンの中心から略等距離に配置することを特徴とする請求項2記載の仮想環境体験表示装置。
- 複数の投影手段から投影された像を一旦凸面鏡で反射させることで球面状の前記スクリーンに広視野角の画像を投影させることを特徴とする請求項1又は2又は3に記載の仮想環境体験表示装置。
- 体験装置の上方に体験者の位置検出用のカメラを配置し、このカメラにより撮影された画像により体験者の位置を検出し、検出された体験者の位置に対して、歪み補正のパラメータを動的に変更することにより、常に最適な補正を実行する機能を有することを特徴とする請求項1、2、3又は6のいずれかに記載の仮想環境体験表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20990699A JP4069550B2 (ja) | 1999-02-23 | 1999-07-23 | 仮想環境体験表示装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4422699 | 1999-02-23 | ||
JP11-44226 | 1999-02-23 | ||
JP20990699A JP4069550B2 (ja) | 1999-02-23 | 1999-07-23 | 仮想環境体験表示装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007136794A Division JP4052357B2 (ja) | 1999-02-23 | 2007-05-23 | 仮想環境体験表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000310826A JP2000310826A (ja) | 2000-11-07 |
JP4069550B2 true JP4069550B2 (ja) | 2008-04-02 |
Family
ID=26384072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20990699A Expired - Fee Related JP4069550B2 (ja) | 1999-02-23 | 1999-07-23 | 仮想環境体験表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4069550B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108369366A (zh) * | 2015-12-16 | 2018-08-03 | 索尼公司 | 图像显示装置 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007323093A (ja) * | 1999-02-23 | 2007-12-13 | Matsushita Electric Works Ltd | 仮想環境体験表示装置 |
JP2002131835A (ja) * | 2000-10-23 | 2002-05-09 | Takenaka Komuten Co Ltd | 曲面投影型表示装置 |
JP4592917B2 (ja) * | 2000-10-24 | 2010-12-08 | 株式会社バンダイナムコゲームス | 画像生成装置及びゲーム装置 |
JP2002360932A (ja) * | 2001-06-06 | 2002-12-17 | Namco Ltd | 遊戯装置 |
JP2002360927A (ja) * | 2001-06-06 | 2002-12-17 | Namco Ltd | 遊戯装置 |
JP4304997B2 (ja) * | 2003-02-06 | 2009-07-29 | 株式会社日立製作所 | マルチカメラ映像合成表示装置 |
WO2004086755A1 (en) | 2003-03-26 | 2004-10-07 | Matsushita Electric Works Ltd. | Method for creating brightness filter and virtual space creation system |
JP2005004201A (ja) * | 2003-06-10 | 2005-01-06 | Mitsubishi Electric Research Laboratories Inc | 画像を表示面上に投影する方法及びシステム |
JP2005277825A (ja) * | 2004-03-25 | 2005-10-06 | Hitachi Ltd | マルチカメラ映像表示装置 |
JP4547960B2 (ja) * | 2004-03-29 | 2010-09-22 | 株式会社日立製作所 | 映像表示システム及び映像生成方法 |
JP4622570B2 (ja) * | 2004-08-26 | 2011-02-02 | パナソニック電工株式会社 | 仮想現実感生成装置およびそれに用いられるプログラム |
JP2006352539A (ja) * | 2005-06-16 | 2006-12-28 | Sharp Corp | 広視野映像システム |
JP4013989B2 (ja) * | 2006-02-20 | 2007-11-28 | 松下電工株式会社 | 映像信号処理装置、仮想現実感生成システム |
GB2444301A (en) * | 2006-11-30 | 2008-06-04 | Qinetiq Ltd | Autostereoscopic projection display |
FR2919934B1 (fr) * | 2007-08-09 | 2010-09-17 | Univ Clermont Auvergne | Dispositif de projection panoramique, et procede mis en oeuvre dans ce dispositif |
JP2015219634A (ja) * | 2014-05-15 | 2015-12-07 | 株式会社リコー | 画像処理プログラム、画像処理方法および画像処理装置 |
KR102014973B1 (ko) * | 2018-04-04 | 2019-08-27 | 이재환 | 홀로그래픽 장치 |
-
1999
- 1999-07-23 JP JP20990699A patent/JP4069550B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108369366A (zh) * | 2015-12-16 | 2018-08-03 | 索尼公司 | 图像显示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2000310826A (ja) | 2000-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4069550B2 (ja) | 仮想環境体験表示装置 | |
JP4052357B2 (ja) | 仮想環境体験表示装置 | |
EP1296173B1 (en) | Multiple sharing type display device | |
JP3948489B2 (ja) | 輝度フィルターの作成方法、および仮想空間生成システム | |
US20050275915A1 (en) | Multi-plane horizontal perspective display | |
TWI637348B (zh) | 影像顯示裝置和影像顯示方法 | |
Tomioka et al. | Approximated user-perspective rendering in tablet-based augmented reality | |
US20100315414A1 (en) | Display of 3-dimensional objects | |
CN107659801B (zh) | 交叉布置多方向环幕全覆盖的投影方法、系统及投影仪 | |
JPH09238369A (ja) | 3次元像表示装置 | |
US20180329283A1 (en) | Projection method, projector and projection system of fully covering multi-directional circular-screen | |
JP3387487B2 (ja) | 没入感生成装置 | |
JP2007323093A (ja) | 仮想環境体験表示装置 | |
JP2007501950A (ja) | 3次元像表示装置 | |
CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
Borner et al. | A family of single-user autostereoscopic displays with head-tracking capabilities | |
JPH0713105A (ja) | 観察者追従型立体表示装置 | |
CN211427038U (zh) | 一种基于水雾屏幕的裸眼3d显示设备 | |
Grogorick et al. | Gaze and motion-aware real-time dome projection system | |
JP5656809B2 (ja) | 会話映像表示システム | |
JP2709772B2 (ja) | 観察者追従型表示装置 | |
Grogorick et al. | Icg real-time stereo dome projection system | |
Shimamura et al. | Construction and presentation of a virtual environment using panoramic stereo images of a real scene and computer graphics models | |
JPH09311383A (ja) | 映像表示システム | |
Hough et al. | Advanced occlusion handling for virtual studios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080107 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |