JP5023678B2 - 裸眼立体視システム - Google Patents

裸眼立体視システム Download PDF

Info

Publication number
JP5023678B2
JP5023678B2 JP2006325133A JP2006325133A JP5023678B2 JP 5023678 B2 JP5023678 B2 JP 5023678B2 JP 2006325133 A JP2006325133 A JP 2006325133A JP 2006325133 A JP2006325133 A JP 2006325133A JP 5023678 B2 JP5023678 B2 JP 5023678B2
Authority
JP
Japan
Prior art keywords
optical system
lens
projectors
microlens
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006325133A
Other languages
English (en)
Other versions
JP2008139524A (ja
Inventor
山崎眞見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006325133A priority Critical patent/JP5023678B2/ja
Publication of JP2008139524A publication Critical patent/JP2008139524A/ja
Application granted granted Critical
Publication of JP5023678B2 publication Critical patent/JP5023678B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、立体視を行うシステムに関する。
近年のディスプレイの高解像度化、マイクロレンズの製作技術の向上などを背景とし、インテグラル・フォトグラフィ方式(IP方式)を利用した裸眼立体視ディスプレイに関する市場動向がある。
ここで、マイクロレンズアレイの背面に位置するディスプレイの解像度を向上させるため、多数のプロジェクタの映像をディスプレイ上に高密度に投射して、マイクロレンズ一つあたりがカバーする2次元画像の画素数を向上させる技術がある(特許文献1参照)。
特開2003−279894号公報
特許文献1では、複数のプロジェクタが発する映像を、一旦ディスプレイに投影し、シームレスな映像を生成した後、マイクロレンズアレイに入射させている。この場合、ディスプレイに描かれている画像をマイクロレンズアレイにそのまま入射させる形態であるため、図18に示すように、ディスプレイ182から出てマイクロレンズアレイ183を通過する光線群の射出位置181の個数が、マイクロレンズの個数と一対一になる。より高精度の立体画像を作成するためには、マイクロレンズの個数に対して、射出位置の個数を複数とするのが望ましいが、ディスプレイを用いた特許文献1の方法では不可能である、という課題がある。
一対一であっても、一つのマイクロレンズを通過する光線数をより多くすれば、高精度の立体画像の作成は可能となる。しかし、そのためには、ディスプレイをより高密度にする必要があり、微小画素製造技術、コスト等の観点から、実用的ではない。又、多数のプロジェクタを用いてディスプレイに光線を投影するとしても、高解像度な画像を投影するためには、解像力の高い高価な投影レンズを用いなければならず、実用的ではない。
そこで、本発明の目的は、高密度なディスプレイや高価な投影レンズを用いなくても、高精度の立体画像を作成できるシステムを提供することにある。
上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。
本稿の裸眼立体視システムは、縦横に光を屈折させる第一の光学系と、凸レンズの効果を有する第二の光学系と、複数のプロジェクタを備え、第二の光学系は、第一の光学系、及び複数のプロジェクタの間に配置される。又、第一の光学系と第二の光学系は、平行に配置され、複数のプロジェクタは、第一及び第二の光学系と平行な線上に配置される。
本発明によれば、高密度なディスプレイや高価な投影レンズを用いなくても、マイクロレンズ一個に対して、複数の光線群の射出位置を実現することにより、高精度の立体画像を作成できるシステムを提供することができる。
図1は、裸眼立体視システムの構成図である。
本システムは、マイクロレンズアレイ1、フレネルレンズ2、及び複数のプロジェクタ3とからなる。マイクロレンズアレイ1は、フレネルレンズ2を挟んでプロジェクタ3とは反対側に配置され、フレネルレンズ2と平行に配置される。ここで、マイクロレンズは、複数のプロジェクタそれぞれの投影像を構成する複数の画素からの光線が入射するように、投影像の合焦点面での複数の画素を覆うことができる程度に十分な大きさの口径を持つものとする。
尚、本実施例では、マイクロレンズアレイを用いて説明するが、縦横に光を屈折させる光学系であれば、マイクロレンズに限定されない。例えば、レンチキュラレンズのシリンドリカルレンズの配置方向が直交するように、2枚のレンチキュラレンズを平行に重ねた光学系を用いてもよい(図17参照)。又、本実施例では、フレネルレンズを用いて説明するが、凸レンズと同様の効果を有する光学系であれば、フレネルレンズに限定されない。例えば、単一の凸レンズを用いてもよい。
図2は、プロジェクタ3の構成図である。
プロジェクタ3は、光源ランプ21、照明光学系22、空間光量変調素子23、及び、投影光学系24とからなる。プロジェクタ3は、光源ランプ21が射出する光線を照明光学系22に反射させて空間光量変調素子23上を照明する。投影光学系24は、照明された空間光量変調素子23の像を結像させる。投影光学系24は、空間光量変調素子23の面に平行な方向にシフトすることで、投影像を変形することなく、像面を平行に移動できるレンズシフト機構241を備える。
尚、プロジェクタとしては、透過型ではない反射型液晶素子や、マイクロミラーを多数配置したDMD素子を用いたプロジェクタでもよい。又、3原色の光源と色別の空間変調素子を用いる方法や、時分割により3原色の投影像を投影する方法等を用いたプロジェクタでもよい。
図3は、映像信号生成装置30の構成図である。
映像信号生成装置30は、CPU31、メモリ32、ネットワークアダプタ33、記憶装置34、及び、複数の映像信号を複数のプロジェクタ3の各々に供給するビデオI/F35からなり、これらはバス等の内部通信線36を介して接続される。
CPU31は、記憶装置34に格納された映像再生プログラム341をメモリ32に読み込み、実行する。映像再生プログラム341は、複数の映像情報ファイル342を読み込み、複数のプロジェクタ3の各々に適した映像信号を個別に同期して並列に送信するためのプログラムである。
尚、図3では、一つのビデオI/F35が複数のプロジェクタ3の各々に接続されている形態を示しているが、プロジェクタ一台に対して一台の映像信号生成装置を接続し、映像送信を連動制御する一台の計算機を、ネットワークを介して、複数の映像信号生成装置と接続し、当該計算機が複数の映像信号生成装置を管理する形態としてもよい。
図4は、裸眼立体視システムを真上から見た図である。
マイクロレンズアレイ1とフレネルレンズ2は互いに平行に配置されている。3台のプロジェクタ3−1、3―2、3―3は、フレネルレンズ2の面に対して平行な方向に並べて配置されている。プロジェクタ3−1〜3−3の投影光学系の中心は、同一平面上にあり、その面をLpと記す。フレネルレンズ2のレンズ中心を通るLpに平行な面をL2と記し、マイクロレンズアレイ1のレンズ中心を通るL2に平行な平面をL1と記す。マイクロレンズアレイ1の構成要素である各マイクロレンズの焦点距離をf1とし、フレネルレンズ2の焦点距離をf2とする。面L1と面L2の距離をHmとし、面L2と面Lpの距離をHpとする。このとき、Hp≒f2(以下、数式1)、及び、Hm≒f1(以下、数式2)となるようにする。
プロジェクタ3―2は、フレネルレンズ2及びマイクロレンズアレイ1の中心から左右対称に像を投影すると、中央の主光線401は、フレネルレンズ2のレンズ中心に垂直に入射しそのまま垂直に通過し、マイクロレンズアレイ1へ入射する。左端の主光線402、及び、右端の主光線403は、フレネルレンズ2に角度を持って入射するが、フレネルレンズ2の凸レンズ効果と、数式1の関係により、フレネルレンズ2の面で屈折し、マイクロレンズアレイ1に垂直に入射する。即ち、プロジェクタ3−2の投影像の各画素の主光線は、フレネルレンズ2のレンズ面に垂直な平行光線群として、マイクロレンズアレイ1へ導かれる。
プロジェクタ3―1に対しては、フレネルレンズ2のレンズ中心に、中央の主光線411が、主光線401に対して角度θで入射するように、レンズシフト機構241を用いて調整する。主光線411は、フレネルレンズ2のレンズ中心を通過するので、入射角度θと同じ角度θでフレネルレンズ2から出射し、マイクロレンズアレイ1へ入射する。左端の主光線412や、右端の主光線413は、フレネルレンズ2の凸レンズ効果と、数式1の関係により、フレネルレンズ2の面に対して、角度θでフレネルレンズ2から出射しマイクロレンズアレイ1へ入射する。即ち、プロジェクタ3―1の投影像の各画素の主光線は、フレネルレンズ2のレンズ面に角度θの平行光線群として、マイクロレンズアレイ1へ導かれる。
プロジェクタ3―3は、プロジェクタ3―1に対して、プロジェクタ3―2を狭んで反対側に配置され、投影像の各画素の主光線は、プロジェクタ3―1の光線とは左右対称に、フレネルレンズ2に対して、入射及び出射する。
図5は、一つのマイクロレンズへの、プロジェクタ3の投影像の主光線の入射及び出射の位置関係を示す図である。
(A)は、プロジェクタ3―2の投影像の主光線が、フレネルレンズ2の領域52からマイクロレンズアレイ1へ垂直に入射する様子を示す。面L1から距離f1離れた面L3上の、マイクロレンズの中心位置を通る垂直線との交点51を、領域52を通過してきた全ての平行光線が通るため、領域52の範囲へ投影されたプロジェクタ3―2の投影像は、光線方向範囲53の各方向へ振り向けられる。図7に示すような正方格子状にマイクロレンズを配置したマイクロレンズアレイの平面図上では、黒丸(光線群の射出位置)で示した各レンズの中心位置51から、光線方向範囲53と同じ角度の円錐状の範囲にわたる光線群がそれぞれ発生する。
(B)は、プロジェクタ3―1の投影像の主光線が、フレネルレンズ2の領域55からマイクロレンズアレイ1へ角度θで平行に入射する様子を示す。面L3上で、マイクロレンズを角度θで通過する直線との交点54を、領域55を角度θで通過してきた全ての平行光線が通るため、領域55の範囲へ投影されたプロジェクタ3―1の投影像は、光線方向範囲56の各方向へ振り向けられる。図8に示すような正方格子状にマイクロレンズを配置したマイクロレンズアレイの平面図上では、黒丸で示した各レンズの右端位置54から、光線方向範囲56と同じ角度の円錐状の範囲にわたる光線群がそれぞれ発生する。
(C)は、プロジェクタ3−3の投影像の主光線が、フレネルレンズ2の領域58からマイクロレンズアレイ2へ角度θで平行に入射する様子を示す。(B)と比較すると、左右対称であること以外は同様である。図9は、(C)に対応する。
図5は、プロジェクタ3の投影光学系24のレンズ中心を通過する主光線のみを描いているが、実際には、投影光学系24の全体から出てくる光線を光束として描くことで、より正確な光線の振舞いを知ることができる。
図6は、プロジェクタからの投影光線の光束を考慮した光線行路を示す図である。
面L2をプロジェクタの投影像の合焦点面として投影された光束61は、フレネルレンズ2を通過後は光束62として、広がりながらマイクロレンズ1へ入射し、数式2の関係によりマイクロレンズを通過した後は平行な光束63として出ていく。この平行な光束の幅Wは、フレネルレンズ2の面上で結像するための光束の収束角度φが大きいほど広くなり、プロジェクタの投影光学系24の口径が大きいほど、φも大きくなる。
図5(B)(C)のように、マイクロレンズアレイ1に斜めから入射する平行な主光線をもつ光束の場合も、上記と同様に、フレネルレンズ面で結像したプロジェクタの投影像の各光束がフレネルレンズ面から広がりながらマイクロレンズアレイ1へ入射し、数式2の関係により、主光線がそれぞれ54や57を通過するような、ある幅を持った平行な光束として出ていく。
図10は、プロジェクタ3台により生じた円錐状光線群の射出位置を合わせた図であり、図11は、プロジェクタ9台により生じた円錐状光線群の射出位置を合わせた図である。このように、本実施例では、一つのマイクロレンズに対して、複数の射出位置を生じさせることができる。図11の場合は、図10の場合に比べ、上下方向にも、光線の射出位置が2倍に増えることになる。又、再生立体像のマイクロレンズアレイ1に平行な面内方向の解像度は、図7の場合に比べ、上下左右合わせて4倍に増加する。
尚、プロジェクタの数は限定されない。プロジェクタを追加し、その投影中心が、フレネルレンズ2のレンズ中心を通過するようにレンズシフト量を調整し、投影像の結像面をフレネルレンズ2の面上とし、マイクロレンズ一個毎に、9台のプロジェクタからの投射光線の出射位置とは異なる出射位置から、追加プロジェクタの投影光線を円錐上に出射させれば、追加プロジェクタの投影光線を立体像再生のために有効な光線とすることができ、立体再生像の画質を向上させることができる。
図12は、光線群の断面図である。
光線群121、122、123は、それぞれ、プロジェクタ3−1、3−2、3−3からマイクロレンズアレイ1に入射する群である。これらの光線群は、マイクロレンズを通過後、マイクロレンズ幅の半分の間隔で並ぶ交点(120の点線で囲んだ中に位置する白丸)のいずれかを通って出ていく。この場合、光線群121のマイクロレンズ通過後の交差位置と、光線群123のマイクロレンズ通過後の交差位置とが一致するような配置となる。
図13は、図12とは別の、光線群の断面図である。
ここでは、3台のプロジェクタそれぞれからの投影光線がマイクロレンズ通過後の交差位置(130で示す点線で囲んだ中に位置する白丸)が、異なるプロジェクタからの光線交差位置が重複しないような、マイクロレンズアレイへの光線131、132、133となるような投影角度を持つように構成する。
図14は、図13の場合の、プロジェクタ3台により生じた円錐状光線群の射出位置を合わせた図であり、図15は、図13の場合の、プロジェクタ9台により生じた円錐状光線群の射出位置を合わせた図である。
ここでは、3台のプロジェクタからの寄与による円錐状光線群の射出位置の数は、プロジェクタ1台の円錐状光線群の射出位置の分布に対して、水平方向に3倍となり、9台のプロジェクタからの寄与による円錐状光線群の射出位置の数は、9倍となる。
図13の方法では、円錐状光線群の広がり方が、マイクロレンズアレイに垂直な方向に対称ではなくなり、正確な立体像を観察できる範囲が多少狭くなるが、ほぼ正面から立体像を観測する場合など、一つの視点位置から観測することに限定すれば、図12の方法よりも、映像画質を効率よく向上させることができる。
又、図13では、裸眼立体視ディスプレイを観賞する範囲を規定することで、最適な、プロジェクタの投影レンズ中心とフレネルレンズとの距離Hpを決めることができる。
図16は、裸眼立体視システムを真上から見た他の図である。
ディスプレイ面を観察する範囲が、その片方の端が1621で、もう一方の端が1622となる範囲1620の場合、マイクロレンズ1611から発する光線のうち観察されるのは、光線経路1601と1603で挟まれる範囲1631の光線のみである。この範囲外の光線は生成しても観測されない。同様に、マイクロレンズ1612から発する光線のうち観察されるのは、光線経路1602と1604で挟まれる範囲1632の光線のみである。このような光線範囲1631や1632に、プロジェクタ投影光線を無駄なく導くには、フレネルレンズ2から射出されマイクロレンズアレイ1へ入射する光線は平行光であるよりも、中心方向に向いて収束ぎみの光線としてマイクロレンズアレイ1へ入射させるのがよい。即ち、Hp>f2(数式3)となるように、f2よりも遠い位置にプロジェクタ3−2を設置するのがよい。
本実施例では、マイクロレンズの配置を正方格子状としたが、配置はこれに限らず、最密配置やデルタ配置でもよい。又、マイクロレンズを円形としたが、画面の縦横方向で、立体視する範囲が同じでないようにディスプレイを構成する場合には、マイクロレンズ径の縦横比は一対一である必要はなく、視野範囲の狭い方向のマイクロレンズ径の方が、それに直交する方向のマイクロレンズ径より小さくする方が、プロジェクタの投影像の画素情報を無駄なく利用でき、再生画像の2次元的画像解像度を向上させることができる。
本稿によれば、高密度なディスプレイや高価な投影レンズを用いなくても、マイクロレンズ一個に対して、複数の光線群の射出位置を実現することにより、従来よりも高精度な立体画像を生成することができる。
裸眼立体視システムの構成図。 プロジェクタの構成図。 映像信号生成装置の構成図。 裸眼立体視システムを真上から見た図。 マイクロレンズへの投影像の入射及び出射の位置関係を示す図。 マイクロレンズへの投影光線の光束を考慮した光線行路を示す図。 図5(A)に対応する、マイクロレンズアレイを示す図。 図5(B)に対応する、マイクロレンズアレイを示す図。 図5(C)に対応する、マイクロレンズアレイを示す図。 プロジェクタ3台により生じた円錐状光線群の射出位置を合わせた図。 光線群の断面図。 プロジェクタ9台により生じた円錐状光線群の射出位置を合わせた図。 光線群の他の断面図。 プロジェクタ3台により生じた円錐状光線群の射出位置を合わせた他の図。 プロジェクタ9台により生じた円錐状光線群の射出位置を合わせた他の図。 裸眼立体視システムを真上から見た他の図。 2枚のレンチキュラレンズを用いた裸眼立体視システムの構成図。 従来図。
符号の説明
1・・・マイクロレンズアレイ、2・・・フレネルレンズ、3・・・プロジェクタ

Claims (4)

  1. 縦横に光を屈折させるマイクロレンズアレイの第一の光学系と、
    凸レンズの効果を有する第二の光学系と、
    複数のプロジェクタを備え、
    前記第二の光学系は、前記第一の光学系、及び前記複数のプロジェクタの間に配置され、
    前記第一の光学系と前記第二の光学系は、平行に配置され、
    前記複数のプロジェクタの投影光学系のレンズ中心は、前記第一の光学系に平行な平面に位置するよう配置され、
    前記第二の光学系のレンズ中心を通るレンズに平行な平面から前記複数のプロジェクタの投影光学系のレンズ中心が位置する前記平面までの設置間隔が、前記第二の光学系の焦点距離より長く、
    前記第一の光学系の一つのマイクロレンズに対して複数の円錐状光線群の射出位置を形成するものであることを特徴とする、裸眼立体視システム。
  2. 2枚のレンチキュラレンズを、当該2枚のレンチキュラレンズのシリンドルカルレンズの配置を直交させて、平行に配置した、縦横に光を屈折させる第一の光学系と、
    凸レンズの効果を有する第二の光学系と、
    複数のプロジェクタを備え、
    前記第二の光学系は、前記第一の光学系、及び前記複数のプロジェクタの間に配置され、
    前記第一の光学系と前記第二の光学系は、平行に配置され、
    前記複数のプロジェクタの投影光学系のレンズ中心は、前記第一の光学系に平行な平面に位置するよう配置され、
    前記第二の光学系のレンズ中心を通るレンズに平行な平面から前記複数のプロジェクタの投影光学系のレンズ中心が位置する前記平面までの設置間隔が、前記第二の光学系の焦点距離より長く、
    前記第一の光学系の前記2枚のレンチキュラレンズのシリンドリカルレンズが構成する縦横に光を屈折させる一つの光学系に対して複数の円錐状光線群の射出位置を形成するものであることを特徴とする、裸眼立体視システム。
  3. 前記複数のプロジェクタを、それぞれ、前記第二の光学系への光線入射角度が互いに異 なるように配置する、請求項1又は2のいずれかに記載の裸眼立体視システム。
  4. 前記第二の光学系は、フレネルレンズである、請求項1又は2のいずれかに記載の裸眼立体視システム。
JP2006325133A 2006-12-01 2006-12-01 裸眼立体視システム Expired - Fee Related JP5023678B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006325133A JP5023678B2 (ja) 2006-12-01 2006-12-01 裸眼立体視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006325133A JP5023678B2 (ja) 2006-12-01 2006-12-01 裸眼立体視システム

Publications (2)

Publication Number Publication Date
JP2008139524A JP2008139524A (ja) 2008-06-19
JP5023678B2 true JP5023678B2 (ja) 2012-09-12

Family

ID=39601062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006325133A Expired - Fee Related JP5023678B2 (ja) 2006-12-01 2006-12-01 裸眼立体視システム

Country Status (1)

Country Link
JP (1) JP5023678B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017234B2 (ja) * 2008-11-07 2012-09-05 株式会社日立製作所 裸眼立体視システム
JP2010122424A (ja) * 2008-11-19 2010-06-03 Hitachi Ltd 裸眼立体視ディスプレイ
JP5478445B2 (ja) * 2010-09-22 2014-04-23 日立コンシューマエレクトロニクス株式会社 裸眼立体視ディスプレイ
JP2012208211A (ja) * 2011-03-29 2012-10-25 Hitachi Consumer Electronics Co Ltd 裸眼立体視ディスプレイ
CN105974504A (zh) * 2016-07-04 2016-09-28 陈其炜 丽点光栅在led 屏幕、液晶屏幕或背投屏幕的裸眼3d 显示装置
CN114967171A (zh) * 2022-05-13 2022-08-30 深圳臻像科技有限公司 一种基于柱透镜与投影装置的大尺寸三维显示系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174940A (ja) * 1999-12-20 2001-06-29 Hamamatsu Photonics Kk 立体像再生装置
JP2003307800A (ja) * 2002-04-16 2003-10-31 Noriji Ooishi 立体像を撮影、表示する装置

Also Published As

Publication number Publication date
JP2008139524A (ja) 2008-06-19

Similar Documents

Publication Publication Date Title
JP3035117B2 (ja) 光学装置
US8366281B2 (en) Out-of-plane motion of speckle reduction element
US8172404B2 (en) Projection with lenslet arrangement on speckle reduction element
US20120127570A1 (en) Auto-stereoscopic display
US8172403B2 (en) Projection with curved speckle reduction element surface
JP5023678B2 (ja) 裸眼立体視システム
US9116422B2 (en) Display apparatus for displaying multiple images of viewing angles
JP5004269B2 (ja) 三次元画像表示方法及び三次元画像表示装置
US9268147B2 (en) Autostereoscopic display device and autostereoscopic display method using the same
TWI498665B (zh) 時間多工多視角投影裝置
JP4706967B2 (ja) 三次元画像表示装置
CN113960868A (zh) 激光光源及激光投影设备
CN113376936A (zh) 光机模组和激光投影设备
JP2008107583A (ja) 3次元画像表示装置及びその表示方法
JP2007206655A (ja) 立体像表示装置
US20100296533A1 (en) Projection with slow relay and fast projection subsystems
JP2012141574A (ja) 偏光変換リレー光学系及びそれを備えた画像投影装置
JP2007271668A (ja) 立体映像表示装置
JP2006276319A (ja) 画像表示装置
JP6060729B2 (ja) 三次元投射装置
TWI442090B (zh) 用以顯示多重視角影像之顯示裝置
JP6323072B2 (ja) 照明装置およびプロジェクター
TWI584632B (zh) 立體顯示裝置與立體顯示方法
JP2008116733A (ja) 立体画像表示装置
US20100296063A1 (en) Projection with larger intermediate image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5023678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees