JP3949361B2 - Wide viewing angle 3D image display system with false image suppression - Google Patents

Wide viewing angle 3D image display system with false image suppression Download PDF

Info

Publication number
JP3949361B2
JP3949361B2 JP2000261223A JP2000261223A JP3949361B2 JP 3949361 B2 JP3949361 B2 JP 3949361B2 JP 2000261223 A JP2000261223 A JP 2000261223A JP 2000261223 A JP2000261223 A JP 2000261223A JP 3949361 B2 JP3949361 B2 JP 3949361B2
Authority
JP
Japan
Prior art keywords
dimensional image
light source
color filter
viewing angle
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000261223A
Other languages
Japanese (ja)
Other versions
JP2002072136A (en
Inventor
哲郎 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2000261223A priority Critical patent/JP3949361B2/en
Priority to PCT/JP2001/007409 priority patent/WO2002019012A1/en
Priority to EP01961156A priority patent/EP1329759A4/en
Priority to US10/362,362 priority patent/US6999110B2/en
Publication of JP2002072136A publication Critical patent/JP2002072136A/en
Application granted granted Critical
Publication of JP3949361B2 publication Critical patent/JP3949361B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、偽像を抑制した広視角3次元画像表示システムに関するものである。
【0002】
【従来の技術】
従来の立体像記録再生技術としては光のコヒーレンスを用いたホログラフィとコヒーレンスを用いず複数の画像を用いる方法がある。後者には右眼用、左眼用の平面像を記録し、再生時に、右眼用は右目に、左眼用は左目で見えるように工夫した2眼式ステレオスコープタイプと多視点からの画像を用いた多眼方式に大別できる。
【0003】
2眼式の代表例には偏光眼鏡を用いる立体映画やレンチギュラーを用いた立体テレビなどがあるが、これらは立体的に見えるが3次元像を再現していないので、見る位置を変えても映像は変わらず、裏側が見えてくると言うわけにはいかないので擬似的立体像再生と言える。
【0004】
多眼式のものは、ステレオスコープを単に多眼化した多眼パララックス方式と多眼で撮影した多眼像を撮影の逆過程で再投影して見るインテグラルホトグラフィが従来のものの代表例である。さらに、最近、本願発明者は、カラーフィルタに描かれた多視点像群を白色点光源アレイで投影することにより物体からの散乱光に相当する光線群を人為的に生成し、3次元像を創生する「光線再生法」を提案している(特開平10−239785号参照)。この方法によって既に簡単な物体ではほぼ満足できる3次元像生成に成功している。
【0005】
また、本願発明者は、その方法の問題点である表示システム近傍での像の生成が困難であるという点を改良したものとして、この近傍の画像情報に対しては3次元像の再生をあきらめ、さらに視差もなくして、すべて点光源アレイの面に集めて背景(あるいは前景)として再生する「背景付き立体像再生装置」を提案している(特願2000−43742号)。さらに、表示部近傍では光線再生ではなくパララックスを用いた立体画像として表現できるようにした「光線再生と影絵型多眼パララックスを兼用した3次元画像表示システム」を提案している。上記3つの光線再生を基本とする3次元画像表示システムは従来の多眼パララックス方式やインテグラルホトグラフィに比し、簡便でありかつ立体像再生可能域の深さや観測可能域の広さなどに優れた優秀な方式であるが、それでも、カラーフィルタの1セクションには対応する1つの白色点光源からの光線以外に隣接白色点光源からの光線の混入が生じやすく、これによる偽像が生じると言う問題点をもっている。白色点光源と対応するカラーフィルタの1セクション毎に、それぞれの仕切をつければ、偽像の発生は防げるが、これはかなり面倒で高価になり、また、3次元像の観測領域がこれで広がるわけでもない。
【0006】
広い視角にわたり偽像の出現無しに3次元立体像を観測できる簡便で経済的な方法の開発が待たれていた。
【0007】
【発明が解決しようとする課題】
そこで、従来の技術と関連させて、発明が解決しようとする課題について以下詳細に説明する。
【0008】
光線再生を基本とする立体画像表示全般に共通の問題であるので、ここでは、その代表として白色点光源アレイとその前面(観測者側)に配置したカラーフィルタにより、物体からの散乱光線に相当する光線を再現し、あたかもそこに3次元物体が存在するかのように、3次元像を再生する光線再生型3次元画像表示を代表例にとって説明する。
【0009】
図9に立体視の原理を示す。観測者101が立体像を見るとき、両眼に物体からの散乱光線が届くことが必要であるが、ホログラフィで用いている波面情報などはとくに必要ではない。
【0010】
図9では方位、距離の異なる2点P,Qを観測物体としている。観測者101へ向かってくる光線の方向で物体の方位がわかり、点物体を見通す両眼の視差角で距離が察知される。ここでは有限の線で表しているが、実際には光線は無数ある。このような光線が再生できれば、実際の2点P,Qがなくても、観測者101には2点が立体的に見えることになる。
【0011】
さて、このような光線を人為的に生成し、立体像を観測できるようにしたのが、光線再生法である。
【0012】
図10に光線再生法の基本構成を示す。無数の光線を再現することは不可能であるので、面状に分布した白色点光源アレイ102を通る光線だけを再現する方法をとっている。白色点光源アレイ102とこれに対向して置かれたカラー像フィルタ(以下、カラーフィルタという)103上で点光源一つ一つに対応して空間の1点のみ透過可能な点型カラーフィルタを配置すれば、この2点(点光源と透過点)を結ぶ直線方向に進むカラーのついた光線が再生できる。
【0013】
これらの光線が1点P′で集まり、また広がって進めば、あたかも点P′からの光線が来ているように観測者104には観測され、点P′が3次元的に見えるのである。
【0014】
図10に示したように、観測像は表示部(白色点光源アレイと空間カラーフィルタ)の前部(観測者側)にも後部(観測者と反対側)Q′にも形成できる。
【0015】
3次元物体は点の集合であり、像フィルタに点ではなく適当な多視角からの透過像が記録されておれば、この構成で3次元物体が再現される。これが光線再生方式の3次元画像表示の原理である。
【0016】
図11は偽像発生を説明する図であり、この図において、110は表示部、111は白色点光源アレイ、112は白色点光源、113はカラーフィルタ、114はカラーフィルタの1セクション、115は観測者、116は偽像が見えない3次元画像観測可能域を示している。ここでは、光線再生方式で正しい点像Qを再生している場合について考えている。ある白色点光源112からの光がその白色点光源112に対応するカラーフィルタ113のセクション114でなく隣接する別の点光源に対応するセクション114の透過点を通過して光線を生成することもある。この図では、これにより、偽像Q′,Q″等ができている状況を示している。この結果、観測者115が正面から少し横に回れば、この偽像が眼に入ってしまう。カラーフィルタ113の隣接セクション114に混入する光線が見えず、正しい3次元像のみが観測できる領域はかなり限定されていることが分かる。カラーフィルタ113と白色点光源アレイ111の間隔が離れている場合は同時に正しい像と偽像が同時に見えることもある。
【0017】
図12は各白色点光源ごとにそれに対応するカラーフィルタのセクション以外には光が行かないように遮蔽仕切りを用いた例である。この図において、120は表示部、121は白色点光源アレイ、122は白色点光源、123はカラーフィルタ、124はカラーフィルタの各セクション、125は仕切り、126は観測者、127は3次元画像が観測可能な領域、Pは正しい点像を示している。
【0018】
図12によれば、観測可能域は広がらないが偽像は発生しない。他にも指向性をもつ白色点光源を用いる方法もあるが、いずれも白色点光源数が多いことなどから面倒で経済性にも問題が生じる。
【0019】
また、白色点光源部とカラーフィルタを接近させる方法は簡便ではあるが、カラーフィルタの指向性や工作上の問題など難点も多い。
【0020】
本発明は、上記状況に鑑みて、広い視角で3次元像が観測可能で、かつ偽像を完全に抑制する偽像を抑制した広視角3次元画像表示システムを提供することを目的とする。
【0021】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
〔1〕偽像を抑制した広視角3次元画像表示システムにおいて、白色点光源アレイとカラーフィルタの間の全部あるいはその一部に屈折率が1より大きい透明媒体を挿入することにより、屈折により透明媒体の外では光線がより広がることを利用して、3次元画像の観測域を広げるとともに、この3次元画像表示のために光線再生法を用いて当該白色点光源からの光線を選択、色づけする働きをもつ前記カラーフィルタの当該セクションに隣接の白色点光源から混入し、有害な偽像のもとになる寝た角度の光線に対しては全反射させて外に出ないようし、偽像再生を抑制できるようにした、広い視角で3次元像が観測可能でかつ偽像を完全に抑制したことを特徴とする。
【0022】
〔2〕上記〔1〕記載の偽像を抑制した広視角3次元画像表示システムにおいて、前記カラーフィルタと観測者の間、あるいは前記白色点光源アレイと前記カラーフィルタの間の一方あるいは双方にレンズを挿入し、見え方やフィルタ設計に自由度を持たせることを特徴とする。
【0023】
〔3〕上記〔1〕又は〔2〕記載の偽像を抑制した広視角3次元画像表示システムにおいて、前記白色点光源アレイとして白色光源と散乱板及びピンホールアレイの組み合わせで代用することを特徴とする。
【0024】
〔4〕上記〔1〕、〔2〕又は〔3〕記載の偽像を抑制した広視角3次元画像表示システムにおいて、前記カラーフィルタを液晶パネルなどの動的制御が可能な空間変調パネルとして、再生3次元画像を動画化することを特徴とする。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
【0026】
図1は本発明の偽像を抑制した広視角3次元画像表示システムの基本構成を示す図である。
【0027】
この図において、1は表示部、2は白色点光源アレイ、3は屈折率が1より大きい透明媒体、4はカラーフィルタ(液晶でもよい)、5は観測者、6は再生3次元像、7は白色点光源アレイより放射している白色光、8は光線の屈接を示している。
【0028】
この図1に示すように、白色点光源アレイ2より出た光線7はカラーフィルタ4によりその一部は適当な強度と色づけをされ、3次元像を形成する光線に変換される。
【0029】
「光線再生型3次元画像表示装置」、「背景付き立体像再生装置」または「光線再生と影絵型多眼パララックスを兼用した3次元画像表示システム」などの方式により、表示部1近傍の像再生に関しては、カラーフィルタの機能は若干異なるが、いずれも基本的には光線再生法を使っていることに変わりはない。白色点光源アレイ2とカラーフィルタ4の間には屈折率が1より大きい透明媒体(透明板)3が挿入されている。カラーフィルタ4は非常に薄いのでここでの光路変化は無視すると、白色光源とカラーフィルタ4で生成された光線はカラーフィルタ4を通ると屈折され(正確には透明媒体3を出ると屈折され)、より寝た角度、つまり広角で外に出てくる。従って、当然、カラーフィルタ4のフィルタの空間パターンはこの屈折効果を考慮して描いている。光線が寝ることにより、後述するように3次元像の観測可能域は広がる。
【0030】
図2は本発明の偽像を抑制した広視角3次元画像表示システムの透明体が白色光源アレイとカラーフィルタの間隙の全部を埋めず一部を占める場合の構成例を示す図である。この図において、11は白色点光源アレイ、12は屈折率が1より大きい透明媒体、13はカラーフィルタ、14は観測者、15は再生3次元像である。
【0031】
図3は本発明の偽像を抑制した広視角3次元画像表示システムの白色点光源アレイを白色光源と散乱板およびピンホールアレイを用いて代用した構成例を示す図である。この図において、21は白色光源、22は散乱体、23は白色光源と散乱体からなるバックライト、24はピンホールアレイ、25は白色点光源アレイに相当する部分、26は屈折率が1より大きい透明媒体、27はカラーフィルタ、28は観測者、29は再生3次元像である。
【0032】
また、図4はレンズを用いた構成例であり、この図において、31は白色点光源アレイ、32は屈折率が1より大きい透明媒体、33はカラーフィルタ、34はレンズ、35は観測者、36は再生3次元像である。
【0033】
これにより、再生3次元像36の奥行きや大きさ、広がり角などを調整でき立体像の生成に多様性を与えることができる。
【0034】
さらに、図5は本発明を従来の多眼パララックスに適用した構成例を示す図である。この図において、40は多視角像表示部、41はバックライト、42は屈折率が1より大きい透明媒体、43はマイクロレンズアレイあるいはピンホールアレイあるいはスリットアレイ、44は観測者、45は再生3次元像である。
【0035】
(実施例の具体的作用と実施例に基づく特有の効果)
屈折率n(>1)の透明媒体(板)が間隙を全部埋めている場合を例に図6に従って説明する。この図6において、51は白色点光源アレイ、52は白色点光源、53は透明媒体(屈折率n,厚さd)、54はカラーフィルタ、55はカラーフィルタの各セクション、56は隣接のカラーフィルタセクション55に混入しない光線の範囲(n>1の透明媒体無しの場合)、57は隣接のカラーフィルタセクションに混入しない光線の範囲(n>1の透明媒体ありの場合)を示している。
【0036】
そこで、白色点光源52のピッチをW、カラーフィルタ54と白色点光源アレイ51の間隔をdとする。ある白色点光源52から対応するカラーフィルタセクション55と隣接のカラーフィルタセクション55の境界の方向に進む光線を考える。隣接のセクションを通るときは偽像をつくるので、これが偽像を作らない限界まで傾いた光線になっている。この光線の角度θi は図より、
θi =Tan-1(W/2d) …(1)
この光線が空中に出てθ0 の角度に屈折して進むとすると、スネルの法則から
sinθ0 =nsinθi …(2)
n>1であるのでθ0 >θi となって、光線は透明媒体53を挿入したことにより、より傾いて寝ることになる。このことは隣接のカラーフィルタを通ることなくより広角に光線を生成できることを意味する。さらに、
θi 〔=Tan-1(W/2d)〕≧Sin-1(1/n) …(3)
に設定すれば、隣接のカラーフィルタセクションに進入した光線は全反射して外に出られず、偽像は完全に抑制できる。この場合、隣接のカラーフィルタを通ることなく、θ0 ≒90°程度までの広角の光線の生成が可能となる。
【0037】
図7は広角の光線再生が可能になれば、広い範囲で立体像が観測できる、つまり広視角化できることを説明する図である。この図において、61は白色点光源アレイ、62は白色点光源、63は透明媒体(屈折率n,厚さd)、64はカラーフィルタ、65はカラーフィルタの各セクション、66は観測者、67は透明媒体の屈折率が1のときあるいは空気のときの立体視できる範囲、68は透明媒体の屈折率が1より大きいときの広がった立体視できる範囲、Pは再生点像である。
【0038】
再生像は簡単のため点像Pとしている。屈折率が1より大きい透明媒体63を挿入しないときは、Pが立体視できるのは2本の2点鎖線の内側だけ、つまり立体視できる範囲67である。一方、屈折率が1より大きい透明媒体を挿入したときは、より側面からでも立体視できているのが分かる。カラーフィルタ64等がもっと大きければ、図7よりさらに立体視可能域は広がり、ほぼ水平線近くからも立体視が可能になると予想される。
【0039】
次に、図8を用いて偽像抑制の仕組みを説明する。図8において、71は白色点光源アレイ、72は白色点光源、73は透明媒体、74はカラーフィルタ、75はカラーフィルタの各セクション、76は観測者A、77は観測者B、Pは再生点像、P′は透明媒体がn=1(あるいは透明媒体なし)のときの偽像、実線は透明媒体(n>1)有りの場合の光線、二点鎖線は透明媒体(n>1)なしの場合の光線、光線78は境界面で全反射し、外にでないので偽像は生じない(光線79の生成は望ましくない)。
【0040】
ここでは、点像Pを再生している場合を想定している。n>1の透明媒体がない場合は再生用光線(2点鎖線)はほぼ正面方向に向くものだけである。また、白色点光源から隣接のカラーフィルタセクションに混入し、P点を再生する部分を通過した光線により、偽像P′が生成されている。さらに、右端の光源からPを結ぶと、隣接のカラーフィルタセクションを通過するので、正常な使い方ではこのような光線は使えない。つまり、偽像がなく、正常に立体像が観測できのは正面方向付近(図では観測者Aの位置付近)のみで、正面から少し外れた側面方向(図では例えば観測者Bの位置)から観測すると、正しい再生像が見えずに偽像が見えてしまうことになる。
【0041】
一方、n>1の透明媒体を挿入した場合は、この図では、P点は全ての白色光源から正常に生成された光線(実線)によって再現されており、広い視角がとれる。また、光線78あるいは光線79のように、隣接のカラーフィルタセクションに混入した光は上記(3)式を満足する場合は全て全反射し、光線としては全く外に出ないため、偽像が再生されることはない。たとえ上記(3)式が満足されていない場合でも、偽像が現れるのは正面から90°近くに振ったほぼ側面から見る場合に限られ、実用上問題がなくなる。
【0042】
本発明は、映像技術、放送技術、芸術産業、マルチメディア産業、広告、写真の分野に適用することができる。
【0043】
製品としては、3次元ディスプレイ、立体看板、立体劇場システムなどが挙げられ、特に、広告媒体や学童用ディスプレイに活用できる。
【0044】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【0045】
【発明の効果】
以上、詳細に説明したように、本発明によれば、広い視角で3次元像が観測可能であり、かつ偽像を完全に抑制することができる。
【0046】
より具体的には、白色点光源アレイとカラーフィルタの間に屈折率が1より大なる透明媒体を挿入することにより、3次元画像標示のために点光源からの光線を選択し色付けする働きをもつカラーフィルタに隣接する他の点光源から混入し、有害な偽像を発生させる光線に対しては、全反射を利用して光線が外に出ないようにする。また、屈折により透明媒体から出る光線がより広がることを利用して、フィルタ近傍でのパララックスを利用した画像再生に利用光線を増大させる効果がある。広い視野角を持ち、かつ完全に偽像を抑制した光線再生型3次元再生装置を得ることができた。
【0047】
また、0.5mmから5mmの厚さの透明媒体としてのガラスやプラスチック板を光源アレイとフィルタの間に入れることにより、180度に近い視野角を達成している。
【図面の簡単な説明】
【図1】 本発明の偽像を抑制した広視角3次元画像表示システムの基本構成を示す図である。
【図2】 本発明の構成例2を示す図である。
【図3】 本発明の構成例3を示す図である。
【図4】 本発明の構成例4を示す図である。
【図5】 本発明を従来の多眼パララックスに適用した構成例を示す図である。
【図6】 本発明にかかる屈折率が1より大きい透明媒体の挿入による生成光線の広角化の説明図である。
【図7】 本発明にかかる観測域の広視角化の説明図である。
【図8】 本発明にかかる全反射による偽像の抑制を説明した図である。
【図9】 立体視の原理図である。
【図10】 光線再生3次元画像表示の基本構成と動作原理(点像再生の場合)を示す図である。
【図11】 光線再生法における偽像発生と3次元画像観測域を示す図である。
【図12】 仕切りを用いて偽像発生を抑えた光線再生方式3次元画像表示の説明図である。
【符号の説明】
1 表示部
2,11,31,51,61,71 白色点光源アレイ
3,12,26,32,42,73 屈折率が1より大きい透明媒体
4,13,27,33,54,64,74 カラーフィルタ
5,14,28,35,44,66 観測者
6,15,29,36,45 再生3次元像
7 白色点光源アレイより放射している白色光
8 光線の屈接
21 白色光源
22 散乱体
23 白色光源と散乱体からなるバックライト
24 ピンホールアレイ
25 白色点光源アレイに相当する部分
34 レンズ
40 多視角像表示部
41 バックライト
43 マイクロレンズアレイあるいはピンホールアレイあるいはスリットアレイ
52,62,72 白色点光源
53,63 透明媒体
55,65,75 カラーフィルタの各セクション
56 隣接のカラーフィルタセクションに混入しない光線の範囲(n>1の透明媒体無しの場合)
57 隣接のカラーフィルタセクションに混入しない光線の範囲(n>1の透明媒体ありの場合)
67 透明媒体の屈折率が1のときあるいは空気のときの立体視できる範囲
68 透明媒体の屈折率が1より大きいときの広がった立体視できる範囲
76 観測者A
77 観測者B
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a wide viewing angle three-dimensional image display system that suppresses false images.
[0002]
[Prior art]
Conventional stereoscopic image recording / reproducing techniques include holography using optical coherence and a method using a plurality of images without using coherence. In the latter, right-eye and left-eye planar images are recorded, and during playback, the binocular stereoscope type has been devised so that the right-eye can be seen with the right eye and the left-eye with the left eye. Can be broadly divided into multi-view systems using
[0003]
Representative examples of the binocular type include stereoscopic movies using polarized glasses and stereoscopic televisions using lenticulars, but these look stereoscopic but do not reproduce a three-dimensional image, so even if you change the viewing position Since the video does not change and the back side cannot be seen, it can be said to be a pseudo-stereoscopic image reproduction.
[0004]
The multi-view type is a typical example of a conventional multi-view parallax system with a multi-view stereoscope, and integral photography that re-projects multi-view images taken with multiple eyes in the reverse process of shooting. is there. Furthermore, recently, the present inventor artificially generates a group of rays corresponding to scattered light from an object by projecting a multi-viewpoint image group drawn on a color filter with a white point light source array, and generates a three-dimensional image. A “light reproduction method” to be created has been proposed (see Japanese Patent Laid-Open No. 10-239785). This method has already succeeded in generating a three-dimensional image that is almost satisfactory with a simple object.
[0005]
In addition, the present inventor has improved the point that it is difficult to generate an image in the vicinity of the display system, which is a problem of the method, and gives up reproduction of a three-dimensional image for the image information in the vicinity. Furthermore, a “stereoscopic image reproducing apparatus with a background” has been proposed (Japanese Patent Application No. 2000-43742) that collects all on the surface of the point light source array and reproduces it as a background (or foreground) without parallax. Furthermore, a “three-dimensional image display system combining light beam reproduction and shadow-type multi-eye parallax” has been proposed that can be expressed as a stereoscopic image using parallax instead of light beam reproduction near the display unit. The three-dimensional image display system based on the above three ray reproduction is simpler than the conventional multi-view parallax method and integral photolithography, and has a depth of three-dimensional image reproduction range and a wide observation range. Even though it is an excellent and excellent method, it is still easy to mix light rays from adjacent white point light sources other than light rays from one corresponding white point light source in one section of the color filter. It has a problem to say. If each section of the color filter corresponding to the white point light source is attached to each section, the generation of false images can be prevented, but this is considerably troublesome and expensive, and this widens the observation area of the three-dimensional image. That's not true.
[0006]
Development of a simple and economical method capable of observing a three-dimensional stereoscopic image without the appearance of a false image over a wide viewing angle has been awaited.
[0007]
[Problems to be solved by the invention]
Therefore, the problems to be solved by the present invention will be described in detail below in relation to the prior art.
[0008]
This is a problem common to all 3D image displays based on light beam reproduction, and here, as a representative example, a white point light source array and a color filter placed in front of it (observer side) correspond to scattered light from an object. A representative example is a ray reproduction type three-dimensional image display that reproduces a ray to be reproduced and reproduces a three-dimensional image as if a three-dimensional object exists there.
[0009]
FIG. 9 shows the principle of stereoscopic vision. When the observer 101 views a stereoscopic image, it is necessary that scattered light from an object reaches both eyes, but wavefront information used in holography is not particularly necessary.
[0010]
In FIG. 9, two points P and Q having different azimuths and distances are used as observation objects. The azimuth of the object is known from the direction of the light rays coming toward the observer 101, and the distance is sensed by the binocular parallax angle looking through the point object. Here, it is represented by a finite line, but there are actually innumerable rays. If such a light beam can be reproduced, two points can be seen stereoscopically to the observer 101 even if there are no actual two points P and Q.
[0011]
Now, it is the light beam reproduction method that artificially generates such a light beam so that a stereoscopic image can be observed.
[0012]
FIG. 10 shows the basic configuration of the light beam reproduction method. Since it is impossible to reproduce an infinite number of rays, a method of reproducing only rays passing through the white point light source array 102 distributed in a planar shape is employed. A point-type color filter capable of transmitting only one point in space corresponding to each point light source on a white point light source array 102 and a color image filter (hereinafter referred to as a color filter) 103 placed opposite thereto. If arranged, it is possible to reproduce a colored light beam traveling in a straight line connecting these two points (a point light source and a transmission point).
[0013]
If these rays gather at one point P ′ and spread further, they are observed by the observer 104 as if the rays from the point P ′ are coming, and the point P ′ is seen three-dimensionally.
[0014]
As shown in FIG. 10, the observation image can be formed on the front part (observer side) and the rear part (opposite side of the observer) Q ′ of the display part (white point light source array and spatial color filter).
[0015]
A three-dimensional object is a set of points. If a transmission image from an appropriate multi-viewing angle is recorded in the image filter instead of a point, the three-dimensional object is reproduced with this configuration. This is the principle of the three-dimensional image display of the light beam reproduction method.
[0016]
FIG. 11 is a diagram for explaining generation of false images. In this figure, 110 is a display unit, 111 is a white point light source array, 112 is a white point light source, 113 is a color filter, 114 is a section of the color filter, and 115 is An observer 116 indicates a three-dimensional image observable area where no false image can be seen. Here, the case where the correct point image Q is reproduced by the light beam reproduction method is considered. Light from a white point light source 112 may pass through a transmission point of a section 114 corresponding to another adjacent point light source instead of the section 114 of the color filter 113 corresponding to the white point light source 112 to generate a light beam. . This figure shows a situation in which false images Q ′, Q ″, etc. are formed. As a result, if the observer 115 turns slightly from the front, the false image enters the eye. It can be seen that the region in which only the correct three-dimensional image can be observed without seeing the light beam mixed into the adjacent section 114 of the color filter 113 is quite limited. At the same time, the correct image and the false image may be visible at the same time.
[0017]
FIG. 12 shows an example in which a shielding partition is used for each white point light source so that light does not go to the sections other than the corresponding color filter section. In this figure, 120 is a display unit, 121 is a white point light source array, 122 is a white point light source, 123 is a color filter, 124 is a section of the color filter, 125 is a partition, 126 is an observer, and 127 is a three-dimensional image. An observable region, P, shows a correct point image.
[0018]
According to FIG. 12, the observable area does not widen, but no false image is generated. There are other methods that use a white point light source with directivity, but all of them involve a large number of white point light sources, which is cumbersome and causes problems in terms of economy.
[0019]
Further, although the method of bringing the white point light source unit and the color filter closer is simple, there are many problems such as directivity of the color filter and work problems.
[0020]
In view of the above situation, an object of the present invention is to provide a wide viewing angle three-dimensional image display system in which a three-dimensional image can be observed with a wide viewing angle and a false image that completely suppresses a false image is suppressed.
[0021]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides
[1] In a wide viewing angle three-dimensional image display system in which false images are suppressed, a transparent medium having a refractive index greater than 1 is inserted between all or part of the white point light source array and the color filter so that it is transparent by refraction. The outside of the medium is used to expand the observation area of the three-dimensional image by utilizing the fact that the light beam is further spread, and the light from the white point light source is selected and colored using the light ray reproduction method for displaying the three-dimensional image. This section of the color filter that has a function is mixed from the white point light source adjacent to it, and the light of the sleeping angle that causes the harmful false image is totally reflected so as not to go outside, and the false image It is characterized in that a three-dimensional image can be observed with a wide viewing angle and the false image is completely suppressed so that reproduction can be suppressed.
[0022]
[2] A wide viewing angle three-dimensional image display system in which the false image described in [1] is suppressed, wherein a lens is provided between the color filter and an observer, or one or both of the white point light source array and the color filter. It is characterized by having a degree of freedom in view and filter design.
[0023]
[3] In the wide viewing angle three-dimensional image display system in which the false image described in [1] or [2] is suppressed, a combination of a white light source, a scattering plate, and a pinhole array is used as the white point light source array. And
[0024]
[4] In the wide viewing angle three-dimensional image display system in which the false image described in [1], [2] or [3] is suppressed, the color filter is a spatial modulation panel capable of dynamic control such as a liquid crystal panel. The reproduced three-dimensional image is converted into a moving image.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail.
[0026]
FIG. 1 is a diagram showing a basic configuration of a wide viewing angle three-dimensional image display system that suppresses false images according to the present invention.
[0027]
In this figure, 1 is a display unit, 2 is a white point light source array, 3 is a transparent medium having a refractive index greater than 1, 4 is a color filter (may be liquid crystal), 5 is an observer, 6 is a reproduced three-dimensional image, 7 Indicates white light emitted from the white point light source array, and 8 indicates the bending of the light beam.
[0028]
As shown in FIG. 1, a part of a light beam 7 emitted from the white point light source array 2 is colored and appropriately colored by a color filter 4 and converted into a light beam forming a three-dimensional image.
[0029]
An image in the vicinity of the display unit 1 by a method such as “light ray reproduction type three-dimensional image display device”, “background three-dimensional image reproduction device” or “light ray reproduction and shadow-type multi-eye parallax”. Regarding the reproduction, the functions of the color filter are slightly different, but basically all use the ray reproduction method. A transparent medium (transparent plate) 3 having a refractive index greater than 1 is inserted between the white point light source array 2 and the color filter 4. Since the color filter 4 is very thin, ignoring the change in the optical path here, the light generated by the white light source and the color filter 4 is refracted when passing through the color filter 4 (exactly refracted when leaving the transparent medium 3). , Come out at a more sleeping angle, that is, wide angle. Therefore, naturally, the spatial pattern of the filter of the color filter 4 is drawn in consideration of this refraction effect. The sleeping area of the light beam expands the observable area of the three-dimensional image as will be described later.
[0030]
FIG. 2 is a diagram showing a configuration example in the case where the transparent body of the wide viewing angle three-dimensional image display system suppressing false images according to the present invention occupies a part of the gap between the white light source array and the color filter. In this figure, 11 is a white point light source array, 12 is a transparent medium having a refractive index greater than 1, 13 is a color filter, 14 is an observer, and 15 is a reproduced three-dimensional image.
[0031]
FIG. 3 is a diagram showing a configuration example in which the white point light source array of the wide viewing angle three-dimensional image display system suppressing false images according to the present invention is replaced with a white light source, a scattering plate, and a pinhole array. In this figure, 21 is a white light source, 22 is a scatterer, 23 is a backlight comprising a white light source and a scatterer, 24 is a pinhole array, 25 is a portion corresponding to a white point light source array, and 26 is a refractive index of 1 A large transparent medium, 27 is a color filter, 28 is an observer, and 29 is a reproduced three-dimensional image.
[0032]
4 is a configuration example using a lens. In this figure, 31 is a white point light source array, 32 is a transparent medium having a refractive index greater than 1, 33 is a color filter, 34 is a lens, 35 is an observer, Reference numeral 36 denotes a reproduced three-dimensional image.
[0033]
Accordingly, the depth, size, spread angle, etc. of the reproduced three-dimensional image 36 can be adjusted, and diversity can be given to the generation of a stereoscopic image.
[0034]
FIG. 5 is a diagram showing a configuration example in which the present invention is applied to a conventional multi-view parallax. In this figure, 40 is a multi-view angle image display unit, 41 is a backlight, 42 is a transparent medium having a refractive index greater than 1, 43 is a microlens array or pinhole array or slit array, 44 is an observer, 45 is a reproduction 3 It is a dimensional image.
[0035]
(Specific actions of the embodiment and unique effects based on the embodiment)
An example in which a transparent medium (plate) having a refractive index n (> 1) fills all gaps will be described with reference to FIG. In FIG. 6, 51 is a white point light source array, 52 is a white point light source, 53 is a transparent medium (refractive index n, thickness d), 54 is a color filter, 55 is a section of the color filter, and 56 is an adjacent color. A range of light rays not mixed into the filter section 55 (when no transparent medium of n> 1) is provided, and 57 indicates a range of light rays not mixed into the adjacent color filter section (when a transparent medium of n> 1 is present).
[0036]
Therefore, the pitch of the white point light source 52 is W, and the interval between the color filter 54 and the white point light source array 51 is d. Consider a ray traveling from a white point light source 52 in the direction of the boundary between the corresponding color filter section 55 and the adjacent color filter section 55. When passing through an adjacent section, a false image is created, and this is a light beam that is tilted to the limit of not creating a false image. The angle θ i of this ray is
θ i = Tan −1 (W / 2d) (1)
If this ray goes out into the air and is refracted at an angle of θ 0 , sin θ 0 = n sin θ i (2) from Snell's law.
Since n> 1, θ 0 > θ i is satisfied, and the light ray is more inclined when the transparent medium 53 is inserted. This means that a light beam can be generated at a wider angle without passing through an adjacent color filter. further,
θ i [= Tan −1 (W / 2d)] ≧ Sin −1 (1 / n) (3)
If it is set to, the light rays that have entered the adjacent color filter section are totally reflected and do not go out, and the false image can be completely suppressed. In this case, it is possible to generate wide-angle rays up to about θ 0 ≈90 ° without passing through adjacent color filters.
[0037]
FIG. 7 is a diagram for explaining that if a wide-angle light beam reproduction is possible, a stereoscopic image can be observed over a wide range, that is, a wide viewing angle can be obtained. In this figure, 61 is a white point light source array, 62 is a white point light source, 63 is a transparent medium (refractive index n, thickness d), 64 is a color filter, 65 is a section of the color filter, 66 is an observer, 67 Is a stereoscopic view range when the refractive index of the transparent medium is 1 or air, 68 is a wide stereoscopic view range when the refractive index of the transparent medium is greater than 1, and P is a reproduction point image.
[0038]
The reproduced image is a point image P for simplicity. When the transparent medium 63 having a refractive index greater than 1 is not inserted, P can be viewed stereoscopically only within the two two-dot chain lines, that is, the range 67 that can be viewed stereoscopically. On the other hand, when a transparent medium having a refractive index greater than 1 is inserted, it can be seen that stereoscopic viewing is possible even from the side. If the color filter 64 and the like are larger, it is expected that the stereoscopic view possible area will be further widened than in FIG. 7, and stereoscopic view will be possible from almost the horizontal line.
[0039]
Next, the mechanism of false image suppression will be described with reference to FIG. In FIG. 8, 71 is a white point light source array, 72 is a white point light source, 73 is a transparent medium, 74 is a color filter, 75 is a section of the color filter, 76 is an observer A, 77 is an observer B, and P is a reproduction. A dot image, P ′ is a false image when the transparent medium is n = 1 (or no transparent medium), a solid line is a light beam with a transparent medium (n> 1), and a two-dot chain line is a transparent medium (n> 1) In the case of none, the light beam 78 is totally reflected at the boundary surface, and since it is not outside, no false image is generated (the generation of the light beam 79 is not desirable).
[0040]
Here, it is assumed that the point image P is being reproduced. When there is no transparent medium of n> 1, the reproduction light beam (two-dot chain line) is only directed in the front direction. Further, a false image P ′ is generated by a light ray mixed from the white point light source into an adjacent color filter section and passing through a portion where the P point is reproduced. Further, when P is connected from the light source at the right end, it passes through the adjacent color filter section, so such a ray cannot be used in normal use. That is, there is no false image, and a stereoscopic image can be normally observed only in the vicinity of the front direction (near the position of the observer A in the figure), and from the side direction slightly off the front (for example, the position of the observer B in the figure). When observed, a false image is seen without seeing a correct reproduced image.
[0041]
On the other hand, when a transparent medium with n> 1 is inserted, the point P is reproduced by light rays (solid lines) normally generated from all white light sources in this figure, and a wide viewing angle can be obtained. In addition, the light mixed into the adjacent color filter section, such as the light beam 78 or the light beam 79, is totally reflected when the above expression (3) is satisfied, and does not go out as a light beam at all, so that a false image is reproduced. It will never be done. Even if the above expression (3) is not satisfied, the false image appears only when viewed from substantially the side surface that is swung near 90 ° from the front, and there is no practical problem.
[0042]
The present invention can be applied to the fields of video technology, broadcasting technology, art industry, multimedia industry, advertising, and photography.
[0043]
Examples of the product include a three-dimensional display, a three-dimensional signboard, a three-dimensional theater system, and the like, and can be used particularly for an advertising medium or a display for school children.
[0044]
In addition, this invention is not limited to the said Example, A various deformation | transformation is possible based on the meaning of this invention, and these are not excluded from the scope of the present invention.
[0045]
【The invention's effect】
As described above in detail, according to the present invention, a three-dimensional image can be observed with a wide viewing angle, and a false image can be completely suppressed.
[0046]
More specifically, a transparent medium having a refractive index greater than 1 is inserted between the white point light source array and the color filter to select and color light from the point light source for 3D image marking. For light rays that are mixed in from other point light sources adjacent to the color filter and generate a harmful false image, total reflection is used to prevent the light rays from coming out. In addition, there is an effect of increasing the number of light beams used for image reproduction using parallax in the vicinity of the filter by utilizing the fact that light beams emitted from the transparent medium are further spread by refraction. A light beam reproduction type three-dimensional reproduction device having a wide viewing angle and completely suppressing false images could be obtained.
[0047]
A viewing angle close to 180 degrees is achieved by placing a glass or plastic plate as a transparent medium having a thickness of 0.5 mm to 5 mm between the light source array and the filter.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic configuration of a wide viewing angle three-dimensional image display system that suppresses false images according to the present invention.
FIG. 2 is a diagram showing a configuration example 2 of the present invention.
FIG. 3 is a diagram showing a configuration example 3 of the present invention.
FIG. 4 is a diagram showing a configuration example 4 of the present invention.
FIG. 5 is a diagram illustrating a configuration example in which the present invention is applied to a conventional multi-view parallax.
FIG. 6 is an explanatory diagram of widening the angle of generated light by inserting a transparent medium having a refractive index greater than 1 according to the present invention.
FIG. 7 is an explanatory view of wide viewing angle of an observation area according to the present invention.
FIG. 8 is a diagram illustrating suppression of false images due to total reflection according to the present invention.
FIG. 9 is a diagram illustrating the principle of stereoscopic vision.
FIG. 10 is a diagram showing a basic configuration and operation principle of light ray reproduction three-dimensional image display (in the case of point image reproduction).
FIG. 11 is a diagram illustrating generation of a false image and a three-dimensional image observation area in the light beam reproduction method.
FIG. 12 is an explanatory diagram of a light reproduction type three-dimensional image display in which generation of a false image is suppressed by using a partition.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Display part 2,11,31,51,61,71 White point light source array 3,12,26,32,42,73 Transparent medium with a refractive index larger than 1 4,13,27,33,54,64,74 Color filter 5, 14, 28, 35, 44, 66 Observer 6, 15, 29, 36, 45 Reconstructed three-dimensional image 7 White light emitted from white point light source array 8 Reflection of light beam 21 White light source 22 Scattering Body 23 Backlight composed of white light source and scatterer 24 Pinhole array 25 Portion corresponding to white point light source array 34 Lens 40 Multi-angle display unit 41 Backlight 43 Micro lens array, pinhole array or slit array 52, 62, 72 White point light source 53, 63 Transparent medium 55, 65, 75 Each section of the color filter 56 Adjacent color filter Range of light rays not mixed into transfection (n> case without first transparent medium)
57 Range of light rays not mixed into adjacent color filter sections (with n> 1 transparent media)
67 Stereoscopic range when the refractive index of the transparent medium is 1 or air 68 Wide range of stereoscopic viewing when the refractive index of the transparent medium is greater than 1 76 Observer A
77 Observer B

Claims (4)

偽像を抑制した広視角3次元画像表示システムにおいて、
白色点光源アレイとカラーフィルタの間の全部あるいはその一部に屈折率が1より大きい透明媒体を挿入することにより、屈折により前記透明媒体の外では光線がより広がることを利用して、3次元画像の観測域を広げるとともに、この3次元画像表示のために光線再生法を用いて当該白色点光源からの光線を選択、色づけする働きをもつ前記カラーフィルタの当該セクションに隣接の白色点光源から混入し、有害な偽像のもとになる寝た角度の光線に対しては全反射させて外に出ないよう構成し、広い視角で3次元像が観測可能で、かつ偽像を完全に抑制することを特徴とする偽像を抑制した広視角3次元画像表示システム。
In a wide viewing angle three-dimensional image display system that suppresses false images,
By inserting a transparent medium having a refractive index greater than 1 into all or a part between the white point light source array and the color filter, the light beam is further spread outside the transparent medium due to refraction, and thus three-dimensional. From the white point light source adjacent to the section of the color filter, which expands the image observation area and selects and colors the light from the white point light source by using a light ray reproduction method for displaying the three-dimensional image. Constructed so that it does not go out by totally reflecting the light of the sleeping angle that becomes a source of harmful false images, and it can observe a three-dimensional image with a wide viewing angle, and the false image is completely A wide-viewing-angle three-dimensional image display system that suppresses false images.
請求項1記載の偽像を抑制した広視角3次元画像表示システムにおいて、前記カラーフィルタと観測者の間、あるいは前記白色点光源アレイと前記カラーフィルタの間の一方あるいは双方にレンズを挿入し、見え方やフィルタ設計に自由度を持たせることを特徴とする偽像を抑制した広視角3次元画像表示システム。  The wide viewing angle three-dimensional image display system that suppresses false images according to claim 1, wherein a lens is inserted between the color filter and an observer, or one or both of the white point light source array and the color filter, A wide viewing angle three-dimensional image display system that suppresses false images, characterized by giving freedom to view and filter design. 請求項1又は2記載の偽像を抑制した広視角3次元画像表示システムにおいて、前記白色点光源アレイとして白色光源と散乱板及びピンホールアレイの組み合わせで代用することを特徴とする偽像を抑制した広視角3次元画像表示システム。  3. A wide viewing angle three-dimensional image display system that suppresses false images according to claim 1 or 2, wherein the white point light source array is substituted by a combination of a white light source, a scattering plate, and a pinhole array. Wide viewing angle 3D image display system. 請求項1、2又は3記載の偽像を抑制した広視角3次元画像表示システムにおいて、前記カラーフィルタを液晶パネルなどの動的制御が可能な空間変調パネルとして、再生3次元画像を動画化することを特徴とする偽像を抑制した広視角3次元画像表示システム。  4. A wide viewing angle three-dimensional image display system that suppresses a false image according to claim 1, wherein the reproduced three-dimensional image is animated by using the color filter as a spatial modulation panel capable of dynamic control such as a liquid crystal panel. A wide viewing angle three-dimensional image display system that suppresses false images.
JP2000261223A 2000-08-30 2000-08-30 Wide viewing angle 3D image display system with false image suppression Expired - Fee Related JP3949361B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000261223A JP3949361B2 (en) 2000-08-30 2000-08-30 Wide viewing angle 3D image display system with false image suppression
PCT/JP2001/007409 WO2002019012A1 (en) 2000-08-30 2001-08-29 Three-dimensional image display system
EP01961156A EP1329759A4 (en) 2000-08-30 2001-08-29 Three-dimensional image display system
US10/362,362 US6999110B2 (en) 2000-08-30 2001-08-29 Three-dimensional image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000261223A JP3949361B2 (en) 2000-08-30 2000-08-30 Wide viewing angle 3D image display system with false image suppression

Publications (2)

Publication Number Publication Date
JP2002072136A JP2002072136A (en) 2002-03-12
JP3949361B2 true JP3949361B2 (en) 2007-07-25

Family

ID=18749103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000261223A Expired - Fee Related JP3949361B2 (en) 2000-08-30 2000-08-30 Wide viewing angle 3D image display system with false image suppression

Country Status (1)

Country Link
JP (1) JP3949361B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7425951B2 (en) 2002-12-27 2008-09-16 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus
JP5140825B2 (en) * 2006-06-28 2013-02-13 国立大学法人大阪大学 3D image playback device
AU2015266670B2 (en) * 2014-05-30 2019-05-09 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP6505059B2 (en) * 2016-08-03 2019-04-24 キヤノン株式会社 Image display device and display element
CN115166994A (en) * 2022-06-14 2022-10-11 北京邮电大学 Three-dimensional display system and method

Also Published As

Publication number Publication date
JP2002072136A (en) 2002-03-12

Similar Documents

Publication Publication Date Title
US6999110B2 (en) Three-dimensional image display system
JP3942789B2 (en) Stereoscopic image playback device with background
Geng Three-dimensional display technologies
JP4607208B2 (en) 3D display method
JP4459959B2 (en) Autostereoscopic multi-user display
US7492513B2 (en) Autostereoscopic display and method
CN103108207B (en) Dual holography 3D display device
JP2011034086A (en) Three-dimensional video display method, system thereof and recording medium with three-dimensional video display program recorded therein
JPWO2006061959A1 (en) Stereoscopic two-dimensional image display apparatus and stereoscopic two-dimensional image display method
JP2010237416A (en) Stereoscopic display device
JPH04313745A (en) Picture display device
US20030137730A1 (en) Autostereoscopic display
JP3810624B2 (en) 3D image display system that combines light beam reproduction and shadow-type multi-view parallax
KR20010053563A (en) System and method for stereoscopic imaging and holographic screen
US10558056B2 (en) Stereoscopic image display device and stereoscopic image display method
JPH10239785A (en) Stereoscopic picture recording and reproducing device
US6078423A (en) Stereoscopic display device
JP3949361B2 (en) Wide viewing angle 3D image display system with false image suppression
RU2718777C2 (en) Volumetric display
JP2001056450A (en) Stereoscopic picture reproducing device using optical filter
JP4026242B2 (en) Optical 3D video display device
JP3629534B2 (en) Simple animated 3D image display system
JP4492208B2 (en) 3D image playback device
JP2012008298A (en) Three dimensional picture display device
JPH0764020A (en) Three-dimensional display and display method using it

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20031031

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070418

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110427

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120427

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130427

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140427

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees